目录
目录README.md

赛题题目:端侧视觉系统点云构建

赛题说明:

实时稠密点云构建技术是计算机视觉和三维重建领域的重要研究方向,旨在通过图像数据实时生成高密度的三维点云模型,稠密点云模型可作为采集完整度的重要依据,也可以作为重要初始化数据参与后续3DGS/Mesh重建。当前已有稠密重建技术较多,基于ACMH的系列方法,基于神经网络的MVSNet系列方法均可以借鉴参考,不限制具体实现方法(鼓励使用不依赖位姿的预测方法),并在开源操作系统上实现。当前挑战是在移动端需要考虑性能与效果的平衡,鼓励充分利用GPU和NPU算力。

稠密点云构建在整个3DGS重建流程中的位置

赛题要求:

需要基于开源操作系统,利用Vulkan计算管线实现,输入相机位姿(端侧SLAM结果)和视频数据,要求在视频时长+10s内完成运算,计算过程中逐渐完善点云结果。提供多个采集数据,计算多个数据集下的平均表现,输入输出部分的文件读写操作不计入时间要求。 输入:

  1. 视频文件
  2. 时间戳对应的相机位姿(手机端SLAM结果)
  3. 相机内参 输出: 视频时间5S后输出稠密点云;每隔5S更新点云。(模拟实时处理过程,不能使用更新时间点以后的视频帧。)

评分标准:

提供一个参考点云模型,通过计算各时间点输出点云与参考点云的Chamfer距离来评价重建质量。Chamfer距离的计算公式为:

其中: A是重建点云,B是参考点云。 ∣A∣和∣B∣分别是点云A和B的点数。 ∥a−b∥ 是点a 和点b之间的欧几里得距离。 假设视频时长是T,那么总计要求输出N=(T+10)/5(向下取整)个点云,每个点云的得分权重逐渐提高,后一个点云是相邻前一个点云权重的1.3倍。总的点云质量得分如下: Score=D1+D21.3+D3(1.3)^2+D4*(1.3)^3… 点云质量得分越低代表重建质量越好。 在提供的多个采集数据集上计算平均值,得分最低者胜出。 评分项 占比 说明 功能 50 点云质量 创新性 30
代码规范性 10 代码符合OpenHarmony社区规范,按照规范类型扣分点,每条减少1分,直至为0 文档质量 10 文档能将从架构和技术实现角度,说明架构和技术竞争力。

赛题联系人:

赵明伟 zhaomingwei1@huawei.com

参考资料:

MVSNet实现:https://github.com/YoYo000/MVSNet
ACMH实现参考:https://github.com/GhiXu/ACMH
colmap参考实现:https://github.com/colmap/colmap
硬件平台Laval手机信息:https://laval.csdn.net/651288d19fe5a0689ae58be6.html?login=from_csdn 

参赛资源支持:

OpenHarmony社区可提供:软硬件开发环境

赛题交流讨论链接:

https://www.chaspark.com/#/races/competitions/1136104796112347136

关于
27.0 KB
邀请码
    Gitlink(确实开源)
  • 加入我们
  • 官网邮箱:gitlink@ccf.org.cn
  • QQ群
  • QQ群
  • 公众号
  • 公众号

©Copyright 2023 CCF 开源发展委员会
Powered by Trustie& IntelliDE 京ICP备13000930号