端侧点云增量式重建项目

master分支用于存放我们提交的各类文档；tuanjie_Engine分支存放我们使用unity引擎进行点云可视化的项目代码；native_libentry.so分支存放我们打包的.so文件；Point_cloud_restruction分支存放我们使用Deveco_studio进行项目开发的代码；server_slam3r存放我们远程推理服务器端的代码

1. 快速入门：项目概览与核心功能

本项目旨在为移动端构建一个高效、实时的稠密点云构建系统。该系统利用华为 nova13 手机作为硬件平台，并在 OpenHarmony 操作系统上运行，通过输入的视频流和相机内参数据，实时生成高质量的三维点云模型。

项目的核心设计理念在于平衡移动端设备有限的计算资源与点云的密度、精度和实时性需求。我们通过采用轻量级的神经网络模型（如 MiDaS 和 Monodepth）进行深度和位姿预测，并结合 Vulkan 计算管线来实现高效的点云融合，最终实现逐帧增量式的三维重建。

2.环境配置与系统依赖

为确保项目顺利编译和运行，请配置以下软硬件环境：

硬件平台：

开发平台： Windows 11 或其他兼容系统，配备必要的开发环境。
测试平台： Huawei nova13 12+256G 手机。

操作系统：

HarmonyOS NeXt版本

软件依赖：

OpenHarmony SDK、NDK 及配套的编译和调试工具。
Vulkan API (设备支持的最高版本) 。
Unity（用于可视化点云部分）。
已适配 OpenHarmony 的 FFmpeg（用于视频解码）。
已适配 OpenHarmony 的 OpenCV（用于图像处理辅助）。
已适配 OpenHarmony 的 NCNN（用于神经网络推理）。

3.编译、构建与运行指南

本项目主要通过 OpenHarmony 应用层的交互界面进行操作。以下是基本的工作流：

编译与构建： 使用 OpenHarmony SDK 和 NDK 工具链，将项目代码编译为可部署在 Huawei nova13 手机上的应用程序。
输入准备： 准备好以下输入文件：
- 一段连续的视频文件。
- 相机的内参文件。
应用启动： 在目标手机上安装并启动应用程序。
文件选择： 在应用界面中，选择预先准备好的视频文件、相机内参文件。
计算与输出：
- 点击“开始计算”按钮，系统将自动处理视频流。
- 在视频播放时间5秒后，系统将输出第一个稠密点云文件。
- 此后，系统将每隔5秒更新并输出一个全新的点云文件，直至视频结束。
- 输出的点云文件将以 .ply 格式存储。
可视化： 应用程序将实时展示点云重建结果，用户可以观察点云随时间逐渐完善的过程。

注意： 整个运算过程将在“视频时长+10 秒”内完成，且文件读写操作不计入时间要求

4.文件结构与代码规范说明

文件结构： 本项目采用模块化设计，代码结构清晰，易于理解和维护。主要模块包括数据输入与管理、数据预处理、稠密计算模块和点云输出与可视化。

代码规范： 项目代码严格遵循 OpenHarmony 社区规范。在开发过程中，我们始终致力于确保代码风格一致、注释详尽，以此保证代码质量和可读性，以满足“代码规范性”的评分要求。

5.核心功能与使用示例

本系统的核心功能是实时、增量式地从视频流中重建稠密三维点云。其技术核心包括：

深度与位姿预测： 使用轻量化的MiDaS和Monodepth神经网络模型，分别从单张图像中预测深度图和相机位姿。

高效融合： 利用截断符号距离函数（TSDF）体素融合算法，并结合体素哈希技术，在 Vulkan 计算管线上高效地将逐帧的点云融合为一个统一的模型，有效消除噪声并减少内存占用。

硬件加速： 充分利用 Huawei nova13 手机的 GPU 和 NPU 异构算力，将神经网络推理卸载到 NPU，将点云几何计算分配给 GPU，实现任务的并行化和高效率。

使用示例：

（1）本地推理

点击中间按钮可以上传本地测试视频，然后使用MiDas+Monodepth2+TSDF进行本地推理，页面上方是原视频，下方是实时的深度图，点击下方菜单栏中的”点云渲染“可以看到使用unity引擎开发的点云渲染效果

（2）远程推理

远程推理流程与本地推理类似，用户点击中间按钮选择视频后上传至服务器，服务器推理结束后将结果返回至客户端并进行展示