沐曦-自动驾驶仿真解决方案

英文版 | 中文版

简介

本方案聚焦于自动驾驶研究领域，依托沐曦C系列GPU强大的训练与推理性能，构建了一个高效的数据生成与增强流程。首先，利用 3D Gaussian Splatting (3DGS) 技术对真实场景进行高保真重建，快速还原场景的三维结构与细节；随后，引入大语言模型（LLM）对场景内容进行语义层面的理解与指令驱动式编辑，可实现物体级别的操作；最后，借助 Stable Diffusion 进行场景风格迁移，使得同一场景可灵活切换至不同天气、时间段或视觉风格的版本。通过这三大模块的有机结合与灵活调用，本方案能够对单一场景数据实现实例级别的按需编辑与增强，包括：删除特定物体，增加场景元素，丰富交通构成，实现环境与气候条件的快速迁移。

该流程显著提升了自动驾驶数据的多样性与覆盖范围，尤其在应对极端情况（bad cases）方面表现突出。通过构建和编辑特定场景，有效解决了传统数据采集方式中存在的数据分布稀疏、样本数量不足等问题。这一机制不仅为感知、决策等下游任务提供了更具泛化能力和鲁棒性的数据支持，也为自动驾驶算法的训练与测试开辟了更加灵活、可控的高质量数据生成路径，推动了自动驾驶系统整体性能的提升。

效果演示：

视频介绍▶️ 点击这里观看演示视频

现有解决方案

1. 场景重建

• 基于3DGS场景重建 利用3DGS对场景的重建能力，对城市街道场景进行前背景分离建模，刚体非刚体独立建模等方式，实现场景的动态高保真重建，能便捷地实现场景的编辑操作。

2. 场景编辑

• 基于LLM场景编辑 大语言模型（LLM）对场景内容进行语义层面的理解与指令驱动式编辑，可实现物体级别的操作，实现根据复杂语言命令，达到场景的高度灵活可编辑目的。

3. 场景转换

• 基于SD场景迁移 借助 Stable Diffusion 进行场景风格迁移，使得同一场景可灵活切换至不同天气、时间段或视觉风格的版本。

安装

环境安装请参考：install.md

使用

详细使用方法请参考 usage.md

许可证书

本项目的发布受 Apache License Version 2.0 许可认证, 欢迎大家使用和贡献。