材料完善
本项目开发了一个基于CARLA仿真平台的自动驾驶多智能体协同系统，旨在通过分布式协同架构（Distributed Collaborative Framework, DCF）实现多辆车在复杂交通场景中的安全、高效协同驾驶。系统整合了汽车智能体、感知增强智能体、决策支持智能体和交通管理智能体，利用先进的视觉-语言动作（VLA）模型和TensorRT优化的YOLO目标检测技术，结合精细的数据处理流程，完成从环境感知到决策控制的闭环流程。
该系统的核心目的是构建一个实时、鲁棒的自动驾驶系统，探索多智能体协作在动态交通环境中的应用潜力，为未来自动驾驶技术的规模化部署提供技术验证和参考。通过模拟真实交通场景，系统能够在低成本、高安全性的环境中测试和优化自动驾驶技术，加速从实验室到实际道路的过渡。
多智能体协同是本系统的核心设计理念，采用分布式协同架构（DCF）实现高效、灵活的协作。系统中的四个智能体——汽车智能体、感知增强智能体、决策支持智能体和交通管理智能体——通过线程安全的队列机制、共享模型和全局状态管理实现紧密协同，确保在动态交通环境中快速响应和协调行动。
汽车智能体负责执行驾驶指令、采集传感器数据并反馈车辆状态；感知增强智能体处理相机和雷达数据，进行目标检测和数据融合，生成环境感知信息；决策支持智能体利用VLA模型基于感知信息和指令生成驾驶决策；交通管理智能体作为协调核心，管理多车辆运行，传播警告信息，并确保全局交通协调。
智能体间的协同通过全局状态管理和局部通信机制实现。全局状态管理通过汽车状态字典统一存储车辆位置、速度等信息，确保线程安全；局部通信则通过队列机制实现高效数据传递，如相机数据队列和雷达数据队列直接连接汽车智能体与感知增强智能体。此外，系统采用线程池并行处理多车辆任务，通过异步执行减少延迟，提升协作效率。
特别地，系统设计了警告传播机制：当感知增强智能体检测到行人横穿马路时，交通管理智能体通过计算车辆相对位置，精准判断后方车辆并发送警告信息，促使后方车辆调整驾驶行为，避免潜在碰撞。这种机制确保了危险信息的快速传递和多车辆的动态协调。
汽车智能体是系统与CARLA仿真平台直接交互的核心组件，负责执行驾驶指令、采集传感器数据（如相机和雷达）、更新车辆状态并将数据传递给其他智能体。每个汽车智能体管理一辆车，实时更新车辆的速度、油门、刹车、转向角等状态，并通过队列将传感器数据传递给感知增强智能体。汽车智能体还接收决策支持智能体生成的控制动作，并将其应用于车辆，确保驾驶指令的准确执行。
感知增强智能体负责处理汽车智能体提供的相机和雷达数据，通过目标检测、雷达点云处理和数据融合生成包含丰富环境信息的RGB图像，为决策支持智能体提供高质量输入。该智能体采用共享的TensorRT优化YOLOv8s模型进行高效目标检测，能够快速识别行人、车辆等交通目标，并判断行人是否在道路上，触发警告机制。雷达数据则转换为彩色热力图，增强环境的空间感知能力。通过图像融合技术，感知增强智能体将检测图像和雷达热力图结合，为VLA模型提供综合的环境信息。
决策支持智能体利用视觉-语言动作（VLA）模型，基于感知增强智能体提供的融合图像和自然语言驾驶指令，生成精准的车辆控制动作。该智能体通过AIOS Kernel调用VLA模型，支持多实例高效访问，确保实时决策。VLA模型在CARLA平台上经过微调，针对复杂交通场景（如行人横穿、密集交通）优化，能够快速生成连续控制动作，如加速、减速和转向。决策支持智能体还结合交通管理智能体提供的警告信息，调整驾驶策略，提升安全性。
交通管理智能体是系统的协调核心，负责管理多辆车的运行，统筹多智能体的协同工作，并通过全局状态管理和警告传播实现动态交通协调。该智能体维护汽车状态字典，实时更新和存储所有车辆的状态信息，确保线程安全。通过CARLA的同步模式，交通管理智能体确保多车辆操作的时序一致性。此外，交通管理智能体负责警告信息的生成和传播，例如当检测到行人横穿马路时，精准判断后方车辆并发送警告，影响其决策指令，确保多车辆在复杂场景中的安全协同。
系统在设计和实现上具有多项技术亮点。分布式协同架构（DCF）结合全局状态管理和局部通信机制，实现高效、灵活的多智能体协作；VLA模型通过微调和优化，支持实时、精准的驾驶决策，适应动态交通环境；TensorRT优化通过模型共享和推理加速，实现毫秒级目标检测，支持多车辆并行处理；精细数据处理通过相机数据转换、雷达点云映射和图像融合，为决策模型提供高质量输入。
本项目通过多智能体协同架构，成功实现了在CARLA仿真平台上的自动驾驶模拟与测试，为复杂交通场景下的多车辆协作提供了创新性解决方案。系统在提升交通安全性、优化协作效率和技术创新验证等方面展现出显著优势。
©Copyright 2023 CCF 开源发展委员会 Powered by Trustie& IntelliDE 京ICP备13000930号
基于CARLA仿真平台的自动驾驶多智能体协同系统
系统概述
本项目开发了一个基于CARLA仿真平台的自动驾驶多智能体协同系统，旨在通过分布式协同架构（Distributed Collaborative Framework, DCF）实现多辆车在复杂交通场景中的安全、高效协同驾驶。系统整合了汽车智能体、感知增强智能体、决策支持智能体和交通管理智能体，利用先进的视觉-语言动作（VLA）模型和TensorRT优化的YOLO目标检测技术，结合精细的数据处理流程，完成从环境感知到决策控制的闭环流程。
该系统的核心目的是构建一个实时、鲁棒的自动驾驶系统，探索多智能体协作在动态交通环境中的应用潜力，为未来自动驾驶技术的规模化部署提供技术验证和参考。通过模拟真实交通场景，系统能够在低成本、高安全性的环境中测试和优化自动驾驶技术，加速从实验室到实际道路的过渡。
多智能体协同
多智能体协同是本系统的核心设计理念，采用分布式协同架构（DCF）实现高效、灵活的协作。系统中的四个智能体——汽车智能体、感知增强智能体、决策支持智能体和交通管理智能体——通过线程安全的队列机制、共享模型和全局状态管理实现紧密协同，确保在动态交通环境中快速响应和协调行动。
汽车智能体负责执行驾驶指令、采集传感器数据并反馈车辆状态；感知增强智能体处理相机和雷达数据，进行目标检测和数据融合，生成环境感知信息；决策支持智能体利用VLA模型基于感知信息和指令生成驾驶决策；交通管理智能体作为协调核心，管理多车辆运行，传播警告信息，并确保全局交通协调。
智能体间的协同通过全局状态管理和局部通信机制实现。全局状态管理通过汽车状态字典统一存储车辆位置、速度等信息，确保线程安全；局部通信则通过队列机制实现高效数据传递，如相机数据队列和雷达数据队列直接连接汽车智能体与感知增强智能体。此外，系统采用线程池并行处理多车辆任务，通过异步执行减少延迟，提升协作效率。
特别地，系统设计了警告传播机制：当感知增强智能体检测到行人横穿马路时，交通管理智能体通过计算车辆相对位置，精准判断后方车辆并发送警告信息，促使后方车辆调整驾驶行为，避免潜在碰撞。这种机制确保了危险信息的快速传递和多车辆的动态协调。
各智能体介绍
1. 汽车智能体
汽车智能体是系统与CARLA仿真平台直接交互的核心组件，负责执行驾驶指令、采集传感器数据（如相机和雷达）、更新车辆状态并将数据传递给其他智能体。每个汽车智能体管理一辆车，实时更新车辆的速度、油门、刹车、转向角等状态，并通过队列将传感器数据传递给感知增强智能体。汽车智能体还接收决策支持智能体生成的控制动作，并将其应用于车辆，确保驾驶指令的准确执行。
2. 感知增强智能体
感知增强智能体负责处理汽车智能体提供的相机和雷达数据，通过目标检测、雷达点云处理和数据融合生成包含丰富环境信息的RGB图像，为决策支持智能体提供高质量输入。该智能体采用共享的TensorRT优化YOLOv8s模型进行高效目标检测，能够快速识别行人、车辆等交通目标，并判断行人是否在道路上，触发警告机制。雷达数据则转换为彩色热力图，增强环境的空间感知能力。通过图像融合技术，感知增强智能体将检测图像和雷达热力图结合，为VLA模型提供综合的环境信息。
3. 决策支持智能体
决策支持智能体利用视觉-语言动作（VLA）模型，基于感知增强智能体提供的融合图像和自然语言驾驶指令，生成精准的车辆控制动作。该智能体通过AIOS Kernel调用VLA模型，支持多实例高效访问，确保实时决策。VLA模型在CARLA平台上经过微调，针对复杂交通场景（如行人横穿、密集交通）优化，能够快速生成连续控制动作，如加速、减速和转向。决策支持智能体还结合交通管理智能体提供的警告信息，调整驾驶策略，提升安全性。
4. 交通管理智能体
交通管理智能体是系统的协调核心，负责管理多辆车的运行，统筹多智能体的协同工作，并通过全局状态管理和警告传播实现动态交通协调。该智能体维护汽车状态字典，实时更新和存储所有车辆的状态信息，确保线程安全。通过CARLA的同步模式，交通管理智能体确保多车辆操作的时序一致性。此外，交通管理智能体负责警告信息的生成和传播，例如当检测到行人横穿马路时，精准判断后方车辆并发送警告，影响其决策指令，确保多车辆在复杂场景中的安全协同。
技术亮点
系统在设计和实现上具有多项技术亮点。分布式协同架构（DCF）结合全局状态管理和局部通信机制，实现高效、灵活的多智能体协作；VLA模型通过微调和优化，支持实时、精准的驾驶决策，适应动态交通环境；TensorRT优化通过模型共享和推理加速，实现毫秒级目标检测，支持多车辆并行处理；精细数据处理通过相机数据转换、雷达点云映射和图像融合，为决策模型提供高质量输入。
总结
本项目通过多智能体协同架构，成功实现了在CARLA仿真平台上的自动驾驶模拟与测试，为复杂交通场景下的多车辆协作提供了创新性解决方案。系统在提升交通安全性、优化协作效率和技术创新验证等方面展现出显著优势。