上传文件
人形机器人“语言理解—技能选择—安全执行—失效恢复—事件重规划”闭环系统。
本项目以 Unitree G1 MuJoCo 仿真环境为验证平台。机器人根据自然语言任务意图和本体感知信息，在跨越、下蹲、侧向跨越与绕行等技能之间进行选择；发生碰撞、跌倒、停滞或安全净空不足时，系统会停止当前尝试、完成受控恢复，并在块边界触发新的技能决策。
如果上方视频无法播放，点击此处打开视频
实验结果图：
场景示意图：
请参考 CAT 中文安装文档。
本项目使用 GLM-4.1V-9B-Thinking，请从 Hugging Face 下载对应 checkpoint。
cd /Retraverse/HPF-CAT source .env && source .venv/bin/activate
启动 VLLM：
cd /Retraverse/HPF-CAT bash deploy/vla/glm/serve_glm.sh
出现 ✅ GLM 服务已经运行: http://127.0.0.1:8001/v1 即表示成功。
✅ GLM 服务已经运行: http://127.0.0.1:8001/v1
重要： 每次实验请修改 --out 文件名，避免覆盖已有结果。
--out
G1 为 generalist_baseline，G2 为 specialist_baseline，G3 为插值回退，G4 为 retreat_p2。
generalist_baseline
specialist_baseline
retreat_p2
cd /Retraverse/HPF-CAT source .env .venv/bin/python experiments/evaluate_four_groups_v2.py \ --episodes 100 --planner glm \ --out out/four_groups_rollback_vs_p2_100_run3.json # 请改成新文件名
cd /Retraverse/OS-Robot2 source /Retraverse/HPF-CAT/.env source /Retraverse/HPF-CAT/.venv/bin/activate export GLI_PATH=/Retraverse/OS-Robot2/cat_ppo
使用 staggered 家族场景与 RandObs 初始化训练：
staggered
RandObs
python train_ppo.py \ --task G1CatMultiPF --exp-name tight_v1 --num-timesteps 10000000 --seed 0 \ --ground 1.0 --lateral 1.0 --term-collision-threshold 0.04 \ --obs-path data/assets/RandObs/D8G0L1O0S3 \ --restore-checkpoint-path data/logs/G1_mj_v2_axis/07011502_G1Cat_side3_v0xL1p0xT0p0xside3/checkpoints/000403046400 \ --pf-paths data/assets/TypiObs/new_staggered_holdout_tight \ data/assets/TypiObs/staggered_train_left \ data/assets/TypiObs/staggered_train_right \ data/assets/TypiObs/staggered_train_wide \ data/assets/TypiObs/staggered_train_offset \ $(python3 -c "import json;c=json.load(open('data/logs/G1_mj_v2_axis/09261711_G1CatMultiPF_staggered_v2xG1p0xL1p0xT0p04xD8G0L1O0S3/checkpoints/config.json'));print(' '.join([p for p in c['env_config']['pf_config']['paths'] if 'RandObs' in p]))")
请修改 --video-path，避免覆盖已有视频：
--video-path
python -m cat_ppo.eval.mj_onnx_play \ --task G1Cat \ --onnx-path data/logs/G1_mj_v2_axis/$(ls -dt data/logs/G1_mj_v2_axis/*G1CatMultiPF_tight_v1* | head -1 | xargs basename)/checkpoints/000010485760/policy.onnx \ --obs-path data/assets/TypiObs/new_staggered_holdout_tight \ --save-video --video-path /Retraverse/OS-Robot2/video/tight_v1_eval.mp4 --num-steps 500
vncserver :1 -localhost no -geometry 1280x800 -depth 24 export DISPLAY=:1 xdpyinfo | head -3 # 有输出说明可用 ssh -L 5901:localhost:5901 用户名@服务器IP
localhost:5901
G4：retreat_p2：默认包含 generalist 首试；追加 --no-generalist-first 可关闭首试。
--no-generalist-first
cd /Retraverse/HPF-CAT source .env && source .venv/bin/activate .venv/bin/python experiments/run_composed_glm_vnc.py --count 4 --vnc --recovery p2
G3：插值回退：
cd /Retraverse/HPF-CAT source .env && source .venv/bin/activate .venv/bin/python experiments/run_composed_glm_vnc.py --count 4 --vnc --recovery rollback
G4：retreat_p2：
cd /Retraverse/HPF-CAT source .env && source .venv/bin/activate .venv/bin/python experiments/run_composed_glm_vnc.py \ --count 4 --vnc --record-video --recovery p2 \ --seed 20260924 --reproducible
追加 --no-generalist-first 可直接执行 specialist 序列。
G3：插值回退
cd /Retraverse/HPF-CAT source .env && source .venv/bin/activate .venv/bin/python experiments/run_composed_glm_vnc.py \ --count 4 --vnc --recovery rollback --record-video
版权所有：中国计算机学会技术支持：开源发展技术委员会 京ICP备13000930号-9 京公网安备 11010802047560号
ReTraverse：人形机器人复杂场景智能避障与自主通行系统
本项目以 Unitree G1 MuJoCo 仿真环境为验证平台。机器人根据自然语言任务意图和本体感知信息，在跨越、下蹲、侧向跨越与绕行等技能之间进行选择；发生碰撞、跌倒、停滞或安全净空不足时，系统会停止当前尝试、完成受控恢复，并在块边界触发新的技能决策。
项目演示
如果上方视频无法播放，点击此处打开视频
目录
系统组成
实验结果
实验结果图：
实验结果图：
场景示意图：
实验结果图：
实验结果图：
环境准备
请参考 CAT 中文安装文档。
本项目使用 GLM-4.1V-9B-Thinking，请从 Hugging Face 下载对应 checkpoint。
启动服务
启动 VLLM：
出现
✅ GLM 服务已经运行: http://127.0.0.1:8001/v1即表示成功。四组对比实验
G1 为
generalist_baseline，G2 为specialist_baseline，G3 为插值回退，G4 为retreat_p2。重训练新场景
使用
staggered家族场景与RandObs初始化训练：请修改
--video-path，避免覆盖已有视频：交互式运行与 VNC
localhost:5901。G4：
retreat_p2：默认包含 generalist 首试；追加--no-generalist-first可关闭首试。G3：插值回退：
生成视频
G4：
retreat_p2：追加
--no-generalist-first可直接执行 specialist 序列。G3：插值回退
致谢