fix: 修正 GitHub 用户名 lulululudj→lululudj + Release 预训练权重已上线
修正:
- README 中 4 处 GitHub 链接用户名 lulululudj(4lu) → lululudj(3lu)
- GitLink 链接保持 lulululudj(4lu) 不变(GitLink 账号与 GitHub 不同名)
Release 上线:
- tag v1.0-weights 已推送, Release 已创建(ID: 348480813)
- best.pt(39MB, 3.26M GridWorld 主力模型)已上传为 Release asset
- 下载链接: https://github.com/lululudj/trihelix-mamba/releases/download/v1.0-weights/best.pt
- 评审可秒级验证: curl 下载 best.pt + python eval_ood.py → OOD decay≈0
版权所有:中国计算机学会技术支持:开源发展技术委员会
京ICP备13000930号-9
京公网安备 11010802047560号
ThreeChainMamba2 🧬 三链 DNA-Mamba2
Three-Chain DNA-Mamba2 for Long-Range Spatiotemporal Extrapolation 基于 Mamba2 (SSD) 的三链状态空间模型,用于多智能体长程时空预测,长程外推不退化。
📌 项目概述(面向沐曦青年开源专项基金评审)
mamba_ssm基于 Triton,沐曦 Triton-MXMACA 编译后端可零修改适配,适合端侧人形机器人多智能体实时推演🌟 Nexus 多智能体场景核心亮点(评审首页直读)
核心叙事:SSM 在多智能体复杂场景下不仅不退化,还能学到 agent 身份动力学(2.3 倍随机基线),因果链在多场景下从噪声升级为关键贡献链——这是同参数 Transformer 完全无法做到的差异化能力。
为什么重要
长程时空外推(long-horizon spatiotemporal extrapolation)是世界模型的核心能力:模型在训练时观察 T_train 步序列,推理时需对 T_eval ≫ T_train 的未来做预测。Transformer 受注意力二次复杂度与位置编码外推能力限制;近年 SSM(Mamba/Mamba2)在线性复杂度下展示出长程建模潜力,但其外推稳定性随规模放大是否保持,此前缺乏严格验证。
本工作在 O(N) 线性复杂度 下,于 [100M → 1.13B] 参数区间验证长程外推不退化(单点 decay 与窗口 decay 双双全部落在 ±2% 内,1B 三 seed spread 仅 0.5%),并经三个控制实验(随机标签 / 多 seed / 步数对照)严格证明这是真实泛化而非指标噪声。
🎯 一图看懂:三链 vs Transformer 长程外推
沐曦 GPU 落地路径
mamba_ssm/causal_conv1d的 CUDA kernel 全部由 Triton 编写,与硬件后端解耦;⚡ 快速验证(一键复现,评审可运行)
仓库含完整可运行源码(非纯文档项目),关键文件:
models/three_chain_mamba2.pytrain.pyeval_ood.pydata/dataset.pydata/gen_sdd_grid.pyscripts_sdd/eval_ood_advanced.pyscripts_sdd/eval_negative_shadow.py📦 秒级验证(无需训练,直接下载预训练权重)
不想花几小时训练?直接下载 3.26M GridWorld 预训练权重(
best.pt,39 MB),10 秒内见证 OOD 长程外推不退化:🛠️ 从零训练(完整复现)
复现实验数据:41+ 实验原始指标 JSON 留存于
results_stage2/(SDD 真实数据)、results_stage3/(机制消融)、results_wsl/(WSL2 本地基准)目录,指标可追溯。🎯 解决什么问题
状态空间模型(Mamba/SSD)在 分布外(OOD)长序列 上会退化——测试长度超过训练长度时,预测塌缩成全猜 0。这是 SSM 的”越外推越失忆”问题。本工作用三链并行 SSM + AnchorInit2 结构性锚定治好该问题。
📊 核心结果
主结果:规模-decay 曲线(GridWorld 离散符号动力学)
主结论:100M→1.13B 全部 converged 实验,单点 decay 与窗口 decay 双双全部落在 ±2% 内;5× 外推(T=500)仍保持(单点 decay=+0.36%)。大模型方差更小(1B spread=0.5% < 100M 1.7%),说明大模型不仅不退化,训练更稳定。
早期基准(3.26M 三链 vs 基线,5 seed)
控制实验(严谨性证据)
--shuffle_labels详见 figures/control_experiments.png 与 figures/seed_stability.png。
🧬 架构:三链螺旋扫描同一张量
三链共享同一个统一时空张量
x:(B,T,N²,d),作为 3 种扫描视角,每层残差融合:关键设计(从 6 个失败模式中学到的教训):
x:(B,T,N²,d),不是分支独立d_state/expand/headdim🔬 机制深挖:AnchorInit2 结构性锚定(三层保障)
为回答”为什么 SSM 不退化而 Transformer 退化”,设计了 5 个可证伪假说(H1–H5),通过 3 组实验严格验证(3 支持 / 2 推翻,推翻也诚实记录)。
三层保障机制
AnchorInit2 =
x = cell_embed(S_0) + act_mean + time_emb,提供 O(1) 复杂度的初始锚定。关键反直觉发现:H5 推翻
对 SSM 与 Transformer 各注入扰动信号,测量 retention(t):
Transformer 完美保留 99.4% 输入信号,但预测完全崩溃——推翻了”Transformer 退化因注意力稀释信号”的假说,揭示 **”信号保留 ≠ 预测质量”**:根因是 Transformer 缺 AnchorInit2 锚定,无法建立有效的时间外推映射。
详见 paper/mechanism_analysis.md 与 figures/stage3_3_retention.png。
🧪 实验亮点:双场景验证
场景一:GridWorld 参数扩展实验(30M → 1.13B)
场景二:SDD 真实数据(Stanford Drone Dataset)
脱离 toy 网格世界,验证 SSM 不退化机制在真实长程序列上成立。零模型改动(不改
models/three_chain_mamba2.py),只新增数据生成 + 配置,严格控制变量。🔬 Nexus 多智能体场景核心数据(评审首页直读,无需点进报告)
Nexus 三大发现:
完整数据见 paper/stage2_sdd_report.md §7 与 paper/Nexus消融实验验证报告.pdf。
use_checkpoint: true梯度检查点详见 paper/stage2_sdd_report.md 与 figures/stage2_sdd_3k_vs_10k.png。
🛠️ 安装与使用
环境要求
mamba_ssm预编译 wheel)安装
快速开始
大规模训练(100M → 1.13B)
📁 仓库结构
🔬 可复现性
[42, 123, 456, 789, 1024];大规模实验用[0, 1, 2]。zero_ratio < 0.90(不能全猜 0)changed_acc > 0.30(比随机 1/16 = 0.0625 强)d_conv ∈ {2,3,4};空间链expand=1必须headdim=32;headdim必须整除d_model*expand;1B 训练需 gradient checkpointing(25GB → 10.2GB)。🗺️ 路线图
📝 引用
论文(arXiv 预印本)即将上线,LaTeX 源见 paper/。
许可证
MIT——见 LICENSE。