moe_mask_indices_by_tp：MetaX C500 参数特化实验

作者：侯博（GitLink：houbo）

实验日期：2026-10-23

本项目研究 MoE 专家索引按 TP rank 筛选与重映射的 Kernel。针对部署期间通常保持固定的 EP/TP 拓扑和 rank，将相关参数从运行期移到 JIT 编译期，在保持 int64 输入输出、原计算公式和 128 threads/block 的条件下评估性能收益。

已完成独立 Kernel 原型与 C500 前期实验。 五组冷缓存、rank=0 工作负载相对固定源实现的设备时间加速 1.3654～1.5135×；已测正确性与边界检查通过。正式 TileOPs 接口接入、最终三组 Benchmark 和逐工作负载 Profiler/Roofline 尚待完成。

结果

工作负载	T×K	n / EP / TP	源 Kernel μs	static128 μs	加速比
small	128×2	8 / 1 / 2	4.3008	2.8416	1.5135×
medium	512×4	16 / 1 / 4	4.3435	2.9269	1.4840×
large	1024×8	64 / 1 / 8	4.4373	2.9781	1.4900×
prefill	4096×8	128 / 2 / 8	4.7531	3.1915	1.4893×
decode	1×8	384 / 1 / 8	4.2411	3.1061	1.3654×

每组预热 10 次、测量 5 轮 × 30 次，取各轮均值的中位数。计时只覆盖目标 GPU Kernel，排除编译、分配、缓存冲刷和 CPU 提交间隙。所有性能结果采用 int64、TP rank=0；不能直接外推为完整模型端到端加速。

完整实验说明 · 逐轮原始数据 · 冷缓存日志

代码与证据入口

内容	文件
参数特化 Kernel、参考实现与候选版本比较	experiment_mask.py
原型接口：参数检查与空输入处理	candidate_mask.py
固定版本源 Kernel	upstream_mask_indices_by_tp.py
冷缓存复测与仓库计时器核对	confirm_mask.py
边界检查脚本与结果	edge_mask.py、edge-results.json
环境信息与源实现预检	preflight.log
Manifest 五个 n 值的最小修正	manifest-n.patch
原始记录完整性	SHA256SUMS.json、核对结果

阅读与复现

• 实验报告：环境、修改内容、正确性、性能口径和结论。
• 复现步骤：无需 GPU 的证据核对，以及 C500 上的运行方式。
• 来源与许可证：上游版本、代码继承关系和证据范围。
• 当前状态：已完成工作与正式验收的剩余项。

本仓库中的 evidence/ 保留实际运行的代码和输出。重新实验时复制到独立运行目录，避免覆盖原记录。

python3 tools/verify_evidence.py
python3 tools/summarize.py

上述两个命令仅使用 Python 标准库，不需要 GPU。Kernel 编译与性能复测需使用真实 MetaX C500 及配套 MACA 环境。

许可证

源 Kernel 来自 MetaX-MACA/TileKernels-Metax，遵循 MIT 许可证；原版权与许可文本保留在 LICENSE 和 evidence/LICENSE.source。

正式集成与提交前审阅（2026-10-24）

查看 C500 实现、最终测试、三方性能和 PR 草稿。该目录为独立审阅快照，尚未提交实现 PR。