vLLM-Ascend 决赛 CANN 9.0.0 验证日志

本仓库归档参赛队伍“南波万”的 vLLM-Ascend KV Cache Offloading 决赛项目 在固定 CANN 9.0.0 环境下产生的最终成功验证日志。

对应项目

• 项目仓库：https://gitlink.org.cn/ohanabi/temp.git
• 项目分支：finals-kv-offloading
• CANN 9.0.0 复测源码 HEAD： 65bd6f4818753144489386c130234310c67e7af1
• Native/LMCache 实现提交： 7f1c4bfb346acd8ffe634fc5d18ebe0658963bbe
• 高层回归测试提交： 383311137ff76a10f85495c973b91b1a3cb40cc3
• 验证日期：2026-07-31

后续文档和答辩材料提交不改变上述复测源码。完整实现、复现命令和结论边界以 项目仓库 docs/finals/REPRODUCTION.md 为准。

验证环境

组件	版本或提交
系统	Linux aarch64
NPU	单卡 Ascend 910B3
CANN Toolkit / 910B ops	9.0.0 B250
NNAL / ATB	9.0.0 B160
Python	3.11.15
PyTorch	2.10.0+cpu
torch-npu	2.10.0
Triton-Ascend	3.2.0，含上游兼容提交 e8c161c2...
vLLM	0.18.0，bcf2be96120005e9aea171927f85055a6a5c0cf6
LMCache	0.4.4，6fbec463e3c047fffb4e22c97508f03b057de3bc
LMCache-Ascend	79fc599dd2e3220de6cf8dd0d2b893549ed9d158

CANN 9.0.0 B250 已移除旧 device-limit API。Triton-Ascend 使用其上游提交 e8c161c28a80bddce5132b880d76c86d2f436e31 删除对应失效调用；这是环境兼容 前提，不属于 Native/LMCache 参数实现。

日志清单

文件	内容
logs/cann900-final-versions-and-paths.log	Python 与核心包实际版本、源码加载路径、Ascend build
logs/cann900-kv-offloading-unit.log	KV offloading 单元测试
logs/cann900-native-kv-offloading-transfer-triton-upstream-fix.log	Native 底层 NPU↔CPU round trip
logs/cann900-lmcache-kv-offloading-transfer.log	LMCache-Ascend 底层 NPU↔CPU round trip
logs/cann900-high-level-native.log	Native 高层三轮 external hit
logs/cann900-high-level-lmcache.log	LMCache 高层三轮 STORE/RETRIEVE 和 external hit
logs/cann900-kv-offloading-ruff.log	Ruff 静态检查
logs/cann900-kv-offloading-compileall.log	compileall；成功时标准输出为空，因此归档文件为 0 bytes

日志按原始字节保存，可能包含 ANSI 颜色转义序列和工具原始尾随空格。 .gitattributes 禁止 Git 对日志执行换行转换；SHA256SUMS 可用于核对归档后 内容是否发生变化。

最终结果

KV offloading unit tests: 9 passed in 0.77s
Native low-level NPU E2E: 1 passed in 1.78s
LMCache low-level NPU E2E: 1 passed in 3.45s
Native high-level E2E: 1 passed in 106.34s
LMCache high-level E2E: 1 passed in 63.60s
Ruff / compileall: passed

Backend	Run	Cold cached	External cached	External request	输出 token IDs
Native	1	0	256	0.526000s	完全一致
Native	2	0	256	0.542948s	完全一致
Native	3	0	256	0.551780s	完全一致
LMCache	1	0	256	0.548430s	完全一致
LMCache	2	0	256	0.572522s	完全一致
LMCache	3	0	256	0.563789s	完全一致

六轮 reset_prefix_cache() 均返回 True。LMCache 每轮均记录 Stored 256 与 Retrieved 256 tokens；Native 在清空本地 prefix cache 后仍恢复 256 cached tokens。冷请求与外部命中请求的输出 token IDs 完全一致。

结论边界

日志证明固定单卡 Ascend 910B3 / CANN 9.0.0 B250 环境中，两种 backend 能够 进入真实 NPU 和普通多进程 EngineCore，完成外部 KV 写入、恢复和模型消费。

请求耗时只用于证明测试在限定时间内完成，不作为性能提升结论。结果不对多卡、 其他 NPU、其他 CANN 版本或未测试模型作外推。