目录

NovaAscend vLLM Ascend 参数适配

本仓库是 NovaAscend 团队参加 2026 vLLM Ascend 参数适配赛题的源码交付, 两个参数按照比赛要求分别存放在独立目录:

参数 目录 核心交付
--kv-cache-memory-bytes kv-cache-memory-bytes/ 独立补丁、源码、测试、SKILL.md
--enable-return-routed-experts enable-return-routed-experts/ 独立补丁、源码、测试、SKILL.md

基线

仓库 Commit
vLLM 3f5a1e1733200760169ff31ebe60a271072b199e
vLLM Ascend ee3d3630ab390ec5f8f0787aef2c4d0a6f2e1e85

本仓库只提交 vLLM Ascend 范围的适配代码。vLLM Main commit 仅作为接口和 行为语义对齐基线。

验证结论

  • vLLM Ascend focused UT:89 passed, 3 skipped, 17 warnings
  • 完成 Ascend 910B2C 单卡离线推理、OpenAI API 和 benchmark 验证。
  • 完成两张物理 Ascend 910B2C、TP_SIZE=2 的多卡验证。
  • 显式 KV bytes 路径保留 profile_run() 编译/预热语义,并直接采用用户预算。
  • routed experts 关闭时不返回数据,开启时返回可解码、非全零的 uint8 payload。

补丁应用

在 vLLM Ascend 基线仓库根目录依次执行:

git apply --check ../NovaAscend/kv-cache-memory-bytes/patches/vllm-ascend.patch
git apply ../NovaAscend/kv-cache-memory-bytes/patches/vllm-ascend.patch
git apply --check ../NovaAscend/enable-return-routed-experts/patches/vllm-ascend.patch
git apply ../NovaAscend/enable-return-routed-experts/patches/vllm-ascend.patch

两个补丁修改范围互不重叠,可独立审阅和应用。

关于
367.0 KB
邀请码
    Gitlink(确实开源)
  • 加入我们
  • 官网邮箱:gitlink@ccf.org.cn
  • QQ群
  • QQ群
  • 公众号
  • 公众号

版权所有:中国计算机学会技术支持:开源发展技术委员会
京ICP备13000930号-9 京公网安备 11010802047560号