目录
目录README.md

赛题题目:基于Linux操作系统的异构融合推理加速系统

赛题说明:

在算力需求爆发式增长的背景下,CPU与硬件加速器(如NPU/GPU)的深度协同成为突破计算瓶颈的核心方向。本赛题基于ARM系列处理器(例如鲲鹏920系列)和Linux系列操作系统,要求开发者构建高效异构加速系统,可通过指令集优化、任务卸载、内存共享等技术提升大模型推理整体性能,重点考察异构资源调度、跨设备通信优化等关键技术,推动自主可控的异构计算架构发展。

赛题要求:

CPU使用ARM系列处理器(例如鲲鹏920系列);操作系统基于较新的Linux内核(6.6及以上);可自由选择一种加速卡(昇腾/NVIDIA/天数智芯等); 实现CPU与加速器的动态任务分配机制(如基于负载预测的任务拆分);可以(但不强制)使用ARM NEON/SVE指令集优化CPU侧计算模块;设计CPU与加速器间的零拷贝数据传输方案;

输出成果:

  • 支持异构任务调度的完整系统(含自动化部署脚本)
  • 技术白皮书说明异构架构设计
  • 性能分析报告(需要分析吞吐量和并发量,以及参赛选手硬件配置下的基线数据。)
    说明(以下数据需要在加速卡上测算)
    基线吞吐量 token/s 在50个batch时的最大吞吐量
    基线并发量 单个batch下,吞吐量>10token/s时的最大并发量

    评分标准:

  • 异构调度策略:推理任务能够在CPU测、GPU测进行动态调度,能够充分利用CPU、GPU资源;需要测试在50个batch下的双侧最大吞吐量和并发量;验收数据包括:在50个batch时的最大吞吐量、保障单batch吞吐量>10tokens/s时的最大并发量;
  • CPU侧优化加速效果:在CPU测的性能提升效果,相较于基线数据的性能提升效果,验收数据同上
  • 工程质量:
  • 代码可维护性(模块化设计、单元测试覆盖率)
  • 文档完整性(部署手册、性能调优指南) 创新性提示:鼓励探索鲲鹏920的独特架构特性(如NUMA拓扑)与加速器的深度协同,允许结合openEuler的异构计算框架(如KubeEdge、Volcano)实现资源编排。

赛题联系人:

参考资料:

参赛资源支持:

若参赛者使用鲲鹏系列处理器+openEuler操作系统,可由华为公司负责提供相应资源

赛题交流讨论链接:

https://www.chaspark.com/#/races/competitions/1136097463933284352

关于
29.0 KB
邀请码
    Gitlink(确实开源)
  • 加入我们
  • 官网邮箱:gitlink@ccf.org.cn
  • QQ群
  • QQ群
  • 公众号
  • 公众号

©Copyright 2023 CCF 开源发展委员会
Powered by Trustie& IntelliDE 京ICP备13000930号