赛题题目：模型对算力等效建模评估

赛题说明：

随着AI模型在稠密计算、混合专家（MoE）、多模态、生成式推荐等场景的爆发式增长，算力需求的多样性与硬件资源的代际差异矛盾日益凸显。当前算力基础设施普遍面临跨代际硬件兼容性差、动态调度效率低、资源利用率不均衡等问题，亟需构建统一的算力等效建模能力，实现从模型参数（如BatchSize、序列长度）到硬件规格（如内存、带宽）的精准映射。 本赛题要求基于异构算力资源池（如GPU、NPU、FPGA等），设计一种支持多负载的算力需求表征框架，并开发动态调度工具，为模型部署提供量化依据。其意义在于突破传统算力评估的局限性，推动算力资源的高效分配与智能调度，助力智算中心实现从“盲目建设”到“按需供给”的转型。

赛题要求：

建模能力

1. 构建稠密、MoE、类o1、多模态及生成式推荐等多样化负载建模及算力等资源需求统一表征能力。
2. 构建模型等效算力度量工具，基于并发量、序列长度、硬件算力、模型大小，评估算力、内存、带宽的诉求。
3. 构建硬件算力的数量、型号提供相应的建议。

度量工具开发

构建开发动态评估工具，输入模型参数（并发量、序列长度、参数量等），输出可运行上述模型达到基线吞吐量（单一并发＞10 tokens/s）的最小算力需求（包括与硬件算力型号、显存、内存需求等）。

模型的输入输出参考如下：

模型输入数据参考（包括但不限于）

-	负载类型	模型参数	量化方案	并发量	最大tokens数
例如	MOE	70B	INT8	50	8096

模型输出数据参考（包括但不限于）

-	硬件算力型号	单卡显存	卡数	内存	内存带宽
例如	910b	32GB	8

负载类型包括：稠密模型、MoE模型、类o1模型、多模态模型、生成式推荐模型等。 硬件算力型号包括且不限制：昇腾系列NPU（910b、300I Duo等）、NVIDIA系列GPU（A100、H100等），其他系列的国产GPU也可。

评分标准：

模型覆盖度（40%）

• 支持多种模型类型，模型参数，量化方案，并发量，最大tokens数等负载建模能力（30分）；
• 支持多种硬件资源，显存，卡数等资源抽象能力（30分）；
• 建模方案。提供详细的负载、硬件资源的建模方案描述，给出度量依据、建模方法、参考文献、算法依据、计算过程等（40分）。

度量算法评估（40%）

• 算力需求预测误差：不同测试用例下，度量工具输出的模型算力需求与实际运行真值偏差（100分）。

代码、文档完整性（20%）

• 代码结构清晰，模块化设计，便于维护和扩展。重要代码注释完整。且必须完全开源（50分）；
• 文档详细清晰，包含安装方式及使用方法（50分）。

赛题联系人：

肖春阳 xiaochunyang2@huawei.com 杜开田 dukaitian@huawei.com

参考资料：

[1] https://mp.weixin.qq.com/s?__biz=MzkxODcxNTExMg==&mid=2247483667&idx=1&sn=d74b229af0b38c1346492bc2ace866a2&chksm=c0443692d0a4d28cd931aa4b913c55ecebcb30bd290d673dc7f23e722dc3685ef3aeeba5f833#rd

参赛资源支持：

可提供部分实验用国产算力支持。

赛题交流讨论链接：

https://www.chaspark.com/#/races/competitions/1136112499085860864