赛题题目：基于量化技术的AI PC推理加速

赛题说明：

在AI PC大语言模型推理场景下，因大模型任务的特殊性，端侧设备资源算力有限而无法满足大模型的需求。因此，为了解决大模型任务在端侧场景下的应用，使大模型能高效使用端侧设备上各种有限的资源，本研究期望提供一种低比特量化加速技术，通过模型的低比特量化计算，缓解大模型在端侧算力不足的问题。

赛题要求：

• 基于开源操作系统研发及运行；
• 使用开源模型,例如qwen2.5_3b/7b；
• 提供一种4比特量化方法，可以基于开源框架中的量化工具；
• 使用4比特量化后的模型进行推理；
• 利用硬件加速或专用指令集进行低比特的计算，可以使用选择专用加速卡，赛事不提供硬件环境。

评分标准：

功能完整性（40%）：

• 量化后使用开源框架推理功能正常，推理速度高于使用开源框架中标准的q4量化方法量化的模型，且采用ceval等衡量模型推理能力指标的评估集相比原始模型分数差别不高于5%（60分）；
• 使用硬件加速功能进行计算（40分）。

性能优化（30%）：

• 有效控制精度损失范围（40分）；
• 有效降低计算资源占用（30分）；
• 有效降低存储需求量（30分）。

代码规范性（20%）：

• 代码结构清晰，模块化设计，便于维护和扩展，且必须完全开源（60分）；
• 注释完整性，特别是复杂逻辑部分（40分）。

文档质量（10%）：

• 文档详细清晰，包含安装方式及使用方法（50分）；
• 文档标明其创新性（50分）。

赛题联系人：

李真能 lizhenneng@kylinos.cn

参考资料：

• [1] https://arxiv.org/abs/2401.06118
• [2] https://arxiv.org/abs/2501.03035

参赛资源支持：

[1] 麒麟软件有限公司可提供软件开发环境