更新README
欢迎参加 GPU 算子优化挑战赛 🎯!本比赛旨在通过优化深度学习框架中的核心计算模块,提升大模型的运行效率。在本仓库中,你可以提交你的优化代码、测试样例和使用说明。
随着大语言模型(LLM, 如 ChatGPT 等)的广泛使用,其在运行推理时对计算资源的要求越来越高,出现了所谓的 “三高” 问题:
本次挑战赛正是为了解决这些问题,鼓励选手优化 GPU 上的底层算子(即最基础的数学运算模块),提高模型推理效率。
本次挑战主要有两个技术方向:
👉 项目目标:在不更换硬件的前提下,让推理速度提升 30%!
本竞赛旨在评估参赛者在GPU并行计算领域的算法优化能力。为了快速让参赛者进入比赛状态,我们提供了三个核心算法的高性能版本参考,供参赛选手不断优化性能:
三个核心算法赛题模板
git clone https://gitlink.com/gitlinkuseid/GPUKernelContest.git
备注:gitlinkuseid替换您的url。
gitlinkuseid替换您的url
# 进入Clone的仓库 cd GPUKernelContest # 创建以赛题ID为名称的目录 mkdir -p S1/3
# 创建后的目录结构如下: GPUKernelContest ├── cp_template(说明:赛目模板目录) ├── S1(说明:第一季比赛名) │ ├── 3(说明:以自己创建赛题ID命名目录存放自己需要提交的内容)
cp_template
3
# cp -r cp_template/* S1/3
├── S1(说明:第一季比赛名) │ ├── 3(说明:以自己创建赛题ID命名目录存放自己需要提交的内容) | | ├── utils │ | ├── reduce_sum_algorithm.maca │ | ├── run.sh(说明:作为CI自动测试验证的入口) | | └── sort_pair_algorithm.maca | | └── topk_pair_algorithm.maca │ └── ……
选手赛题目录内提供了编译、测试的脚本,供选手熟悉比赛环境,步骤如下:
# !!!注意参赛选手需要根据自己的赛题ID进入自己完成题目的目录!!!! cd S1/3
编译并运行所有算法测试(默认行为),如下:
./run.sh
单个或几个赛题测试验证,修改run.sh脚本,详细如下:
run.sh
#!/bin/bash # 单个赛题测试验证(ReduceSum算法) ./build_and_run.sh --run_reduce
编译运行单个ReduceSum测试如下:
./run.sh # ReduceSum算法
# 仅编译所有算法,不运行测试 ./build_and_run.sh --build-only # 单个运行不同算法的测试 ./build/test_reducesum [correctness|performance|all] ./build/test_sortpair [correctness|performance|all] ./build/test_topkpair [correctness|performance|all]
对于如何提交可参考:如何贡献
每次合并的提交会按以下规则评分:
注释事项,非AI Infra组下的项目PR需在赛题Iusse中提供合并记录,并确保和参赛时使用邮箱一致的提交邮箱方为有效。
注意: 加分项只针对于在基础得分相同的情况下通过加分项来区分不同的排名和后续优秀选手的参考。
你可以参考以下项目仓库,了解算子开发与提交格式:
如需帮助或有疑问,请联系主办方或在项目中发起 Issue。
祝你挑战顺利,优化出更快的大模型推理体验!🚀
©Copyright 2023 CCF 开源发展委员会 Powered by Trustie& IntelliDE 京ICP备13000930号
子赛题三、GPU 算子优化挑战赛
欢迎参加 GPU 算子优化挑战赛 🎯!
本比赛旨在通过优化深度学习框架中的核心计算模块,提升大模型的运行效率。在本仓库中,你可以提交你的优化代码、测试样例和使用说明。
🧠 比赛背景简介
随着大语言模型(LLM, 如 ChatGPT 等)的广泛使用,其在运行推理时对计算资源的要求越来越高,出现了所谓的 “三高” 问题:
本次挑战赛正是为了解决这些问题,鼓励选手优化 GPU 上的底层算子(即最基础的数学运算模块),提高模型推理效率。
🔧 挑战方向
本次挑战主要有两个技术方向:
Test Time Scaling 算子优化
👉 项目目标:在不更换硬件的前提下,让推理速度提升 30%!
🚀 快速上手
本竞赛旨在评估参赛者在GPU并行计算领域的算法优化能力。为了快速让参赛者进入比赛状态,我们提供了三个核心算法的高性能版本参考,供参赛选手不断优化性能:
三个核心算法赛题模板
📥 选手赛题准备
cp_template到赛题3目录编译和测试
选手赛题目录内提供了编译、测试的脚本,供选手熟悉比赛环境,步骤如下:
1. 编译和运行
编译并运行所有算法测试(默认行为),如下:
单个或几个赛题测试验证,修改
run.sh脚本,详细如下:编译运行单个ReduceSum测试如下:
2. 手动运行测试
对于如何提交可参考:如何贡献
✅ 参赛要求:
📦 提交内容包含:
📈 评分机制
每次合并的提交会按以下规则评分:
🎯 基础得分(Level):
✨ 加分项:
注意: 加分项只针对于在基础得分相同的情况下通过加分项来区分不同的排名和后续优秀选手的参考。
🏆 排名机制
📚 参考MACA开源项目仓库
你可以参考以下项目仓库,了解算子开发与提交格式:
💡 术语解释
📬 联系与帮助
如需帮助或有疑问,请联系主办方或在项目中发起 Issue。
祝你挑战顺利,优化出更快的大模型推理体验!🚀