面向 CCF AKG 算子生成挑战的 AI Agent 项目计划书

基本信息

完整项目请见邮箱中的仓库连接，具体实现不在公开PR中展示

项目	内容
项目名称	面向 AKG 算子生成挑战的 AI 辅助算子生成 Agent
参赛队伍	NJU_Team
团队成员	徐子轩、雷业成
指导老师	刘杰
所在单位	南京大学计算机学院
联系方式	241220035@smail.nju.edu.cn

一、项目概述

1.1 背景与意义

昇腾 NPU（Ascend）是国产 AI 加速算力的核心底座，但其算子生态相比 CUDA 仍有 明显差距：手写算子开发周期长、门槛高，新型大模型（DeepSeek-V3、Mamba、FLA 等） 对融合算子和定制 kernel 的需求又持续增长。传统编译栈（TVM/Ansor、AKG）依赖 大量人工模板与调度搜索，难以快速响应新模型。传统手工算子开发依赖专家经验，迭代周期长；而大模型已经具备较强的代码生成、日志理解和错误修复能力，为自动化算子开发提供了新的可能。本项目的核心主张 是将 LLM Agent 与昇腾编译栈（AKG / Triton-Ascend / torch_npu）深度耦合，构造一个能够「读题 → 生成 → 验证 → 修复 → 评测」闭环的算子自动生成系统，在给定参考实现（PyTorch Model）的前提下，自动产出在 Ascend 910B 上数值等价且更快的 ModelNew 实现。

1.2 核心目标

本项目拟构建一个面向 AKG Benchmark 的 AI Agent 系统，使其围绕任务、知识库、技能和评测结果形成闭环。核心目标包括：

• 在akg_kernels_bench_lite上的Cases中，实现高准确率和推理速度
• 将算子优化过程结构化为可复现的研究循环，而不是零散的人工试错。
• 将成功经验、失败原因和硬件/算子知识沉淀为 Wiki 与 Skill，降低后续 case 的探索成本。
• 在正确性约束下持续提高候选实现性能，形成可解释、可回溯的算子生成结果。
• 产出可运行的 Agent 代码、算子生成结果、验证报告、AI 应用设计文档和可复用 Skill/Prompt。

二、团队介绍与前期基础

2.1 团队组成

1. 团队成员

• 南京大学计算机学院 徐子轩
• 南京大学计算机学院 雷业成

1. 指导老师：

• 南京大学计算机学院 刘杰

2.2 相关基础

团队成员具备人工智能和计算机系统方向的基础训练，主要研究经历包括多模态大模型、模型压缩、特征对齐和大模型安全等方向。项目所需能力包括大模型调用、提示词设计、代码生成、自动化实验、Python/PyTorch 开发、运行日志分析和实验复现，均与团队已有训练基础相匹配。

在前期准备中，团队已梳理 AKG相关文档、Benchmark 任务形态和 Agent 工程结构。项目仓库中将使用 tasks 管理待优化任务，使用 wikis 记录参考资料与实验过程，并围绕 skills 组织可复用的研究、运行和优化能力。

三、系统设计

3.1 设计原则

本项目的设计原则是：以 benchmark 反馈驱动生成，以 Wiki 记忆降低重复探索。

Agent 不是一个只负责写代码的组件，而是一个围绕任务持续迭代的研究执行器。每个优化任务都包含四类状态：

• Task：待优化 case、当前目标、输入输出、当前 best 结果和终止条件。
• Wiki：历史实验、失败原因、硬件资源、best practice 和参考实现分析。Wiki构成 Agent 的外部记忆，使系统能够跨 case 复用知识，而不是每次从空白上下文重新开始。

3.2 Agent Research Loop

系统核心循环为：

Tasks
  -> Explore(past experiments and wikis)
  -> Refine Code
  -> Run Benchmarks
  -> Keep / Iterate
  -> Record to Wiki
  -> Finish or Next Loop

具体过程如下：

1. Tasks 提供待优化目标，包括 Benchmark case、当前 best、输入输出契约和约束条件。
2. Agent 进入 Explore，查询既有 Wiki、历史实验和相关 Skill，选择候选路线。
3. Agent 在 Refine Code 中生成或修改候选实现，并记录关键假设、shape 约束和代码 diff。
4. 系统进入 Run Benchmarks，获得正确性、latency、错误日志和 profile 信息。
5. 如果结果优于当前 best，则记录结果、保留代码并写入 Wiki；否则继续迭代，反思失败原因并继续探索。
6. 当候选满足正确性、性能和复现性要求时，将其作为当前 case 的输出结果。

3.3 Wiki

Wiki是Agent Loop中的用于搜集、获取外部知识的关键组件，使用md记录从公开仓库中算子开发的优秀实践、昇腾 NPU硬件细节等外部知识，以及项目在不断迭代过程中积累下来的内部知识、实验记录。具体而言包括：

• refer：AKG文档、硬件资源、算子优化 best practice。
• case 分析：每个 Benchmark case 的输入输出契约、算子模式和潜在优化方向。
• 实验记录：候选实现、运行命令、正确性结果、latency、错误日志和结论。
• 失败知识：不可行实现、编译限制、数值误差来源和性能回退原因。

Agent在实验过程中可以将探索过程中发现的Good Practice记录到wiki中，通过wiki实现跨会话、多Agent的知识共享。

3.4 Skills 机制

通过Skills实现对可复用操作流程的封装，项目拟组织以下几类 Skill：

• research-wiki：用于查询、整理、更新 Wiki；给Agent暴露Query、Write等接口；同时设计subagent来学习
• run-benchmarks：规范化运行 benchmark，提取正确性、性能和错误日志。
• research-loop：自动进入 explore -> refine -> test -> record 的优化循环。
• kernel-specific skills：针对 softmax、matmul、RMSNorm、RoPE、MoE 等不同的算子专门迭代、优化不同的策略。

3.5 Harness Independent 架构无关

随着Claude Code、Codex等前沿AI编程工具（Harness）的发展，编程脚手架已经相对成熟，且Coding Harness和模型呈现出来“协同进化”的趋势，即特定模型只有在和特定的编程脚手架协作的时候才能表现得更好，自研Coding Harness的收益并不大。因此，我们选择设计更好的实验流程、Skills和Prompt，并且主动适配到不同的Coding Harness中（如Pi、Claude Code、Opencode等）。

预计创新点

5.1 从代码生成到研究循环

项目不把 AI 用作单次代码补全工具，而是将其置于 explore -> refine -> benchmark -> record 的研究循环中。模型输出必须经过真实运行反馈检验，反馈结果继续影响下一轮生成。

5.2 Wiki 驱动的长期记忆

算子优化包含大量局部经验，例如某个 API 的限制、某类 shape 的性能特征、某种融合方式的数值风险。项目用 Wiki 记录这些经验，使 Agent 可以从历史中学习，减少重复失败。Agent可以通过脚本来快速检索到相关的探索和尝试记录，降低试错成本。

5.3 自动化、规范化开发工作流

项目计划将运行 benchmark、整理 Wiki、修复错误、分析算子模式等流程封装为 Skill。Skill 使 Agent 的能力可以逐步扩展，也方便评估不同方法对生成效果的影响；

6.1 预期成果

项目预期形成以下成果：

• 可运行的算子生成 Agent 代码。
• 面向 Benchmark 的生成结果与验证报告。
• AI 应用设计文档，包括模型选型、提示词工程、Agent 流程和错误修复策略。
• 完整的kernel开发工作流。

6.2 评价指标

综合考虑算子生成质量、AI技术应用深度、AI辅助工作技能等维度。

维度	评价方式
正确性	候选实现是否通过 Benchmark 正确性检查，是否存在 NaN/Inf、dtype 或 device 问题。
性能	在正确性通过前提下比较 baseline latency 与候选 latency，记录 speedup 和波动范围。
复现性	每个结果是否保存代码版本、运行命令、日志、Prompt 和实验结论。
知识沉淀	成功经验和失败原因是否写入 Wiki，并能被后续 case 检索利用。
Agent 效率	同一 case 中有效候选出现所需的迭代轮次，以及 Skill/Prompt 对搜索效率的贡献。

6.3 初步成果

项目当前已完成两组基准测试对比，评估 Agent 系统在 AKG Benchmark 上的效果：

对比维度	baseline-adaptive-search（DeepSeek-v4-flash 裸模型）	cc-deepseek（DeepSeek-v4-flash + Claude Code + Kernel PI）
总 case 数	12	13
正确性通过数	6 / 12	12 / 13
正确性通过率	50.0%	92.3%
加权总分	367.51	1157.87
平均加速比	1.0751	1.9553
t1 加权得分	140.19	281.85
t2 加权得分	207.70	445.18
t3 加权得分	19.62	430.84
t3 通过率	1 / 3 (33.3%)	3 / 3 (100%)

七、前期工作与可行性

团队已完成以下前期准备：

• 梳理 AKG相关文档和 Benchmark 任务形态。
• 明确 Agent 系统的核心设计：tasks、wikis、skills 和 benchmark feedback loop。
• 设计 research-wiki、run-benchmarks、research-loop 等核心 Skill 方向。
• 明确 case 级实验记录格式：候选实现、运行命令、正确性结果、latency、错误日志和结论。

项目可行性主要来自三点：

• Benchmark 提供明确的正确性和性能反馈，适合构建自动迭代闭环。
• LLM 适合承担候选生成、日志解释和重复修复工作，可以显著降低人工试错成本。
• Wiki 与 Skill 机制可以把一次 case 的经验迁移到后续 case，避免每个算子从零开始。

八、参考资料

1. CCF AKG 算子生成挑战赛赛程与任务说明。
2. AKG 开源仓库：https://www.gitlink.org.cn/mindspore-ai/akg
3. AKG 开源仓库：https://atomgit.com/mindspore/akg
4. PyTorch、torch_npu 与昇腾 NPU 相关文档。