目录

MetaXTokenPlan4AIGC

从模型调用到智能体应用:基于沐曦 Token Plan 的 AIGC 开发实践课程。

从第一次 API 调用开始,逐步学习工具调用、候选搜索与回溯、多模态工作流和能力编排。你将结合 Python 与 AI 编程助手,完成跑步建议、单词方阵求解、六格连环画等实践,最后尝试把已有能力接入自己的 R2-D2 主助手。

课程围绕六个主题设计,以“理解原理、动手实现、验证结果”为学习主线。

从这里开始

  1. **完成课前环境准备**:领取并兑换算力券、开通适用资源包、创建 API Key,配置 VS Code + Cline 或 OpenCode。
  2. 按课程导航继续实践:先看课件和实验手册,再按项目 README 安装依赖、运行示例或完成开发任务。
  3. 保留可验证的结果:记录运行命令、输出和遇到的问题,按各课手册完成验收与提交。

建议使用 Python 3.11 或 3.12,具体依赖以各项目说明为准。模型通过云端 API 调用,本地无需部署大模型或配置 GPU。

课程导航

课次 学习内容与实践成果
第一课 · 模型调用 理解 API、Prompt、Messages 与流式响应;完成文本生成、图片理解和图片生成调用
第二课 · 工具调用 让 Agent 查询天气、空气质量并尝试规划路线;观察工具调用循环和基于规则的跑步建议
第三课 · 搜索与回溯 求解 5×5 英文单词方阵;对比一次生成、逐步求解、候选比较与失败回退
第四课 · Skill 将一句话故事转成角色设定、六格分镜和图片,拼成带中文字幕的连环画,并封装为可调用流程
第五课 · 模型评测 围绕统一题集进行多模型调用、评分和结果比较
第六课 · 主助手编排 使用 AI 编程助手开发 R2-D2,接入跑步 Agent 与连环画 Skill,完成单项调用和组合任务

课件用于理解概念,实验手册给出指导、任务与验收标准,项目 README 说明配置与运行方式。

这门课想解决什么问题

接通模型 API 是起点。要让应用完成实际任务,还需要解决:什么时候调用工具、如何检查模型输出、失败后如何继续,以及怎样把多个步骤组织成可复用的能力。

课程用具体项目逐步回答这些问题:

  • 模型调用:认识请求、响应和模型能力边界,验证文本与图像接口是否真正可用。
  • 工具调用:让模型提出工具请求,由程序校验参数、执行工具并返回结果。
  • 搜索与回溯:把求解状态和约束交给程序管理,比较多个候选,在失败后尝试其他路径。
  • Skill 封装:将故事拆分、生成与拼版组织成完整流程,说明其输入、输出和使用条件。
  • 模型评测:学习用一致的任务和指标比较效果,而不只凭单次回答判断优劣。
  • 能力编排:让主助手选择并调用已有能力,根据实际执行结果完成任务。

课程聚焦应用开发,无需机器学习或模型训练背景。适合具备基本 Python 阅读能力、愿意使用终端和编辑配置文件,希望动手构建 AIGC 与 Agent 应用的学习者。

各课如何衔接

前五课分别练习一种核心能力,第六课需要复用前几课的结果,建议按照课程顺序完成全部的学习。

仓库结构

MetaXTokenPlan4AIGC/
├── README.md
├── LICENSE
├── docs/
│   └── setup.md                 # 算力券领取、工具安装与 API 配置
├── 第一课/
│   ├── 第一课ppt.pptx
│   ├── 第一课实验手册.md
│   └── lesson1-model-calls/     # 文本、图片理解与图片生成
├── 第二课/
│   ├── 第二课ppt.pptx
│   ├── 第二课实验手册.md
│   └── lesson2-running-agent/   # 跑步 Agent 与工具调用
├── 第三课/
│   ├── 第三课ppt.pptx
│   ├── 第三课实验手册.md
│   └── lesson3-word-maze/       # 单词方阵、候选比较与回溯
├── 第四课/
│   ├── 第四课ppt.pptx
│   ├── 第四课实验手册.md
│   └── lesson4-comic-skill/     # 六格连环画与 Skill 封装
├── 第五课/
│   ├── 第五课ppt.pptx
│   ├── 第五课实验手册.md
│   └── lesson5-llm-evals/     # 评测官网页应用:多模型考试、判分与排名
└── 第六课/
    ├── 第六课ppt.pptx
    ├── 第六课实验手册.md
    └── lesson6-assistant/      # 主助手开发起点与接入材料

模型与配置说明

算力接入按环境准备文档完成:沐曦开发者社区领取兑换码 → 模力方舟兑换算力券 → 抵扣适用资源包 → 创建访问令牌。算力券兑换码与 API Key 是不同凭据;活动资格、适用模型、额度和有效期以平台实际显示为准。

Cline 或 OpenCode 中配置的模型用于辅助开发,课程 Python 程序还需读取各项目自己的配置。工具里能正常聊天,并不代表课程脚本已经配置完成。

使用时请注意:

  • 从已开通资源的模型详情复制准确的 Model ID,并核对接口地址、输入输出能力及工具调用支持。
  • 按各课说明准备本地配置,不要用第四课的两模型配置覆盖第一课的三模型配置。
  • 真实 API Key 不应进入源码、公开配置模板、截图或提交记录;提交前检查差异,尤其注意已经被 Git 跟踪的配置文件。
  • 真实模型调用和图片生成会消耗额度。先完成小规模验证,失败时查看错误原因,再决定是否重试。

交流与提交

请在本仓库的 Issue 区反馈问题或交流实践结果。提交作业时优先使用课程组织者指定的对应 Issue,并遵循各课实验手册中的要求。

为了便于复现问题,建议附上:课次、操作系统与 Python 版本、执行目录和命令、预期结果,以及已去除密钥等敏感信息的错误日志。涉及外部服务时,请注明使用的是 Mock 还是真实接口。

欢迎提交文档修正、问题复现和代码改进。修改示例程序时,请同时说明验证方式与结果。

许可证

本仓库采用木兰宽松许可证,第 2 版(MulanPSL-2.0)。

邀请码
    Gitlink(确实开源)
  • 加入我们
  • 官网邮箱:gitlink@ccf.org.cn
  • QQ群
  • QQ群
  • 公众号
  • 公众号

版权所有:中国计算机学会技术支持:开源发展技术委员会
京ICP备13000930号-9 京公网安备 11010802047560号