目录

大模型全链路开发

本仓库为《大模型全链路开发:基于书生开源体系的项目实战》的配套资源,面向课程教学、实验训练和项目实践。仓库内容包括实验活动(含配套脚本)、课件资源和教学大纲模板。

仓库结构

Full_Link_Development_of_Large_Models/
├── 实验资源/                    # 实验活动、配套脚本(starter)、前置环境
├── 课件资源/                    # PPT 与互动课件
├── 教学大纲模板/                # 教学大纲参考模板
├── LICENSE
└── README.md

配套脚本放在各章 实验资源/第0N章/starter/,与活动文档在一起。在模力方舟 JupyterLab 终端克隆本仓库后,按 前置环境说明 拷贝到 /data/chapterN/starter(第5章无 starter,评测代码按该章活动安装到 /data/opencompass)。

章节目录

章节 内容 活动与脚本
第1章 大模型时代与开源生态导论 实验资源/第01章starter/
第2章 前置技能与开源协作实践 实验资源/第02章starter/
第3章 书生大模型体系全解析 实验资源/第03章starter/
第4章 大模型部署实战:LMDeploy 推理 实验资源/第04章starter/
第5章 大模型评测体系(基于 OpenCompass) 实验资源/第05章(无 starter,使用 OpenCompass)
第6章 基于 InternVL 的多模态应用开发 实验资源/第06章starter/
第7章 大模型微调实战:XTuner 实验资源/第07章starter/
第8章 大模型进阶开发应用 实验资源/第08章starter/
第9章 综合项目:从模型到可交付应用 实验资源/第09章starter/

完整入口见 实验资源/README.md

实验资源

开始任一章节实践前,先阅读 前置环境说明。课程实践优先推荐沐曦 GPU 在线算力环境:在 JupyterLab 终端完成 GPU 自查、克隆本仓库并拷贝各章 starter。16GB 切片实例默认使用 InternLM2.5-1.8B-Chat,不要按教材原文加载 InternLM3-8B FP16。

环境说明

  • 推荐环境:沐曦 GPU 在线算力环境(如曦云 C500,建议 16GB 及以上显存)
  • 可选环境:NVIDIA GPU 或其他已适配国产算力平台
  • 基础工具:Python 3.10+、Git、conda 或 mamba

不同章节使用的框架和依赖可能不同,请以对应章节实验说明为准。

快速开始

在模力方舟实例中打开 JupyterLab,于终端执行(完整命令见 前置环境说明):

cd /data
git clone https://www.gitlink.org.cn/ccf-ai-infra/Full_Link_Development_of_Large_Models.git

克隆后按前置环境说明将各章 starter 拷贝到 /data/chapterN/starter,再打开对应章节活动文档整段复制命令。

资源说明

  • 实验资源/:实验活动说明、截图、操作步骤,以及各章 starter/ 配套脚本
  • 课件资源/:课堂讲授版 PPT 与互动 HTML。GitLink 网页里点 HTML 不会当成课件打开(只显示源码)。请克隆后双击 课件资源/打开课件.bat,或运行 python 课件资源/serve.py
  • 教学大纲模板/:课程建设和申报可参考的教学大纲模板

维护约定

  • 新增或修改配套脚本,放入对应的 实验资源/第XX章/starter/
  • 新增实验文档放入对应的 实验资源/第XX章/ 目录。
  • Markdown 图片使用相对路径,章节图片放在本章 assets/ 目录。
  • 提交前确认文档链接、图片路径和代码运行方式可复现。

项目治理

本项目以小而透明的治理方式运转,欢迎所有人参与课程建设与迭代:

  • GOVERNANCE.md — 治理章程:角色晋升、决策与冲突机制、许可证与 CLA
  • CONTRIBUTING.md — 贡献指南:Fork+PR 工作流、CLA 签署、目录与内容规范
  • CODE_OF_CONDUCT.md — 行为准则:社区行为规范与投诉流程
  • ROADMAP.md — 课程迭代路线图:版本与待办跟踪

贡献指南

欢迎提交 Issue 和 Pull Request!提交前请阅读 CONTRIBUTING.md 了解工作流与规范,并确认代码可复现、文档完整。各章实验规范见 实验资源

开源协议

本项目基于 MulanPSL-2.0 开源。

联系方式

  • 维护者:zhuxinrong
  • 社区:ODTC AI Infra
关于

本书以当前书生开源体系为主线,围绕 InternLM3 通用语言模型、InternVL 多模态模型、Intern-S 科学智能能力,以及 LMDeploy、OpenCompass、XTuner 等工程工具链,把模型认知、部署推理、能力评测、多模态数据处理、微调训练、RAG、Agent 与综合交付串联起来,形成了一条清晰的大模型工程学习路径。

41.1 MB
邀请码
    Gitlink(确实开源)
  • 加入我们
  • 官网邮箱:gitlink@ccf.org.cn
  • QQ群
  • QQ群
  • 公众号
  • 公众号

版权所有:中国计算机学会技术支持:开源发展技术委员会
京ICP备13000930号-9 京公网安备 11010802047560号