Unlock-DeepSeek

English Readme • | 中文 Readme

面向广泛 AI 研究爱好者群体的 DeepSeek 系列工作解读、扩展和复现，致力于传播 DeepSeek 在 AGI 实践之路上的创新性成果，并提供从 0 代码实现，打造 LLM 前沿技术教学项目。

项目受众

• 有大语言模型相关概念基础，具有大学数理能力的初学者
• 希望进一步了解深度推理的学习者
• 希望将推理模型运用到实际工作中的从业人员

项目亮点

我们将 DeepSeek-R1 及其系列工作拆分为三个重要部分：

• MoE
• Reasoning
• Infra

与大众的关注性价比优势不同，我们关注 DeepSeek 在实践 AGI 之路的创新性工作，致力于将 DeepSeek 现有公开工作细分拆解，向更广泛的 AI 研究爱好者讲述清楚其中的创新方法细节，同时我们会对比介绍同期其他类似工作（如 Kimi-K1.5），呈现 AGI 之路的不同可能性

我们也将结合其他社区的工作，探索 DeepSeek-R1 的复现方案，提供中文复现教程

目录

§1 MoE: DeepSeek 所坚持的架构

•  1.1 MoE 简介 @姜舒凡

•  1.2 MoE 结构的代码实现

•  1.3 DeepSeek MoE @姜舒凡

§2 Reasoning: DeepSeek-R1 的核心能力

 2.1 推理模型介绍

•   2.1.1 LLM and Reasoning

•   2.1.2 推理效果可视化

•   2.1.3 OpenAI-o1与Inference Scaling Law

•   2.1.4 Qwen-QwQ and Qwen-QVQ

•   2.1.5 DeepSeek-R1 and DeepSeek-R1-Zero

•   2.1.6 Kimi-K1.5

 2.2 推理模型关键算法原理

•   2.2.1 CoT，ToT，GoT

•   2.2.2 蒙特卡洛树搜索 @姜舒凡

•   2.2.3 强化学习概念速览

•   2.2.4 DPO

•   2.2.5 PPO

•   2.2.6 GRPO

§3 Infra: DeepSeek 训练高效且便宜的关键

•  3.1 FlashMLA

•  3.2 DeepEP

•  3.3 DeepGEMM

•  3.4 DualPipe & EPLB

•  3.5 3FS

§reproduction: 对于重要工作的代码复现

•  Datawhale-R1

核心贡献者

• 骆秀韬 - 项目负责人 （似然实验室）
• 姜舒凡 - 项目负责人 （华东理工大学）
• 邓恺俊 （深圳大学）
• 陈嘉诺 （广州大学）
• 林景豪 （智谱）

参与贡献

• 如果你发现了一些问题，可以提Issue进行反馈
• 如果你想参与贡献本项目，欢迎提Pull request，请遵循fork-pr规范

提交规范

• feat: 用于新功能（例如，feat: 添加新的 AI 模型）
• fix: 用于错误修复（例如，fix: 解决内存泄漏问题）
• docs: 用于文档更新（例如，docs: 更新贡献指南）
• style: 用于代码风格变更（例如，style: 重构代码格式）
• refactor: 用于代码重构（例如，refactor: 优化数据处理）
• test: 用于添加或更新测试（例如，test: 为新功能添加单元测试）
• chore: 用于维护任务（例如，chore: 更新依赖项）

致谢

我们衷心感谢以下开源工作，使我们能够构建这个项目：

DeepSeek

Open-R1

trl

mini-deepseek-r1

TinyZero

flash-attn

modelscope

vllm

关注我们

LICENSE

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

注：默认使用CC 4.0协议，也可根据自身项目情况选用其他协议