目录

大模型训练和推理中的高性能网络——智能时代的新型网络架构与技术:学术前沿与产业实践

1. 课程概述

随着大模型(LLM)参数规模的指数级增长,单数据中心集群训练面临算力瓶颈、GPU 碎片化和跨域协作等严峻挑战。本课程系统介绍大规模分布式 AI 应用中的高速跨域互联网络关键技术,涵盖从底层光网络故障检测到应用级流量工程的完整技术栈。

课程内容基于三篇顶级学术会议论文(NSDI’22、SIGCOMM’23、SIGCOMM’24),由腾讯网络技术团队的研究成果提炼而成,兼具学术前沿深度与产业实践价值。

2. 学习目标

通过学习本课程,您将:

  1. 理解大模型训练和推理中的并行模式(TP/PP/DP/EP/SP)及其网络通信需求
  2. 掌握跨域数据中心互联(Inter-DC WAN)的核心挑战与技术方案
  3. 深入学习 OpTel 秒级光网络故障探测与定位技术
  4. 掌握 FlexWAN 弹性光网络技术,理解如何降低 WAN 带宽成本
  5. 了解 MegaTE 应用级百万节点流量工程方案,拓展 TE 系统至虚拟机粒度
  6. 理解 eBPF 在应用级数据包识别与路径信息嵌入中的应用

3. 适合的学习者

  • 网络工程师、系统架构师和相关领域技术人员
  • 从事 AI 基础设施、高性能计算(HPC)领域的研究者
  • 计算机科学、通信工程等专业的高年级本科生和研究生
  • 对大规模分布式系统互联技术感兴趣的技术爱好者
  • 云服务商和互联网企业的数据中心网络运维人员

前置知识:具备计算机网络基础知识(OSI 模型、TCP/IP 协议栈),了解基本的光通信原理,了解分布式系统和大规模 AI 训练的基本概念。

4. 课程结构

章节 章节名称 主要内容
1 大模型训练的网络需求与挑战 并行模式概览、分布式架构、跨域数据中心互联背景与三大挑战
2 OpTel:光网络秒级故障探测与定位 统一设备模型、光层流式遥测、云分析平台、故障指纹库
3 FlexWAN:大规模高速弹性光网络 可变频谱硬件、集中式管控、最优化网络规划与故障恢复算法
4 MegaTE:应用级百万节点流量工程 Bottom-up 控制回路、二阶段求解算法、基于 eBPF 的数据平面
5 总结与未来研究方向 DR 负载均衡、DCI/DCN 流碰撞、产业发展趋势

5. 实操演练

本课程秉持”做中学 (Learning by Doing)”原则,每章配有思考题和延伸阅读任务:

  • 第 1 章:查阅资料,补充 TP/PP/DP/EP/SP 五种并行模式的对比分析
  • 第 2 章:尝试设计一个简化的光网络故障检测系统原型框架
  • 第 3 章:手算一个频谱效率和带宽成本对比案例
  • 第 4 章:阅读 eBPF 基础教程,理解 TC 和 XDP 的工作原理
  • 第 5 章:结合自身工作或研究方向,提出一个 WAN 网络优化方向

核心要求:学习者需跟随章节进度,逐步构建自己的知识体系。

6. 课程打卡指引

本项目采用 Issue 评论打卡 的方式。完成每章学习后,在对应 Issue 下提交您的学习成果。

打卡任务列表

任务 名称 说明
任务1 第 1 章学习打卡 掌握大模型训练网络需求与跨域互联挑战
任务2 第 2 章学习打卡 深入理解 OpTel 秒级故障探测与定位
任务3 第 3 章学习打卡 掌握 FlexWAN 弹性光网络技术
任务4 第 4 章学习打卡 理解 MegaTE 百万节点流量工程
任务5 第 5 章学习打卡 总结与未来研究方向探讨

7. 共创与贡献

欢迎所有学习者参与贡献!

贡献方式

  • 提交 Issue 反馈问题或建议
  • 提交 Pull Request 完善内容
  • 分享您的学习经验和笔记

8. 许可说明

本课程采用 CC BY-SA 4.0 开源许可证。您可以自由分享和改编本课程内容,但需注明出处并以相同方式共享。

参考资料

关于

大模型训练和推理中的高性能网络——智能时代的新型网络架构与技术:学术前沿与产业实践

50.0 KB
邀请码
    Gitlink(确实开源)
  • 加入我们
  • 官网邮箱:gitlink@ccf.org.cn
  • QQ群
  • QQ群
  • 公众号
  • 公众号

版权所有:中国计算机学会技术支持:开源发展技术委员会
京ICP备13000930号-9 京公网安备 11010802047560号