Sora 原理与技术实战

Datawhale x 魔搭社区（阿里巴巴达摩院模型开源社区 modelscope），硬核 Sora 原理与技术实战课程，旨在帮助开发者了解原理，动手去做，在实践中学习，更好地在风浪中去噪，从容迎接变革时刻到来。

学习简介

面向对象

• 有一定 Python 基础
• 能熟练阅读和理解 AI 项目源代码
• 有足够的精力投入，积极参与开源，热爱分享

学习亮点

• 学习内容：
  • AI 圈最火热的 Sora 的硬核课程
  • Sora 技术路径详解和核心技术解析
  • 开源模型和代码上手实战
• 学习支持：
  • 原理解析，技术专家和学术大神助力学习，知其然，知其所以然
  • 实战练习，开源模型代码实战，动手第一
  • 组队学习，遇见志同道合的伙伴，让学习不再孤独

学习内容

Sora 技术路径详解，并针对 Sora 原理中的核心技术点，包括基于 diffusion 视频生成技术，diffusion Transformers 技术解析，声音生成 TTS 技术解析与实战，video caption 技术解析，视频的编解码压缩进行原理介绍，并结合开源模型和代码上手实战。

课程大纲

学习阶段	学习内容
chapter1 Sora 技术路径	深入了解 Sora 技术路径，系统认知
chapter2 技术解析与实战	Stable diffusion 技术解析，基于 diffusion 的视频生成技术介绍+实战 Transformers 技术解析+实战(LLM) 多种 Transformers diffusion 模型技术图像生成技术+实战 基于 Transformers diffusion 的视频生成技术解析+实战 声音生成 TTS 技术解析与实战
chapter3 Sora 训练与出片	训练一个 sora 模型的准备工作，video caption 和算力评估 用自己训练的模型，做一个自己的 AI 短片吧

学习资料

课程	嘉宾	资料
开营仪式：课程介绍	玉鑫：Datawhale 成员	录播回放 PPT 下载
第一讲：Sora 技术原理详解	杨知铮：厦门大学平潭研究院研究员	录播回放 PPT 下载
第二讲：文生图片技术路径、原理与 SD 实战	成晨：魔搭社区技术运营负责人	录播回放 文字教程
第三讲：Transformers 技术解析+实战(LLM)	长琴：Datawhale 成员、HuggingLLM 负责人	录播回放 文字教程
第四讲：基于 Transformers diffusion 的视频生成技术解析+实战介绍	聂同学： U-ViT 作者 成晨：魔搭社区技术运营负责人	录播回放 文字教程
第五讲：声音生成 TTS 技术解析与实战	阿里算法专家	录播回放 文字教程
第六讲：Sora 原理与技术实战：训练一个 sora 模型的准备工作,video caption 和算力评估	成晨：魔搭社区技术运营负责人	录播回放 文字教程
第七讲：做一个自己的 AI 短片吧	袁超逸：某大厂算法工程师人	录播回放 PPT 下载

参与贡献

• 如果你想参与到项目中来欢迎查看项目的 Issue 查看没有被分配的任务。
• 如果你发现了一些问题，欢迎在 Issue 中进行反馈。
• 如果你对本项目感兴趣想要参与进来可以联系仓库的负责人进行交流 💬。

如果你对 Datawhale 很感兴趣并想要发起一个新的项目，欢迎查看 Datawhale 贡献指南。

关注我们

LICENSE

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。