hands-on-llama

LLaMA模型相关内容Step By Step，移除PyTorch，限于NumPy或无依赖。

这是一个按需更新的系列。

Roadmap

• 模型相关介绍
• 推理优化：KV Cache
• 推理优化：Continous Batch
• GEMM：GEMM基础
• 推理优化：Paged Attention
• 待确认……

Shares

• LLaMA + KV Cache: https://meeting.tencent.com/crm/2MeMG3Ye88

参与贡献

• 如果你想参与到项目中来欢迎查看项目的 Issue 查看没有被分配的任务。
• 如果你发现了一些问题，欢迎在 Issue 中进行反馈🐛。
• 如果你对本项目感兴趣想要参与进来可以通过 Discussion 进行交流💬。

如果你对 Datawhale 很感兴趣并想要发起一个新的项目，欢迎查看 Datawhale 贡献指南。

贡献者名单

姓名	职责	简介
长琴	项目负责人

关注我们

LICENSE

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

注：默认使用CC 4.0协议，也可根据自身项目情况选用其他协议