Merge remote master branch
JittorInfer
JittorInfer 是一个在华为昇腾(Ascend)AI处理器上,为大型语言模型(如 DeepSeek)设计的高性能 C++ 推理框架。它的目标是提供极致的推理速度和效率。
核心功能包括:
llama-server 是一个高性能推理服务端,针对昇腾环境进行了特殊优化,提供与 OpenAI API 兼容的接口。服务器支持多种大语言模型,如 DeepSeek-V2-Lite 等,并提供文本生成和聊天功能。
详细编译与使用教程请参考此处。
单卡DeepSeek V2 Lite 测试结果
单机八卡DeepSeek V2 测试结果
JittorInfer 的开发借鉴了以下优秀开源项目的思想和代码:llama.cpp,ggml,torchair
JittorInfer is a high-performance C++ inference framework designed for large language models on Huawei's Ascend AI processor.
©Copyright 2023 CCF 开源发展委员会 Powered by Trustie& IntelliDE 京ICP备13000930号
📰 最新动态
JittorInferv0.1.0 发布!📖 关于
JittorInfer是一个在华为昇腾(Ascend)AI处理器上,为大型语言模型(如 DeepSeek)设计的高性能 C++ 推理框架。它的目标是提供极致的推理速度和效率。核心功能包括:
📦 环境依赖
🛠️ 开始使用
llama-server 使用指南
llama-server 是一个高性能推理服务端,针对昇腾环境进行了特殊优化,提供与 OpenAI API 兼容的接口。服务器支持多种大语言模型,如 DeepSeek-V2-Lite 等,并提供文本生成和聊天功能。
详细编译与使用教程请参考此处。
🚀 性能测试
单卡DeepSeek V2 Lite 测试结果
单机八卡DeepSeek V2 测试结果
📢 交流
✨ 贡献者
Zikai Xiao
💻
Yi Zhang
💻
DongYang Li
💻
Jiapeng Zhang
💻
dengyx21
💻
Yuxuan Han
💻
Yang Zhang
💻
MenghaoGuo
💻
nkufree
💻
Imagine076
💻
Shuhong Huang
💻
Yang Yuqing
💻
Jiabo Chen
💻
VisJiao
💻
Tgotp
💻
💖 致谢
JittorInfer的开发借鉴了以下优秀开源项目的思想和代码:llama.cpp,ggml,torchair