mirrors/xllm

English | 中文

📢 新闻

2026-07-06: 🎉 xLLM 正式捐赠给开放原子开源基金会！
2026-06-13: 🎉 我们 day-0 支持了MiniMax-M3 模型的推理服务，部署请参考部署文档。
2026-04-24: 🎉 我们 day-0 支持了DeepSeek-V4 模型的推理服务，部署请参考部署文档。

更多新闻

2026-02-12: 🎉 我们 day-0 支持了最新的GLM-5 模型的高效推理服务，部署请参考部署文档。
2025-12-21: 🎉 我们在第一时间内支持了GLM-4.7模型的高效推理。
2025-12-08: 🎉 我们在第一时间内支持了GLM-4.6V模型的高效推理。
2025-12-05: 🎉 我们支持了GLM-4.5/GLM-4.6系列模型.
2025-12-05: 🎉 我们支持了VLM-R1 模型.
2025-12-05: 🎉 我们基于Mooncake构建了混合 KV 缓存管理机制，支持具备智能卸载与预取能力的全局 KV 缓存管理。
2025-10-16: 🎉 我们最近在 arXiv 上发布了我们的 xLLM 技术报告，提供了全面的技术蓝图和实施见解。

简介

xLLM 是一个高效的开源大模型推理框架，专为国产芯片优化设计，提供企业级的服务部署，使得性能更高、成本更低。

亮点

顶尖性能：通过众多先进特性，提供高吞吐、低延迟的推理服务。
主流硬件支持：专为国产AI加速卡打造并深度优化。
服务-引擎分离架构：服务层负责调度与可用性，引擎层专注于计算。
企业级部署：已在京东零售核心业务中大规模落地验证。

硬件支持

硬件类型	简称	型号	备注
Ascend NPU	NPU	A2, A3	HDK Driver 25.2.0 +
Cambricon MLU	MLU	MLU
Moore Threads GPU	MUSA	S5000
Hygon DCU	DCU	BW1000
MetaX MACA	MACA	MXC500
Iluvatar CoreX GPU	ILU	BI150

入门指南

社区支持

致谢

本项目的实现得益于以下开源项目:

ScaleLLM - 采用了ScaleLLM中构图方式和借鉴Runtime执行。
Mooncake - 依赖构建了多级KV Cache管理机制。
brpc - 依赖brpc构建了高性能http service。
tokenizers-cpp - 依赖tokenizers-cpp构建了c++ tokenizer。
safetensors - 依赖其c binding safetensors能力。
Partial JSON Parser - xLLM的C++版本JSON解析器，参考Python与Go实现的设计思路。
concurrentqueue - 高性能无锁Queue.

感谢以下合作的高校实验室：

THU-MIG（清华大学软件学院、北京信息科学与技术国家研究中心）
USTC-Cloudlab（中国科学技术大学云计算实验室）
Beihang-HiPO（北京航空航天大学HiPO研究组）
PKU-DS-LAB（北京大学数据结构实验室）
PKU-NetSys-LAB（北京大学网络系统实验室）
TJU-TANKLab (天津大学TANK实验室)

感谢以下为xLLM作出贡献的开发者

引用

如果你觉得这个仓库对你有帮助，欢迎引用我们：

@article{liu2025xllm,
  title={xLLM Technical Report},
  author={Liu, Tongxuan and Peng, Tao and Yang, Peijun and Zhao, Xiaoyang and Lu, Xiusheng and Huang, Weizhe and Liu, Zirui and Chen, Xiaoyu and Liang, Zhiwei and Xiong, Jun and others},
  journal={arXiv preprint arXiv:2510.14686},
  year={2025}
}