面向 LLM 推理的统一 KV Cache 管理

文档 · 快速开始 · 官网 · English

UCM 是什么？

统一缓存管理（Unified Cache Manager，UCM）是位于推理引擎与存储之间的统一 KV Cache 层。 它负责管理缓存的复用、放置与迁移，请求和推理实例能够复用已有的计算结果。

Agent 工作流、多轮对话和多模态应用常常会重复访问相同的上下文。UCM 让可复用的 KV Cache 超越单个推理进程的边界而可用，并通过外部存储扩展缓存容量，从而帮助减少重复计算、缓解加速器显存压力。

引擎适配器、缓存机制与存储后端可以通过可插拔接口独立演进。

架构

• 应用与推理引擎产生并消费 KV Cache。复用模式包括多模态上下文、共享前缀，以及拼接复用等机制所使用的缓存分块。
• 统一缓存（Unified Cache） 管理缓存的使用生命周期：复用什么、保留在哪里、何时迁移。Prefill/Decode（PD）传输是缓存迁移的一种形式。可插拔的检索与加载策略同时支撑稀疏注意力。
• 全局 KV 存储（Global KV Store） 在文件系统、内存池等后端之上提供统一的存储抽象。各存储实现根据自身能力处理数据的保留、回收与可靠性。

功能的可用性与存储保证取决于所选的引擎、模型、平台与后端；请参阅支持矩阵。

快速开始

1. 查看支持矩阵，确认兼容的配置组合。
2. 按照快速开始指引，选择安装产物、配置存储，并使用 UCM 运行推理引擎。
3. 使用运维指南验证缓存复用情况并检查运行时行为。

安装命令、镜像标签、引擎版本和配置示例均维护在文档中。如遇部署问题，请参阅故障排查。

参与贡献 & 社区

欢迎为引擎适配器、存储后端、缓存机制、测试和文档做出贡献。

• 从贡献指南开始。
• 通过扩展 Store 添加新的后端。
• 通过 GitHub Issues 报告缺陷或提出功能建议。

许可证

UCM 基于 MIT 许可证并附加额外条件进行授权。完整条款请阅读 LICENSE。