路飞

项目名称

面向开源操作系统的大语言模型PD分离容器化推理系统设计与优化

项目简介

本项目面向开源操作系统环境，设计并实现一种大语言模型PD分离容器化推理系统。

系统基于openEuler 24.03 LTS与Linux内核环境，实现Prefill与Decode服务解耦部署。

针对PD分离推理架构中的：

• 中断恢复困难
• NCCL通信资源泄漏
• 容器化SLO优化困难
• KVCache跨节点传输瓶颈

设计快速恢复机制、eBPF资源治理机制、SLO-aware智能调度机制以及KVCache优化方案。

技术方向

• PD Disaggregation
• Containerized LLM Serving
• openEuler/Linux
• eBPF Resource Governance
• KVCache Optimization
• SLO-aware Scheduling

项目结构

后续包括：

• prefill_service
• decode_service
• router_scheduler
• recovery_manager
• bpf_cleaner
• kv_cache_manager
• benchmark

开源说明

本项目用于研究生操作系统开源创新大赛研究创新赛道。