目录

[中文版|English]

介绍

FlagGems-vllm 是 FlagOS 的一部分,是一个使用 OpenAI 推出的 Triton 编程语言 实现、面向多种芯片后端的高性能算子库。它提供了常见 vLLM 算子的高性能实现,支持多种主流模型的高性能推理及部署。

特性

  • 算子已经过深度性能调优
  • Triton kernel 调用优化
  • 灵活的多后端支持机制
  • 支持常见 vLLM 算子(如 moe_align_block_size、grouped_topk 等)

与 FlagGems 和 vllm-plugin-fl 的关系

三个仓库在 FlagOS 生态中协同配合,但分工不同:

  • FlagGems:通用 FlagGems 算子库。提供通用的 PyTorch/Triton 算子替换,并通过 flag_gems.enable() / flag_gems.use_gems() 将算子注册到 PyTorch dispatch。FlagGems-vllm 依赖 FlagGems,当前部分 FlagGems-vllm 算子在底层执行时会直接调用 FlagGems 中的算子。
  • FlagGems-vllm(本项目):聚焦 vLLM 推理场景的特化与融合算子库。通过 flaggems_vllm Python 包导出算子,例如 flaggems_vllm.grouped_topk、flaggems_vllm.fused_experts_impl 和 flaggems_vllm.moe_align_block_size。
  • vllm-plugin-fl:vLLM 插件层。通过导入 FlagGems 并调用 flag_gems.enable() 作为全局通用算子后端;对于未挂接在 PyTorch dispatch 上的 vLLM 专用融合内核,则显式导入并调用 FlagGems-vllm 提供的算子。

在典型的 vLLM 插件环境中,调用链路如下:

vLLM
    -> vllm-plugin-fl
            -> flag_gems.enable() 注册通用 FlagGems 算子
            -> flaggems_vllm.<operator>() 调用 vLLM 专用融合算子 (部分内部调用 flag_gems 算子)

因此,FlagGems-vllm 建立在 FlagGems 之上:FlagGems 提供通用算子底座与部分底层核函数,而 FlagGems-vllm 提供 vLLM 特化内核以及供给 vllm-plugin-fl 使用的兼容性测试与性能评测。

快速上手

快速安装

python -m pip install -U "setuptools>=64,<82" wheel packaging
python -m pip install --no-deps "flag-gems==5.4.0" \
  --extra-index-url https://resource.flagos.net/repository/flagos-pypi-hosted/simple/
python -m pip install --no-build-isolation -e .

多后端环境搭建

tools/setup.sh 读取 src/flaggems_vllm/backends.yaml 中的后端注册表,创建 uv 虚拟环境并安装匹配的 torch/vLLM/编译器栈:

bash tools/setup.sh --list          # 查看配置和别名
bash tools/setup.sh nvidia          # 也可使用 ascend、metax、hygon 等
source tools/setup.sh nvidia        # 一步完成创建和激活

在已经提供 torch/triton/vLLM 的厂商镜像中,使用 bash tools/setup.sh --no-venv <backend> 只安装本仓库和测试依赖。

完整安装流程(包含不创建虚拟环境的手动安装、测试依赖安装以及与 FlagGems、 vllm-plugin-fl 协同安装等),请参阅安装指南。

使用示例

由于 FlagGems-vllm 依赖 FlagGems 且部分算子在底层调用 FlagGems 算子,推荐在使用 FlagGems-vllm 算子前先调用 flag_gems.enable():

import torch
import flag_gems
import flaggems_vllm

# 启用 FlagGems 通用算子
flag_gems.enable()

# 调用 FlagGems-vllm 融合算子
scores = torch.randn((8, 16), device="cuda", dtype=torch.float32)
bias = torch.randn((16,), device="cuda", dtype=torch.float32)

topk_weights, topk_ids = flaggems_vllm.grouped_topk(
    scores,
    n_group=4,
    topk_group=2,
    topk=2,
    renormalize=True,
    routed_scaling_factor=1.0,
    bias=bias,
    scoring_func=0,
)
print(topk_weights.shape, topk_ids.shape)

更多算子示例(如 moe_align_block_size、flash_attention_forward 和 fused_add_rms_norm 等),请参阅基础用法。

文档指引

更多详细内容与操作指引已整理至 docs 目录:

开源协议

本项目采用 Apache (Version 2.0) License 开源协议。

邀请码
    Gitlink(确实开源)
  • 加入我们
  • 官网邮箱:gitlink@ccf.org.cn
  • QQ群
  • QQ群
  • 公众号
  • 公众号

版权所有:中国计算机学会技术支持:开源发展技术委员会
京ICP备13000930号-9 京公网安备 11010802047560号