950 dt optimize chunk gated delta rule fwd intra npu (#1205)
[中文版|English]
FlagGems-vllm 是 FlagOS 的一部分,是一个使用 OpenAI 推出的 Triton 编程语言 实现、面向多种芯片后端的高性能算子库。它提供了常见 vLLM 算子的高性能实现,支持多种主流模型的高性能推理及部署。
moe_align_block_size
grouped_topk
三个仓库在 FlagOS 生态中协同配合,但分工不同:
flag_gems.enable()
flag_gems.use_gems()
flaggems_vllm
flaggems_vllm.grouped_topk
flaggems_vllm.fused_experts_impl
flaggems_vllm.moe_align_block_size
在典型的 vLLM 插件环境中,调用链路如下:
vLLM -> vllm-plugin-fl -> flag_gems.enable() 注册通用 FlagGems 算子 -> flaggems_vllm.<operator>() 调用 vLLM 专用融合算子 (部分内部调用 flag_gems 算子)
因此,FlagGems-vllm 建立在 FlagGems 之上:FlagGems 提供通用算子底座与部分底层核函数,而 FlagGems-vllm 提供 vLLM 特化内核以及供给 vllm-plugin-fl 使用的兼容性测试与性能评测。
FlagGems-vllm
FlagGems
vllm-plugin-fl
python -m pip install -U "setuptools>=64,<82" wheel packaging python -m pip install --no-deps "flag-gems==5.4.0" \ --extra-index-url https://resource.flagos.net/repository/flagos-pypi-hosted/simple/ python -m pip install --no-build-isolation -e .
tools/setup.sh 读取 src/flaggems_vllm/backends.yaml 中的后端注册表,创建 uv 虚拟环境并安装匹配的 torch/vLLM/编译器栈:
tools/setup.sh
src/flaggems_vllm/backends.yaml
uv
bash tools/setup.sh --list # 查看配置和别名 bash tools/setup.sh nvidia # 也可使用 ascend、metax、hygon 等 source tools/setup.sh nvidia # 一步完成创建和激活
在已经提供 torch/triton/vLLM 的厂商镜像中,使用 bash tools/setup.sh --no-venv <backend> 只安装本仓库和测试依赖。
bash tools/setup.sh --no-venv <backend>
完整安装流程(包含不创建虚拟环境的手动安装、测试依赖安装以及与 FlagGems、 vllm-plugin-fl 协同安装等),请参阅安装指南。
由于 FlagGems-vllm 依赖 FlagGems 且部分算子在底层调用 FlagGems 算子,推荐在使用 FlagGems-vllm 算子前先调用 flag_gems.enable():
import torch import flag_gems import flaggems_vllm # 启用 FlagGems 通用算子 flag_gems.enable() # 调用 FlagGems-vllm 融合算子 scores = torch.randn((8, 16), device="cuda", dtype=torch.float32) bias = torch.randn((16,), device="cuda", dtype=torch.float32) topk_weights, topk_ids = flaggems_vllm.grouped_topk( scores, n_group=4, topk_group=2, topk=2, renormalize=True, routed_scaling_factor=1.0, bias=bias, scoring_func=0, ) print(topk_weights.shape, topk_ids.shape)
更多算子示例(如 moe_align_block_size、flash_attention_forward 和 fused_add_rms_norm 等),请参阅基础用法。
flash_attention_forward
fused_add_rms_norm
更多详细内容与操作指引已整理至 docs 目录:
本项目采用 Apache (Version 2.0) License 开源协议。
版权所有:中国计算机学会技术支持:开源发展技术委员会 京ICP备13000930号-9 京公网安备 11010802047560号
[中文版|English]
介绍
FlagGems-vllm 是 FlagOS 的一部分,是一个使用 OpenAI 推出的 Triton 编程语言 实现、面向多种芯片后端的高性能算子库。它提供了常见 vLLM 算子的高性能实现,支持多种主流模型的高性能推理及部署。
特性
moe_align_block_size、grouped_topk等)与 FlagGems 和 vllm-plugin-fl 的关系
三个仓库在 FlagOS 生态中协同配合,但分工不同:
flag_gems.enable()/flag_gems.use_gems()将算子注册到 PyTorch dispatch。FlagGems-vllm 依赖 FlagGems,当前部分 FlagGems-vllm 算子在底层执行时会直接调用 FlagGems 中的算子。flaggems_vllmPython 包导出算子,例如flaggems_vllm.grouped_topk、flaggems_vllm.fused_experts_impl和flaggems_vllm.moe_align_block_size。flag_gems.enable()作为全局通用算子后端;对于未挂接在 PyTorch dispatch 上的 vLLM 专用融合内核,则显式导入并调用 FlagGems-vllm 提供的算子。在典型的 vLLM 插件环境中,调用链路如下:
因此,
FlagGems-vllm建立在FlagGems之上:FlagGems提供通用算子底座与部分底层核函数,而FlagGems-vllm提供 vLLM 特化内核以及供给vllm-plugin-fl使用的兼容性测试与性能评测。快速上手
快速安装
多后端环境搭建
tools/setup.sh读取src/flaggems_vllm/backends.yaml中的后端注册表,创建uv虚拟环境并安装匹配的 torch/vLLM/编译器栈:在已经提供 torch/triton/vLLM 的厂商镜像中,使用
bash tools/setup.sh --no-venv <backend>只安装本仓库和测试依赖。完整安装流程(包含不创建虚拟环境的手动安装、测试依赖安装以及与 FlagGems、 vllm-plugin-fl 协同安装等),请参阅安装指南。
使用示例
由于 FlagGems-vllm 依赖 FlagGems 且部分算子在底层调用 FlagGems 算子,推荐在使用 FlagGems-vllm 算子前先调用
flag_gems.enable():更多算子示例(如
moe_align_block_size、flash_attention_forward和fused_add_rms_norm等),请参阅基础用法。文档指引
更多详细内容与操作指引已整理至 docs 目录:
开源协议
本项目采用 Apache (Version 2.0) License 开源协议。