[中文版|English]

介绍

FlagGems-sglang 是 FlagOS 的一部分。 FlagGems-sglang是一个面向多种芯片后端的高性能算子库，它提供了常见sglang算子的高性能实现，支持多种常见模型的高性能推理及部署。

FlagGems-sglang 是一个使用 OpenAI 推出的Triton 编程语言实现的高性能深度学习算子库，

特性

• 算子已经过深度性能调优
• Triton kernel 调用优化
• 灵活的多后端支持机制
• 支持常见sglang算子（如 flashinfer 相关算子等）

快速安装

安装依赖

pip install -U scikit-build-core>=0.11 pybind11 ninja cmake

安装FlagGems-sglang

git clone https://github.com/flagos-ai/FlagGems-sglang.git
cd FlagGems-sglang
pip install  .

使用示例

import torch
import flaggems_sglang

# 创建张量
x = torch.randn(1024, device='cuda')

# 应用 ReLU 激活函数
y = flaggems_sglang.ops.relu(x)

Tests 与 Benchmark 快速使用

下面命令可用于安装后的快速检查。

运行 tests

cd /workspace/FlagGems-sglang
pytest -q tests --collect-only
pytest -q tests/test_silu_and_mul.py --quick

运行 benchmark

cd /workspace/FlagGems-sglang
pytest -q benchmark --collect-only
pytest -q benchmark/test_silu_and_mul.py --level core --iter 1 --warmup 1

说明

• 大多数 tests/benchmark 需要 CUDA GPU 环境。
• 建议先执行 --collect-only，快速确认导入与用例发现是否正常。

本项目采用 Apache (Version 2.0) License 授权许可。