YOLO-Master: MOE-Accelerated with Specialized Transformers for Enhanced Real-time Detection.

Xu Lin^1*, Jinlong Peng^1*, Zhenye Gan¹, Jiawen Zhu², Jun Liu^1
1Tencent Youtu Lab    ²Singapore Management University
^*Equal Contribution

YOLO-Master 是一个面向实时目标检测（RTOD）的 YOLO-like 框架，首次在通用数据集上将 Mixture-of-Experts (MoE) 深度融合进 YOLO 架构，通过 Efficient Sparse MoE (ES‑MoE) 与轻量级 动态路由（Dynamic Routing） 实现 instance‑conditional adaptive computation：让模型按场景复杂度“按需分配算力（compute-on-demand）”，在高精度与超低延迟之间取得更优平衡。

主要亮点：

• 方法创新（ES‑MoE + Dynamic Routing）：通过动态路由网络引导专家分工训练，并在推理时激活最相关专家，减少冗余计算并提升检测表现。
• 性能验证（精度 × 延迟）：在 MS COCO 上，YOLO‑Master‑N 达到 42.4% AP @ 1.62ms latency；相较 YOLOv13‑N +0.8% mAP 且 17.8% 更快。
• Compute‑on‑Demand：从“静态致密计算”走向“按输入内容自适应分配算力”，密集/困难场景收益更显著。
• 开箱即用全流程：提供安装、验证、训练、推理与导出（ONNX/TensorRT 等）完整链路。
• 持续工程化演进：包含 MoE 剪枝与分析工具（diagnose_model / prune_moe_model）、CW‑NMS、Sparse SAHI 推理模式等增强。

💡 初心 (Introduction)

“探索 YOLO 中动态智能的前沿。”

这项工作代表了我们对实时目标检测 (RTOD) 演进的热情探索。据我们所知，YOLO-Master 是首个在通用数据集上将混合专家 (MoE) 架构与 YOLO 深度融合的工作。

大多数现有的 YOLO 模型依赖于静态的密集计算——即对简单的天空背景和复杂的拥挤路口分配相同的计算预算。我们认为检测模型应该更加“自适应”，就像人类视觉系统一样。虽然这次初步探索可能并不完美，但它展示了 高效稀疏 MoE (ES-MoE) 在平衡高精度与超低延迟方面的巨大潜力。我们将致力于持续迭代和优化，以进一步完善这一方法。

展望未来，我们从 LLM 和 VLM 的变革性进步中汲取灵感。我们将致力于完善这一方法，并将这些见解扩展到基础视觉任务中，最终目标是解决更具雄心的前沿问题，如开放词汇检测和开放集分割。

🎨 架构

YOLO-Master 引入 ES-MoE 块，通过动态路由实现“按需计算”。

📚 深度文档

关于 MoE 模块的设计理念、路由机制详解以及针对不同硬件（GPU/CPU/NPU）的部署优化指南，请参阅我们的 Wiki 文档： 👉 Wiki: MoE 模块详解与演进

📖 目录

• 初心
• 架构
• 更新
• 新特性 (v2026.02)
  • 混合专家 (MoE)
  • LoRA 微调
  • Sparse SAHI
  • 聚类加权 NMS
• 主要结果
  • 检测
  • 分割
  • 分类
• 模型库
• 检测示例
• 支持的任务
• 快速开始
  • 安装
  • 验证
  • 训练
  • 推理
  • 导出
  • Gradio 演示
• 社区与贡献
• 许可证
• 致谢
• 引用

🚀 更新 (Latest First)

• 2026/02/21: 🎉🎉 我们的论文已被 CVPR 2026 接收！ 感谢所有贡献者和社区成员的支持！
• 2026/02/13: 🧨🚀 为模型训练添加 LoRA 支持，并发布 v2026.02 版本。[新年快乐！]
• 2026/01/16: [feature] 新增 MoE 模型剪枝与分析工具。

  diagnose_model：可视化专家利用率与路由行为，用于识别冗余专家。 prune_moe_model：物理切除冗余专家并重构路由，无需重训即可实现高效推理。

• 2026/01/16: 仓库 isLinXu/YOLO-Master 迁移到 Tencent 组织下。
• 2026/01/14: ncnn-YOLO-Master-android为YOLO-Master提供部署，感谢贡献！
• 2026/01/09: [feature] 新增Cluster-Weighted NMS (CW-NMS)来优化与平衡mAP和推理速度。

  cluster: False # (bool) cluster NMS (MoE optimized)

• 2026/01/07: TensorRT-YOLO 为 YOLO-Master 提供加速，感谢贡献！
• 2026/01/07: 新增MoE loss显式加入到training中

  Epoch GPU_mem box_loss cls_loss dfl_loss moe_loss Instances Size

• 2026/01/04: MoE模块重构

  Split MoE script into separate modules (routers, experts)

• 2026/01/03: [feature] 新增 Sparse SAHI 推理模式：通过全局粗筛生成的 Objectness Mask 实现内容自适应的稀疏切片推理，显著提升高分辨率图像中小目标的检测速度与显存利用率。
• 2025/12/31: 发布演示YOLO-Master-WebUI-Demo
• 2025/12/31: 发布 YOLO-Master v0.1 版本，包含检测、分割和分类模型及训练代码。
• 2025/12/30: arXiv 论文发布。

🔥 新特性 (v2026.02)

1️⃣ 混合专家 (MoE) 支持

YOLO-Master 首次将混合专家架构深度融合到 YOLO 中，实现实例条件自适应计算。

核心组件：

使用方法：

from ultralytics import YOLO

# 加载 MoE 配置
model = YOLO("ultralytics/cfg/models/master/v0_1/det/yolo-master-n.yaml")

# MoE 训练
results = model.train(
    data="coco8.yaml",
    epochs=100,
    imgsz=640,
    batch=16,
    moe_num_experts=8,      # 专家数量
    moe_top_k=2,            # 每个 token 激活的专家数
    moe_balance_loss=0.01,  # 负载均衡损失权重
)

# 专家利用率分析与剪枝
model.prune_experts(threshold=0.15)

2️⃣ LoRA 支持 - 参数高效微调

架构无关的 LoRA 适配，零架构开销 —— 纯配置驱动，无需修改模型结构。

LoRA vs Full SFT vs DoRA vs LoHa：YOLOv11-s 上的训练曲线对比（COCO val2017，300 epochs）

核心优势：

• 🎯 仅需约 10% 可训练参数，即可达到全量微调 95-98% 的性能
• ⚡ 40-60% 训练加速，70% 显存节省
• 📦 超紧凑适配器（如 YOLO11x：14.1 MB 适配器 vs 114.6 MB 完整模型）

支持模型：

使用方法：

from ultralytics import YOLO

model = YOLO("yolo11s.pt")

# LoRA 训练（一键激活）
results = model.train(
    data="coco8.yaml",
    epochs=300,
    imgsz=640,
    batch=32,
    lora_r=16,                # rank=16，最佳性价比
    lora_alpha=32,            # alpha = 2×r
    lora_dropout=0.1,
    lora_gradient_checkpointing=True,
)

# 仅保存 LoRA 适配器（YOLO11s 约 4.1MB）
model.save_lora_only("yolo11s_lora_r16.pt")

3️⃣ Sparse SAHI 稀疏推理模式

稀疏切片辅助超推理（Sparse SAHI） —— 针对超大分辨率图像（4K/8K）检测的革命性优化，通过智能跳过空白区域实现 3-5 倍加速。

Sparse SAHI 流水线：Objectness Mask → 自适应切片 → 高分辨率推理 → CW-NMS 融合

左图：不同场景下的跳过比例分析。右图：真实检测效果示例。

工作原理：

1. 🗺️ 低分辨率全图推理生成 objectness 热力图
2. ✂️ 自适应切片，跳过 objectness < 0.15 的区域
3. 🎯 仅对感兴趣区域进行高分辨率推理
4. 🔗 多切片结果通过 CW-NMS 融合

使用方法：

from ultralytics import YOLO

model = YOLO("yolov8n.pt")

results = model.predict(
    source="large_aerial_image.jpg",
    sparse_sahi=True,
    slice_size=640,
    overlap_ratio=0.2,
    objectness_threshold=0.15,
)

4️⃣ 聚类加权 NMS (CW-NMS)

基于聚类理论的检测框融合算法，使用高斯加权平均代替硬抑制，显著提升定位精度。

CW-NMS vs 传统 NMS vs Soft-NMS：密集场景下的性能对比

from ultralytics import YOLO

model = YOLO("yolov8n.pt")
results = model.predict(
    source="dense_objects.jpg",
    cluster=True,     # 启用 CW-NMS
    sigma=0.1,        # 高斯加权 σ
)

📊 主要结果

检测

分割

分类

📦 模型库与基准测试

YOLO-Master-EsMoE 系列

YOLO-Master-v0.1 系列

🖼️ 检测示例

检测
分割

🧩 支持的任务

YOLO-Master 建立在强大的 Ultralytics 框架之上，继承了对各种计算机视觉任务的支持。虽然我们的研究主要集中在实时目标检测，但代码库支持：

⚙️ 快速开始

安装

# 1. 创建并激活新环境
conda create -n yolo_master python=3.11 -y
conda activate yolo_master

# 2. 克隆仓库
git clone https://github.com/Tencent/YOLO-Master
cd YOLO-Master

# 3. 安装依赖
pip install -r requirements.txt
pip install -e .

# 4. 可选: 安装 FlashAttention 以加速训练 (需要 CUDA)
pip install flash_attn

验证

在 COCO 数据集上验证模型精度。

from ultralytics import YOLO

# 加载预训练模型
model = YOLO("yolo_master_n.pt") 

# 运行验证
metrics = model.val(data="coco.yaml", save_json=True)
print(metrics.box.map)  # map50-95

训练

在自定义数据集或 COCO 上训练新模型。

from ultralytics import YOLO

# 加载模型
model = YOLO('cfg/models/master/v0/det/yolo-master-n.yaml')  # 从 YAML 构建新模型

# 训练模型
results = model.train(
    data='coco.yaml',
    epochs=600, 
    batch=256, 
    imgsz=640,
    device="0,1,2,3", # 使用多 GPU
    scale=0.5, 
    mosaic=1.0,
    mixup=0.0, 
    copy_paste=0.1
)

推理

对图像或视频进行推理。

Python:

from ultralytics import YOLO

model = YOLO("yolo_master_n.pt")
results = model("path/to/image.jpg")
results[0].show()

CLI:

yolo predict model=yolo_master_n.pt source='path/to/image.jpg' show=True

导出

将模型导出为其他格式以进行部署 (TensorRT, ONNX 等)。

from ultralytics import YOLO

model = YOLO("yolo_master_n.pt")
model.export(format="engine", half=True)  # 导出为 TensorRT
# 格式: onnx, openvino, engine, coreml, saved_model, pb, tflite, edgetpu, tfjs

Gradio 演示

启动本地 Web 界面以交互式测试模型。此应用程序提供了一个用户友好的 Gradio 仪表板，用于模型推理，支持自动模型扫描、任务切换（检测、分割、分类）和实时可视化。

python app.py
# 在浏览器中打开 http://127.0.0.1:7860

🤝 社区与贡献

我们欢迎贡献！有关如何参与的详细信息，请查看我们的 贡献指南。

• Issues: 在 这里 报告错误或请求功能。
• Pull Requests: 提交您的改进。

📄 许可证

本项目采用 GNU Affero General Public License v3.0 (AGPL-3.0) 许可证。

🙏 致谢

这项工作建立在优秀的 Ultralytics 框架之上。非常感谢社区的贡献、部署和教程！

📝 引用

如果您在研究中使用 YOLO-Master，请引用我们的论文：

@inproceedings{lin2026yolomaster,
  title={{YOLO-Master}: MOE-Accelerated with Specialized Transformers for Enhanced Real-time Detection},
  author={Lin, Xu and Peng, Jinlong and Gan, Zhenye and Zhu, Jiawen and Liu, Jun},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2026}
}

⭐ 如果您觉得这项工作有用，请给仓库点个星！