YOLO-Master: MOE-Accelerated with Specialized Transformers for Enhanced Real-time Detection.

Xu Lin^1*, Jinlong Peng^1*, Zhenye Gan¹, Jiawen Zhu², Jun Liu^1
1Tencent Youtu Lab    ²Singapore Management University
^*Equal Contribution

YOLO-Master 是一个面向实时目标检测（RTOD）的 YOLO-like 框架，首次在通用数据集上将 Mixture-of-Experts (MoE) 深度融合进 YOLO 架构，通过 Efficient Sparse MoE (ES‑MoE) 与轻量级 动态路由（Dynamic Routing） 实现 instance‑conditional adaptive computation：让模型按场景复杂度“按需分配算力（compute-on-demand）”，在高精度与超低延迟之间取得更优平衡。

主要亮点：

• 方法创新（ES‑MoE + Dynamic Routing）：通过动态路由网络引导专家分工训练，并在推理时激活最相关专家，减少冗余计算并提升检测表现。
• 性能验证（精度 × 延迟）：在 MS COCO 上，YOLO‑Master‑N 达到 42.4% AP @ 1.62ms latency；相较 YOLOv13‑N +0.8% mAP 且 17.8% 更快。
• Compute‑on‑Demand：从“静态致密计算”走向“按输入内容自适应分配算力”，密集/困难场景收益更显著。
• 开箱即用全流程：提供安装、验证、训练、推理与导出（ONNX/TensorRT 等）完整链路。
• 持续工程化演进：包含 MoE 剪枝与分析工具（diagnose_model / prune_moe_model）、CW‑NMS、Sparse SAHI 推理模式等增强。

💡 初心 (Introduction)

“探索 YOLO 中动态智能的前沿。”

这项工作代表了我们对实时目标检测 (RTOD) 演进的热情探索。据我们所知，YOLO-Master 是首个在通用数据集上将混合专家 (MoE) 架构与 YOLO 深度融合的工作。

大多数现有的 YOLO 模型依赖于静态的密集计算——即对简单的天空背景和复杂的拥挤路口分配相同的计算预算。我们认为检测模型应该更加“自适应”，就像人类视觉系统一样。虽然这次初步探索可能并不完美，但它展示了 高效稀疏 MoE (ES-MoE) 在平衡高精度与超低延迟方面的巨大潜力。我们将致力于持续迭代和优化，以进一步完善这一方法。

展望未来，我们从 LLM 和 VLM 的变革性进步中汲取灵感。我们将致力于完善这一方法，并将这些见解扩展到基础视觉任务中，最终目标是解决更具雄心的前沿问题，如开放词汇检测和开放集分割。

🎨 架构

YOLO-Master 引入 ES-MoE 块，通过动态路由实现“按需计算”。

📚 深度文档

关于 MoE 模块的设计理念、路由机制详解以及针对不同硬件（GPU/CPU/NPU）的部署优化指南，请参阅我们的 Wiki 文档： 👉 Wiki: MoE 模块详解与演进

📖 目录

• 初心
• 架构
• 更新
• 新特性 (v2026.02)
  • 混合专家 (MoE)
  • LoRA 微调
  • Sparse SAHI
  • 聚类加权 NMS
  • 混合注意力 (MoA)
  • 混合 Transformer (MoT)
  • Agent Skill 系统
• 主要结果
  • 检测
  • 分割
  • 分类
• 模型库
• 检测示例
• 支持的任务
• 快速开始
  • 安装
  • 验证
  • 训练
  • 推理
  • 导出
  • Gradio 演示
• 社区与贡献
• 许可证
• 致谢
• 引用

🚀 更新 (Latest First)

• 2026/06/29: 🤖✅ Agent Skill 系统验证完成 — yolo-master-agent Skill 全量端到端验证与修复。50/50 测试用例通过（8 个验证套件：quick / fast-smoke / cli-smoke / dry-run / contract / deep-smoke / extended / all）。修复 default.yaml 缺失 end2end 字段导致的 AttributeError 崩溃。验证训练 → 验证 → 推理完整闭环（MPS 设备自动选择，workers=0 自动补全）。Skill 运行器：yolo.train、yolo.val、yolo.predict、yolo.benchmark、yolo.export、yolo.lora.diagnose、yolo.eval.peft_compare、yolo.multimodal.infer、yolo.system.doctor。
• 2026/06/29: 🦏🏆 入选 2026 腾讯犀牛鸟开源项目 — YOLO-Master 正式入选 腾讯犀牛鸟开源人才培养计划（Summer of Code 2026）。该计划旨在培养优秀的开源人才，推动开源社区的繁荣发展。YOLO-Master 将获得腾讯开源基金会的持续支持，包括导师指导、资源分配和社区推广，以进一步推进动态智能与 MoE 架构在实时目标检测中的融合与落地。
• 2026/06/28: 🔀 MoA + MoT 正式集成 — Mixture-of-Attention (MoA) 与 Mixture-of-Transformers (MoT) 模块合并至主干，添加回归测试。MoA：轻量级路由器将 token 分配到不同感受野的 attention head（Local / Regional / Global）。MoT：内容感知路由器将 token 分配到不同 Transformer 专家架构（LocalConvTransformer / WindowTransformer / DeformableTransformer），支持软 Top-K 混合与负载均衡辅助损失。新增模型配置：ultralytics/cfg/models/master/v0_1/。
• 2026/06/25: 🧠 MoA 模块引入 — Mixture-of-Attention (MoA) 注意力模块。1×1 conv 路由器将 token 分配到不同感受野的 head（Local depthwise-3×3 / Regional pooled-stride=2 / Global linear-attention）。CNN-native 输入输出，零序列维度 reshape，兼容 Flash-Attention。支持 C2fMoA 包装器和 NeckMoAFusion 跨尺度 FPN/PAN 融合。
• 2026/06/25: 🔄 MoT 模块引入 — Mixture-of-Transformers (MoT) 路由模块。三个完整 Transformer 专家架构，软 Top-K 混合，静态图保持 ONNX/TorchScript trace 稳定性，可选 z-loss 风格负载均衡辅助损失。
• 2026/05/12: 🤖 Agent Skill 系统引入 — yolo-master-agent Skill Bundle，包含 SKILL.md、autotrain 验证套件（50+ 用例）、多模态评估、异步评估、MPS 自动选择、dry-run/contract/smoke 分层验证、VLM/LLM 协同推理（OpenAI / DashScope 兼容）。
• 2026/02/21: 🎉🎉 我们的论文已被 CVPR 2026 接收！ 感谢所有贡献者和社区成员的支持！
• 2026/02/13: 🧨🚀 为模型训练添加 LoRA 支持，并发布 v2026.02 版本。[新年快乐！]
• 2026/01/16: [feature] 新增 MoE 模型剪枝与分析工具。

  diagnose_model：可视化专家利用率与路由行为，用于识别冗余专家。 prune_moe_model：物理切除冗余专家并重构路由，无需重训即可实现高效推理。

• 2026/01/16: 仓库 isLinXu/YOLO-Master 迁移到 Tencent 组织下。
• 2026/01/14: ncnn-YOLO-Master-android为YOLO-Master提供部署，感谢贡献！
• 2026/01/09: [feature] 新增Cluster-Weighted NMS (CW-NMS)来优化与平衡mAP和推理速度。

  cluster: False # (bool) cluster NMS (MoE optimized)

• 2026/01/07: TensorRT-YOLO 为 YOLO-Master 提供加速，感谢贡献！
• 2026/01/07: 新增MoE loss显式加入到training中

  Epoch GPU_mem box_loss cls_loss dfl_loss moe_loss Instances Size

• 2026/01/04: MoE模块重构

  Split MoE script into separate modules (routers, experts)

• 2026/01/03: [feature] 新增 Sparse SAHI 推理模式：通过全局粗筛生成的 Objectness Mask 实现内容自适应的稀疏切片推理，显著提升高分辨率图像中小目标的检测速度与显存利用率。
• 2025/12/31: 发布演示YOLO-Master-WebUI-Demo
• 2025/12/31: 发布 YOLO-Master v0.1 版本，包含检测、分割和分类模型及训练代码。
• 2025/12/30: arXiv 论文发布。

🔥 新特性 (v2026.02)

1️⃣ 混合专家 (MoE) 支持

YOLO-Master 首次将混合专家架构深度融合到 YOLO 中，实现实例条件自适应计算。

核心组件：

使用方法：

from ultralytics import YOLO

# 加载 MoE 配置
model = YOLO("ultralytics/cfg/models/master/v0_1/det/yolo-master-n.yaml")

# MoE 训练
results = model.train(
    data="coco8.yaml",
    epochs=100,
    imgsz=640,
    batch=16,
    moe_num_experts=8,      # 专家数量
    moe_top_k=2,            # 每个 token 激活的专家数
    moe_balance_loss=0.01,  # 负载均衡损失权重
)

# 专家利用率分析与剪枝
model.prune_experts(threshold=0.15)

2️⃣ LoRA 支持 - 参数高效微调

架构无关的 LoRA 适配，零架构开销 —— 纯配置驱动，无需修改模型结构。

LoRA vs Full SFT vs DoRA vs LoHa：YOLOv11-s 上的训练曲线对比（COCO val2017，300 epochs）

核心优势：

• 🎯 仅需约 10% 可训练参数，即可达到全量微调 95-98% 的性能
• ⚡ 40-60% 训练加速，70% 显存节省
• 📦 超紧凑适配器（如 YOLO11x：14.1 MB 适配器 vs 114.6 MB 完整模型）

支持模型：

使用方法：

from ultralytics import YOLO

model = YOLO("yolo11s.pt")

# LoRA 训练（一键激活）
results = model.train(
    data="coco8.yaml",
    epochs=300,
    imgsz=640,
    batch=32,
    lora_r=16,                # rank=16，最佳性价比
    lora_alpha=32,            # alpha = 2×r
    lora_dropout=0.1,
    lora_gradient_checkpointing=True,
)

# 仅保存 LoRA 适配器到目录（YOLO11s 约 4.1MB）
model.save_lora_only("yolo11s_lora_r16")

🚀 垂类场景低阶自适应微调（LoRA）矩阵测试报告

为了验证 YOLO-Master LoRA 框架在不同复杂度的特定下游任务中的性能与资源消耗，我们基于 RTX 5070 Ti 硬件平台，在两个典型轻量化和极高难度场景下进行了跨 Rank 矩阵基准测试。

* 注：可训练参数量占比为相对于主干网络总参数量的理论估算值。由于 Ultralytics 训练生命周期结束后会自动重置梯度图并触发结构重构（Weight Fusion），运行期动态统计呈静默状态。

📌 选型建议与避坑指南：

1. 轻量简单场景（如 Brain Tumor）：推荐选择 Rank = 4。由于样本特征单一，较低的 Rank 具备更好的正则化效果，能有效抑制过拟合。同时需注意医疗影像多为灰度单通道，需在数据端做好通道对齐。
2. 密集复杂场景（如 VisDrone）：推荐选择 Rank >= 16。复杂背景与高密小目标需要更大的参数容量来表征，提升 Rank 能在不增加硬件开销的前提下，使 mAP50 显著提升 **+25.4%**。

3️⃣ Sparse SAHI 稀疏推理模式

稀疏切片辅助超推理（Sparse SAHI） —— 针对超大分辨率图像（4K/8K）检测的革命性优化，通过智能跳过空白区域实现 3-5 倍加速。

Sparse SAHI 流水线：Objectness Mask → 自适应切片 → 高分辨率推理 → CW-NMS 融合

左图：不同场景下的跳过比例分析。右图：真实检测效果示例。

工作原理：

1. 🗺️ 低分辨率全图推理生成 objectness 热力图
2. ✂️ 自适应切片，跳过 objectness < 0.15 的区域
3. 🎯 仅对感兴趣区域进行高分辨率推理
4. 🔗 多切片结果通过 CW-NMS 融合

使用方法：

from ultralytics import YOLO

model = YOLO("yolov8n.pt")

results = model.predict(
    source="large_aerial_image.jpg",
    sparse_sahi=True,
    slice_size=640,
    overlap_ratio=0.2,
    objectness_threshold=0.15,
)

4️⃣ 聚类加权 NMS (CW-NMS)

基于聚类理论的检测框融合算法，使用高斯加权平均代替硬抑制，显著提升定位精度。

CW-NMS vs 传统 NMS vs Soft-NMS：密集场景下的性能对比

from ultralytics import YOLO

model = YOLO("yolov8n.pt")
results = model.predict(
    source="dense_objects.jpg",
    cluster=True,     # 启用 CW-NMS
    sigma=0.1,        # 高斯加权 σ
)

5️⃣ 混合注意力 (MoA) 支持

YOLO-Master 引入 混合注意力 (MoA)，一种 CNN-native 的多尺度注意力融合机制。轻量级 1×1 conv 路由器为每个空间 token 分配软概率到三个不同感受野的 attention head 组：Local（depthwise-3×3）、Regional（pooled-stride=2）和 Global（linear-attention）。零序列维度 reshape，完全兼容 Flash-Attention。

核心特性：

• 🧠 多尺度注意力融合：Local 细节 + Regional 上下文 + Global 语义在一个块中完成
• ⚡ CNN-native：[B,C,H,W] → [B,C,H,W]，无序列维度 reshape，兼容所有 YOLO 主干
• 🔗 灵活集成：C2fMoA 包装器直接替换 C2f/C3k2；NeckMoAFusion 实现跨尺度 FPN/PAN 融合

使用方法：

from ultralytics import YOLO

# 加载 MoA 配置
model = YOLO("ultralytics/cfg/models/master/v0_1/det/yolo-master-n.yaml")

# 使用 MoA 训练
results = model.train(
    data="coco8.yaml",
    epochs=100,
    imgsz=640,
    batch=16,
)

6️⃣ 混合 Transformer (MoT) 支持

YOLO-Master 引入 **混合 Transformer (MoT)**，一种内容感知路由模块，将 token 分配到专门的 Transformer 专家。

三种专家架构：

• 🏠 LocalConvTransformer：深度可分离卷积，用于纹理和边缘检测
• 🪟 WindowTransformer：Swin-style 窗口分区，用于中等尺度目标
• 🌀 DeformableTransformer：稀疏可变形采样，用于不规则和遮挡目标

核心特性：

• 🧭 软 Top-K 路由：静态图计算所有专家，通过 Top-K 掩码权重混合输出 — ONNX/TorchScript trace 稳定
• ⚖️ 可选负载均衡：z-loss 风格辅助损失，稳定专家利用率
• 📦 开箱即用：兼容现有 YOLO-Master 训练和导出流程

使用方法：

from ultralytics import YOLO

# 加载 MoT 配置
model = YOLO("ultralytics/cfg/models/master/v0_1/det/yolo-master-n.yaml")

# 使用 MoT 训练
results = model.train(
    data="coco8.yaml",
    epochs=100,
    imgsz=640,
    batch=16,
)

7️⃣ Agent Skill 系统

YOLO-Master 引入 yolo-master-agent Skill Bundle，使 AI Agent 能够通过结构化 Skill 接口编排训练、验证、推理和评估。

核心特性：

• 🤖 9 个 Skill 运行器：yolo.train、yolo.val、yolo.predict、yolo.benchmark、yolo.export、yolo.lora.diagnose、yolo.eval.peft_compare、yolo.multimodal.infer、yolo.system.doctor
• ✅ 50+ 测试用例：8 个验证套件（quick / fast-smoke / cli-smoke / dry-run / contract / deep-smoke / extended / all）
• 🧠 多模态推理：YOLO 检测 + VLM/LLM 协同推理，支持 OpenAI / DashScope 兼容端点
• 🔧 自动设备选择：MPS/CPU/CUDA 自动选择，workers=0 自动补全，安全默认值
• 📊 结构化输出：JSON manifest 包含训练指标、资源使用、错误分类和下一步操作建议

使用方法：

# 通过 Python API
from ultralytics import YOLO
model = YOLO("yolo11n.pt")
results = model.train(data="coco8.yaml", epochs=1, imgsz=640)

# 通过 Skill CLI
python agent/scripts/run_yolo_master_skill.py \
    --json '{"skill":"yolo.train","inputs":{"model":"yolo11n.pt","data":"coco8.yaml"},"params":{"epochs":1,"imgsz":640}}'

📊 主要结果

检测

分割

分类

📦 模型库与基准测试

预训练 .pt 权重链接已同步自 YOLO-Master-v26.02 release。

YOLO-Master-EsMoE 系列

YOLO-Master-v0.1 系列

🖼️ 检测示例

检测
分割

🧩 支持的任务

YOLO-Master 建立在强大的 Ultralytics 框架之上，继承了对各种计算机视觉任务的支持。虽然我们的研究主要集中在实时目标检测，但代码库支持：

⚙️ 快速开始

安装

# 1. 创建并激活新环境
conda create -n yolo_master python=3.11 -y
conda activate yolo_master

# 2. 克隆仓库
git clone https://github.com/Tencent/YOLO-Master
cd YOLO-Master

# 3. 安装依赖
pip install -r requirements.txt
pip install -e .

# 4. 可选: 安装 FlashAttention 以加速训练 (需要 CUDA)
pip install flash_attn

验证

在 COCO 数据集上验证模型精度。

from ultralytics import YOLO

# 加载预训练模型
model = YOLO("yolo_master_n.pt") 

# 运行验证
metrics = model.val(data="coco.yaml", save_json=True)
print(metrics.box.map)  # map50-95

训练

在自定义数据集或 COCO 上训练新模型。

from ultralytics import YOLO

# 加载模型
model = YOLO('cfg/models/master/v0/det/yolo-master-n.yaml')  # 从 YAML 构建新模型

# 训练模型
results = model.train(
    data='coco.yaml',
    epochs=600, 
    batch=256, 
    imgsz=640,
    device="0,1,2,3", # 使用多 GPU
    scale=0.5, 
    mosaic=1.0,
    mixup=0.0, 
    copy_paste=0.1
)

推理

对图像或视频进行推理。

Python:

from ultralytics import YOLO

model = YOLO("yolo_master_n.pt")
results = model("path/to/image.jpg")
results[0].show()

CLI:

yolo predict model=yolo_master_n.pt source='path/to/image.jpg' show=True

导出

将模型导出为其他格式以进行部署 (TensorRT, ONNX 等)。

from ultralytics import YOLO

model = YOLO("yolo_master_n.pt")
model.export(format="engine", half=True)  # 导出为 TensorRT
# 格式: onnx, openvino, engine, coreml, saved_model, pb, tflite, edgetpu, tfjs

Gradio 演示

启动本地 Web 界面以交互式测试模型。此应用程序提供了一个用户友好的 Gradio 仪表板，用于模型推理，支持自动模型扫描、任务切换（检测、分割、分类）和实时可视化。

python app.py
# 在浏览器中打开 http://127.0.0.1:7860

🤝 社区与贡献

我们欢迎贡献！有关如何参与的详细信息，请查看我们的 贡献指南。

• Issues: 在 这里 报告错误或请求功能。
• Pull Requests: 提交您的改进。

📄 许可证

本项目采用 GNU Affero General Public License v3.0 (AGPL-3.0) 许可证。

🙏 致谢

这项工作建立在优秀的 Ultralytics 框架之上。非常感谢社区的贡献、部署和教程！

📝 引用

如果您在研究中使用 YOLO-Master，请引用我们的论文：

@inproceedings{lin2026yolomaster,
  title={{YOLO-Master}: MOE-Accelerated with Specialized Transformers for Enhanced Real-time Detection},
  author={Lin, Xu and Peng, Jinlong and Gan, Zhenye and Zhu, Jiawen and Liu, Jun},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2026}
}

⭐ 如果您觉得这项工作有用，请给仓库点个星！