HUATUO 华佗

Kernel-wide Insight, Instant Observability, AutoTracing, Continuous Profiling

English README · Quick Start · Documentation ·

什么是 HUATUO

HUATUO（华佗） 是由滴滴开源并依托中国计算机学会（CCF）孵化的操作系统内核深度观测项目。它应用于通用计算、AI 计算、智驾系统以及裸金属基础服务等场景。通过整合 kprobe、tracepoint、ftrace 和 eBPF 等 Linux 内核动态追踪技术，HUATUO 提供了多维度的内核洞察力：更精细化的指标、异常事件驱动的内核运行时上下文捕获，以及智能化的自动追踪。项目已构建起一套完整的 Linux 内核深度可观测体系架构。 HUATUO 已在滴滴生产环境中实现规模化部署，在诸多故障场景中发挥作用，有效保障了云原生操作系统的高可用性和性能优化。通过持续演进，HUATUO 旨在将 eBPF 可观测性技术推向更细粒度、更低开销和更高效率。

更多信息，请访问：https://huatuo.tech/

核心特性

低损耗内核全景观测：基于 BPF 技术，保持性能损耗低于 1%，实现对内存管理、CPU 调度、网络及块 I/O 等核心子系统的全栈、全维度、全景观测。
异常事件驱动诊断：构建事件驱动的运行时上下文捕获机制，精准埋点内核慢速、异常路径。当发生缺页异常、调度延迟、锁竞争等关键事件时自动触发，即刻生成包含寄存器状态、调用堆栈、资源占用等详细诊断信息。
**全自动化追踪 (AutoTracing)**：采用启发式追踪算法，解决云原生复杂环境下典型的性能毛刺故障。针对 CPU idle 掉底、CPU sys 突增、I/O 突增、Loadavg 突增等棘手问题，实现自动化快照留存与根因诊断。
持续性能剖析 Profiling：持续对操作系统内核，业务应用进行全方位性能剖析，涉及 CPU、内存、I/O、锁、以及各种解释性编程语言，力助业务持续的优化迭代更新。在全链路压测、故障注入、容灾演练等场景中发挥作用。
**分布式链路追踪 (Tracing)**：以网络为中心、面向服务请求的分布式追踪，清晰描绘系统调用层级与节点关系。提供大规模分布式系统中微服务交互的全景视图，保障复杂环境下的系统稳定性。
开源技术生态融合：无缝对接 Prometheus、Grafana、Pyroscope、Elasticsearch 等主流开源可观测技术栈。支持物理机与云原生部署，自动感知 K8S 容器资源/标签/注解。通过零侵扰、内核可编程的 eBPF 技术，实现兼容主流硬件平台与 Linux 发行版。

整体大图

开源生态

快速上手

极速体验

使用 Docker 一键启动华佗核心服务：

$ docker run --privileged --cgroupns=host --network=host -v /sys:/sys -v /run:/run huatuo/huatuo-bamai:latest

在另一终端获取指标：

$ curl -s localhost:19704/metrics

快速搭建

使用 Docker Compose 一键启动 Elasticsearch、Prometheus、Grafana 和 huatuo 全栈服务：
```
$ docker compose --project-directory ./build/docker up
```
服务启动后，通过浏览器访问 http://localhost:3000 即可查看监控大盘。

HUATUO 组件运行示意图
注意请勿将 latest 标签的镜像部署至生产环境，此为开发测试分支。请使用正式发版的镜像或二进制文件。

内核版本

支持 4.18 及之后的所有内核版本。以下为主要测试过的内核与操作系统发行版。

HUATUO	内核版本	操作系统发行版
1.0	4.18.x	CentOS 8.x
1.0	5.4.x	OpenCloudOS V8/Ubuntu 20.04
1.0	5.10.x	OpenEuler 22.03/Anolis OS 8.10
1.0	5.15.x	Ubuntu 22.04
1.0	6.6.x	OpenEuler 24.03/Anolis OS 23.3/OpenCloudOS V9
1.0	6.8.x	Ubuntu 24.04
1.0	6.14.x	Fedora 42

文档

完整文档请访问: https://docs.huatuo.tech/

联系我们

微信群（备注姓名+单位）和公众号：

开源协议

该项目采用 Apache License 2.0 协议开源，BPF 代码采用 GPL 协议。