kitex-benchmark

本项目展示了 kitex 的几种简单用法, 并提供了若干对比项目。

由于不同框架使用的协议、传输模式等存在差异，不能强行拉齐。kitex 给出了几种简单的组合，可供参考。

kitex:
- 多消息协议：Thrift(推荐)、KitexProtobuf（自定义 Protobuf 消息协议）、GRPC（与 gRPC 官方对齐，为方便区分作为消息协议概念）
- 多传输模式：长连接池(推荐)、连接多路复用(mux)
对比项目:
- thrift 方向，暂时没有找到较为流行的对比框架，后续可以添加。
- protobuf 方向，提供了 grpc、rpcx 作为对比项目(均使用连接多路复用)，但注意消息协议存在差异。

使用说明

同机压测

执行前请先确认满足环境要求。

Thrift

./scripts/benchmark_thrift.sh

Protobuf

./scripts/benchmark_pb.sh

GRPC

./scripts/benchmark_grpc.sh

跨机压测

同机回环压测时数据并未真正进入网卡，未能真实模拟线上服务情况。所以也提供了 Client 与 Server 分别部署执行的方式。

但是需要注意的是，如果执行机器上拥有超过 taskset 设置的核心，网络包会通过 softirq 借道其他未被 taskset 控制的 ksoftirqd 内核线程，进而享受了其他 CPU 的计算。所以需要严格的压测数据时，推荐使用和 taskset 一致的机器配置，或是删除 taskset。

Thrift

# host A
./scripts/run_thrift_servers.sh

# host B
./scripts/run_thrift_clients.sh

Protobuf

# host A
./scripts/run_pb_servers.sh

# host B
./scripts/run_pb_clients.sh

GRPC

# host A
./scripts/run_grpc_servers.sh

# host B
./scripts/run_grpc_clients.sh

压测数据对比

压测日志与对应 csv 结果会被输出在 ./output 目录下，默认以时间命名（如果指定了 REPORT 环境变量，会以该变量命名），例如:

$ scripts/benchmark_thrift.sh
$ ls output/
2021-12-13-21-40.log # raw output log
2021-12-13-21-40.csv # processed data

$ REPORT=feat-gopool scripts/benchmark_thrift.sh
$ ls output/
feat-gopool.log # raw output log
feat-gopool.csv # processed data

计算两次压测之间的 diff，输出结果为当前的数据加上变化的百分比值:

# Usage: python3 ./scripts/reports/diff.py baseline.csv current.csv

python ./scripts/reports/diff.py output/2021-12-13-21-40.csv output/2021-12-13-21-44.csv

# output:
# [KITEX-MUX]   100            1024           275604.66(+0.4%)     1.13(+0.0%)     2.01(-0.5%)
# [KITEX]       100            1024           218999.03(-0.4%)     1.28(-3.0%)     3.73(-2.1%)

Profiling

由于默认压测参数会比较迅速完成一次压测，为了获得更长采集时间，可以手动在 ./scripts/base.sh 中调整压测参数 n 大小。

Profiling Client

go tool pprof localhost:18888/debug/pprof/{pprof_type}

Profiling Server

不同 server 的 port 映射参见相应脚本，如:

cat ./scripts/benchmark_pb.sh

# ...
repo=("grpc" "kitex" "kitex-mux" "rpcx" "arpc" "arpc-nbio")
ports=(8000 8001 8002 8003 8004 8005)

获取到对应 server 端口号后，执行：

go tool pprof localhost:{port}/debug/pprof/{pprof_type}

环境要求

OS: Linux
- 默认依赖了命令 taskset, 限定 client 和 server 运行的 CPU; 如在其他系统执行, 请修改脚本。
CPU: 推荐配置 >=20核, 最低要求 >=4核
- 压测脚本默认需要 20核 CPU, 具体在脚本的 taskset -c ... 部分, 可以修改或删除。