CloudStorageMonitor

云存储服务监测器 - 使用适配器模式实现的云存储性能监控工具

项目简介

CloudStorageMonitor 是一个用于监控云存储服务性能的工具，支持多种云存储服务（目前支持阿里云OSS），通过适配器模式实现了解耦和可扩展的架构设计。

主要特性

适配器模式：通过适配器接口实现不同云存储服务的统一访问
负载生成：支持多种负载场景（读密集型、写密集型、读写均衡等）
性能测试：延迟测试、吞吐量测试、网络测试等
指标收集：自动收集和保存性能指标（JSONL格式）
场景管理：支持28种不同的负载场景配置

项目结构

CloudStorageMonitor/
├── adapters/          # 适配器层
│   ├── base_adapter.py    # 抽象基类
│   ├── oss_adapter.py     # 阿里云OSS适配器
│   └── obs_adapter.py     # 华为云OBS适配器（待实现）
├── core/              # 核心功能模块
│   ├── load_generator.py      # 负载生成器
│   ├── matrics_collector.py   # 指标收集器
│   └── probe_manager.py       # 探测管理器
├── output/            # 输出目录
│   └── probe_metrics.jsonl   # 探测指标输出文件
├── config.yaml        # 配置文件
├── main.py            # 主程序入口
└── requirements.txt   # Python依赖包

安装依赖

pip install -r requirements.txt

配置说明

编辑 config.yaml 文件，配置云存储服务的访问凭证和监控参数：

aliyun:
  access_key_id: "your_access_key_id"
  secret_access_key: "your_secret_access_key"
  endpoint_internal: "oss-cn-beijing-internal.aliyuncs.com"
  endpoint_public: "oss-cn-beijing.aliyuncs.com"
  bucket: "your_bucket_name"
  region: "cn-beijing"
  node_type: "internal"  # 或 "public"

monitoring:
  interval: 60  # 采集间隔(秒)
  timeout: 30   # 超时时间(秒)
  test_file_size: 1048576  # 1MB测试文件
  # ... 更多配置项

详细配置说明请参考 config.yaml 文件中的注释。

使用方法

基本使用

python main.py

配置场景

在 config.yaml 中配置要测试的场景：

monitoring:
  test_all_scenarios: true  # 测试所有场景
  # 或
  scenarios_to_test: [1, 2, 3]  # 测试指定场景
  random_scenarios: true  # 随机选择场景
  random_count: 1  # 随机选择的数量

架构设计

适配器模式

项目采用适配器模式，通过 CloudStorageAdapter 抽象基类定义统一的接口，不同云存储服务通过实现适配器来提供支持：

OSSAdapter: 阿里云OSS适配器
OBSAdapter: 华为云OBS适配器（待实现）

核心模块

LoadGenerator: 负责生成背景负载，模拟云存储服务的各种操作场景
MetricsCollector: 负责收集和统计性能指标
ProbeManager: 负责管理探测流程，协调各个模块

输出格式

指标数据以 JSONL（JSON Lines）格式保存到 output/probe_metrics.jsonl，每行一个JSON对象，包含：

场景信息（ID、名称）
探测操作结果
负载统计信息
延迟测试结果
吞吐量测试结果
网络测试结果

开发计划

OSS适配器实现
负载生成器
指标收集器
探测管理器
OBS适配器实现
更多云存储服务支持
Web界面
实时监控

许可证

本项目采用适配器模式重构，实现了代码解耦和可扩展性。

贡献

欢迎提交 Issue 和 Pull Request！