<<<<<<< HEAD

Benchmark 评测平台

面向 SCA / 组件识别工具的离线评测平台：导入测试集期望集，解析工具结果，按统一口径计算组件识别与漏洞分析指标，并展示测评任务、排行榜与明细。

当前状态

• 设计文档已完成：docs/superpowers/specs/2026-10-27-benchmark-platform-design.md
• 纯前端原型已完成两版，用于界面与交互评审
• Vue + FastAPI 正式实现尚未开始

原型

目录	风格	打开方式
prototype/	myUI 后台风（墨绿顶栏 + 面板 + 表格）	双击 prototype/index.html
prototype-ref/	参考真实平台重写（纸感背景 + 衬线标题 + 浮动胶囊导航）	双击 prototype-ref/index.html

两版均为纯静态 HTML，data.js 通过 <script> 加载，file:// 下可直接打开。

参考版包含：首页、工具、排行榜、测评任务、Run 详情、样例详情、测试集、项目期望集、说明；支持组件/漏洞维度切换、筛选、分页、命中/误报/漏报明细、发起测评与导入测试集的交互模拟。

数据

• 测试集：关键项目集 · 全语言融合_测试集与结果(3).xlsx
• 50 个项目、49 个可评、23,849 个去重组件键、3,894 个漏洞簇
• 测试集与期望集样例为真实导出数据；工具、Run 与排行榜为可复现模拟数据
• 重新生成原型数据：

python scripts/build_prototype_data.py

报告适配器（B 方案）

独立 CLI 子项。

• 设计文档：docs/superpowers/specs/2026-10-28-report-adapter-design.md
• 第一版适配器：Syft、Trivy、通用 CycloneDX、通用 SPDX、HTTP /scan
• 本地项目目录、报告文件输出、可选直接上传
• 不读取期望集；支持原始输出留档、超时/失败处理
• 状态：设计待审阅，尚未实现

导入模板

templates/test-set-import-template.xlsx

• 四个必需 Sheet：测试集信息、项目与构建结果、组件结果集、漏洞分析结果
• 附「填写说明」Sheet，含字段规则、校验规则与常见错误
• 演示样例是一个内部计数自洽的迷你测试集：5 个项目、8 条组件行、1 条漏洞
• 预留可选字段：源码 SHA256 / 文件大小 / 构建镜像、是否主目标组件 / 是否用于代码 / 证据文件、严重级别 / 摘要 / 是否撤回
• 重新生成并同步到两个原型目录：

python scripts/build_import_template.py

两个原型的上传位置都提供小字「示例模板」下载入口：

• 导入测试集：上传框下方 → templates/test-set-import-template.xlsx（四个 Sheet，含示例行与填写说明）
• 新建评测：报告上传框下方 → templates/tool-report-examples.zip（自定义 JSON / CSV / CycloneDX / SPDX 示例包）；单文件 JSON 示例为 templates/tool-report-template.json

生成报告示例包：

python scripts/build_report_templates.py

脚本会同步到两个原型目录。

关键口径

• 主匹配键：生态 + 命名空间 + 名称（去版本）
• 组件：去版本唯一键；漏洞：组件去版本键 + 漏洞标识（GHSA / CVE / 别名）
• 四项率：正确识别率 60%、误报率 20%、漏报率 10%、失败率 10%
• 组件与漏洞两套独立总分；失败样例只计入失败率
• 分数、率值、耗时按 ROUND_HALF_UP 保留两位；计数为整数
• 测试集导入后冻结；评分只读快照，不实时查询漏洞库

目录

benchmark/
├─ docs/superpowers/specs/   # 设计文档
├─ prototype/                # myUI 风格原型
├─ prototype-ref/            # 参考平台风格原型
├─ scripts/                  # 原型数据生成、CDP 冒烟测试
├─ benchmark-scoring-standard(1).md
└─ 关键项目集 · 全语言融合_测试集与结果(3).xlsx

后续

1. 原型评审与视觉/交互调整
2. 按设计文档编写实现计划
3. FastAPI + SQLite 评分服务、Excel 导入、报告解析、Run 快照

4. Vue 前端落地与端到端校准

   benchmark

7d711fbff9dc66c376dd6cd600078a18f23fa890