ZhuaTech AI Eval｜企业 AI 质量评测中心

2026-10-23 功能更新：检索质量 MRR 与 NDCG 评测。对带相关性标注的查询批次计算 MRR、Recall@K、Precision@K、NDCG@K，重复候选不重复计分，并给出无有效标注的查询提醒。 接口、操作与边界说明。

简体中文 | English

由 知华科技（上海如静知华信息科技有限公司） 开发的 AI 应用离线评测与发布门禁社区源码版。

本次升级：拒答质量与误拒率联合评测

分别核对应该拒答和应该作答的样本，计算安全拒答召回、误拒率及总体正确率，避免只看单一通过率掩盖过度拒答。

新增已认证的结构化录入工作台（/operations.html），支持批量核算、逐条结果依据、分级复核和CSV/完整JSON导出。结果由真实后端算法计算，不是预置演示数字。所有数值精确传递，不调用外部模型。

这是只读核算：不写库、不审批、不自动执行财务、签署、销毁或设备控制。输入条件满足不是执行授权。算法、输入边界与接口说明。

核心能力已经实现

• 批量执行评测用例，不依赖外部模型也能评估候选回答。
• 字符 N-gram F1 衡量答案与参考答案的一致程度，兼容中文和英文。
• 引用覆盖率检查实际引用是否覆盖期望证据。
• 禁止词、安全信号、延迟和单次成本硬门禁。
• 输出每条用例的得分、失败原因和整体通过率。
• 达到质量及通过率阈值、且评测人与审批人职责分离后才允许发布。
• 请求幂等、运行审计、MySQL 持久化、管理员/审计员权限控制。
• Vue 控制台提交真实用例并展示逐项结果。
• 持久化评测回归门禁：对比基线与候选运行的平均分、用例通过率和发布决策，超过允许回退阈值即阻断晋级。

接口

• POST /api/ai-eval/runs：运行数据集评测并保存审计。
• GET /api/ai-eval/audits：查询最近评测记录。
• POST /api/ai-eval/regression-checks：以两次已保存的 requestId 执行版本回归检查；仅管理员和审计员可调用。

启动与验证

cp .env.example .env
docker compose up --build

访问 http://localhost:8093。

本项目仅允许个人非商业学习、研究和交流。企业使用、生产部署、SaaS、咨询实施、外包交付等商业使用必须取得上海如静知华信息科技有限公司书面授权，详见 LICENSE。

企业 AI 评测体系、私有模型质量基线和定制开发，请联系知华科技。

微信咨询

商业授权、私有化部署或深度定制开发，可扫描下方二维码添加微信 zhuatech 或 zhuatech2 咨询。

微信 zhuatech	微信 zhuatech2

输入对照与版本化快照

在既有「拒答质量与误拒率联合评测」基础上，新增 /comparison.html：基准与候选两组数据都由当前真实算法重算，按编号展示新增、移除、逐字段变化和精确数值差，支持筛选、分页和全量导出。原核算入口可导出输入快照，对照页经后端完整校验后整体导入；失败不覆盖当前输入。

快照区分项目、字段契约及算法版本。建议较宽松不代表风险已下降，输入摘要不是签名；操作人和时间仅为响应元数据，不是持久化审计。本次未新增模型调用或业务写入，也不代表全系统生产认证。详见输入对照操作与接口说明。