ZhuaTech AI Eval｜企业 AI 质量评测中心

由 知华科技（上海如静知华信息科技有限公司） 开发的 AI 应用离线评测与发布门禁社区源码版。

核心能力已经实现

• 批量执行评测用例，不依赖外部模型也能评估候选回答。
• 字符 N-gram F1 衡量答案与参考答案的一致程度，兼容中文和英文。
• 引用覆盖率检查实际引用是否覆盖期望证据。
• 禁止词、安全信号、延迟和单次成本硬门禁。
• 输出每条用例的得分、失败原因和整体通过率。
• 达到质量及通过率阈值、且评测人与审批人职责分离后才允许发布。
• 请求幂等、运行审计、MySQL 持久化、管理员/审计员权限控制。
• Vue 控制台提交真实用例并展示逐项结果。

接口

• POST /api/ai-eval/runs：运行数据集评测并保存审计。
• GET /api/ai-eval/audits：查询最近评测记录。

启动与验证

cp .env.example .env
docker compose up --build

访问 http://localhost:8093。

本项目仅允许个人非商业学习、研究和交流。企业使用、生产部署、SaaS、咨询实施、外包交付等商业使用必须取得上海如静知华信息科技有限公司书面授权，详见 LICENSE。

企业 AI 评测体系、私有模型质量基线和定制开发，请联系知华科技。