🛡 开源智巡 — 基于 OpenHarmony 的多模态智能体工业现场多端协同巡检系统

赛题: 中国研究生 OS 开源创新大赛赛题 12 · 项目: 开源智巡 · 版本: v10.3 永久公网部署: 阿里云 ECS + 域名 baoyanxuntong.site（24/7 在线，不依赖提交者电脑）

👉 评委老师请看这里！

🔗 系统入口（直接访问，无需安装！）

🌐 http://baoyanxuntong.site/ 🌐

📋 操作步骤（30秒）

步骤	操作
①	打开上面链接，直接进入三端协同主界面
②	按键盘 `1` 三端同览 / `2` 手持终端 / `3` 监控设备 / `4` 大屏
③	按 `Esc` 关闭弹窗
④	完成！

🚪 6 个快捷入口

链接	功能
首页	📊 中文产品首页 + 实时统计
三端主界面	🏠 三端同览主界面
安全管控	🔒 安全管控面板
AI 配置	🤖 AI 智能体配置中心
远程会诊	🩺 远程会诊

🎥 演示视频

📺 B站演示视频：https://www.bilibili.com/video/BV1gJ3n6gEzK

完整展示三端协同、AI 诊断、安全扫描、远程会诊等核心功能操作流程。 | API 文档 | 📖 Swagger API 文档 |

💻 想本地运行？只需 2 分钟

git clone https://www.gitlink.org.cn/IB0sK3W7OE/jyohddmtzntgyxcddxtzyxt.git
cd hongdun/server
pip install fastapi uvicorn python-multipart pydantic
python server.py

浏览器打开 http://localhost:8600/static/index.html

📡 部署说明

本次提交采用”公网永久部署 + GitHub 风格仓库”双保险方案：

方式	说明
🌐 公网域名	通过阿里云 ECS 部署 + DNSPod 域名解析，24/7 在线，评委随时访问
📦 Git 仓库	完整源码已上传至 GitLink，评委可 clone 本地运行（备份方案）

🎯 项目简介

针对钢铁制造、特高压电力、化工生产等高安全要求工业场景，构建 多端协同 + AI 多模态 + 可信接入管控 的完整工业现场巡检解决方案。

核心亮点

🖥️ 三端协同：手持终端（OpenHarmony 模拟器） + 监控设备（Web） + 控制中心大屏（Web）
🤖 AI 多模态智能诊断：支持 DeepSeek-V3/R1、Qwen3-Max、GPT-4o/5、Claude 3.5、豆包、智谱 GLM-4 等 6 家最新大模型
🔍 RAG 检索增强：内置 TF-IDF + 字符bigram/trigram + 余弦相似度向量检索
🔒 可信接入管控：白名单机制 + 局域网扫描 + 自动阻断 + 权限分级 + 审计日志
📊 数据标注闭环：每次诊断自动保存为训练样本，支持后续模型精调

数据规模

类别	数量
📚 知识库文档	65 篇（覆盖钢铁/电力/化工/通用四大场景）
📊 训练样本	218 条（带 4 位不同操作员标注）
⚖ 合规规范	41 条（含安全生产法/GB 标准/TSG 规程/国务院令）
🔧 设备模板	35 台（轧机/高炉/变压器/反应釜等真实工业设备）
🌐 API 接口	42 个 REST + WebSocket

📁 项目结构

路径	说明
`hongdun/server/server.py`	FastAPI 主服务（42 个 API + WebSocket）
`hongdun/server/rag_engine.py`	RAG 多模态智能体引擎
`hongdun/server/seed_industrial_data.py`	工业领域种子数据
`hongdun/server/seed_expansion.py`	数据集扩展脚本
`hongdun/server/hongdun.db`	SQLite 数据库（含全部业务数据）
`hongdun/web/index.html`	响应式三端同览主入口
`hongdun/web/css/style.css`	工业暗色主题样式
`hongdun/web/js/app.js`	前端业务逻辑
`hongdun/OH/`	OpenHarmony 原生应用源码
`docs/`	系统架构/功能设计/用户操作手册（Word）
`requirements.txt`	Python 依赖
`start.sh` / `start.bat`	一键启动脚本（Linux/Windows）
`README.md`	本文件
`.gitignore`	Git 忽略规则

🖥️ 多设备协同部署指南（真实工业场景）

部署架构

后端部署在一台服务器上，三端独立连接。所有设备通过 WebSocket 实时同步。

     后端服务 (server.py) ← 192.168.1.100:8600 (SQLite + WebSocket)
              │
              ├──→ 手持终端 (OH/手机) — 巡检员现场操作
              ├──→ 监控设备 (PC 浏览器) — 中控室实时监测
              └──→ 大屏终端 (PC/TV) — 主任/专家全局看板

部署步骤

步骤	操作
①	选择一台 PC 作为服务器，记下 IP（如 `192.168.1.100`）
②	在该机器运行 `python server.py`（监听 `0.0.0.0:8600`）
③	其他任意设备浏览器访问 `http://192.168.1.100:8600/static/index.html`
④	OpenHarmony 端：`http://10.0.2.2:8600`（模拟器）或服务器 IP（真机）

验证多设备协同

部署后，在一台设备创建工单 → 工单实时推送到所有设备 → 证明真实多端数据互通。

🛠️ 技术栈

层级	技术
后端框架	Python 3.10+ FastAPI + WebSocket + Uvicorn
数据库	SQLite（国产化嵌入式数据库，WAL 模式）
向量检索	TF-IDF + 字符 bigram/trigram + 余弦相似度（纯 Python 零依赖）
大模型	DeepSeek-V3/R1 · Qwen3-Max · GPT-4o/5 · Claude 3.5 · 豆包 · 智谱 GLM-4
实时通信	WebSocket（JSON 消息）
OH 端	ArkTS（API 26 strict）+ PhotoViewPicker
Web 前端	HTML5 + CSS3 + 原生 JS（无外部框架依赖）

🏗️ 系统架构（六层）

层级	职责
终端层	手持终端(OH) · 监控设备(Web) · 控制中心大屏(Web)
通信层	JSON 消息协议 + WebSocket 实时推送
服务层	FastAPI 异步路由 + 依赖注入
AI 引擎层	RAG 向量检索 + 规则匹配 + 大模型推理
安全层	白名单 + Token RBAC + 审计日志 + 自动阻断
数据层	SQLite (WAL 模式) + 14 张表 + 218 条训练数据

📊 系统功能矩阵

功能	接口	说明
工单管理	`GET/POST/PUT /api/orders`	创建、查询、更新工单
设备监测	`GET /api/devices`	35 台工业设备实时状态
告警管理	`GET/POST /api/alerts`	自动告警 + 人工确认
AI 多模态诊断	`POST /api/diagnose`	文本+图像+状态码融合推理
RAG 向量检索	`POST /api/rag/search`	知识库语义检索
LLM 配置管理	`GET/POST /api/llm/config`	6 家大模型服务商
LLM 连接测试	`POST /api/llm/test`	验证 API Key 有效性
数据标注	`GET/POST /api/labeling/dataset`	自动反馈闭环
安全扫描	`POST /api/security/scan`	自动阻断未授权设备
白名单管理	`GET/POST/DELETE /api/security/trusted`	增删查白名单
安全日志	`GET /api/security/logs`	审计日志
阻断设备管理	`GET/DELETE /api/security/blocked`	阻断列表 + 解除
安全合规规范	`GET /api/safety/compliance`	41 条工业安全规范
合规校验	`POST /api/safety/compliance/check`	按设备类型匹配合规规则
远程会诊	`GET/POST /api/consultation`	实时聊天会话管理
知识库管理	`GET /api/knowledge`	65 篇工业领域知识
图片上传	`POST /api/upload`	多模态图像采集

🎥 系统验证检查清单

检查项	操作	预期结果
工单同步	手持端→新建工单→提交	三端同时显示新工单
AI 多模态诊断	手持端→AI 诊断→输入”3号轧机温度72℃振动”→诊断	返回故障原因 + RAG 检索 + 操作指引
安全扫描	监控端→🔍 安全扫描	拦截 2 个未授权设备
远程会诊	手持端→远程会诊→发起会诊	大屏端收到会诊通知
白名单管理	监控端→🔒 安全管控→添加 MAC 地址	白名单更新
数据标注	AI 配置面板→查看最近样本	218 条标注数据
多端流转	手持端→流转工单→大屏	大屏端显示故障信息

👥 项目组成员

成员	角色	方向
魏同学	队长	AI 大模型 + 多模态融合 + 智能体架构
苗同学	核心开发	OpenHarmony 多端协同 + ArkTS 应用
李同学	算法	深度学习 + 故障诊断 + 模型精调

📜 许可证

MIT License

🙏 致谢

OpenHarmony 开源生态
FastAPI / Uvicorn 团队
DeepSeek / 通义千问 / OpenAI 等大模型服务商
中国研究生 OS 开源创新大赛组委会