基于 OpenHarmony 的多模态智能体工业现场多端协同作业系统

1. 作品简介

本作品面向工业制造、能源等高安全场景中的设备巡检与检修作业，构建了由 OpenHarmony 现场 App、Web 工业协同服务中心、Spring Boot 服务端、达梦 DM8 数据库和遥测监控终端组成的多端协同系统。系统将“扫码识别设备—读取运行状态与日志—图文多模态诊断—创建工单—专家会诊—现场实时画面流转—处置闭环—安全审计”组织为一条可追踪的业务链路。

巡检员可通过可信移动终端扫描设备二维码，上传现场照片并结合设备指标、运行日志、故障描述和授权知识完成多模态诊断；专家在独立 App 中接收会诊、查看诊断证据并回传建议；管理员通过移动端处理治理待办，并在 Web 服务中心完成可信终端审批、设备与遥测管理、知识维护、工单追踪、AI 服务配置和安全审计。现场画面以工单和会诊为上下文，通过一次性票据授权的 WebSocket 通道中继低码率 JPEG 帧，支持专家 App 与 Web 协同大屏同步观看。

系统的安全边界贯穿终端接入、资料调阅、图片读取、AI 知识注入和实时协同。服务端联合校验终端白名单、安装实例指纹、凭证版本、访问会话和 JWT；越权读取分级资料时在业务逻辑之前返回 403 ，同时写入访问审计和安全告警。

2. 赛题要求与实现对应

赛题能力	本作品实现
多端协同作业与流转	巡检员 App、专家 App、管理员 App、监控终端与 Web 服务中心围绕设备、工单、会诊和实时会话协同；REST 承载业务数据，SSE 通知 Web 刷新，WebSocket 中继现场 JPEG 帧。
多模态智能体辅助决策	联合设备档案、温度、振动、状态码、最近运行日志、巡检文字、现场图片和当前角色有权读取的知识指引进行诊断；输出风险等级、诊断结论、处置建议、合规提醒和知识命中依据。
可信接入与白名单	新安装 App 首次登录生成待审批终端；管理员批准后才签发终端凭证和访问会话。隔离、吊销或凭证版本变化会使旧 JWT 立即失效。
高密级数据权限管控	分级资料按角色级别控制；越权请求返回 403。现场图片还校验设备、上传终端和已接受会诊等业务上下文。
OpenHarmony 技术深度	ArkTS/ArkUI Stage模型；使用 ScanKit、CameraKit、PhotoAccessHelper、Preferences、分布式设备发现与分布式数据对象；C++ NAPI 提供 SHA-256 摘要能力。
国产数据库	业务数据落地达梦 DM8，业务 Schema 为 `INDUSTRIAL_V2`。

3. 主要功能

3.1 巡检员 App

首页可视化展示设备总数、异常设备数量、工单统计数据，快速查看近期检修工单；
支持扫码或手动选定目标设备，一键调取设备档案、实时运行指标、遥测监控节点、历史运行日志；
可调用相机现场拍摄取证，也能直接读取手机相册图片上传；
上传图文材料后一键发起 AI 多模态诊断，直观查看故障风险等级、图片解析结果、标准化处置建议、对应权限内的检修知识指引；
依托诊断结果创建正式检修工单，按需发起专家远程会诊、申请现场画面实时共享；
接收专家给出的维修建议，填写现场实际处理记录并闭环工单；工单办结后自动转为只读状态，同步关闭关联的实时画面传输通道。

3.2 专家 App

统一展示待处理会诊任务队列，采用原子化接单机制，避免多位专家同时抢占同一会诊单；
分类查看已接手会诊、历史全部会诊记录；
会诊详情页完整展示设备运行状态、历史日志、现场故障照片、AI 初步诊断结论、风险等级与匹配的检修知识库；
在线编辑并提交专业维修建议，接入实时协同会话后，同步查看巡检端回传的现场画面。

3.3 管理员 App 与 Web 服务中心

管理员 App 提供移动治理能力：可信终端审批与处置、设备和监控节点状态、工单会诊查看、安全告警。
Web 服务中心通过顶部导航提供工作台、设备中心、监控终端、AI 智能诊断、工单中心、实时协同、检修知识库、可信终端和安全中心。工作台集中展示设备运行状态、所选设备示意图、检修任务及最近处理动态。
Web 支持新增设备并自动建立监控节点、纳入遥测模拟、判断初始状态、生成并打印设备二维码。
AI 页面支持 GLM、Gemini、DeepSeek 和 OpenAI-Compatible 服务配置。

3.4 监控终端与模拟遥测

监控终端是设备遥测采集节点。它使用独立机器密钥上报心跳、温度、振动和状态码。为方便比赛演示，模拟器已集成到 Spring Boot：后端启动后自动为未纳管设备创建 MON-设备编码 节点，每 5 秒生成遥测、每 10 秒发送心跳，并支持自动巡航、温升异常、振动异常和恢复正常场景。

4. 作品目录

项目根目录/
├── README.md
├── src/
│   ├── admin-web/                  Vue 3 Web 工业协同服务中心
│   ├── springboot-server/          Spring Boot 服务端与达梦数据库脚本
│   └── openharmony/                ArkTS/OpenHarmony 三角色移动端
├── docs/
│   ├── 项目说明书.pdf
│   ├── 项目创新说明.pdf
│   ├── 成员分工及主要贡献说明.pdf
│   └── 人工智能及第三方工具使用说明.pdf
├── tests/                          三端测试及验证材料
├── demo/                           JAR、Web 构建、HAP、配置与设备二维码
├── presentation/
│   ├── 决赛现场演示.pptx
│   └── 决赛演示视频.mp4
├── 作品截图/                       README 界面配图
└── 作品原创承诺书.pdf

提交材料索引

材料	入口
项目说明书	项目说明书.pdf
主要创新及代码、验证依据	项目创新说明.pdf
成员分工与主要贡献	成员分工及主要贡献说明.pdf
AI 与第三方工具使用	人工智能及第三方工具使用说明.pdf
测试及验证材料	tests/
可验证交付物与使用说明	demo/README.md
决赛现场演示 PPT	决赛现场演示.pptx
决赛演示视频	决赛演示视频.mp4
作品原创承诺书	作品原创承诺书.pdf

演示视频约 2 分 50 秒，保留 1080p 分辨率，采用 30 帧压缩版本；PPT 内嵌同一份视频。旁白使用豆包“温暖阿虎 2.0”合成，并按操作画面分段对齐。

5. 环境要求

组件	建议版本/要求
操作系统	Windows 10/11（当前演示环境）
JDK	17 或更高兼容版本
Maven	3.9+
Node.js	18+（本机验证版本 20.13.1）
达梦数据库	DM8，默认端口 5236
DevEco Studio	安装 OpenHarmony/HarmonyOS API 24 对应 SDK、手机模拟器或真机
浏览器	Chrome、Edge 等

默认端口：

服务	地址
DM8	`localhost:5236`
Spring Boot	`http://127.0.0.1:8080`
API 根地址	`http://127.0.0.1:8080/api/v2`
Web 开发服务器	`http://127.0.0.1:5178`

6. 作品演示

本节按照“现场巡检—智能诊断—专家会诊—管理治理”的业务链路展示系统主要界面。OpenHarmony App 承载巡检员与专家的移动作业，Web 服务中心负责全局监控、资源配置与安全治理。

6.1 演示账号

角色	账号	密码	主要入口
巡检员	`inspector`	`Inspector2024!`	OpenHarmony App
专家	`expert`	`Expert2024!`	OpenHarmony App
管理员	`admin`	`Admin2024!`	OpenHarmony App / Web 服务中心

演示提示：新安装的 OpenHarmony App 首次登录后，需要由管理员审批该终端；审批通过后重新登录，即可进入对应角色工作台。

6.2 巡检员端：现场巡检与智能诊断

巡检员通过移动工作台掌握设备与工单状态，扫描设备二维码获取实时档案，完成现场取证后发起图文多模态 AI 诊断。

移动端采用高清增强截图；点击图片可查看完整分辨率。

工作台	设备档案

图 6-1｜巡检工作台汇总设备、异常与近期工单	图 6-2｜设备档案扫码读取设备状态与运行信息

工单中心	AI 诊断

图 6-3｜工单中心跟踪待处理、会诊及已完成工单	图 6-4｜AI 诊断选择设备、现场取证并描述故障

6.3 专家端：远程会诊与画面协同

专家可接收巡检端发起的会诊任务，集中查看处理中与历史会诊，并在授权后进入实时画面协同。

专家会诊台	会诊列表	画面协同

图 6-5｜专家会诊台接收并处理待办会诊请求	图 6-6｜会诊列表区分处理中任务与历史记录	图 6-7｜画面协同管理实时会话与待进入申请