cokecola/jyohddmtzntgyxcddxtzyxt

鸿枢智联 OpenHarmony 多模态工业协同系统

手机采集图片或文字，AI给出诊断建议，专家核验处置步骤，设备返回执行回执。诊断、沟通和处置记录围绕同一设备与工单保存。

工业现场协同作业

1 项目功能

移动巡检端提供登录、设备识别、文本与图片诊断、证据查看、工单、消息和知识库检索。专家工作台提供接单、沟通、知识条目回填、人工确认和审计。RK3568运行 KaihongOS/OpenHarmony HAP，提供本地风险判断和 EDGE-001 心跳；Hi3861 P101/M301负责数据采集与设备协同。CAM-001 摄像头代理如启用，运行在独立外置辅助节点，不属于 RK3568 HAP。断线时保留本地编辑，重连后恢复会话。

2 系统结构

系统总体架构

移动端使用ArkTS/ArkUI，专家网页使用React。Windows运行业务后端（8000端口）、专家大屏（8080端口）及openGauss数据库，通过18111隧道连接自有服务器的8111模型服务。Qwen3-VL-8B-Instruct由MS-Swift与Transformers运行；General处理RGB/HMI，Thermal处理红外，不调用第三方公有云推理API。RK3568主端运行 KaihongOS/OpenHarmony HAP；摄像头代理仅作为可选独立辅助节点。

2.1 设备侧本地AI

运行位置	本机计算	使用条件
Hi3861 A板 / P101	六维环境特征进入int8分类器，输出正常、预警、传感器故障、不安全状态	有效SHT30采样后先推理，再判断网络上报条件；回退数据标记skipped
RK3568 KaihongOS HAP	RiskNet-v1，8→16→8→3，307参数，C++/NAPI前向计算	推理不访问云端；新鲜输入来自局域网业务后端，缺失或陈旧时暂停
自有服务器 AI 服务	图片诊断、结构化建议、证据引用和动作提案	移动诊断请求需要到服务器的网络连接

实现入口为src/firmware/hi3861_p101、RK3568原生推理和模型服务部署。端侧风险输出用于观察与人工复核，不直接控制M301。

模型服务的开机启动与状态检查见src部署手册第4.4节。

2.2 弱网使用

情况	可继续的工作	系统处理
外网中断，局域网仍可用	P101本机采集与推理、RK3568风险判断、工单编辑	多模态诊断提示服务不可用，保留人工复核入口
手机或局域网断线	移动端本地编辑、P101有效采样后的板端推理	不用陈旧状态授权动作；RK3568无新鲜输入时暂停
恢复连接	工单与沟通恢复，核对本地及远端版本	检查会话、时间与冲突，保护现场编辑

AI提供建议。设备动作经过人工确认、权限、LOTO、租约与重放检查；匹配的设备ACK用于确认执行成功。

3 材料目录

目录或文件	内容
src/	代码仓库的GitLink子模块
docs/	项目申报文档、技术报告、设计与使用说明
tests/	评测数据、原始结果、失败案例、设备记录与复现入口
demo/	模型、程序、演示图片、配置示例与运行入口
presentation/	答辩PPT与演示视频
作品原创承诺书.pdf	作品原创承诺书

4 获取与运行

材料仓库：鸿枢智联参赛材料。代码仓库：OpenHarmony项目源码。

克隆材料仓库后，在仓库根目录执行：

git submodule update --init --recursive
cd src
docker compose up -d --build db redis mqtt backend frontend

环境配置见部署手册。手机后端地址使用可达的电脑地址与8000端口。移动端构建使用src/scripts/build_openharmony_app.ps1；真机安装需配置设备调试签名。

5 验证与演示

测试入口说明评测文件、实验范围和复现方法；演示入口说明产物、运行条件和操作顺序。离线核对命令：

python tests/verify_submission_evidence.py
python demo/run_demo.py

安装demo/requirements-offline.txt中的依赖后，可执行python demo/run_demo.py –risknet，复核固定Golden Vector。完整功能使用见操作手册，异常处理见故障排查。

P1C评测轮次与数值来源见指标来源。安全结果按诊断、软件策略和真实设备场景分别使用；客户端HUKS能力不代表服务器TEE验证。

2026年10月6日的隔离安全回归121项通过，专家大屏9项回归与生产构建通过，干净源码未签名HAP构建通过。P101六条主机算法向量和默认启用旁路检查通过。服务器模型清单与实际图片请求通过。对应记录见tests/security、tests/build和tests/runtime，软件测试与真机记录分别保存。

6 资源与许可

第三方依赖及数据来源见第三方资源说明。AI辅助研发与训练图片生成情况见docs/人工智能及第三方工具使用说明.pdf。