鸿枢智联：OpenHarmony 多模态工业现场协同系统

文档入口：

• 部署手册
• 操作手册
• 联调与验收
• 故障排查
• 诊断安全与数据边界

1 项目功能

系统连接移动巡检、专家工作台、RK3568 边缘节点和 Hi3861 设备。巡检员采集图片或文字，专家接单、沟通和复核，设备按受控命令执行并返回 ACK。设备身份、证据、工单和审计记录保持关联。

2 本地 AI 与分层推理

RK3568 运行 KaihongOS/OpenHarmony HAP，RiskNet-v1 通过 C++/NAPI 在设备侧计算；Hi3861 A 板也在设备侧计算。多模态模型部署在团队自有服务器，当前使用 MS-Swift 与 Transformers，不调用第三方公有云推理 API。摄像头 Go 代理是可选的独立外置辅助节点，不属于 RK3568 的 KaihongOS HAP。

运行位置	模型与输入	输出及用途	网络条件
Hi3861 A 板 / P101	6 维环境特征，int8 轻量分类器	正常、预警、传感器故障、不安全状态，附模型哈希和推理耗时	传感器读取成功后本机推理，网络仅用于校时、上报和协同
RK3568 KaihongOS HAP	RiskNet-v1，8→16→8→3，307 参数，C++ / NAPI	normal、warning、danger，为现场和工单提供风险参考	前向计算不访问云端模型，新鲜业务输入仍从局域网后端取得
自有服务器 AI 服务	Qwen3-VL-8B-Instruct，General / Thermal Adapter	图片诊断、结构化建议、证据引用与动作提案	通过受控 SSH 隧道访问，移动诊断请求需要网络

P101 真实采样进入本地推理。读取失败或回退数据标记为 skipped，不能当作有效推理。RiskNet 输入缺失、陈旧或来源异常时暂停。两个端侧模型均不直接控制 M301。

源码入口：P101 板端模型、RK3568 原生推理、模型部署脚本。

3 弱网使用

情况	可继续的工作	系统处理
外网或远端 VLM 中断，局域网仍可用	P101 本机采集与推理，RK3568 本地风险计算，工单查看与编辑	图片诊断提示服务不可用，转人工复核
手机或局域网断线	保留移动端本地编辑，P101 在有效采样时继续板端计算	不以陈旧设备状态授权动作，RK3568 无新鲜输入时暂停
会话恢复	恢复工单与沟通，核对本地和远端版本	检查会话、时间和冲突，避免覆盖本地内容
设备命令超时	保留失败及待确认记录	重新核对权限、LOTO、Lease、Replay，匹配真实 ACK 后确认执行

4 系统连接

移动端和专家大屏访问 Windows 业务后端。Windows Docker 运行 FastAPI、openGauss、Redis、MQTT 和专家页面，通过 18111 隧道访问自有服务器的 8111 模型服务。RK3568 KaihongOS HAP 负责 RiskNet 风险参考和 EDGE-001 心跳，P101/M301 负责现场采集与受控执行；如启用摄像头，CAM-001 由独立外置辅助节点上传。

AI 生成建议或动作提案。人工确认后仍需检查角色、设备绑定、LOTO、租约和重放。HTTP 200 只表示请求已接收，匹配 command_id 的真实设备 ACK 才确认执行成功。

5 当前验证

2026 年 10 月 6 日：隔离安全回归 121 项通过；专家大屏 9 项回归及生产构建通过；干净源码 unsigned HAP 构建通过，两种 ABI 均含设备指纹和 HUKS 本地库；自有服务器模型清单与实际图片推理通过。安全回归未访问演示数据库或发送真实设备控制命令。

Mate 60 Pro 移动端、专家协同、SoftBus 和 Hi3861 / RK3568 共同组成现场闭环。P1C_SECURITY 覆盖诊断隔离层；动作层仍以对应现场记录为准。HUKS 是客户端密钥与原生调用能力，不代表服务器 TEE 验证。

PPT 后续实测数据如下，原始轮次对应范围见材料仓库 tests/p1c/指标来源核对.md。

方案	状态准确率	Macro-F1	格式有效率
A_base	82.73%	76.55%	97.78%
B_adapter	86.67%	75.03%	100%

P1C 是混合来源冻结评测集，共 90 条。B_adapter 状态准确率提高 3.94 个百分点，Macro-F1 下降 1.52 个百分点。C_evidence 的证据绑定与安全弃权指标不作为视觉识别准确率。RiskNet 历史测试混淆矩阵如下。

6 构建与部署

先按部署手册配置本机环境和凭据。Windows 服务：

docker compose up -d --build db redis mqtt backend frontend
curl http://127.0.0.1:8000/health

移动端：

powershell -ExecutionPolicy Bypass -File scripts/check_openharmony_app_env.ps1
powershell -ExecutionPolicy Bypass -File scripts/build_openharmony_app.ps1

真机安装使用 DevEco 调试签名包。unsigned HAP 用于构建复现。RK3568 与 P101 的入口和外部 SDK 条件见各模块 README。

服务器 AI 使用 deploy/local-ai/hongshu-ai.service，开机默认 General，异常退出后受限重试。安装和检查命令见部署手册第 4.4 节。

7 源码目录

目录	内容
front/	OpenHarmony 移动端
IndustrialEdgeCenter/	RK3568 风险模型与边缘页面
firmware/hi3861_p101/	Hi3861 A 板实际采集、本地 AI 与脱敏配置
template.c	M301 受控设备固件入口
industry_os_backend/	FastAPI 业务、安全策略与隔离回归
expert-dashboard/	专家工单、沟通和三维设备页面
edge-ai/risknet/	RiskNet 权重、数据和原生验证材料
deploy/、scripts/	部署与构建入口
tests/	自动化测试说明和运行记录

8 参赛材料与许可

正式申报资料、答辩 PPT、演示和签署文件见材料仓库。答辩文件名为鸿枢智联_参赛答辩PPT.pptx。

业务代码采用 Apache License 2.0。模型、数据和第三方组件按各自许可使用，详见 THIRD_PARTY_LICENSES.md。配置示例不含真实密钥。