基于 OpenHarmony 的多模态智能体工业现场多端协同作业系统

工业安全协同作业系统标志

面向工业巡检与安全控制场景的端—边—云协同系统：现场感知、可信 AI 诊断、专家工单、安全命令与审计链在同一条可核验流程中闭环。

AI 只生成诊断结论、工单草案或动作提案；真正的设备控制必须经过权限、LOTO、租约、用户确认与设备 ACK。HTTP 成功不等于物理动作成功。

功能概览

模块	能力
华为Mate 60 巡检端	NFC、图片/语音/文本巡检、知识引用、工单与专家协同
RK3568 边缘端	KaihongOS/OpenHarmony、RiskNet C++ NAPI、状态心跳、摄像头代理
Hi3861 节点	P101 环境感知与端侧轻量 AI；M301 控制、LOTO 与命令 ACK
服务端	FastAPI、openGauss、Redis、MQTT、鉴权、防重放、审计链与安全策略
专家大屏	设备态势、AI 安全状态、3D 故障定位、工单与知识管理

架构

架构图

快速开始：启动服务端与专家大屏

1. 前置条件

Docker Desktop / Docker Compose v2；
Git；
可访问的 VLM 与 ASR 服务，或暂时关闭对应功能；
仅构建端侧工程时才需要 DevEco Studio、对应 SDK、Hi3861 SDK 或 RK3568 设备。

2. 获取代码并配置环境

git clone https://gitlink.org.cn/jiusui/jyohddmtzntgyxcddxtzyxt.git
cd System
cp .env.example .env

Windows PowerShell：

Copy-Item .env.example .env

编辑 .env。下面变量为 Compose 启动必填项；

变量	用途
`OPENGAUSS_PASSWORD`、`OPENGAUSS_PASSWORD_URL`	openGauss 初始化与后端连接密码
`SECRET_KEY`、`ADMIN_INITIAL_PASSWORD`	应用签名与管理员初始化密码
`DEVICE_SECRET_SN001`、`DEVICE_SECRET_SN002`、`DEVICE_SECRET_CAM001`	Hi3861 与摄像头设备签名密钥
`VLM_API_BASE`、`VLM_MODEL_NAME`	视觉语言模型地址与名称，默认模型为 `llava:7b`
`ASR_API_BASE`、`ASR_ENABLED`	语音识别服务地址与开关

使用远程模型时，URL 必须能被 backend Docker 容器 访问；容器中的 127.0.0.1 不代表宿主机。Windows/macOS 宿主服务可用 host.docker.internal，远程服务器使用 HTTPS、VPN 或受限内网地址。

3. 启动

docker compose up -d --build db redis mqtt backend frontend
docker compose ps

验证：

curl http://127.0.0.1:8000/health
curl -I http://127.0.0.1:8080

打开：

后端 OpenAPI：http://127.0.0.1:8000/docs
专家大屏：http://127.0.0.1:8080

保留数据停止服务使用 docker compose stop。不要使用 docker compose down -v，它会移除数据库、MQTT 等持久化卷。

模型服务部署

本项目不将模型绑定到业务 Compose；Ollama 和 Faster-Whisper 可以运行在同一台机器、局域网机器或独立 GPU 服务器。详细的接口契约、下载命令和远程接入说明见部署手册。

Ollama + `llava:7b`

本机 Docker 模式：

docker compose --profile local-ai up -d ollama
docker exec -it industry_os_ollama ollama pull llava:7b
docker exec -it industry_os_ollama ollama list

.env 设置：

VLM_API_BASE=http://ollama:11434/v1
VLM_API_KEY=ollama
VLM_MODEL_NAME=llava:7b
VLM_ENABLED=true

远程 Ollama 通过反向代理、VPN 或受限内网提供 OpenAI 兼容的 /v1/models 与 /v1/chat/completions，然后将 VLM_API_BASE 改为 https://<你的-vlm-域名>/v1。不要将未鉴权的 Ollama 端口直接暴露在公网。

Faster-Whisper + `large-v3-turbo`

后端通过 ASR_API_BASE 调用独立的 ASR 服务。该服务必须实现：

GET /health 返回 {"status":"ok"}；
POST /transcribe 接收 multipart 字段 audio；
返回 {"text":"...","language":"zh","duration_ms":0,"engine":"faster-whisper"}，也兼容外层 data 包装。

模型预下载示例：

python -m venv .venv
. .venv/bin/activate
pip install "faster-whisper>=1.0"
python -c "from faster_whisper import WhisperModel; WhisperModel('large-v3-turbo', device='cpu', compute_type='int8'); print('model ready')"

GPU 主机按 CUDA 环境使用 device='cuda', compute_type='float16'。本仓库提供客户端契约，不包含 ASR HTTP 服务端；可部署自己的兼容服务，再通过反向代理、VPN 或受限内网连接。暂不使用语音时设置 ASR_ENABLED=false，系统会明确返回语音服务不可用，不会伪造转写结果。

端侧与硬件部署

华为Mate 60 ArkTS App

powershell -ExecutionPolicy Bypass -File scripts/check_openharmony_app_env.ps1
powershell -ExecutionPolicy Bypass -File scripts/build_openharmony_app.ps1

RK3568 / EDGE-001

IndustrialEdgeCenter/ 是独立 OpenHarmony 工程，包含 RiskNet C++ NAPI 与边缘状态能力。部署前按工程内的设备身份、时间戳、Nonce 和签名配置核对请求；通过 USB 访问 Windows 后端时，可使用：

hdc list targets
hdc rport tcp:8000 tcp:8000

RK3568 摄像头代理

构建 ARM64 二进制：

powershell -ExecutionPolicy Bypass -File scripts/build_camera_pusher_go.ps1

将仓库和 deliverables/bin/industrial-camera-pusher-ohos-aarch64 部署到 RK3568 后，进入设备 shell 执行后台守护启动：

hdc shell
chmod +x /data/local/tmp/industrial-camera-pusher-ohos-aarch64
nohup /data/local/tmp/industrial-camera-pusher-ohos-aarch64 > /data/local/tmp/camera_agent.log 2>&1 &

Hi3861 P101 / M301

firmware/ 存放 P101 端侧 AI 的可审查源码与 SDK 集成片段；deliverables/hi3861/ 提供可校验烧录产物。M301 固件源码为 template.c，需要放入匹配的外部 Hi3861 SDK 工程构建。普通 GCC 不能作为 Hi3861 固件构建证据。

验证与测试

docker exec industry_os_backend python -m pytest -q
python scripts/ai_security_redteam.py
python scripts/check_docs.py

专家大屏本地构建：

cd expert-dashboard
npm ci
npm run build

自动化测试、容器健康检查或模型响应不替代华为Mate 60、Hi3861、RK3568、摄像头、VLM/ASR 的真机验收。请按联调与验收保存本次日志、版本、时间和截图。

项目结构

.
├─ front/                         # Mate 60 OpenHarmony ArkTS App
├─ IndustrialEdgeCenter/          # RK3568 KaihongOS/OpenHarmony HAP
├─ expert-dashboard/              # React 专家大屏
├─ industry_os_backend/           # FastAPI 服务端
├─ edge-ai/risknet/               # RiskNet 数据、训练、ONNX 与原生权重
├─ firmware/                      # Hi3861 端侧 AI 共用材料
├─ tools/camera-pusher-go/        # RK3568 Go 摄像头采集代理
├─ deliverables/                  # 可校验构建产物
├─ deploy/                        # 容器运行配置
├─ docs/                          # 部署、操作、演示与验收文档
├─ scripts/                       # 构建、测试、性能和文档检查脚本
├─ docker-compose.yml
├─ .env.example
├─ 系统设计文档.md
├─ 技术报告.md
└─ README.md

文档

文档索引：文档用途、阅读顺序与维护规则。
部署手册：Docker、模型服务、App、RK3568、Hi3861 与摄像头部署。
操作手册：登录、巡检、诊断、工单、协同和控制。
联调与验收：端到端流程、现场检查项、日志和截图记录。
故障排查：服务、设备、模型、NFC 和 ACK 问题定位。
诊断安全与数据边界：输入、证据、知识、动作和审计边界。
截图采集清单：验收截图的命名、脱敏与留存要求。

AI 安全机制的有效性与真实性

本系统将 AI 智能决策、边缘高效计算与 HarmonyOS 底层硬件级安全机制深度融合，构建了一套兼顾“高运行效能（有效性）”与“源头防伪御敌（真实性）”的工业级主动防御与决策闭环：

端云协同与三级容灾决策（有效性保障）：
- 边缘轻量化过滤：端侧采用 MindSpore Lite 5MB级 INT8 量化模型进行 NPU 本地推理（10ms级），过滤无意义图像；复杂故障经 ImagePacker 边缘压缩 25 倍后上报，极大节省网络带宽。
- 三级降级决策架构：正常时采用 L1 级云端深度推理（本地部署 LLaVA-7B，设 8s 超时）；弱网时自动降级为 L2 级本地向量检索（基于 all-MiniLM-L6-v2 匹配 SOP，检索耗时 $< 5\text{ms}$ ）；断网时退化为 L3 级本地 TF-IDF 正则匹配，确保决策不中断。
自适应动态信任评分与微秒级熔断（真实性风控）：
- 安全防御引擎分析历史日志建立动态基准，一旦参数偏离均值 $>3\sigma$ 或连续 5 次异常递增即触发动态扣分。结合时间衰减动态计算设备综合评分：
  $T(t) = T_0 \cdot e^{-\lambda (t - t_0)} - \sum \Delta S_i$
- 评分跌破 30 分时，系统通过 Redis Pub/Sub 广播熔断指令，微秒级内掐断设备的所有连接并拉黑其 JWT 凭证，主动隔离越权或劫持设备。
确定性状态机与端侧保守防御（端侧高信度保障）：基于确定性有限自动机（DFA）严格约束端侧连接状态：
- NORMAL：硬件鉴权通过，连接正常。
- OFFLINE_LOCKED：心跳丢失超 15s 触发。端侧强制冻结全屏并挂起本地敏感业务（Fail-Safe 保护），防物理窥探与篡改。
- RECONCILING：网络恢复后，必须将离线期间的数据以 SHA256 哈希链 签名同步比对，拦截中间人重放攻击。
- ISOLATED：对账异常或评分过低时，立即执行永久拉黑。
物理级真可信数据源（源头真实性闭环）：系统通过 C++ NAPI 桥接底层 **HUKS (通用密钥库系统)**，将 ECC 密钥生成与数据签名完全隔离在芯片物理级的 TEE (TrustZone) 可信执行环境 中，私钥物理不可导出。配合云端的 Challenge-Response 挑战应答机制，确保 AI 决策的输入源 100% 真实，防范模拟器与报文篡改。
高频吞吐与孪生空间联动（工程落地支撑）：
- 采用 Redis 7 高速缓冲层承接多端高频并发，协程异步批量落盘至分布式数据库 openGauss 5.0，实现削峰填谷，保障 AI 消费数据的完整性。
- AI 决策结果通过 WebSocket 实时直观地同步至 React 18 + Three.js (R3F) 3D 孪生大屏，驱动故障模型节点高亮、变色与温度场渲染，实现高保真的空间状态联动。

许可证

第三方组件与许可证说明见 THIRD_PARTY_LICENSES.md。模型权重、数据集和外部服务仍受各自发布条款约束。