工业智巡 Agent

基于 OpenHarmony 的多模态智能体工业现场多端协同作业系统

本项目面向钢铁制造、电力能源及大型装备运维等高安全工业场景，构建由 KaihongOS 现场巡检端、Web 专家控制中心和 Python 智能体服务组成的多端协同作业系统。

系统围绕“现场感知—智能诊断—工单协同—专家会诊—安全审计”形成完整业务闭环，并通过设备白名单、角色权限、动态风险评分和主动阻断机制保护工业数据与生产资产。

---

1. 项目特色

• OpenHarmony 原生应用：使用 ArkTS、ArkUI 和 Stage 模型开发，可编译为 HAP 并运行在 KaihongOS。
• 多模态智能诊断：融合故障图片、设备编号、状态码、温度、振动和现场文字描述。
• AI 辅助决策：支持现场人员自由提问，返回风险判断、检修建议、安全提醒和参考依据。
• 跨端协同作业：现场巡检端创建工单，专家控制中心接收、会诊、推进状态并完成闭环。
• 可信接入与主动防御：结合设备白名单、RBAC/ABAC、访问时间、资源类型和操作行为进行风险判定。
• 全程安全审计：记录可信验证、越权访问、阻断动作和判定原因。
• 国产生态适配：实验平台采用 KaihongOS，数据库脚本兼容 openGauss。

---

2. 系统架构

┌──────────────────────────┐
│ KaihongOS / OpenHarmony  │
│ 现场巡检、图片选择、诊断、工单 │
└─────────────┬────────────┘
              │ HTTP / 局域网
              ▼
┌──────────────────────────┐
│ Python FastAPI 智能体服务    │
│ 诊断、问答、知识、安全、工单   │
└─────────────┬────────────┘
              │ 共享业务数据
              ▼
┌──────────────────────────┐
│ Web 专家端 / 控制中心大屏     │
│ 会诊、调度、审计、数据分析     │
└──────────────────────────┘

三端职责

组成	主要用户	主要职责
KaihongOS 鸿蒙端	现场巡检员	数据采集、图片选择、AI诊断、AI问答、创建工单
Web 控制中心	专家、调度员、管理员	工单处理、专家会诊、可信接入、安全审计、数据分析
Python AI 服务	系统后台	多模态融合、知识检索、安全决策、业务数据共享

---

3. 已实现功能

3.1 多端协同作业

• 设备台账和运行状态展示
• 现场诊断结果创建协同工单
• 工单状态流转：待会诊、会诊中、已闭环
• 巡检员与远程专家会诊消息同步
• 鸿蒙端与控制中心共享设备、工单、安全事件和统计数据

3.2 多模态智能体

• 文本、图片、状态码、温度和振动数据融合
• 故障类型、风险等级和置信度输出
• 判断依据与可能原因解释
• 标准作业流程（SOP）推荐
• 合规与上锁挂牌提醒
• 工业运维自由问答
• 工业知识和状态码检索

3.3 可信安全管控

• 可信设备白名单
• RBAC 与 ABAC 组合权限判断
• 基于设备、角色、资源、动作和时间的动态风险评分
• 未知终端和越权访问自动阻断
• 敏感手册、PLC 控制等资源分级保护
• 安全事件审计与统计分析

---

4. 项目目录

IndustrialAgentSystem/
├── AI_Server/                    # FastAPI 智能体与业务服务
│   ├── app/
│   │   ├── agents/               # 诊断、知识、安全、问答智能体
│   │   ├── static/               # 中文 Web 控制中心
│   │   ├── main.py               # API 入口
│   │   └── schemas.py            # 数据模型
│   ├── tests/                    # API 与页面冒烟测试
│   └── requirements.txt
├── OpenHarmonyNative/
│   └── IndustrialInspection/     # DevEco Studio 原生 ArkTS 工程
│       ├── AppScope/
│       ├── entry/src/main/ets/
│       │   ├── pages/             # ArkUI 业务页面
│       │   ├── service/           # API 与可信设备服务
│       │   ├── model/             # ArkTS 数据模型
│       │   └── entryability/
│       └── entry/src/main/resources/
├── OpenHarmony/                  # 三端工程结构与参考示例
├── Security/                     # 安全策略说明与示例
├── Database/                     # openGauss 兼容数据库脚本
├── Documents/                    # 系统设计文档与用户操作手册
├── scripts/                      # 工程结构检查脚本
└── README.md

发布包还包含：

release/
└── IndustrialInspection-phone-v5.hap

---

5. 环境要求

AI 与 Web 服务

• Windows 10/11
• Python 3.10 或更高版本
• 推荐使用项目独立虚拟环境

OpenHarmony 端

• DevEco Studio 5.0.4 Release 或兼容版本
• OpenHarmony SDK API 15
• compileSdkVersion: 15
• compatibleSdkVersion: 14
• targetSdkVersion: 15
• KaihongOS QEMU API 14 或兼容 OpenHarmony 设备

数据库

• openGauss 或兼容 PostgreSQL 协议的国产数据库
• 当前竞赛 MVP 默认使用内存数据仓库，Database/schema.sql 提供持久化表结构

---

6. 快速启动

6.1 创建 Python 环境

打开 PowerShell：

cd AI_Server
python -m venv .venv
& .\.venv\Scripts\python.exe -m pip install -r requirements.txt

如果已经创建过 .venv，不需要重复安装。

6.2 启动 AI 与 Web 服务

cd AI_Server
& .\.venv\Scripts\python.exe -m uvicorn app.main:app --host 127.0.0.1 --port 8000

服务状态：

http://127.0.0.1:8000/health

中文控制中心：

http://127.0.0.1:8000/

开发调试接口：

http://127.0.0.1:8000/docs

出现 WinError 10048 表示端口 8000 已有服务运行，无需重复启动。

---

7. 打开 OpenHarmony 工程

1. 启动 DevEco Studio。
2. 点击 Open。
3. 选择：

OpenHarmonyNative/IndustrialInspection

4. 等待工程同步完成。
5. 确认 SDK 配置为 API 15。
6. 使用 Build > Build Hap(s)/APP(s) > Build Hap(s) 编译。

KaihongOS QEMU 通过特殊网关访问 Windows 主机，当前配置位于：

entry/src/main/ets/common/AppConfig.ets

默认地址：

export const API_BASE_URL: string = 'http://10.0.2.2:8000'

真实开发板运行时，应将该地址修改为电脑所在局域网的 IPv4 地址。

---

8. 安装 HAP 到 KaihongOS QEMU

8.1 在 Windows 启动 HAP 文件服务

在发布包根目录打开 PowerShell：

python -m http.server 9000 --bind 127.0.0.1 --directory release

8.2 在 KaihongOS 终端下载

busybox wget -O /data/local/tmp/IndustrialInspection.hap http://10.0.2.2:9000/IndustrialInspection-phone-v5.hap

8.3 安装并启动

bm install -p /data/local/tmp/IndustrialInspection.hap -r
aa start -a EntryAbility -b com.industrial.agent.inspection

成功安装时显示：

install bundle successfully.

---

9. 推荐演示流程

1. 鸿蒙端打开“态势总览”，展示可信终端和设备状态。
2. 从“设备台账”选择 MOTOR-003 并带入诊断。
3. 输入 E302、92.5℃、5.2 mm/s 和现场故障描述。
4. 选择故障图片并执行多模态智能诊断。
5. 展示风险等级、判断依据、可能原因、SOP 和合规提醒。
6. 创建协同工单。
7. 在“AI问答”中询问轴承过热和上锁挂牌要求。
8. Web 控制中心刷新并接收鸿蒙端工单。
9. 专家端发送会诊意见并推进工单状态。
10. 使用未知终端访问敏感手册，演示自动阻断。
11. 在安全审计中查看阻断记录。
12. 在数据分析中展示设备、工单和安全统计。

推荐演示数据：

设备编号：MOTOR-003
状态码：E302
温度：92.5
振动：5.2
描述：轴承区域温升快并伴有持续异响

非法访问示例：

设备：UNKNOWN_PHONE
角色：guest
资源：manual_sensitive
动作：download
时间：23

---

10. API 概览

方法	路径	作用
GET	/health	服务健康检查
POST	/api/v1/diagnosis	多模态故障诊断
POST	/api/v1/assistant/chat	AI 辅助决策问答
GET	/api/v1/devices	查询设备台账
POST	/api/v1/knowledge/search	工业知识检索
POST	/api/v1/access/verify	可信接入验证
GET/POST	/api/v1/work-orders	查询或创建工单
PUT/PATCH	/api/v1/work-orders/{id}	更新工单状态
GET/POST	/api/v1/consultations	专家会诊消息
GET	/api/v1/security/events	安全审计事件

---

11. 默认演示终端

设备 ID	角色	用途
OH_INSPECTION_001	inspector	KaihongOS 现场巡检端
OH_EXPERT_001	expert	远程专家端
OH_CONTROL_001	controller	Web 控制中心
UNKNOWN_PHONE	guest	非法接入演示

默认身份仅用于本地竞赛演示，生产部署时必须更换密钥并使用真实设备证书。

---

12. 测试

在 AI_Server 目录执行：

& .\.venv\Scripts\python.exe -m pytest -q

也可以执行工程结构检查：

powershell -ExecutionPolicy Bypass -File scripts/verify_structure.ps1

---

13. 当前实现边界

• 视觉诊断当前采用可重复的规则推理与图片元数据融合，便于无 GPU 环境稳定演示；接口可替换为 MindSpore Lite、YOLO 或其他国产模型。
• 工业知识库当前使用内置知识条目，可进一步接入向量检索和 openGauss。
• 业务数据当前主要保存在服务内存中，重启 Python 服务后临时工单和审计记录可能清空。
• KaihongOS 裁剪版不支持部分分布式系统能力时，应用会降级使用局域网 HTTP 协同，核心诊断与工单流程不受影响。

---

14. 参赛提交建议

建议提交以下文件：

IndustrialAgentSystem-CompetitionSource.zip   # 完整源码、文档和HAP
README.md                                     # 项目说明
Documents/系统设计文档.md
Documents/用户操作手册.md
release/IndustrialInspection-phone-v5.hap    # 可安装演示包

不应打包：

• Python .venv
• DevEco Studio SDK
• KaihongOS QEMU 镜像
• oh_modules
• .hvigor
• .idea
• build 和编译缓存
• 用户密码、API 密钥和生产证书

---

15. 项目声明

本项目为面向竞赛场景开发的可运行原型，用于展示 OpenHarmony 原生应用、多模态智能体、多端协同与主动安全防御方案。生产环境使用前，需要进一步完成真实工业模型训练、设备证书体系、数据库持久化、接口加密和压力测试。