Guo B, Wang Y, Zhen S, et al. SPEED: Semantic prior and extremely efficient dilated convolution network for real-time metal surface defects detection[J]. IEEE Transactions on Industrial Informatics, 2023, 19(12): 11380-11390.
Yu R, Guo B, Yang K. Selective prototype network for few-shot metal surface defect segmentation[J]. IEEE Transactions on Instrumentation and Measurement, 2022, 71: 1-10.
Guo B, Song K, Dong H, et al. NERNet: Noise estimation and removal network for image denoising[J]. Journal of Visual Communication and Image Representation, 2020, 71: 102851.
Yu R, Guo B. Dynamic reasoning network for image-level supervised segmentation on metal surface defect[J]. IEEE Transactions on Instrumentation and Measurement, 2024, 73: 1-10.
Yu R, Li H, Guo B, et al. Background-weaken generalization network for few-shot industrial metal defect segmentation[J]. IEEE Transactions on Instrumentation and Measurement, 2025.
Liang H, Zhou J, Gao C, et al. A lightweight 3D anomaly detection method with rotationally invariant features[J]. Pattern Recognition, 2025: 112924.
Yu R, Guo B, Li H. Anomaly detection of integrated circuits package substrates using the large vision model SAIC: Dataset construction, methodology, and application[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2025.
Guo B, Zuo Q, Yu R. Point cloud segmentation of integrated circuits package substrates surface defects using causal inference: Dataset construction and methodology[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2026, 40(6): 4385-4394.
Li H, Yu R, Guo B, et al. Fine-Grained Region Perception Network for Few-Shot Defect Classification of IC Package Substrates: Benchmark Methodology and Dataset[C]//2025 51st Annual Conference of the IEEE Industrial Electronics Society (IECON). IEEE, 2025.
Yang J, Wang C, Cui Z, et al. Construction of Lightweight Spiking Neural Network for Wind Turbine Fault Diagnosis Under Industrial Internet of Things[C]//2025 IEEE 8th International Electrical and Energy Conference (CIEEC). IEEE, 2025: 802-808.
Wang C, Yang J, Zhou Y, et al. A Partial Discharge Classification Method Based on Enhanced Spiking Neural Network[C]//2025 IEEE 8th International Electrical and Energy Conference (CIEEC). IEEE, 2025: 789-794.
Guo B, Yu R, Li H, et al. Iec3d-ad: A 3d dataset of industrial equipment components for unsupervised point cloud anomaly detection[EB/OL]. arXiv preprint arXiv:2511.03267, 2025.
Liang H, Guo B, Huang Y, et al. 3d anomaly detection: A survey [EB/OL]. 2025.
Wang Y, Guo B, Sun L, et al. Toward Real-Time Industrial Small Object Inspection: Decoupled Attention and Multi-Scale Aggregation for PCB Defect Detection[J]. Electronics, 2026, 15(6): 1991.
Li H, Yu R, Guo B. Dynamic Cross Characterization Network for Few-Shot IC Package Substrates Surface Defect Segmentation[J]. IEEE Transactions on Industrial Informatics, 2026.
Guo B, Wang Y, Yu R. EDNet: Zero-shot classification for ceramic package substrates surface defect with embedding diffusion network[J]. Pattern Recognition, 2026: 113811.
Liang H, Zhang L, Xia J, et al. Open-Set Supervised 3D Anomaly Detection: An Industrial Dataset and a Generalisable Framework for Unknown Defects[EB/OL]. arXiv preprint arXiv:2604.01171, 2026.
Li H, Yu R, Guo B, et al. Hybrid-Space Interaction Network for Single-Image Super-Resolution in Industrial Intelligent Detection[J]. IEEE/ASME Transactions on Mechatronics, 2026.
面向工业现场的端侧AI智能质检系统与OpenHarmony多端协同平台
作品简介
一. 项目概述
本项目面向工业智能制造与产业数字化转型的发展需求，结合国家”十四五”及”十五五”规划中关于推进制造强国、发展工业互联网与高端装备制造的战略部署，针对高精电子产品逐道生产工序的质检环节，设计工业现场多端协同作业设备系统，配套开发基于OpenHarmony的移动端应用，实现现场作业的智能协同与移动管控。
本项目以计算机视觉检测为基础，融合多视角图像信息处理、多模态数据分析、多终端协同及分布式系统等关键技术，构建面向工业现场的智能质检平台。系统不仅能够对产品缺陷进行自动检测，还能够综合利用图像、文本描述及设备状态信息，实现多模态信息的融合分析，从而提升缺陷识别与故障诊断的准确性。同时，依托OpenHarmony分布式能力，实现检测数据、现场画面及设备状态在移动终端跨端流转与实时共享，使现场人员与远程专家能够协同参与检测与诊断过程，从而显著提升系统的协同效率与响应能力。
在系统设计层面，本项目对传统检测流程进行结构性优化，将自动检测、人工复核与远程协同由串行处理模式转变为多端并行协同模式，使检测流程更加高效流畅，并有效缓解”自动检测速度快而人工复核效率低”的瓶颈问题。同时，引入多模态智能体辅助决策机制，系统能够根据输入的图像、文本及设备状态信息，自动匹配相关知识库并生成标准化操作建议与风险提示，从而降低人为操作失误率并提升作业规范性。此外，通过构建统一的数据管理与分析机制，实现检测数据的集中存储与持续利用，为后续算法优化与系统迭代提供可靠的数据基础。
在安全与管控方面，本项目结合工业现场高安全需求，构建基于局域网的可信接入机制，通过设备认证与白名单管理，实现对接入终端的严格控制，确保检测数据及设备信息仅在授权设备之间传输。同时，系统具备异常接入检测与主动防御能力，当检测到未授权设备接入或越权访问行为时，能够自动触发安全策略并阻断连接，从而有效保障工业生产环境的数据安全与运行安全。
通过多端协同作业与智能体辅助决策机制，系统构建了”感知——分析——决策——执行”的闭环作业体系，实现由传统单机检测向多端协同智能作业模式的转变。同时，依托OpenHarmony分布式能力，实现检测信息的跨终端流转与泛在访问，为工业互联网场景下的设备运维与质量检测提供了一种具有实际应用价值的技术方案。
系统已在芯片陶瓷封装基板实际生产环境中完成部署与运行验证。自 2024 年 7 月投入生产线运行以来，截至 2025 年 3 月累计完成 5 万余片基板检测，大幅提升了产线检测效率，检测精度提升 **超过 30%**，中高端产品良率提升 20% 以上，复杂产品验证周期缩短 35% 以上。项目合作企业长期服务于芯片陶瓷封装基板领域，相关产品广泛应用于集成电路封装、高可靠电子器件等场景。该系统给企业近三年来新增销售额 20,197.38 万元，新增利润 3,169.78 万元，充分验证了系统在真实工业场景下的稳定性、可靠性及工程应用价值。
二. 赛题契合度
本作品完整覆盖赛题要求的三项核心业务模块：
三. 系统总体架构
本系统采用分层架构设计，自下而上依次为硬件感知层、工业通信层、调度控制层、视觉算法层、多端协同层、智能决策层与安全管控层，各层通过标准化接口松耦合协作：
数据流与控制流：PLC作为产线节拍控制器统一调度生产流程；Java端基于Eclipse Milo OPC UA Client实现与PLC的工业级通信，通过定时任务轮询PLC信号驱动扫码与拍照流程；Python端基于海康MVS SDK封装相机操作类实现图像采集，检测结果通过REST接口回调Java端并回写PLC；OpenHarmony移动端通过局域网获取检测结果，依托分布式能力实现多终端间的数据流转与共享展示。
四. 核心功能模块
1. 自动检测模块
该模块负责完成产品的自动化检测任务。通过工业相机采集产品图像，并结合视觉深度学习缺陷检测算法对图像进行分析，实现缺陷的自动识别与分类判定。系统采用分区域多视角采集方式，通过对子图进行编号与统一管理，实现所有尺寸产品的全方位覆盖检测；针对工业现场条码易受污染与反光干扰的问题，引入 18 帧连续采集与 80% 多数表决的容错机制，提高条码识读的稳定性与准确性。
2. 检测结果展示模块
该模块用于对检测结果进行可视化展示。系统支持检测结果的实时显示，并通过图像标注方式呈现缺陷位置及类别。同时提供图像放大、多视角切换等功能，便于用户进行直观分析。依托OpenHarmony分布式能力，检测结果可在移动终端、设备端及控制中心大屏之间同步展示，实现跨终端可视化。
3. 多端协同与人工复核模块
该模块用于实现自动检测结果的人工复核及多终端协同作业。系统以设备端为核心服务器，通过局域网将检测数据与现场画面实时分发至移动终端、监控设备及控制中心，实现多用户并行复核。支持跨设备画面流转与工单同步更新，使现场作业人员与远程专家能够协同参与问题分析与处理，形成从现场检测到远程会诊的协同作业流程。系统将传统”自动检测→人工复核→远程协同”的串行处理模式转变为多端并行协同模式，有效缓解自动检测速度快而人工复核效率低的瓶颈问题。
4. 智能体辅助决策模块
该模块基于Agent智能体实现多模态信息处理与辅助决策功能。系统支持通过图像与文本两种方式进行输入，结合检测结果与设备状态信息，实现缺陷分析与相似案例检索。同时，通过构建历史问题知识库，建立”缺陷类型——解决方案”的映射关系，能够根据历史解决方案分析当前问题产生原因及对应解决方案并推送标准化操作指引与风险提示，从而提升一线人员处理效率并降低误操作风险。
5. 数据管理与知识库模块
该模块负责对检测数据、历史记录及相关文件进行统一管理。系统支持检测结果存储、历史数据查询、标定信息管理及数据导出功能，实现检测数据的可追溯性。同时，通过对历史检测结果与处理方式进行归类与关联分析，逐步构建动态知识库，为智能体辅助决策提供数据支撑，并支持检测算法的持续优化。
6. 系统运行控制与安全管控模块
该模块用于实现系统运行状态控制及工业现场安全管理：
五. 系统实现难点与关键技术
在系统实现过程中，涉及工业现场多端协同作业与智能检测等多项关键技术，主要实现难点体现在以下几个方面：
算法检测方面：系统需要对工业产品图像进行缺陷识别与分类判定。由于实际工业场景中产品类型多样、缺陷形态复杂，且受光照变化、拍摄角度等因素影响较大，系统采用AOI自动检测与人工复核相结合的方式，通过多视角图像采集获取完整检测信息，并利用缺陷检测算法对缺陷区域进行识别与分类。同时将检测结果进行标准化处理，结合缺陷标注与可视化展示辅助人工确认，有效降低了复杂工业场景下的漏检率和误检率。
系统实时性方面：系统需要在完成图像采集与缺陷识别的同时，支持人工复核与远程协同操作。系统采用局域网环境下的数据快速传输机制，检测端统一写入数据库、各终端按需读取，实现检测、数据存储与结果展示相互解耦，满足连续生产条件下的数据实时更新需求。
多端协同方面：系统需要支持设备端、移动终端及控制中心之间的数据共享与协同操作，实现检测结果与现场画面的跨设备流转。系统依托OpenHarmony分布式能力，通过统一任务调度与数据同步机制，保证各终端展示内容的一致性，并支持移动端实时查看检测结果及远程参与人工复核。
安全与权限管理方面：工业现场对数据安全与设备接入具有较高要求。系统结合用户角色管理机制，对管理员、检测人员及移动端用户配置不同的访问权限，并建立设备认证、白名单管理及异常访问监测机制，实现接入终端身份可信、数据传输安全及业务访问可控。
高并发与高吞吐量方面：系统需要在短时间内处理大量检测数据并支持多终端同时访问。系统采用分层数据处理架构，对检测任务、数据存储及业务访问进行合理分离，并结合数据缓存及异步处理机制，提高系统整体吞吐能力，保证在连续生产环境下仍能够稳定运行。
六. 工程化验证成果
系统已在芯片陶瓷封装基板实际生产环境中完成部署与运行验证：
七. 技术栈
deepseek-chat，OpenAI 兼容 API） · 标准问答基准 · 多模态信息处理@ohos.data.preferences运行说明
一. 环境要求
OpenHarmony移动端开发环境：
完整系统（后端 + 视觉端）环境：
二. 项目结构
三. 构建与部署
1. 环境准备
2. 导入与构建
build-profile.json5的OSTEST0831/）build-profile.json5的app.signingConfigs节点，默认使用调试证书。正式发布前需替换为生产证书（.p12+.cer+.p7b）构建产物输出路径：
entry/build/default/outputs/default/entry-default-signed.hapentry-default-unsigned.hap3. 安装与运行
4. 完整后端系统部署（全功能运行）
完整AOI检测系统需同时运行以下服务组件：
各服务的启动顺序：数据库 → Java调度端 → Python视觉端 → OpenHarmony移动端。
四. 应用功能导航
五. 数据管理面板
“我的 → 数据管理”提供完整的CRUD数据操作能力：
@ohos.data.preferences持久化存储，应用重启不丢失参考文献