一种便携式AI助手安全管控系统的制作方法

本发明涉及电力人工智能，尤其涉及一种便携式ai助手安全管控系统。

背景技术：

1、随着新型电力系统建设推进，行业全面落地 “人工智能 和” 数字化转型战略，电力现场作业具备环境复杂、风险点位分散、作业人员流动性大、违规行为隐蔽等特征。当前传统安全管控模式存在如下缺陷：

2、1.管控模式滞后：现有作业记录仪仅具备音视频录制存储功能，无实时 ai 分析能力，依赖人工事后回看核查，风险预警滞后、管控实时性差，仍以 “人防” 为主，缺少 “技防” 实时干预手段；

3、2.ai部署成本高：传统视频智能分析平台依赖云端集中算力，现场 4g/5g 信号波动大，大量高清视频回传带宽占用高、延迟严重，无法实现作业现场端侧实时风险识别；

4、3.终端功能单一：现有现场记录仪仅记录画面，无智能语音交互、作业知识库问询、工单闭环联动能力，作业人员现场查阅安全规范、设备资料不便；

5、4.数据安全不达标：普通终端缺少国密加密、行业专用安全单元，现场采集的设备资产数据、作业影像传输、存储过程存在泄露、篡改风险，不符合《能源行业数据安全管理办法》规范；

6、5.模型适配性差：通用视觉 ai 模型参数量大，无法部署在小型便携终端，对安全防护用具、计量设备的模糊、尺寸异常图像识别准确率低，误报、漏报频发。

7、现有技术无法同时满足端侧实时 ai 推理、便携一体化硬件、行业级数据加密、语音智能助手、工单全闭环五大核心需求，亟需一套轻量化、集成化、适配电力现场作业场景的便携式 ai 安全管控系统。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本发明的目的在于提出一种便携式ai助手安全管控系统，实现作业现场端侧实时风险感知、合规自动校验、语音智能交互、国密级数据安全、工单全流程闭环，解决传统管控实时性不足、智能化程度低、数据不安全、作业辅助缺失的技术痛点。

3、为达到上述目的，本发明提出了一种便携式ai助手安全管控系统，包括便携式ai助手安全管控终端、移动作业微应用、统一视频平台、现场作业平台、风险管控平台和安全接入网关，其中，所述便携式ai助手安全管控终端通过通信链路经安全接入网关接入内网，分别与移动作业微应用、统一视频平台、现场作业平台、风险管控平台建立双向数据交互，所述便携式ai助手安全管控终端包括硬件层与软件层，所述硬件层包含边缘智能模块、安全加密模块、硬件通信模块、北斗定位模块、电源模块、音视频模块，所述边缘智能模块搭载边缘soc芯片，集成isp图像处理器、vpu视频编解码器、npu神经网络算力单元，所述npu部署经模型蒸馏轻量化的安全视觉卷积神经网络模型，用于现场图像本地实时ai推理，所述安全加密模块内置行业安全单元3.0，支持sm7国密加密算法，实现终端数据存储加密与传输加密，所述软件层包含语音接入模块、ai助手模块、本地智能算法模块、音视频服务模块、软件通信模块、工单处理模块，所述本地智能算法模块配置两级图像识别流程：模糊识别算法、过大过小识别算法，对现场采集图像依次执行清晰度校验、目标物尺寸合规性校验，识别作业人员违规操作、设备隐患并本地实时预警，所述ai助手模块内置安全轻量化知识库，支持语音/文字交互查询作业设备、安全规范、应急处置信息，所述工单处理模块与移动作业微服务联动，实现终端采集数据与作业工单绑定，完成工单全流程闭环管理，系统整体执行流程为：终端采集现场音视频、定位数据，边缘智能模块本地实时ai风险识别并即时预警，音视频加密推送至统一视频平台，作业影像、ai识别日志、定位轨迹汇总至现场作业平台，最终统一归档至风险管控平台，实现作业安全全过程智能管控。

4、另外，根据本发明上述提出的还可以具有如下附加的技术特征：

5、具体地，所述模型蒸馏轻量化卷积神经网络模型的损失计算公式为：，采用教师模型软标签、现场真实标签联合构建总损失，完成学生轻量化模型训练，所述卷积神经网络依次包含多层卷积层、池化层、全连接层，用于作业人员防护装备、电力计量设备多尺度特征提取。

6、具体地，所述模糊识别算法通过计算图像清晰度score、清晰度方差score_var区分清晰图像与模糊图像，过滤无识别价值的模糊画面，所述过大过小识别算法计算目标物像素占比尺寸得分score，判定安全帽、绝缘手套、电表设备是否尺寸异常，输出目标物合格、模糊、过大、过小四类识别结果。

7、具体地，所述边缘智能模块采用rk3568边缘soc芯片，所述isp图像处理器集成hdr、3d降噪、图像畸变矫正、自动曝光/白平衡功能，无需外置独立图像处理芯片，所述vpu完成现场视频h.265编码压缩，降低传输带宽占用。

8、具体地，所述通信模块集成4g/5g全网通模组、wifi模组，兼容gb28181视频传输协议，网络信号弱时启动本地缓存、断线重传机制，保障音视频数据完整上传。

9、具体地，所述北斗定位模块搭载独立北斗定位模组，实时采集作业人员空间坐标、存储作业轨迹，紧急场景一键上传定位信息至风险管控平台。

10、具体地，所述音视频模块包含高清广角摄像头、降噪麦克风、外放扬声器、触控显示屏、近电/重力/光距环境传感器，摄像头采集作业画面，麦克风采集语音交互指令，扬声器播报ai识别风险预警、安全操作提示，传感器采集现场环境安全参数。

11、具体地，所述ai助手模块同时对接本地轻量化知识库与省级云端业务知识库，支持嘈杂作业环境下语音识别交互，实时返回表计分布、场地配套、安全操作规程、故障应急处置指导信息。

12、具体地，所述风险管控平台接收现场作业平台汇总的工单、音视频、ai风险识别日志、人员定位轨迹数据，对海量作业数据进行挖掘分析，输出安全管理优化方案，降低现场作业风险发生率。

13、便携式ai助手安全管控系统的作业安全智能管控方法，包括以下步骤：

14、s1：外勤作业人员启动便携式ai助手安全管控终端，北斗定位模块实时采集作业位置，音视频模块持续采集现场作业图像、语音；

15、s2：边缘智能模块npu加载蒸馏轻量化卷积神经网络模型，本地智能算法模块依次执行模糊识别、目标尺寸校验，识别人员未佩戴防护用具、计量设备规格异常等安全风险；

16、s3：本地识别到风险时，终端扬声器、触控屏幕同步推送实时整改预警，作业人员通过语音接入模块发起问询，ai助手模块调取知识库返回作业指导信息；

17、s4：音视频服务模块对原始音视频降噪、编码压缩，经安全加密后通过通信模块实时推送至统一视频平台，网络异常时本地缓存数据，网络恢复后断点续传；

18、s5：工单处理模块将终端采集的音视频、风险识别日志、定位轨迹与当前作业工单绑定，作业完成后终端提交工单至现场作业平台；

19、s6：现场作业平台将工单全量数据汇总至风险管控平台，平台完成作业风险统计、数据挖掘，生成安全管理优化策略，实现作业安全全流程追溯与精益管控。

20、与现有技术相比，本发明提供的技术方案具有如下有益效果：

21、1.端侧实时ai推理，打破传统记录仪仅存储局限通过模型蒸馏技术将安全视觉大模型轻量化部署在便携式终端npu，现场无需依赖云端算力，毫秒级完成违规识别、设备校验，实现风险事前预警、实时纠偏，解决云端分析延迟、带宽不足的痛点，将安全管控从“事后核查”转为“事中干预”。

22、2.一体化集成ai语音助手，现场作业辅助能力提升终端内置语音交互与安全知识库，双手作业时可语音查询安全规范、设备资料，大幅降低现场查阅资料耗时，提升作业效率，填补传统记录仪无智能咨询功能的空白。

23、3.模块化便携硬件和国密安全体系，适配能源行业标准硬件集成边缘算力、北斗定位、音视频、加密单元一体化设计，设备小型化便于现场携带；内置行业安全单元3.0与sm7国密算法，全链路数据加密存储传输，完全符合能源行业数据安全规范，杜绝作业、设备数据泄露风险。

24、4.多源数据融合，工单全闭环管理终端音视频、定位轨迹、ai风险日志、作业工单多数据联动，统一汇聚至风险管控平台，实现作业全过程可追溯，通过海量作业数据挖掘优化现场安全管理制度，持续降低作业事故率。

25、5.环境自适应识别算法，复杂现场识别精度更高设计模糊识别、目标尺寸两级校验流程，针对户外强光、昏暗、画面抖动、设备大小不一等复杂工况优化识别逻辑，降低模型误报、漏报率，提升安全检测可靠性。

26、6.经济与社会效益显著实时预警减少现场安全事故，降低运维人力核查成本，提升行业数字化转型水平；保障现场作业安全，稳定设备运行，提升公共服务质量。

27、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。