一种作业现场环境隐患识别方法及相关装置与流程

本发明属于隐患识别，具体涉及一种作业现场环境隐患识别方法及相关装置。

背景技术：

1、电厂作业现场环境复杂，电源线敷设不规范、防护装置缺失损坏、地面湿滑积水、设备锈蚀变形、消防通道堵塞、警示标识缺失等各类环境安全隐患广泛存在，隐患排查是电厂安全管理的核心日常工作。

2、传统隐患排查依赖安监人员现场人工巡检、纸质记录，整体效率偏低，排查质量高度依赖人员经验，漏检率偏高，整改闭环的跟踪管理也存在不少困难。

3、计算机视觉与人工智能技术发展成熟后，部分电厂开始应用ai（artificialintelligence，人工智能）图像识别技术辅助隐患排查，依托监控摄像头采集画面识别典型违章与隐患。但现有技术方案大多停留在单一识别环节，没有和电厂现场的排查业务流程深度结合，采集方式、场景适配性都存在比较明显的局限。

4、现有电厂ai隐患排查方案的采集端大多依赖固定位置的监控摄像头，动态作业面、临时作业点这类场景很难灵活覆盖，导致隐患排查覆盖范围有限，也适配不了现场作业人员、巡检人员、管理人员不同的排查习惯，移动作业场景下的实用性偏弱。

5、另外多数方案只做到隐患识别这一步，没有对应关联安全规章依据和标准整改方案，排查人员拿到识别结果后还要手动查阅制度文件、确认整改方式，效率提升有限，形成不了从发现到判定再到整改的完整业务链路。

6、ai模型本身存在能力边界，漏检难以避免，现有方案大多只做单向的结果输出，不支持人工补充隐患后自动匹配规章与整改方案，人工补充的内容仍需后续手动处理，人机协同的效率不高。电厂部分偏远作业区、设备间隙区域的无线信号覆盖不足，纯在线的识别方案在无网、弱网环境下无法正常使用，也限制了隐患排查的全域覆盖范围。

7、此外，现有基于多模态大模型的隐患识别方案存在以下两方面不足：

8、1.通用预训练的多模态大模型缺乏电力行业专业隐患知识，直接用于工业现场隐患识别时领域适应性差，容易出现漏检和误检，而且现有方案未利用工作票中的危险点信息来引导模型识别，模型缺乏场景针对性的先验知识，无法聚焦于当前作业特有的风险类型。

9、2.多模态大模型参数量大、推理延迟高，在电厂内网部署场景下，未经模型压缩和硬件加速优化的大模型难以满足多源图像并发识别的实时性要求。

技术实现思路

1、本发明的目的在于提供一种作业现场环境隐患识别方法及相关装置，用于解决现有技术中作业现场环境隐患识别覆盖范围有限和识别准确率不足的问题。

2、为了实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供一种作业现场环境隐患识别方法，包括以下步骤：

4、通过手持终端拍照、布控球设备抓拍、桌面端或者视频截图的方式，获取作业现场环境图像；

5、将作业现场环境图像传输到推理服务器中进行推理，得到推理后的作业现场环境图像，所述推理服务器部署有多模态视觉大模型；

6、获取与所述作业现场环境图像关联的工作票信息，从所述工作票信息中提取危险点信息；

7、基于所述危险点信息，构建结构化隐患识别提示词；

8、将所述推理后的作业现场环境图像和所述结构化隐患识别提示词输入到所述推理服务器部署的多模态视觉大模型中进行隐患识别，得到隐患识别结果。

9、本发明进一步的改进在于，所述手持终端支持离线缓存模式。

10、本发明进一步的改进在于，所述推理服务器利用gpu硬件加速技术对推理过程进行加速。

11、本发明进一步的改进在于，将所述推理后的作业现场环境图像和所述结构化隐患识别提示词输入到所述推理服务器部署的多模态视觉大模型中进行隐患识别之前，对所述多模态视觉大模型进行压缩优化处理。

12、本发明进一步的改进在于，所述隐患识别结果包括隐患描述和隐患类型。

13、本发明进一步的改进在于，得到隐患描述和隐患类型之后，以隐患描述和隐患类型为检索关键词，在安全规章制度知识库和隐患整改案例库中进行检索。

14、本发明进一步的改进在于，根据检索结果，制定整改措施。

15、第二方面，本发明提供一种作业现场环境隐患识别系统，包括：

16、数据获取模块，用于通过手持终端拍照、布控球设备抓拍、桌面端或者视频截图的方式，获取作业现场环境图像；

17、推理模块，用于将作业现场环境图像传输到推理服务器中进行推理，得到推理后的作业现场环境图像，所述推理服务器部署有多模态视觉大模型；

18、危险点信息提取模块，用于获取与所述作业现场环境图像关联的工作票信息，从所述工作票信息中提取危险点信息；

19、提示词构建模块，用于基于所述危险点信息，构建结构化隐患识别提示词；

20、隐患识别模块，用于将所述推理后的作业现场环境图像和所述结构化隐患识别提示词输入到所述推理服务器部署的多模态视觉大模型中进行隐患识别，得到隐患识别结果。

21、第三方面，本发明提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述介绍的作业现场环境隐患识别方法的步骤。

22、第四方面，本发明提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述介绍的作业现场环境隐患识别方法的步骤。

23、与现有技术相比，本发明具有如下有益效果：

24、本发明提出的作业现场环境隐患识别方法，一方面通过手持终端拍照、布控球设备抓拍、桌面端或者视频截图的方式，获取作业现场环境图像，可见本发明可以适配不同岗位人员的使用习惯，兼顾固定监控作业与移动临时作业场景，隐患排查的覆盖范围与灵活性都有明显拓展，另一方面，本发明从工作票信息中提取危险点信息，基于危险点信息，构建结构化隐患识别提示词，通过构建的结构化隐患识别提示词引导多模态视觉大模型聚焦于当前作业特有的风险类型，相较于通用模型的盲目识别方式，显著地提升了隐患识别的针对性与准确率，有效地减少漏检和误检。

25、进一步地，本发明公开了手持终端支持离线缓存模式，可见本发明在ap盒子无线覆盖盲区或网络带宽不足的场景下同样适用。

26、进一步地，本发明公开了推理服务器利用gpu硬件加速技术对推理过程进行加速，该操作可以在保证识别精度的前提下显著降低推理延迟，提升多源图像（作业现场环境图像）的并发处理能力。

27、进一步地，本发明公开了将推理后的作业现场环境图像和结构化隐患识别提示词输入到推理服务器部署的多模态视觉大模型中进行隐患识别之前，对多模态视觉大模型进行压缩优化处理，该操作可以减少多模态视觉大模型的体积和计算量。

1.一种作业现场环境隐患识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的作业现场环境隐患识别方法，其特征在于，所述手持终端支持离线缓存模式。

3.根据权利要求1所述的作业现场环境隐患识别方法，其特征在于，所述推理服务器利用gpu硬件加速技术对推理过程进行加速。

4.根据权利要求1所述的作业现场环境隐患识别方法，其特征在于，将所述推理后的作业现场环境图像和所述结构化隐患识别提示词输入到所述推理服务器部署的多模态视觉大模型中进行隐患识别之前，对所述多模态视觉大模型进行压缩优化处理。

5.根据权利要求1所述的作业现场环境隐患识别方法，其特征在于，所述隐患识别结果包括隐患描述和隐患类型。

6.根据权利要求5所述的作业现场环境隐患识别方法，其特征在于，得到隐患描述和隐患类型之后，以隐患描述和隐患类型为检索关键词，在安全规章制度知识库和隐患整改案例库中进行检索。

7.根据权利要求6所述的作业现场环境隐患识别方法，其特征在于，根据检索结果，制定整改措施。

8.一种作业现场环境隐患识别系统，其特征在于，包括：

9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的作业现场环境隐患识别方法的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的作业现场环境隐患识别方法的步骤。