一种基于图像处理的安全检测方法、装置、电子设备和存储介质与流程

本发明涉及安全检测，尤其涉及一种基于图像处理的安全检测方法、装置、电子设备和存储介质。

背景技术：

1、工业厂区安全检测是保障生产连续性与人员作业安全的核心环节。目前，厂区设备安全检测主要依赖基于传感器监测，具体为通过在设备上部署温度、振动以及电流等传感器，采集设备运行参数，根据预设阈值判断设备是否处于正常运行区间。来反映设备内部运行状态，判断是否存在安全隐患。但是，当传感器数据受到周围环境因素影响时，极易产生误判或漏判，设备参数偏离阈值可能源于真实故障，也可能是环境因素干扰等非故障因素引起，传感器自身无法对此加以区分，导致大量误报，同时真正需要处理的安全隐患淹没在大量误报信息中而被忽略。

技术实现思路

1、本发明提出一种基于图像处理的安全检测方法、装置、电子设备及存储介质，用于解决现有检测方法仅使用传感器检测时，无法有效区分传感器监测中因环境因素干扰引发的误报警或设备真实故障引发的异常报警，导致大量误报，真实的报警信息被淹没的技术问题。

2、本发明一实施例提供了一种基于图像处理的安全检测方法，包括：

3、获取目标厂区中各设备的设备运行工况信息以及各监测图像序列；

4、将同一工况下的设备运行工况信息分为同一数据组，得到若干成套设备对应的设备运行工况信息；对各监测图像序列进行划分得到各区域对应的监测图像序列；

5、对于每一成套设备，将对应的设备运行工况信息输入预先训练的工作状态解析模型，以使所述工作状态解析模型对所述设备运行工况信息进行解析处理，输出成套设备中各设备的运行状态信息；

6、在存在运行状态信息为异常情况下，确定异常的运行状态信息对应的设备所属的监测区域，获取监测区域对应的监测图像序列；将异常的运行状态信息和对应的监测图像序列输入预先训练的安全检测模型，以使安全检测模型提取所述监测图像序列中的图像特征以及异常的运行状态信息中的时序特征，并将所述图像特征与所述时序特征进行融合分析后输出安全隐患识别结果；

7、根据所述安全隐患识别结果对目标厂区进行安全检测。

8、进一步的，将同一工况下的设备运行工况信息分为同一数据组，包括：

9、获取各设备运行工况信息的运行工况波动系数；

10、分别计算两两设备运行工况信息对应的运行工况波动系数之间的差值，将所述差值和预设的差值阈值进行比较：

11、若所述差值小于设定差值阈值，判断两设备运行工况信息属于同一工况；

12、若所述差值大于或等于设定差值阈值，判定两设备运行工况信息不属于同一工况；

13、将属于同一工况的所有设备运行工况信息分为同一数据组。

14、进一步的，所述对各监测图像序列进行划分得到各区域对应的监测图像序列，包括：

15、获取各监测图像序列中的起始拍摄位置和终止拍摄位置；

16、将各监测图像序列两两进行比对，在比对过程中根据一监测图像序列的拍摄终止位置与另一监测图像序列的拍摄起始位置，计算两者之间的空间距离间隔；

17、将所述空间距离间隔与设定的间隔距离阈值进行比较：

18、若所述空间距离间隔大于距离间隔阈值，则判定两监测图像序列属于不同区域；

19、若所述空间距离间隔小于或等于距离间隔阈值，则判定两监测图像序列属于同一区域；

20、将属于同一区域的所有监测图像序列进行拼接，得到同一区域对应的监测图像序列。

21、进一步的，将异常的运行状态信息和对应的监测图像序列输入预先训练的安全检测模型，包括：

22、将异常的运行状态信息和对应区域的监测图像序列进行时间对齐处理，得到时间对齐后的状态图像关联信息；

23、获取预设的厂区作业标准信息；

24、计算所述状态图像关联信息与厂区作业标准信息之间的相似度，并将所述相似度与设定的相似度阈值进行比较：

25、在所述相似度小于相似度阈值的情况下，将设备异常运行状态信息和监测图像输入预先训练的安全检测模型。

26、进一步的，计算所述状态图像关联信息与厂区作业标准信息之间的相似度，包括：

27、分别提取所述状态图像关联信息的第一语义特征向量以及厂区作业标准信息的第二语义特征向量；

28、计算所述第一语义特征向量和第二语义特征向量之间的向量相似度，将所述向量相似度作为相似度。

29、进一步的，所述安全检测模型通过以下方式进行预训练：

30、获取厂区安全隐患样本数据集，所述厂区安全隐患样本数据集包括多组样本数据，每组样本数据均包含监测图像序列样本、异常的运行状态信息样本以及对应的安全隐患类型标签；

31、基于resnet网络和lstm网络构建初始安全检测模型；

32、将多组样本数据分别输入所述初始安全检测模型，以使初始安全检测模型通过resnet网络提取所述监测图像序列样本中的图像特征，通过lstm网络提取所述异常的运行状态信息样本中的时序特征；将所述图像特征和时序特征进行融合分析后输出预测安全隐患类型；根据所述预测安全隐患类型和对应的安全隐患类型标签之间的差异，调整所述初始安全检测模型的网络参数，直至满足收敛条件，得到训练完成的安全检测模型。

33、进一步的，所述安全隐患识别结果包括安全隐患识别类型，根据所述安全隐患识别结果对目标厂区进行安全检测，包括：

34、根据设定的安全隐患类型和安全等级之间的映射关系，得到所述安全隐患识别类型对应的安全等级；

35、根据所述安全等级对安全隐患识别结果进行优先级排序，根据排序结果对目标厂区进行安全检测。

36、本发明一实施例提供了一种基于图像处理的安全检测装置，包括：

37、数据获取模块，用于获取目标厂区中各设备的设备运行工况信息以及各监测图像序列；

38、数据划分模块，用于将同一工况下的设备运行工况信息分为同一数据组，得到若干成套设备对应的设备运行工况信息；对各监测图像序列进行划分得到各区域对应的监测图像序列；

39、状态解析模块，用于对每一成套设备，将对应的设备运行工况信息输入预先训练的工作状态解析模型，以使所述工作状态解析模型对所述设备运行工况信息进行解析处理，输出成套设备中各设备的运行状态信息；

40、故障识别模块，用于在存在运行状态信息为异常情况下，将异常的运行状态信息和对应的监测图像序列输入预先训练的安全检测模型，以使安全检测模型提取所述监测图像序列中的图像特征以及异常的运行状态信息中的时序特征，并将所述图像特征与所述时序特征进行融合分析后输出安全隐患识别结果；

41、安全检测模块，用于根据所述安全隐患识别结果对目标厂区进行安全检测。

42、本发明一实施例提供了一种电子设备，包括：处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序；其中，所述处理器在执行所述计算机程序时，实现本发明任一项所述的基于图像处理的安全检测方法。

43、本发明一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行本发明任意一项所述的基于图像处理的安全检测方法。

44、通过实施本发明的实施例具有如下有益效果：

45、本发明实施例提供了一种基于图像处理的安全检测方法、装置、电子设备和存储介质，通过将设备运行工况信息输入工作状态解析模型进行预处理，判断设备运行工况信息是否存在异常情况，在设备存在运行状态信息为异常情况下触发安全检测模型的融合分析，通过设备异常与图像异常的双重确认机制有效减少环境干扰等因素导致的传感器误报，提升了故障识别的准确率；通过安全检测模型提取所述监测图像序列中的图像特征以及异常的运行状态信息中的时序特征，并将所述图像特征与所述时序特征进行融合分析后输出安全隐患识别结果，将设备内部参数监测与外部视觉监测进行深度协同，弥补了仅使用传感器的检测该方法无法感知设备外观异常的固有缺陷，提高工业厂区安全检测的准确性和可靠性。