一种硫化地沟油气管道异常检测方法、装置、电子设备及存储介质与流程

1.本发明涉及管道检测技术领域，尤其涉及一种硫化地沟油气管道异常检测方法、装置、电子设备及存储介质。


背景技术：

2.当前轮胎行业正处于快速发展时期，轮胎生产的自动化程度越来越高，轮胎硫化车间目前已实现少人化、无人化生产。轮胎硫化工序主要由硫化机完成，硫化地沟密布各种油气输送管道，对硫化地沟中的油气输送管道进行巡检维护是保证轮胎安全生产的一项重要工作。
3.传统的人工巡检是工作人员进入硫化地沟对油气输送管道进行检查，由于硫化地沟内温度高、空间小，导致工作人员进入硫化地沟巡检不仅危险系数高，而且存在漏检问题。
4.目前，自动检测硫化地沟中的油气输送管道是否存在泄漏问题尚无法实现。


技术实现要素：

5.本发明提供一种硫化地沟油气管道异常检测方法、装置、电子设备及存储介质，利用计算机视觉技术和深度学习技术自动检测硫化地沟油气管道是否发生泄漏，无需工作人员进入硫化地沟进行巡检，实现了硫化地沟油气管道异常的自动检测。
6.第一方面，本发明提供一种硫化地沟油气管道异常检测方法，包括：
7.获取部署在硫化地沟的巡检机器人拍摄的油气管道红外热图像；
8.将所述油气管道红外热图像和预存的正常状态油气管道红外热图像输入预先训练好的变化检测模型，获得所述变化检测模型输出的变化检测结果；
9.根据所述变化检测结果确定所述油气管道是否发生异常；
10.若是，则向工作人员发送管道泄漏报警信息。
11.可选实施例中，所述将所述油气管道红外热图像和预存的正常状态油气管道红外热图像输入变化检测模型，获得所述变化检测模型输出的变化检测结果，包括：
12.对所述预存的正常状态油气管道红外热图像进行特征提取和下采样，得到四个尺度的第一图像特征依次表示为；
13.对所述油气管道红外热图像进行特征提取和下采样，得到五个尺度的第二图像特征；
14.将相同尺度的所述第一图像特征和所述第二图像特征进行拼接，得到四个尺度的拼接图像特征；
15.将所述四个尺度的拼接图像特征和所述五个尺度的第二图像特征进行融合处理，得到四组特征图；
16.利用通道注意力模块对所述四组特征图进行处理得到细化特征图，并利用1
×
1卷
积层对所述细化特征图进行处理，得到最终特征图。
17.可选实施例中，所述根据所述变化检测结果确定所述油气管道是否发生异常，包括：
18.根据所述最终特征图确定所述油气管道红外热图像中是否存在异常图像区域；
19.若是，则确定所述油气管道发生泄漏。
20.进一步地，所述获取部署在硫化地沟的巡检机器人拍摄的油气管道红外热图像之前还包括：
21.采集多张油气管道红外热图像样本数据；所述多张油气管道红外热图像样本数据中包含有发生泄漏的油气管道红外热图像；
22.对所述多张油气管道红外热图像样本数据进行标注，得到训练数据集；
23.利用所述训练数据集对构建的变化检测模型进行训练，得到所述预先训练好的变化检测模型。
24.进一步地，所述硫化地沟油气管道异常检测方法还包括：
25.将识别错误的油气管道红外热图像进行异常区域标注，并将所述识别错误的油气管道红外热图像及对应的异常区域标注输入所述变化检测模型进行模型训练，得到更新的变化检测模型。
26.第二方面，本发明提供一种硫化地沟油气管道异常检测装置，包括：
27.获取模块，用于获取部署在硫化地沟的巡检机器人拍摄的油气管道红外热图像；
28.检测模块，用于将所述油气管道红外热图像和预存的正常状态油气管道红外热图像输入预先训练好的变化检测模型，获得所述变化检测模型输出的变化检测结果；
29.确定模块，用于根据所述变化检测结果确定所述油气管道是否发生异常；
30.发送模块，用于向工作人员发送管道泄漏报警信息。
31.可选实施例中，所述装置还包括：模型训练模块；
32.所述模型训练模块，用于采集多张油气管道红外热图像样本数据；所述多张油气管道红外热图像样本数据中包含有发生泄漏的油气管道红外热图像；对所述多张油气管道红外热图像样本数据进行标注，得到训练数据集；利用所述训练数据集对构建的变化检测模型进行训练，得到所述预先训练好的变化检测模型。
33.第三方面，本发明提供一种电子设备，包括：至少一个处理器和存储器；
34.所述存储器存储计算机执行指令；
35.所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行第一方面任一项所述的硫化地沟油气管道异常检测方法。
36.第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的硫化地沟油气管道异常检测方法。
37.本发明提供的一种硫化地沟油气管道异常检测方法、装置、电子设备及存储介质，获取部署在硫化地沟的巡检机器人拍摄的油气管道红外热图像；将所述油气管道红外热图像和预存的正常状态油气管道红外热图像输入预先训练好的变化检测模型，获得所述变化检测模型输出的变化检测结果；根据所述变化检测结果确定所述油气管道是否发生异常；若是，则向工作人员发送管道泄漏报警信息。与现有技术相比，本发明方案实现了硫化地沟
油气管道异常的自动检测，无需工作人员进入硫化地沟进行巡检，可及时向工作人员发出泄漏报警信息，减小了人工巡检的风险。
附图说明
38.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
39.图1为本公开所基于的一种场景架构的示意图；
40.图2为本公开实施例一提供的一种硫化地沟油气管道异常检测方法的流程示意图；
41.图3为本公开实施例提供的一种变化检测模型的结构示意图；
42.图4为本公开实施例一提供的一种变化检测模型训练方法的流程示意图；
43.图5为本公开实施例二提供的一种硫化地沟油气管道异常检测装置的结构示意图；
44.图6为本公开实施例三提供的一种电子设备的结构示意图。
具体实施方式
45.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.硫化地沟油气管道的安全关乎轮胎生产效率，及时发现硫化地沟油气管道的异常可以方便工作人员尽快进行管道维修，保证轮胎生产，因此检测硫化地沟油气管道是否发生异常对轮胎生产具有重大意义。
47.近几年，随着计算机视觉的飞速发展，特别是在深度学习领域，利用计算机视觉和深度学习的方法，对硫化地沟油气管道进行检测，确定硫化地沟油气管道是否发生泄漏，能够实现硫化地沟油气管道异常的自动检测，在轮胎生产领域具有广阔的应用前景。
48.图1为本公开所基于的一种场景架构的示意图，如图1所示的，本公开基于的一种场景架构可包括油气管道异常检测装置1以及配置有红外热像仪3的巡检机器人2。
49.其中，油气管道异常检测装置1是可与巡检机器人2以及红外热像仪3通过网络进行交互的硬件或软件，其可用于执行下述各实施例中所述的油气管道异常检测方法。
50.当油气管道异常检测装置1为硬件时，其可以为具备运算功能的电子设备。当油气管道异常检测装置1为软件时，其可以安装在具备运算功能的电子设备中。其中的电子设备包括但不限于服务器、笔记本和台式计算机等等。
51.其中，巡检机器人2上配置有红外热像仪3，可通过热红外敏感ccd对硫化地沟中的油气管道进行热成像。
52.在实际场景中，油气管道异常检测装置1可集成或安装在服务器中，为硫化车间提供油气管道异常检测服务，此时，红外热像仪3搭载在巡检机器人2上，并在巡检机器人2巡
2、将pt-1、pt-2、pt-3、t2-2’、t2-3’、t2-4’进行融合得到rt-3、将pt-1、pt-2、pt-3、pt-4、t2-2’、t2-3’、t2-4’、t2-5’进行融合得到rt-4，可采用密集跳跃连接机制对不同尺度的特征进行融合；通过通道注意力模块和1
×
1卷积层对四组特征图rt-1～rt-4进行处理得到最终特征图zt，通道注意力模块可自动选择和关注不同组特征图之间更有效的信息。
64.s23、根据所述变化检测结果确定所述油气管道是否发生异常。
65.本实施例中，由于最终特征图可以反映油气管道红外热图像和预存的正常状态油气管道红外热图像的之间的差别特征，差别特征表示油气管道红外热图像中包含有异常图像区域(泄漏位置对应的图像区域)，可通过最终特征图中的差别特征确定油气管道发生泄漏。
66.在一种可能的实施方式中，根据所述变化检测结果确定所述油气管道是否发生异常，包括：根据所述最终特征图确定所述油气管道红外热图像中是否存在异常图像区域；若是，则确定所述油气管道发生泄漏。
67.s24、若是，则向工作人员发送管道泄漏报警信息。
68.本实施例中，可将管道泄漏信息上传至用户系统，用户系统向工作人员发送管道泄漏报警信息。
69.本实施例提供了一种硫化地沟油气管道异常检测方法，获取部署在硫化地沟的巡检机器人拍摄的油气管道红外热图像；将所述油气管道红外热图像和预存的正常状态油气管道红外热图像输入预先训练好的变化检测模型，获得所述变化检测模型输出的变化检测结果；根据所述变化检测结果确定所述油气管道是否发生异常；若是，则向工作人员发送管道泄漏报警信息。通过采用本公开所提供的技术方案，实现了硫化地沟油气管道异常的自动检测，减小了人工巡检的风险。
70.在上述实施例的基础上，图4为本公开实施例一提供的一种变化检测模型训练方法的流程示意图，在步骤s21所述的获取部署在硫化地沟的巡检机器人拍摄的油气管道红外热图像之前，还包括变化检测模型的训练阶段，如图4所示，包括：
71.s31、采集多张油气管道红外热图像样本数据；所述多张油气管道红外热图像样本数据中包含有发生泄漏的油气管道红外热图像。
72.本实施例中，油气管道红外热图像样本数据既包括发生泄漏的油气管道红外热图像，还包括正常状态油气管道红外热图像。
73.s32、对所述多张油气管道红外热图像样本数据进行标注，得到训练数据集。
74.本实施例中，人工对发生泄漏的油气管道红外热图像中的泄漏区域进行标识，对正常状态油气管道红外热图像标识为正常。
75.s33、利用所述训练数据集对构建的变化检测模型进行训练，得到所述预先训练好的变化检测模型。
76.本实施例中，将练数据集输入构建的变化检测模型，通过构建的变化检测模型对发生泄漏的油气管道红外热图像和正常状态油气管道红外热图像进行处理得到泄漏区域标识信息；根据泄漏区域标识信息与人工泄漏区域标识信息计算损失函数值，并将所述损失函数值反向传播至所述变化检测模型的各层，以根据所述损失函数值更新各层的权值参数；重复上述的训练步骤，直至变化检测模型收敛。
77.此外，由于训练好的变化检测模型可能出现识别错误，因此需要在使用过程中不
断对变化检测模型进行迭代更新，以提高变化检测模型的检测准确率，所述方法还包括：
78.s34、将识别错误的油气管道红外热图像进行异常区域标注，并将所述识别错误的油气管道红外热图像及对应的异常区域标注输入所述预先训练好的变化检测模型进行模型训练，得到更新的变化检测模型。
79.实施例二
80.对应于上文实施例的硫化地沟油气管道异常检测方法，图5为本公开实施例二提供的一种硫化地沟油气管道异常检测装置的结构示意图。为了便于说明，仅示出了与本公开实施例相关的部分。参照图5，所述硫化地沟油气管道异常检测装置包括：
81.获取模块51，用于获取部署在硫化地沟的巡检机器人拍摄的油气管道红外热图像；
82.检测模块52，用于将所述油气管道红外热图像和预存的正常状态油气管道红外热图像输入预先训练好的变化检测模型，获得所述变化检测模型输出的变化检测结果；
83.确定模块53，用于根据所述变化检测结果确定所述油气管道是否发生异常；
84.发送模块54，用于向工作人员发送管道泄漏报警信息。
85.可选的，所述检测模块52，具体用于：
86.对所述预存的正常状态油气管道红外热图像进行特征提取和下采样，得到四个尺度的第一图像特征；
87.对所述油气管道红外热图像进行特征提取和下采样，得到五个尺度的第二图像特征；
88.将相同尺度的所述第一图像特征和所述第二图像特征进行拼接，得到四个尺度的拼接图像特征；
89.将所述四个尺度的拼接图像特征和所述五个尺度的第二图像特征进行融合处理，得到四组特征图；
90.利用通道注意力模块对所述四组特征图进行处理得到细化特征图，并利用1
×
1卷积层对所述细化特征图进行处理，得到最终特征图。
91.可选的，所述确定模块53，具体用于：
92.根据所述最终特征图确定所述油气管道红外热图像中是否存在异常图像区域；
93.若是，则确定所述油气管道发生泄漏。
94.可选的，所述装置还包括：模型训练模块55；
95.所述模型训练模块55，用于采集多张油气管道红外热图像样本数据；所述多张油气管道红外热图像样本数据中包含有发生泄漏的油气管道红外热图像；对所述多张油气管道红外热图像样本数据进行标注，得到训练数据集；利用所述训练数据集对构建的变化检测模型进行训练，得到所述预先训练好的变化检测模型。
96.可选的，所述模型训练模块55，还用于：
97.将识别错误的油气管道红外热图像进行异常区域标注，并将所述识别错误的油气管道红外热图像及对应的异常区域标注输入所述预先训练好的变化检测模型进行模型训练，得到更新的变化检测模型。
98.本实施例提供了一种硫化地沟油气管道异常检测装置，通过获取模块获取部署在硫化地沟的巡检机器人拍摄的油气管道红外热图像；通过检测模块将所述油气管道红外热
图像和预存的正常状态油气管道红外热图像输入预先训练好的变化检测模型，获得所述变化检测模型输出的变化检测结果；通过确定模块根据所述变化检测结果确定所述油气管道是否发生异常；若是，则通过发送模块向工作人员发送管道泄漏报警信息。通过采用本公开所提供的技术方案，实现了硫化地沟油气管道异常的自动检测，减小了人工巡检的风险。
99.上述产品可执行本公开任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
100.实施例三
101.图6为本公开实施例三提供的一种电子设备的结构示意图，如图6所示，本实施例的电子设备60可以包括：存储器61、处理器62。
102.存储器61，用于存储计算机程序(如实现上述一种硫化地沟油气管道异常检测方法的应用程序、功能模块等)、计算机指令等；
103.上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器61中。并且上述的计算机程序、计算机指令等可以被处理器62调用。
104.处理器62，用于执行存储器61存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。
105.具体可以参见前面方法实施例中的相关描述。
106.存储器61和处理器62可以是独立结构，也可以是集成在一起的集成结构。当存储器61和处理器62是独立结构时，存储器61、处理器62可以通过总线63耦合连接。
107.本实施例的一种电子设备可以执行实施例一所述方法中的技术方案，其具体实现过程和技术原理参见实施例一所述方法中的相关描述，此处不再赘述。
108.此外，本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。
109.其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。另外，该asic可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。
110.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
111.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以
结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些端口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以本发明权利要求的保护范围为准。