基于YOLOCBF电厂关键区域管道油液泄漏检测方法

基于yolocbf电厂关键区域管道油液泄漏检测方法
技术领域
1.本发明涉及的是计算机视觉技术领域，具体涉及一种针对电厂复杂背景下结合电厂巡检机器人和固定点摄像头、基于yolocbf算法对关键区域管道油液泄漏的检测方法。


背景技术：

2.电力生产安全关乎国家能源安全，随着居民用电量与日俱增，电力生产的效率与安全同时也关乎国民生活质量。电厂中，油库、化水车间等关键区域包含许多重要的充油设备以及输油管道，在氧化老化、受温差胀缩和检修维护不及时等多种因素的影响下，可能会出现油液泄漏的情况。油液泄漏的发生不但会影响生产效益，还可能发生短路放电等情形，从而导致设备毁坏、火灾等严重后果。不同于高温蒸汽，利用人工巡检或者红外图像识别就能够分辨检测区域内是否发生泄漏。管道油、水等液体的泄漏具有变化细微缓慢、没有固定形状等特点，电厂中管线的分布密集且管道数量众多，泄漏难以检测，因此对管道油液泄漏的及时检测识别与准确定位逐渐成为计算机视觉领域中一个具有重要研究价值和研究意义的课题，且具有重要的现实意义，同时由于工业领域场景的需求，准确、实时的管道泄漏检测应运而生。
3.目前，电厂针对关键区域内的跑气、冒水、滴液等跑冒滴漏现象，普遍采用人工巡检的方式。巡检工人一般按照“倒班制”进行巡检，每天最多能对生产现场进行3次巡检，每次巡检时间间隔约为8小时，如果在这8小时内发生管道泄漏，就可能未被及时检出从而造成严重的后果。此外，人工巡检不仅耗时长、整理和分析历史数据困难，而且存在工作效率低、实时性差等问题。
4.随着人工智能的不断发展，深度学习的应用不仅局限于通过分析管道各项数据检测是否存在泄漏，尤其是机器视觉的应用降低了工业现场检测仪器的部署难度。通过安装摄像头等影像采集设备、部署服务器就能实现对工业现场设备以及管道状态的检测，包括油液泄漏检测、安全帽检测、气体泄漏检测等。现有的一些研究方法，也有利用图像数据结合图像处理方法进行管道泄漏的相关研究，但目前尚未有将基于深度学习的目标检测技术与电厂关键区域管道油液泄漏检测场景相结合的实例。
5.当前目标检测领域的中的检测方法主要可以分成两阶段检测方法和单阶段检测方法两种。两阶段检测方法包括r-cnn、fast r-cnn、faster r-cnn等，该系列算法通常分为两步：第一步是从图像中提取目标区域，即建议框，第二步是对每个建议框进行检测分类，其特点是精度高，但是检测速度较慢，无法达到工业领域又快又准的要求。单阶段检测方法包括ssd、yolo系列等不需要经过两步，而采用一步到位的方式得到结果。与faster r-cnn相比，yolo v5的检测速度和检测精度都有很大提高。
6.综上，从实际应用场景出发，根据油库、化水车间等电厂关键区域管道油液泄漏特征和生产现场检测需求，同时针对现有的检测方法在电厂油库、化水车间等关键区域管道油液泄漏的检测中存在的因电厂背景环境复杂且检测目标为小目标导致检测难度大、定位不准确以及主干网络复杂导致实时性不够的问题，开发一种基于yolocbf的电厂关键区域
管道油液泄漏检测识别方法尤为必要。


技术实现要素：

7.针对现有技术上存在的不足，本发明目的是在于提供一种基于yolocbf电厂关键区域管道油液泄漏检测方法，能够实现对电厂关键区域内的管道油液泄漏的实时、准确检测，使得工作人员实时掌握生产现场的设备状态以及异常信息，针对紧急状况及时发现、及时处理，满足电厂应用的需求，易于推广使用。为了实现上述目的，本发明是通过如下的技术方案来实现：基于yolocbf电厂
8.关键区域管道油液泄漏检测方法，其步骤为：
9.(1)获取电厂关键区域管道油液泄漏图像，对数据集进行数据增强、数据清洗等预处理操作，并将所有图像划分为训练集、验证集、测试集，所有图像包含室内外管道、阀门等多个泄漏场景，并对训练集中的图像进行标注；
10.(2)将获取的训练集图像输入到yolocbf中融合了cbam注意力机制的模型骨干网络中，获取五个不同尺度的特征图；
11.(3)对获取的五个不同尺度的图像特征图，将其输入到yolocbf的颈部段，通过颈部段中的双向特征金字塔网络对其进行特征融合，输出五个不同尺度的张量数据，实现不同尺度的信息融合；
12.(4)对得到的五个不同尺度的张量数据，将其输入到yolocbf网络的头部端，通过五个检测头进行预测，采用focal eiou loss作为损失函数对检测目标进行定位以及类别检测；
13.(5)通过训练集训练网络模型并在验证集上对模型进行验证，将其部署到算法服务器上进行电厂关键区域管道油液泄漏的实时检测识别。
14.作为优选，所述的步骤(1)将获取到的所有管道油液泄漏图像打乱并按比例将图像划分为训练集、验证集、测试集，对图像进行数据增强，方法包括旋转、缩放、色域变换以及图像拼接；并对训练集内的缺陷图像用labelimg标注软件进行标注，标注类别为oil和water两个类别。
15.作为优选，所述的步骤(2)中构建yolocbf的骨干网络模型部分，其包含focus模块、三个c3模块、conv模块、九个c3模块、conv模块、九个c3模块、conv模块、三个c3tr模块、cbam_attention模块、spff模块，由上述模块依次连接而成，对管道油液泄漏图像进行多个尺度的特征提取。
16.其中，cbam_attention模块包含通道注意力模块和空间注意力模块这两个独立的子模块，分别进行通道、空间上的注意力操作：
17.①
在通道注意力模块中，通过重新分配特征图之间的权重，加大对关键特征图的关注，弱化冗余特征图对识别结果的影响：首先将输入的特征图复制成两份，分别经过基于宽度和高度的全局最大池化和全局平均池化，得到两个特征图，再将它们分别送入到一个两层的多层感知机(mlp)，这个两层的神经网络由两个特征图共享，最终将生成的特征传入空间注意力模块。
18.②
在空间注意力模块中，将通道注意力模块的输出特征图作为空间注意力模块的输入特征图，首先进行基于通道的全局最大池化和全局平均池化，得到两个特征图，再将这
两个特征图基于通道进行拼接操作(concat)，接着经过卷积操作降维为一个通道，最后经过sigmoid激活函数生成空间注意力特征，再将空间注意力模块最终输出的特征与输入特征做乘法得到最终cbam注意力机制所输出的特征图。
19.作为优选，所述的步骤(3)中颈部段由卷积层、下采样层、特征融合模块、上采样层组成，采用双向金字塔网络对获得的五种不同尺度的特征图进行特征融合，双向金字塔网络在panet的基础上进行改进，减少入度为1的节点，较前一节点没有额外信息，可以减少冗余计算，增加跳跃链接，使得输出层不仅能得到自下而上已经参与特征融合的信息，而且保留了原始节点未经融合的信息；提出模块化，整体继续参与堆叠，进一步做融合，各层关系如下：
[0020][0021]
式(1)中pin表示所在层的输入特征，pout表示所在层的输出特征，resize表示用于上采样或者下采样的分辨率匹配操作，conv表示用于特征处理的卷积操作。
[0022]
作为优选，所述的步骤(4)中yolocbf的头部端同时使用五个检测头对多层特征融合网络输出的五个不同尺度的张量数据进行预测，采用focal eiou loss作为损失函数对检测目标进行定位以及类别检测，focal eiou loss损失函数在ciou loss损失函数的基础上进行改进，定义公式如下：
[0023]
l
focal eiou
＝iouγl
eiou
ꢀꢀꢀꢀ
(2)
[0024]
式(2)中，γ是一个用于控制曲线弧度的超参数，
[0025][0026]
式(3)中，eiou将损失函数分为了iou损失、距离损失和边长损失三个部分，l
iou
是iou损失，l
dis
是距离损失，l
asp
是边长损失，cw、ch分别是覆盖预测框和目标框的最小外接框的宽度、高度。
[0027]
本发明的有益效果：本方法通过加入注意力机制模块、使用双向特征金字塔网络以及采用focal eiou loss作为损失函数，加强网络对管道油液泄漏区域图像的特征学习与特征提取，提升算法对小目标的检测能力，同时提高模型的回归精度和鲁棒性，能够实现对电厂关键区域内的管道油液泄漏的实时、准确检测，使得工作人员实时掌握生产现场的设备状态以及异常信息，针对紧急状况及时发现、及时处理，满足电厂应用的需求，在电厂复杂背景下提高对小目标、密集目标的检测精度，对电厂智能巡检领域具有重要的意义，应用前景广阔。
附图说明
[0028]
下面结合附图和具体实施方式来详细说明本发明；
[0029]
图1为本发明的检测流程图；
[0030]
图2为本发明的网络结构示意图；
[0031]
图3为本发明采用的cbam注意力机制模块的结构示意图；
[0032]
图4为本发明采用的双向金字塔网络的结构示意图。
具体实施方式
[0033]
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
[0034]
参照图1-4，本具体实施方式采用以下技术方案：基于yolocbf电厂关键区域管道油液泄漏检测方法，其步骤为：
[0035]
(1)获取电厂关键区域管道油液泄漏图像，对数据集进行数据增强、数据清洗等预处理操作，并将所有图像划分为训练集、验证集、测试集，所有图像包含室内外管道、阀门等多个泄漏场景，并对训练集中的图像进行标注；
[0036]
(2)将获取的训练集图像输入到yolocbf中融合了cbam注意力机制的模型骨干网络中，获取五个不同尺度的特征图；
[0037]
(3)对获取的五个不同尺度的图像特征图，将其输入到yolocbf的颈部段，通过颈部段中的双向特征金字塔网络对其进行特征融合，输出五个不同尺度的张量数据，实现不同尺度的信息融合；
[0038]
(4)对得到的五个不同尺度的张量数据，将其输入到yolocbf网络的头部端，通过五个检测头进行预测，采用focal eiou loss作为损失函数对检测目标进行定位以及类别检测；
[0039]
(5)通过训练集训练网络模型并在验证集上对模型进行验证，将其部署到算法服务器上进行电厂关键区域管道油液泄漏的实时检测识别。
[0040]
值得注意的是，所述的步骤(1)将获取到的所有管道油液泄漏图像打乱并按比例将图像划分为训练集、验证集、测试集，对图像进行数据增强，方法包括旋转、缩放、色域变换以及图像拼接，借此丰富待检测油液泄漏的背景的复杂性以及油液泄漏形态的多样性；并对训练集内的缺陷图像用labelimg标注软件进行标注，标注类别为oil和water两个类别。
[0041]
所述的步骤(2)中构建yolocbf的骨干网络模型部分，其包含focus模块、三个c3模块、conv模块、九个c3模块、conv模块、九个c3模块、conv模块、三个c3tr模块、cbam_attention模块、spff模块，由上述模块依次连接而成，对管道油液泄漏图像进行多个尺度的特征提取。其中，cbam_attention模块包含通道注意力模块和空间注意力模块这两个独立的子模块，分别进行通道、空间上的注意力操作。
[0042]
此外，所述的步骤(3)中颈部段由卷积层、下采样层、特征融合模块、上采样层组成，采用双向金字塔网络对获得的五种不同尺度的特征图进行特征融合。双向金字塔网络基于mask r-cnn和fpn架构，同时加强信息传播，在网络提取器中采用自下向上增强的fpn结构进行低层特征传播的改善，同时使用自适应特征池化(adaptive feature pooling)对每个候选区域和所有特征层次之间被破坏的信息路径进行恢复，聚合每个特征层次上的每个候选区域，避免被任意分配。在panet的基础上进行改进，减少入度为1的节点，较前一节点没有额外信息，可以减少冗余计算，增加跳跃链接，使得输出层不仅能得到自下而上已经
参与特征融合的信息，而且保留了原始节点未经融合的信息；提出模块化，整体继续参与堆叠，进一步做融合，各层关系如下：
[0043][0044]
式(1)中pin表示所在层的输入特征，pout表示所在层的输出特征，resize表示用于上采样或者下采样的分辨率匹配操作，conv表示用于特征处理的卷积操作。
[0045]
本具体实施方式yolocbf的网络架构从结构上可以分为输入端、骨干段、颈部段和头部输出端四部分，该方法首先建立管道油液泄漏数据集，通过在yolocbf算法中加入cbam注意力机制模块，使用五个不同尺度的特征经过双向金字塔网络进行多层特征的特征融合，将最后得到的五个特征张量传输到头部端，同时通过五个检测头进行预测，最后将网络在训练集上训练并进行验证，保存模型并在测试集上进行测试。该方法能够很好地适应电厂复杂的背景环境，对于油液管道不管是喷洒还是滴漏类型的泄漏检测都具有很好的效果，且能达到实时检测。
[0046]
本具体实施方式具体的方法如下：步骤(1)加载原始的自建电厂关键区域管道油液泄漏图像数据集，并对输入的图像进行mosaic数据增强、自适应锚框计算、自适应缩放等预处理操作。由于电厂管道泄漏图像目前尚无权威公开数据集，并且实际电厂管道发生油液泄漏的影像数据难以收集，所以并没有可以直接利用的管道油液泄漏图像数据集。通过到电厂实地考察并进行管道泄漏场景模拟实验，以及综合电厂已有的泄漏图像和视频数据，构建了涵盖室内外管道、阀门等多个场景的电厂关键区域管道泄漏检测数据集。
[0047]
通过视频、图片的形式采集了大量的数据，最终通过数据清洗，保留了3000张管道油液泄漏图像用于构建数据集，并使用python脚本文件将全部图像按照70％、20％、10％的比例随机划分为训练集、验证集、测试集，数据集部分样本如图2所示。经统计，共标注带有管道油液泄漏现象的图像2836幅，数据集格式采用yolo格式，使用开源标注工具labelimg对电厂关键区域管道油液泄漏数据集中的样本进行手工标注，并填写对应的油液泄漏标签，数据集标注。
[0048]
通过数据增强在原本数据量较少的情况下尽可能地丰富数据集，提升模型的训练效果。数据集质量的好坏直接决定了模型的训练效果，以及最终算法检测的准确性，无论是数据增强还是数据清洗，或者是其他一些手段，均能提高数据集的质量。
[0049]
步骤(2)将经历过预处理之后的图像输入到yolocbf网络模型中进行训练。采用focus操作对管道油液泄漏图片进行切片，整个切片过程中将高度、宽度信息集中到了通道空间，并对输入通道进行了扩充。同时还采用跨阶段局部网络，将梯度变化集成到特征图中，最后得到五个不同分辨率下的图像特征。
[0050]
针对电厂关键区域油液管道分布密集、生产现场环境复杂的特征，yolocbf算法通过融入cbam注意力机制模块，弱化复杂背景对检测结果的影响，使得模型更加专注于对管道泄漏特征的提取，加强对管道油液泄漏图像区域特征的学习。cbam注意力机制包含了通
道注意力模块和空间注意力模块这两个独立的子模块，分别进行通道和空间上的注意力操作：
[0051]
①
在通道注意力模块中，通过重新分配特征图之间的权重，加大对关键特征图的关注，弱化冗余特征图对识别结果的影响：首先将输入的特征图复制成两份，分别经过基于宽度和高度的全局最大池化和全局平均池化，得到两个特征图，再将它们分别送入到一个两层的多层感知机(mlp)，这个两层的神经网络由两个特征图共享，最终将生成的特征传入空间注意力模块。
[0052]
②
在空间注意力模块中，将通道注意力模块的输出特征图作为空间注意力模块的输入特征图，首先进行基于通道的全局最大池化和全局平均池化，得到两个特征图，再将这两个特征图基于通道进行拼接操作(concat)，接着经过卷积操作降维为一个通道，最后经过sigmoid激活函数生成空间注意力特征，再将空间注意力模块最终输出的特征与输入特征做乘法得到最终cbam注意力机制所输出的特征图。
[0053]
步骤(3)对步骤(2)中获取的五种不同尺度的图像特征层，将其输入到yolocbf网络的颈部段，颈部段由卷积层、下采样、特征融合模块(concat)、上采样组成，经过双向金字塔网络实现不同尺度的信息融合，最终输出五个不同尺度的张量数据。
[0054]
步骤(4)对步骤(3)得到的五个不同尺度的张量数据，将其输入到yolocbf网络种的头部端，同时使用五个检测头对多层特征融合网络输出的五个不同尺度的张量数据进行预测，采用focal eiou loss作为损失函数对检测目标进行定位以及类别检测，focal eiou loss损失函数在ciou loss损失函数的基础上进行改进，定义公式如下：
[0055]
l
focal eiou
＝iouγl
eiou
ꢀꢀꢀꢀ
(2)
[0056]
式(2)中，γ是一个用于控制曲线弧度的超参数，
[0057][0058]
式(3)中，eiou将损失函数分为了iou损失、距离损失和边长损失三个部分，l
iou
是iou损失，l
dis
是距离损失，l
asp
是边长损失，cw、ch分别是覆盖预测框和目标框的最小外接框的宽度、高度。根据上述损失函数定义式能够解决优化边界框回归任务中的样本不平衡问题，减少与目标框重叠较少的大量锚框对边界框回归的贡献，使得整个回归过程更加专注于高质量锚框，从而加快收敛速度，提高模型的回归精度和鲁棒性。
[0059]
步骤(5)使用windows10操作系统，模型训练使用pytorch框架，具体实验环境如表1所示。
[0060]
表1实验环境配置
[0061]
操作系统windows 10cpui9 12900kgpunvidia rtx 3090内存32ggpu显存24gpython版本3.8算法框架pytorch 1.11.0
[0062]
本实验使用的管道油液泄漏数据集共3000张，涵盖了室内外管道、阀门等多个电
厂关键区域管道油液泄漏场景，并使用python脚本文件将全部图像按照70％，20％，10％的比例随机划分为训练集、验证集、测试集。
[0063]
在训练的过程中，输入图像大小为640
×
640
×
3。初始学习率设置为0.001，总共训练300个周期(epochs)，批处理量(batchsize)为4，采用adam一阶优化算法、动量初始值为0.9、权重衰减率为0.0005。
[0064]
表2yolocbf与其他检测算法对比
[0065]
算法map/％检测速度fpsssd52.529mask r-cnn59.115centernet52.626yolo v253.124yolo v454.225yolo v5s57.526yolocbf76.928
[0066]
上述结果表明，yolocbf算法相较于其他目标检测算法，具有较高的检测精度，yolocbf模型检测管道油液泄漏的平均准确率高达79.6％,检测的速度为28fps。可知，相较于其他算法，yolocbf算法能够对管道油液泄漏的特征进行更加准确的提取和学习。同时，yolocbf算法在速度上也有提升，对比其他yolo系列的目标检测算法有2-4帧的提升，对比其他算法速度提升更加明显。为了进一步验证实验效果，利用改进后的算法对现场实际模拟管道油液泄漏场景进行了视频检测实验，发现改进后的算法在训练之后能够准确地识别管道油液泄漏情况，并能够稳定、流畅地在视频中对泄漏位置进行框选标注。
[0067]
本具体实施方式以智能巡检机器人的机载可见光、红外摄像头和生产现场安装的固定点摄像头或者双视云台作为影像采集设备，实现对电厂关键区域管道油液泄漏现象的有效检测，同时本发明针对原始yolo v5算法在电厂复杂背景环境下定位不准确的问题，在保持原有检测速度及精度的前提下，结合智能巡检机器人自身特点，在yolo v5的网络架构基础上进行了深度优化。
[0068]
该方法在主干网络中加入了cbam注意力机制模块，有效提升主干网络的特征提取能力。在颈部段中采用了双向金字塔网络作为特征融合网络，此外同时通过五个检测头进行检测油液泄漏，增加对电厂关键区域管道油液泄漏的提取准确度。并将focal eiou loss作为损失函数，提升网络对管道油液泄漏的预测性能，降低密集目标和小目标的漏检率，算法能够更快速、准确地识别电厂中管道油液泄漏的状况，使得工作人员能够通过前端界面实时掌握生产现场的设备状态以及异常信息，针对紧急状况及时发现、及时处理，满足电厂应用的需求，具有广阔的市场应用前景。
[0069]
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。