一种变压器漏油识别方法和系统

1.本发明涉及图像识别技术领域，具体涉及一种变压器漏油识别方法和系统。


背景技术：

2.传统的漏油检测方法大多采用基于光学、声学、红外等探测技术。其中光学和声学方法的检测效果易受光线变化、环境噪声等因素影响，从而影响探测准确性。而红外热成像检测设备造价昂贵，成本较高，大规模使用经济性较差。而基于图像处理的传统方法则存在图像纹理等细节识别不足、复杂背景图像识别精度和效率较低、泛化能力较差，存在误分割等问题。


技术实现要素：

3.针对现有技术中的上述不足，本发明提供了一种变压器漏油识别方法和系统。
4.为了达到上述发明目的，本发明采用的技术方案为：
5.第一方面，本发明提出了一种变压器漏油识别方法，包括以下步骤：
6.s1、获取变压器漏油图像；
7.s2、构建基于融合注意力机制的残差u-net深度学习网络模型，并进行模型训练；
8.s3、利用训练后的基于融合注意力机制的残差u-net深度学习网络模型对获取的变压器漏油图像进行识别，得到漏油区域的分割结果。
9.可选地，步骤s2中构建的基于融合注意力机制的残差u-net深度学习网络模型包括：
10.编码器、解码器和在每一层编码器与解码器之间融合注意力机制的跳跃连接；
11.所述编码器包括多层结构相同的残差网络模块，相邻的两个残差网络模块的输入特征和输出特征之间通过最大池化层连接，且输出特征与输出特征之间通过残差连接；
12.所述解码器包括多层结构相同的卷积模块，相邻的两个卷积模块的输入特征和输出特征之间通过上采样操作连接；
13.其中同一层的残差网络模块与卷积模块之间通过自注意力机制模块将残差网络模块输出的编码特征与卷积模块经过上采样操作后的解码特征进行融合，得到注意力系数，再通过跳跃连接将残差网络模块输出的编码特征与注意力系数进行拼接，得到下一层卷积模块的输入特征。
14.可选地，所述编码器具体包括：
15.第一残差网络模块、第二残差网络模块、第三残差网络模块、第四残差网络模块和第五残差网络模块；
16.所述第一残差网络模块的输出特征通过最大池化层处理后作为第二残差网络模块的输入特征，且通过残差模块将第一残差网络模块的输出特征与第二残差网络模块的输出特征进行连接；
17.所述第二残差网络模块的输出特征通过最大池化层处理后作为第三残差网络模
块的输入特征，且通过残差模块将第二残差网络模块的输出特征与第三残差网络模块的输出特征进行连接；
18.所述第三残差网络模块的输出特征通过最大池化层处理后作为第四残差网络模块的输入特征，且通过残差模块将第三残差网络模块的输出特征与第四残差网络模块的输出特征进行连接；
19.所述第四残差网络模块的输出特征通过最大池化层处理后作为第五残差网络模块的输入特征，且通过残差模块将第四残差网络模块的输出特征与第五残差网络模块的输出特征进行连接。
20.可选地，所述解码器具体包括：
21.第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块；
22.所述第一卷积模块通过自注意力机制模块将第四残差网络模块输出的编码特征与第五残差网络模块的解码特征经过上采样操作后进行融合，得到注意力系数，再通过跳跃连接将第四残差网络模块输出的编码特征与注意力系数进行拼接，得到第二卷积模块的输入特征；
23.所述第二卷积模块通过自注意力机制模块将第三残差网络模块输出的编码特征与第一卷积模块的输出特征经过上采样操作后进行融合，得到注意力系数，再通过跳跃连接将第三残差网络模块输出的编码特征与注意力系数进行拼接，得到第二卷积模块的输入特征；
24.所述第三卷积模块通过自注意力机制模块将第二残差网络模块输出的编码特征与第二卷积模块的输出特征经过上采样操作后进行融合，得到注意力系数，再通过跳跃连接将第二残差网络模块输出的编码特征与注意力系数进行拼接，得到第三卷积模块的输入特征；
25.所述第四卷积模块通过自注意力机制模块将第一残差网络模块输出的编码特征与第三卷积模块的输出特征经过上采样操作后进行融合，得到注意力系数，再通过跳跃连接将第一残差网络模块输出的编码特征与注意力系数进行拼接，得到第四卷积模块的输入特征。
26.可选地，所述自注意力机制模块具体包括：
27.将编码特征和上采样操作后的解码特征分别进行卷积运算后相加，再通过relu激活函数进行激活；然后将融合后的特征再次进行卷积运算后经过sigmoid激活函数进行激活，得到注意力系数。
28.可选地，步骤s2中对构建的基于融合注意力机制的残差u-net深度学习网络模型进行模型训练具体包括：
29.将获取的漏油图像数据集划分为训练集、验证集和测试集，并对训练集进行标注生成标注集；
30.利用imagenet数据集预训练模型的编码器中各个残差网络模块，得到各个残差网络模块的网络权重；
31.利用标注集、验证集和得到的各个残差网络模块的网络权重，采用随机梯度下降法对基于融合注意力机制的残差u-net深度学习网络模型进行优化修正训练；
32.根据设定的损失函数确定停止训练条件，当达到停止训练条件时输出模型的权重
集合。
33.可选地，步骤s2中进行模型训练时，具体采用焦点损失函数。
34.第二方面，本发明提出了一种变压器漏油识别系统，包括：
35.图像采集模块，用于获取变压器漏油图像；
36.模型训练模块，用于构建基于融合注意力机制的残差u-net深度学习网络模型，并进行模型训练；
37.图像识别模块，用于利用训练后的基于融合注意力机制的残差u-net深度学习网络模型对获取的变压器漏油图像进行识别，得到漏油区域的分割结果。
38.本发明具有以下有益效果：
39.本发明首先针对变压器漏油图像部分荧光油迹相对尺度较小，不易识别的问题，引入一种自注意力机制来促进全局特征融合，加强像素特征间的语义关联，减少细节信息丢失，提升了分类准确率。然后采用resnet18网络来代替传统u-net网络的编码器部分，并利用在imagenet数据集上预训练得到的resnet18权重进行模型参数的初始化，提升了模型的训练与检测效率。最后采用焦点损失focal loss函数作为改进网络的损失函数，解决漏油图像中前景与背景正负样本不平衡的问题。
附图说明
40.图1为本发明实施例中一种变压器漏油识别方法的流程示意图；
41.图2为本发明实施例中构建的基于融合注意力机制的残差u-net深度学习网络模型的结构示意图；
42.图3为本发明实施例中自注意力机制模块的结构示意图；
43.图4为本发明实施例中一种变压器漏油识别系统的结构示意图。
具体实施方式
44.下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
45.实施例1
46.如图1所示，本发明实施例提供了一种变压器漏油识别方法，包括以下步骤s1至s3：
47.s1、获取变压器漏油图像；
48.在本实施例中，本发明利用电力变压器中绝缘油在紫外光照射下所具有的荧光反应的特点，通过硬件设备采集黑暗环境下经过紫外灯照射的的变压器荧光图像，然后利用基于融合注意力机制的残差u-net深度学习网络模型对上述图像进行识别，从而自动地检测处变压器漏油区域。
49.其中硬件装置利用变压器油在紫外光照射下所具有的荧光反应，将紫外光源发生器和数码相机集成在采集装置中，并通过控制单位实现对紫外光源和相机的开关控制和操作。
50.s2、构建基于融合注意力机制的残差u-net深度学习网络模型，并进行模型训练；
51.在本实施例中，本发明通过融合注意力机制的残差u-net深度学习网络模型进行漏油区域识别的。首先针对变压器漏油图像部分荧光油迹相对尺度较小，不易识别的问题，引入一种自注意力机制来促进全局特征融合，加强像素特征间的语义关联，减少细节信息丢失，提升了分类准确率。然后采用resnet18网络来代替传统u-net网络的编码器部分，并利用在imagenet数据集上预训练得到的resnet18权重进行模型参数的初始化，提升了模型的训练与检测效率。最后采用焦点损失focal loss函数作为改进网络的损失函数，解决漏油图像中前景与背景正负样本不平衡的问题。
52.本发明实施例构建的基于融合注意力机制的残差u-net深度学习网络模型包括：
53.编码器、解码器和在每一层编码器与解码器之间融合注意力机制的跳跃连接；
54.所述编码器包括多层结构相同的残差网络模块，相邻的两个残差网络模块的输入特征和输出特征之间通过最大池化层连接，且输出特征与输出特征之间通过残差连接；
55.所述解码器包括多层结构相同的卷积模块，相邻的两个卷积模块的输入特征和输出特征之间通过上采样操作连接；
56.其中同一层的残差网络模块与卷积模块之间通过自注意力机制模块将残差网络模块输出的编码特征与卷积模块经过上采样操作后的解码特征进行融合，得到注意力系数，再通过跳跃连接将残差网络模块输出的编码特征与注意力系数进行拼接，得到下一层卷积模块的输入特征。
57.为实现渗漏油检测，本发明将在传统u-net网络架构的基础上，通过引入残差模块和注意力机制构建resatt-unet网络。该网络由编码器、解码器和跳跃连接的拓扑结构所构成，如图2所示。不同于传统的u-net网络，在resatt-unet网络左侧的编码器部分，每一层的卷积－池化阶段中引入了残差学习机制，利用resnet残差网络模块替代基本的卷积模块，有助于网络捕捉更多漏油特征细节信息，使网络性能不会因为深度的增加而降低。在右侧的解码器部分，在每一层编-解码器之间的跳跃连接中加入了注意力机制，从而通过增大漏油区域像素的权重来增强模型对漏油像素的学习能力。
58.具体而言，本发明实施例中编码器具体包括：
59.第一残差网络模块、第二残差网络模块、第三残差网络模块、第四残差网络模块和第五残差网络模块；
60.所述第一残差网络模块的输出特征通过最大池化层处理后作为第二残差网络模块的输入特征，且通过残差模块将第一残差网络模块的输出特征与第二残差网络模块的输出特征进行连接；
61.所述第二残差网络模块的输出特征通过最大池化层处理后作为第三残差网络模块的输入特征，且通过残差模块将第二残差网络模块的输出特征与第三残差网络模块的输出特征进行连接；
62.所述第三残差网络模块的输出特征通过最大池化层处理后作为第四残差网络模块的输入特征，且通过残差模块将第三残差网络模块的输出特征与第四残差网络模块的输出特征进行连接；
63.所述第四残差网络模块的输出特征通过最大池化层处理后作为第五残差网络模块的输入特征，且通过残差模块将第四残差网络模块的输出特征与第五残差网络模块的输
出特征进行连接。
64.本发明实施例中解码器具体包括：
65.第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块；
66.所述第一卷积模块通过自注意力机制模块将第四残差网络模块输出的编码特征与第五残差网络模块的解码特征经过上采样操作后进行融合，得到注意力系数，再通过跳跃连接将第四残差网络模块输出的编码特征与注意力系数进行拼接，得到第二卷积模块的输入特征；
67.所述第二卷积模块通过自注意力机制模块将第三残差网络模块输出的编码特征与第一卷积模块的输出特征经过上采样操作后进行融合，得到注意力系数，再通过跳跃连接将第三残差网络模块输出的编码特征与注意力系数进行拼接，得到第二卷积模块的输入特征；
68.所述第三卷积模块通过自注意力机制模块将第二残差网络模块输出的编码特征与第二卷积模块的输出特征经过上采样操作后进行融合，得到注意力系数，再通过跳跃连接将第二残差网络模块输出的编码特征与注意力系数进行拼接，得到第三卷积模块的输入特征；
69.所述第四卷积模块通过自注意力机制模块将第一残差网络模块输出的编码特征与第三卷积模块的输出特征经过上采样操作后进行融合，得到注意力系数，再通过跳跃连接将第一残差网络模块输出的编码特征与注意力系数进行拼接，得到第四卷积模块的输入特征。
70.本发明实施例中自注意力机制模块具体包括：
71.将编码特征和上采样操作后的解码特征分别进行卷积运算后相加，再通过relu激活函数进行激活；然后将融合后的特征再次进行卷积运算后经过sigmoid激活函数进行激活，得到注意力系数。
72.本发明考虑到实际采集的变压器漏油荧光图像数据集较小，倘若采用深层次的残差网络模型，将使训练参数量剧增，导致网络训练困难且易产生过拟合现象；其次考虑到resnet18在imagenet数据集上有良好的表现，可以利用迁移学习策略，借用其预训练好的权重使网络快速地适应于漏油图像数据集。因此本发明将resnet18应用于改进的u-net网络编码器中实现图像的特征提取。为了适用于u-net架构，本发明去除了原resnet18网络中的全连接层，仅采用卷积层作为编码器部分，其中每个卷积层均采用3
×
3的卷积核，并采用relu作为激活函数。
73.由于传统u-net网络采用的特征提取方法在下采样操作时，丢失的边界信息较多，且采用临近插值进行上采样，使得网络模型对于漏油目标边界部分的分割效果不佳。当使用该网络模型检测变压器漏油图像时，距离图像主体部分较远和面积较小的漏油区域容易被漏检或者误检，因此，为了突出显著漏油特征并抑制背景像素的干扰，聚焦局部漏油特征，从而提高模型的学习能力，本发明在解码器部分引入了自注意力机制来改善这一问题。
74.自注意力机制模块在编码过程中提取不同分辨率特征，调整后再赋以不同的权重，从而突出不同空间位置的重要特征，然后再将调整后的编码特征和对应的解码部分特征进行拼接，得到聚焦于漏油特征的输出，该模块的具体结构如图3所示。
75.自注意力机制模块有两个输入，分别为上采样解码特征g(fg×
hg×
wg×dg
)通过跳
跃连接传输的上采样编码特征x
l
(f
l
×hx
×wx
×dx
)，其中两个输入具有相同的分辨率，具体流程如下：首先对两个输入进行1
×1×
1的卷积运算操作，得到wg和w
x
，然后将其相加再通过relu函数进行激活，其次将融合的特征再次进行1
×1×
1卷积运算，并经过激活函数sigmoid(σ2)得到注意力系数α，表示为
[0076][0077][0078]
其中，代表偏差项，ψ代表1
×1×
1大小的卷积核。最后把编码特征乘上求出的注意力系数α，即可得到最终的输出x
l
。
[0079]
本发明实施例中对构建的基于融合注意力机制的残差u-net深度学习网络模型进行模型训练具体包括：
[0080]
将获取的漏油图像数据集划分为训练集、验证集和测试集，并对训练集进行标注生成标注集；
[0081]
利用imagenet数据集预训练模型的编码器中各个残差网络模块，得到各个残差网络模块的网络权重；
[0082]
利用标注集、验证集和得到的各个残差网络模块的网络权重，采用随机梯度下降法对基于融合注意力机制的残差u-net深度学习网络模型进行优化修正训练；
[0083]
根据设定的损失函数确定停止训练条件，当达到停止训练条件时输出模型的权重集合。
[0084]
具体而言，在实际拍摄的变压器漏油图像中，漏出的油迹分布并不均匀，形状不同，位置分布和大小也不同，严重影响了对于小样本和难分类漏油图像的油迹分割效果。为此，本文采用焦点损失(focal loss)函数作为网络训练的损失函数，为小样本或难分类样本分配更多的权重，从而加强对纠正错误分类示例的重视。
[0085]
focal loss函数表示为
[0086]
fl(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)
[0087]
其中γ为焦点参数，α∈[0,1]为加权因子，p
t
为估计概率，表示为
[0088][0089]
其中p∈[0,1]是y＝1这一正类样本的分类模型输出，y是对应的真实标签。
[0090]
s3、利用训练后的基于融合注意力机制的残差u-net深度学习网络模型对获取的变压器漏油图像进行识别，得到漏油区域的分割结果。
[0091]
实施例2
[0092]
如图4所示，本发明实施例提出了一种变压器漏油识别系统，包括：
[0093]
图像采集模块，用于获取变压器漏油图像；
[0094]
模型训练模块，用于构建基于融合注意力机制的残差u-net深度学习网络模型，并进行模型训练；
[0095]
图像识别模块，用于利用训练后的基于融合注意力机制的残差u-net深度学习网
络模型对获取的变压器漏油图像进行识别，得到漏油区域的分割结果。
[0096]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0097]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0098]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0099]
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
[0100]
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。