一种多尺度融合的电网智能巡检方法及装置与流程

1.本发明涉及一种多尺度融合的电网智能巡检方法及装置，属于图像处理技术领域。


背景技术：

2.传统的电力巡检工作主要依靠人工完成，需要大量人力物力，且实时性较差。而且对于巡检人员而言，巡检环境艰苦、巡检劳动强度较大，此外，有一定的危险性。随着人工智能和机器视觉技术的快速发展，智能巡检代替人工巡检以实现对隐患区域的实时监控的需求日益强烈。
3.电网智能巡检的关键是对电力设备作为目标进行识别，目标识别是机器视觉中的重要研究领域。其旨在识别和定位图像中感兴趣的目标，并判断出目标的情况。目前，目标识别得到了广泛的应用，例如自动驾驶汽车、智能检测和人脸识别。基于目标识别的智能巡检主要包括获取图像、图像预处理，图像特征提取，特征匹配，识别结果输出等过程，通过计算机视觉技术实现对电力设备的异物或异常情况进行检测。
4.然而，现有电网智能巡检技术中对于电力设备中如销钉缺损存、绝缘子破损等小目标缺陷识别并不理想，如何提高电网系统中小目标的识别准确性是本领域技术人员急需要解决的问题。


技术实现要素：

5.目的：为了克服现有技术中存在的不足，本发明提供一种多尺度融合的电网智能巡检方法及装置。
6.技术方案：为解决上述技术问题，本发明采用的技术方案为：
7.第一方面，一种多尺度融合的电网智能巡检方法，包括如下步骤：
8.将标注后的电力设备小目标图像作为训练图像，将训练图像组成训练样本。小目标图像指大型电力设备中体积小的部件。
9.利用训练样本迭代训练小目标检测模型，得到训练后的小目标检测模型。所述小目标检测模型通过特征提取网络、注意机制和特征融合网络对输入的小目标图像进行特征图提取，再将特征图输入预测网络获取小目标图像的检测结果。
10.将待检测图像输入训练后的小目标检测模型，得到待检测图像的目标检测结果。
11.作为优选方案，将标注后的电力设备小目标图像作为训练图像，将训练图像组成训练样本，包括：
12.获取电力设备小目标图像，或者从采集视频中提取电力设备小目标图像，采用标注工具标注电力设备小目标图像中的待检测目标，对已标注的电力设备小目标图像进行预处理，得到训练图像，将训练图像收集在训练样本。
13.作为优选方案，所述小目标检测模型包括：主干特征提取网络cspdarknet53、注意机制模块、多尺度特征融合网络和预测网络。输入图像通过cspdarknet53的cspres1模块提
取到特征图f1，将特征图f1输入到第一注意机制模块，第一注意机制模块的输出与特征图f1相融合得到特征图f1′
。将特征图f1′
输入到cspdarknet53的cspres2模块提取到特征图f2，将特征图f2输入到第二注意机制模块，第二注意机制模块的输出与特征图f2相融合得到特征图f2′
。将特征图f2′
输入到cspdarknet53的其余特征提取模块输出最终的特征图f。最终的特征图f输入到多尺度特征融合网络，输出特征图fb′
、fc′
、fd′
、fe′
。特征图fb′
、fc′
、fd′
、fe′
输入到预测网络，输出目标检测结果。
14.作为优选方案，cspres1模块代表1个res_unit单元模块，输出大小为304
×
304的特征图。cspres2模块代表2个res_unit单元模块级联组成，输出大小为152
×
152的特征图。其余特征提取模块为依次相连的cspresn模块，n分别取3、4、5，cspres3模块代表3个res_unit单元模块级联组成，输出大小为76
×
76的特征图。cspres4模块代表4个res_unit单元模块级联组成，输出大小为38
×
38的特征图。cspres5模块代表5个res_unit单元模块级联组成，输出大小为19
×
19的特征图。
15.作为优选方案，第一注意机制模块、第二注意机制模块输出公式如下：
[0016][0017]
其中，a
ba
为主干分支输出，a
br
为分支输出，softmax(*)概率分布函数，t为注意力重新校准权重。
[0018]
f1′
＝[f1:f1·
t]
[0019]
其中：f1′
表示第一次融合后的特征，[:]表示融合操作。
[0020]
f2′
＝[f2:f2·
t]
[0021]
其中：f2′
表示第二次融合后的特征，[:]表示融合操作。
[0022]
作为优选方案，多尺度特征融合网络包括：
[0023]
对最终的特征图f分别输入特征缩放层，得到特征图fb、fc、fd、fe。
[0024]
fb＝c0(f)
[0025]
fc＝c2(f)
[0026]
fd＝c4(f)
[0027]
fe＝c8(f)
[0028]
其中，cn(*)表示特征缩放操作，n表示缩放率，f表示最终的特征图，fb表示不缩放的特征图，fc表示缩放率为2的特征图，fd表示缩放率为4的特征图，fe表示缩放率为8的特征图。
[0029]
将压缩后特征图fb、fc、fd、fe分别输入特征融合层，输出特征图fb′
、fc′
、fd′
、fe′
。
[0030][0031][0032][0033]
fe′
＝att8(fe)
[0034]
其中：表示特征图通道一致性操作，attn(*)表示在压缩率为n的特征的注意机制特征融合操作。
[0035]
作为优选方案，预测网络包括：
[0036]
将特征图fb′
、fc′
、fd′
、fe′
输入到回归层和分类层，在回归层会产生候选框的坐
标，同时分类层计算候选框的置信度，取置信度最大的候选框作为目标检测结果。
[0037]
第二方面，一种多尺度融合的电网智能巡检装置，包括如下模块：
[0038]
图像处理模块：用于将标注后的电力设备小目标图像作为训练图像，将训练图像组成训练样本。
[0039]
模型训练模块：用于利用训练样本迭代训练小目标检测模型，得到训练后的小目标检测模型。所述小目标检测模型通过特征提取网络、注意机制和特征融合网络对输入的小目标图像进行特征图提取，再将特征图输入预测网络获取小目标图像的检测结果。
[0040]
目标检测模块：用于将待检测图像输入训练后的小目标检测模型，得到待检测图像的目标检测结果。
[0041]
作为优选方案，图像处理模块，包括：
[0042]
获取电力设备小目标图像，或者从采集视频中提取电力设备小目标图像，采用标注工具标注电力设备小目标图像中的待检测目标，对已标注的电力设备小目标图像进行预处理，得到训练图像，将训练图像收集在训练样本。
[0043]
作为优选方案，所述小目标检测模型包括：主干特征提取网络cspdarknet53、注意机制模块、多尺度特征融合网络和预测网络。输入图像通过cspdarknet53的cspres1模块提取到特征图f1，将特征图f1输入到第一注意机制模块，第一注意机制模块的输出与特征图f1相融合得到特征图f1′
。将特征图f1′
输入到cspdarknet53的cspres2模块提取到特征图f2，将特征图f2输入到第二注意机制模块，第二注意机制模块的输出与特征图f2相融合得到特征图f2′
。将特征图f2′
输入到cspdarknet53的其余特征提取模块输出最终的特征图f。最终的特征图f输入到多尺度特征融合网络，输出特征图fb′
、fc′
、fd′
、fe′
。特征图fb′
、fc′
、fd′
、fe′
输入到预测网络，输出目标检测结果。
[0044]
作为优选方案，cspres1模块代表1个res_unit单元模块，输出大小为304
×
304的特征图。cspres2模块代表2个res_unit单元模块级联组成，输出大小为152
×
152的特征图。其余特征提取模块为依次相连的cspresn模块，n分别取3、4、5，cspres3模块代表3个res_unit单元模块级联组成，输出大小为76
×
76的特征图。cspres4模块代表4个res_unit单元模块级联组成，输出大小为38
×
38的特征图。cspres5模块代表5个res_unit单元模块级联组成，输出大小为19
×
19的特征图。
[0045]
作为优选方案，第一注意机制模块、第二注意机制模块输出公式如下：
[0046][0047]
其中，a
ba
为主干分支输出，a
br
为分支输出，softmax(*)概率分布函数，t为注意力重新校准权重。
[0048]
f1′
＝[f1:f1·
t]
[0049]
其中：f1′
表示第一次融合后的特征，[:]表示融合操作。
[0050]
f2′
＝[f2:f2·
t]
[0051]
其中：f2′
表示第二次融合后的特征，[:]表示融合操作。
[0052]
作为优选方案，多尺度特征融合网络包括：
[0053]
对最终的特征图f分别输入特征缩放层，得到特征图fb、fc、fd、fe。
[0054]
fb＝c0(f)
[0055]
fc＝c2(f)
[0056]
fd＝c4(f)
[0057]
fe＝c8(f)
[0058]
其中，cn(*)表示特征缩放操作，n表示缩放率，f表示最终的特征图，fb表示不缩放的特征图，fc表示缩放率为2的特征图，fd表示缩放率为4的特征图，fe表示缩放率为8的特征图。
[0059]
将压缩后特征图fb、fc、fd、fe分别输入特征融合层，输出特征图fb′
、fc′
、fd′
、fe′
。
[0060][0061][0062][0063]
fe′
＝att8(fe)
[0064]
其中：表示特征图通道一致性操作，attn(*)表示在压缩率为n的特征的注意机制特征融合操作。
[0065]
作为优选方案，预测网络包括：
[0066]
将特征图fb′
、fc′
、fd′
、fe′
输入到回归层和分类层，在回归层会产生候选框的坐标，同时分类层计算候选框的置信度，取置信度最大的候选框作为目标检测结果。
[0067]
有益效果：本发明提供的一种多尺度融合的电网智能巡检方法及装置，首先利用注意机制改进的cspdarknet53网络，通过注意机制提高主干特征提取网络在小目标关注程度，获取小目标特征。其次，构建多尺度特征融合模块，通过多尺度信息融合获取更多的小目标特征。最后，基于多尺度特征融合模块构建电网巡检图像缺陷检测模型。
[0068]
本发明通过注意机制和多尺度特征融合模块提取到更多的图像特征，解决了小目标不容易检测的问题，具有更好的检测效果。
附图说明
[0069]
图1为第一实施例一种多尺度融合的电网智能巡检方法流程示意图。
[0070]
图2为小目标检测模型的框架示意图。
[0071]
图3为注意机制模块的框架示意图。
[0072]
图4为小目标检测模型数据流示意图。
[0073]
图5为第二实施例一种多尺度融合的电网智能巡检装置框架示意图。
具体实施方式
[0074]
下面结合具体实施例对本发明作更进一步的说明。
[0075]
基于端对端的目标检测模型存在底层细节和位置信息被忽视，小目标难以被识别检测的问题。这主要是由两个主要原因造成的：缺乏上下文信息和缺乏语义信息的浅层特征。为了更好的获得图像小目标的特征，本发明利用注意机制改进特征提取主干网络。
[0076]
第一实施例：
[0077]
如图1所示，第一实施例一种多尺度融合的电网智能巡检方法，包括如下步骤：
[0078]
步骤一：将标注后的电力设备小目标图像作为训练图像，将训练图像组成训练样本。
[0079]
步骤二：利用训练样本迭代训练小目标检测模型，得到训练后的小目标检测模型。
[0080]
步骤三：将待检测图像输入训练后的小目标检测模型，得到待检测图像的目标检测结果。
[0081]
优选的，步骤一：使用拍摄装置获取电力设备小目标图像，或者从采集视频中提取电力设备小目标图像，比如对采集视频每间隔30帧进行切割处理得到分辨率1920
×
1080电力设备小目标图像，采用标注工具标注电力设备小目标图像中的待检测目标，即小目标，采用xml格式进行保存。对已标注的电力设备小目标图像进行图像裁剪、图像翻转、图像缩放等预处理，得到训练图像，将训练图像收集在训练样本。
[0082]
优选的，在步骤二中，小目标检测模型结构如图2所示，小目标检测模型可分为四个部分，分别是主干特征提取网络cspdarknet53、注意机制模块、多尺度特征融合网络和预测网络。第一部分主干特征提取网络采用cspdarknet53，cspdarknet53网络是在原先的darknet53基础上对每一个残差单元加入了cross-stage-partial-connections。其卷积块是由单次卷积、标准化和mish激活函数组成。由于cspdarknet53网络中存在一个大的残差边，它不进行操作直接连接输出，使主干网络部分更加容易优化。注意机制模块结构如图3所示，第二部分注意机制模块它由一个主干分支和一个分支组成，主干分支包括3个卷积模块，每一个卷积模块依次包含一层bach nonm层，一层relu层和一层卷积层；分支依次包括：下采样层和上采样层，一层bach nonm层，两层relu层和卷积层以及sigmoid层。下采样层和上采样层用来输出注意力图，再通过sigmoid层进行最终处理。利用注意机制改进特征提取网络、同时构建多尺度模块获取更多特征以提高小目标的检测效果。第三部分多尺度特征融合网络包括特征缩放层、特征融合层，对最终的特征图进行处理后输入到预测网络。第四部分预测网络包括两个全连接层，利用更有效的特征图预测目标检测结果。
[0083]
小目标检测模型数据处理流程如图4所示，输入图像通过cspdarknet53的cspres1模块提取到特征图f1，将特征图f1输入到第一注意机制模块，第一注意机制模块的输出与特征图f1相融合得到特征图f1′
。将特征图f1′
输入到cspdarknet53的cspres2模块提取到特征图f2，将特征图f2输入到第二注意机制模块，第二注意机制模块的输出与特征图f2相融合得到特征图f2′
。将特征图f2′
输入到cspdarknet53的其余特征提取模块输出最终的特征图f，其余特征提取模块为依次相连的cspresn模块，n分别取3、4、5。
[0084]
cspres1模块代表1个res_unit单元模块，输出大小为304
×
304的特征图。
[0085]
cspres2模块代表2个res_unit单元模块级联组成，输出大小为152
×
152的特征图。cspres3模块代表3个res_unit单元模块级联组成，输出大小为76
×
76的特征图。
[0086]
cspres4模块代表4个res_unit单元模块级联组成，输出大小为38
×
38的特征图。
[0087]
cspres5模块代表5个res_unit单元模块级联组成，输出大小为19
×
19的特征图。
[0088]
第一注意机制模块、第二注意机制模块输出公式如下：
[0089][0090]
其中，a
ba
为主干分支输出，a
br
为分支输出，softmax(*)概率分布函数，t为注意力重新校准权重。
[0091]
f1′
＝[f1:f1·
t]
[0092]
其中：f1′
表示第一次融合后的特征，[:]表示融合操作。
[0093]
f2′
＝[f2:f2·
t]
[0094]
其中：f2′
表示第二次融合后的特征，[:]表示融合操作。
[0095]
随着网络的加深，每一层都会丢失一些信息，到最后一层就会丢掉比较多的信息。为了解决这个问题，本发明设计了多尺度特征融合网络，将最终的特征图f输入到多尺度特征融合网络，分别输出特征图fb′
、fc′
、fd′
、fe′
。
[0096]
多尺度特征融合网络计算公式如下：
[0097]
分别对最终的特征图f输入特征缩放层，得到特征图fb、fc、fd、fe。
[0098]
fb＝c0(f)
[0099]
fc＝c2(f)
[0100]
fd＝c4(f)
[0101]
fe＝c8(f)
[0102]
其中，cn(*)表示特征缩放操作，n表示缩放率，f表示最终的特征图，fb表示不缩放的特征图，fc表示缩放率为2的特征图，fd表示缩放率为4的特征图，fe表示缩放率为8的特征图。
[0103]
随后，将压缩后特征图fb、fc、fd、fe输入特征融合层，输出特征图fb′
、fc′
、fd′
、fe′
。
[0104][0105][0106][0107]
fe′
＝att8(fe)
[0108]
其中：表示特征图通道一致性操作，attn(*)表示在压缩率为n的特征的注意机制特征融合操作。
[0109]
将特征图fb′
、fc′
、fd′
、fe′
输入到回归层和分类层，在回归层会产生候选框的坐标，同时分类层计算候选框的置信度，将置信度阈值设定为0.5，取置信度最大的候选框作为目标检测输出。
[0110]
第二实施例：
[0111]
如图5所示，第二实施例一种多尺度融合的电网智能巡检装置，包括如下模块：
[0112]
图像处理模块21：用于将标注后的电力设备小目标图像作为训练图像，将训练图像组成训练样本。
[0113]
模型训练模块22：用于利用训练样本迭代训练小目标检测模型，得到训练后的小目标检测模型。
[0114]
目标检测模块23：用于将待检测图像输入训练后的小目标检测模型，得到待检测图像的目标检测结果。
[0115]
优选的，图像处理模块：使用拍摄装置获取电力设备小目标图像，或者从采集视频中提取电力设备小目标图像，比如对采集视频每间隔30帧进行切割处理得到分辨率1920
×
1080电力设备小目标图像，采用标注工具标注电力设备小目标图像中的待检测目标，即小目标，采用xml格式进行保存。对已标注的电力设备小目标图像进行图像裁剪、图像翻转、图像缩放等预处理，得到训练图像，将训练图像收集在训练样本。
[0116]
优选的，模型训练模块中，小目标检测模型结构如图2所示，小目标检测模型可分为四个部分，分别是主干特征提取网络cspdarknet53、注意机制模块、多尺度特征融合网络
和预测网络。第一部分主干特征提取网络采用cspdarknet53，cspdarknet53网络是在原先的darknet53基础上对每一个残差单元加入了cross-stage-partial-connections。其卷积块是由单次卷积、标准化和mish激活函数组成。由于cspdarknet53网络中存在一个大的残差边，它不进行操作直接连接输出，使主干网络部分更加容易优化。注意机制模块结构如图3所示，第二部分注意机制模块它由一个主干分支和一个分支组成，主干分支包括3个卷积模块，每一个卷积模块依次包含一层bach nonm层，一层relu层和一层卷积层；分支依次包括：下采样层和上采样层，一层bach nonm层，两层relu层和卷积层以及sigmoid层。下采样层和上采样层用来输出注意力图，再通过sigmoid层进行最终处理。利用注意机制改进特征提取网络、同时构建多尺度模块获取更多特征以提高小目标的检测效果。第三部分多尺度特征融合网络包括特征缩放层、特征融合层，对最终的特征图进行处理后输入到预测网络。第四部分预测网络包括两个全连接层，利用更有效的特征图预测目标检测结果。
[0117]
小目标检测模型数据处理流程如图4所示，输入图像通过cspdarknet53的cspres1模块提取到特征图f1，将特征图f1输入到第一注意机制模块，第一注意机制模块的输出与特征图f1相融合得到特征图f1′
。将特征图f1′
输入到cspdarknet53的cspres2模块提取到特征图f2，将特征图f2输入到第二注意机制模块，第二注意机制模块的输出与特征图f2相融合得到特征图f2′
。将特征图f2′
输入到cspdarknet53的其余特征提取模块输出最终的特征图f，其余特征提取模块为依次相连的cspresn模块，n分别取3、4、5。
[0118]
cspres1模块代表1个res_unit单元模块，输出大小为304
×
304的特征图。
[0119]
cspres2模块代表2个res_unit单元模块级联组成，输出大小为152
×
152的特征图。cspres3模块代表3个res_unit单元模块级联组成，输出大小为76
×
76的特征图。
[0120]
cspres4模块代表4个res_unit单元模块级联组成，输出大小为38
×
38的特征图。
[0121]
cspres5模块代表5个res_unit单元模块级联组成，输出大小为19
×
19的特征图。
[0122]
第一注意机制模块、第二注意机制模块输出公式如下：
[0123][0124]
其中，a
ba
为主干分支输出，a
br
为分支输出，softmax(*)概率分布函数，t为注意力重新校准权重。
[0125]
f1′
＝[f1:f1·
t]
[0126]
其中：f1′
表示第一次融合后的特征，[:]表示融合操作。
[0127]
f2′
＝[f2:f2·
t]
[0128]
其中：f2′
表示第二次融合后的特征，[:]表示融合操作。
[0129]
随着网络的加深，每一层都会丢失一些信息，到最后一层就会丢掉比较多的信息。为了解决这个问题，本发明设计了多尺度特征融合网络，将最终的特征图f输入到多尺度特征融合网络，分别输出特征图fb′
、fc′
、fd′
、fe′
。
[0130]
多尺度特征融合网络计算公式如下：
[0131]
分别对最终的特征图f输入特征缩放层，得到特征图fb、fc、fd、fe。
[0132]
fb＝c0(f)
[0133]
fc＝c2(f)
[0134]
fd＝c4(f)
[0135]
fe＝c8(f)
[0136]
其中，cn(*)表示特征缩放操作，n表示缩放率，f表示最终的特征图，fb表示不缩放的特征图，fc表示缩放率为2的特征图，fd表示缩放率为4的特征图，fe表示缩放率为8的特征图。
[0137]
随后，将压缩后特征图fb、fc、fd、fe输入特征融合层，输出特征图fb′
、fc′
、fd′
、fe′
。
[0138][0139][0140][0141]
fe′
＝att8(fe)
[0142]
其中：表示特征图通道一致性操作，attn(*)表示在压缩率为n的特征的注意机制特征融合操作。
[0143]
将特征图fb′
、fc′
、fd′
、fe′
输入到回归层和分类层，在回归层会产生候选框的坐标，同时分类层计算候选框的置信度，将置信度阈值设定为0.5，取置信度最大的候选框作为目标检测输出。
[0144]
第三实施例：
[0145]
从输电线路无人机巡检图像数据集，变电站部件缺陷检测数据集和输电线路相关电力金具检测图像数据集三个不同的数据中选取5000张包括绝缘体、冲击锤和垫片等小目标在内电力设备图像进行标注，预处理进行训练样本。
[0146]
利用训练样本对小目标检测模型进行训练，设置迭代次数为100epoch，前70epoch的batchsize＝16，初始学习率为1e-3，后30epoch的batchsize＝8初始学习率为1e-4，得到小目标检测模型的参数。
[0147]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0148]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0149]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0150]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
[0151]
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。