基于融合数据生成和迁移学习技术的变电设备外观图像缺陷检测方法与流程

1.本发明涉及变电设备技术领域，具体来说是基于融合数据生成和迁移学习技术的变电设备外观图像缺陷检测方法。


背景技术：

2.当前变电巡视模式滞后于大数据、云计算、物联网、移动互联、人工智能、三维bim等一系列新技术的快速发展。变电设备运维、检修日常工作多采用人工就地操作、手动抄录、现场频繁往返等形式，变电站建设的各类在线监测、辅助监控、巡检机器人等业务系统数据相对独立，综合应用程序不高。而随着深度学习飞速发展及其在分类识别方面的优异性能，使其在电力智能巡检领域得到广泛应用。
3.但是样本的稀缺仍是将深度学习引入变电设备智能巡检中的一大障碍，针对特定场景，收集到大量带有标注的可用样本非常困难；同时，变电站所处的环境非常复杂，变电所设备缺陷中含有许多非刚性缺陷，如设备部件表面油污、地面油污、金属腐蚀等。在不同的场景中，属于同一类的缺陷在外观和形状上有很大的差异。
4.因此，针对缺陷设备图像数据集样本较少、变电站图像背景复杂以及电力设备缺陷外观差异大等难点问题，如何准确检测出变电设备外观缺陷已经成为急需解决的技术问题。


技术实现要素：

5.本发明的目的是为了解决现有技术中变电设备外观缺陷检测识别率低的缺陷，提供一种基于融合数据生成和迁移学习技术的变电设备外观图像缺陷检测方法来解决上述问题。
6.为了实现上述目的，本发明的技术方案如下：
7.一种基于融合数据生成和迁移学习技术的变电设备外观图像缺陷检测方法，包括以下步骤：
8.11)变电设备外观缺陷图像的获取：获取已有的变电设备外观缺陷图像并进行预处理；
9.12)变电设备外观缺陷图像的再生成：利用图像转换gan模型对已有的变电设备外观缺陷图像进行样本再生成，用于数据扩增；
10.13)变电设备外观缺陷检测模型的构建：基于融合并联型注意力技术构建变电设备外观缺陷检测模型；
11.14)变电设备外观缺陷检测模型的训练：利用小样本多阶段迁移技术对变电设备外观缺陷检测模型进行训练；
12.15)待检测变电设备图像的获取：获取待检测变电设备图像，并进行预处理；
13.16)待检测变电设备图像缺陷问题的检测：将预处理后的待检测变电设备图像输
入训练后的变电设备外观缺陷检测模型，得到待检测变电设备图像的缺陷问题。
14.所述变电设备外观缺陷图像的获取包括以下步骤：
15.21)变电设备外观缺陷图像的获取：从监控视频图像中筛选出外观具有缺陷的变电设备图像，缺陷主要包括设备外观存在裂纹、锈蚀、油污；
16.22)变电设备外观正常图像的获取：从监控视频图像中筛选出外观正常的变电设备图像，正常变电设备是指设备外观无明显缺陷；
17.23)变电设备外观图像的预处理：对所采集到的缺陷图像和正常图像进行包括裁剪为预定大小图像、添加高斯噪声、旋转、翻转的预处理操作；
18.24)变电设备外观图像的分类：对所预处理后的图像按照有无缺陷分类并组合成变电设备外观缺陷图像数据集d和变电设备外观正常图像数据集n。
19.所述变电设备外观缺陷图像的再生成包括以下步骤：
20.31)变电设备外观缺陷图像再生成模型的构建：使用pytorch深度学习框架搭建cyclegan模型，并在cyclegan网络的基础上添加两个注意力模块ad和an，其中ad为n转换为d时使用的注意力模块，an为d转换为n时使用的注意力模块；
21.32)数据输入：将变电设备外观缺陷图像数据集d和变电设备外观正常图像n输入变电设备外观缺陷图像再生成模型进行训练；
22.33)变电设备外观缺陷图像再生成模型的训练：迭代训练变电设备外观缺陷图像再生成模型并保存其参数；
23.34)通过已训练好的变电设备外观缺陷图像再生成模型来生成变电设备外观缺陷图像，并将增强的变电设备外观缺陷图像与原来的d结合在一起，组成新的变电设备外观缺陷图像数据集d。
24.所述变电设备外观缺陷检测模型的构建包括以下步骤：
25.41)构建变电设备外观缺陷检测模型的第一层为缺陷特征提取模块：设定缺陷特征提取模块中骨干网络cspdarknet53结合了cspnet和darknet53，利用残差网络来进行深层特征的提取；变电设备外观缺陷图像经过cspdarknet53提取特征后，得到缺陷特征张量；
26.42)构建变电设备外观缺陷检测模型的第二层为多尺度特征融合模块：设定多尺度特征融合模块首先搭建spp模块，池化大小分别为：1
×
1，5
×
5，9
×
9，13
×
13；然后搭建panet特征金字塔模块，并在每个concat组件之后加入pcbam注意力模块，提升模型对局部鉴别性特征的提取；深层和浅层的缺陷特征张量经过多尺度特征融合模块后，得到两者融合后的多尺度语义特征；
27.43)构建变电设备外观缺陷检测模型的第三层为缺陷预测模块：设定缺陷预测模块中搭建三个输出大小分别为13
×
13、26
×
26和52
×
52的预测分支；同时采用focal loss函数改进模型中置信度损失的交叉熵函数，focal loss函数表达式如下所示：
[0028][0029]
式中：p为激活函数sigmoid的输出值；γ≥0，为聚焦参数，取γ＝2；为调节因子；0≤α≤1，为类别权重因子，取α＝0.25；γ和α为固定值，不参与训练；y为标签值。
[0030]
所述变电设备外观缺陷检测模型的训练包括以下步骤：
[0031]
51)数据标注：将新的变电设备外观缺陷图像数据集d中的图像归一化到416
×
416，并使用labelimg软件标注，包括：类别、中心点横坐标、中心点纵坐标、目标宽度和目标长度；
[0032]
52)数据划分：将已有的电力设备图像数据集作为源域，将新的变电设备外观缺陷图像数据集d作为目标域，源域与目标域的类别互不交叉；
[0033]
53)预训练：从源域中选择k个类别构建任务，从选择的每个类别中，随机选择多个样本作为支持样本进行训练，得到预训练模型；
[0034]
54)设置训练的超参数：初始学习率为0.001，每个训练批次设置为64，训练的总迭代轮数设置为120epoch，优化算法为sgd；
[0035]
55)加载预训练模型：将步骤52)中训练好的模型参数进行迁移；
[0036]
56)变电设备外观缺陷检测模型训练：
[0037]
将标注好的变电设备外观缺陷图像数据集d(b：64，c：3，h：416，w：416)输入至变电设备外观缺陷检测模型的第一层缺陷特征提取模块，得到缺陷特征张量(c：1024，h：13，w：13)；然后再经过多尺度特征融合模块得到三个不同大小的特征张量，分别为(c：256，h：52，w：52)，(c：512，h：26，w：26)，(c：1024，h：13，w：13)；最后经过预测模块输出三个不同的预测数据，包括：类别、置信度、预测框坐标；
[0038]
57)通过损失函数对张量数据相对于groundtruth进行计算，并经过反向传播求取梯度，进行权重更新；
[0039]
58)通过循环步骤56)和步骤57)，直至损失函数降低至较小值，即训练完成，保存训练好的变电设备外观缺陷检测模型参数。
[0040]
所述变电设备外观缺陷图像再生成模型的训练包括以下步骤：
[0041]
61)设置训练超参数：初始学习率为0.001，每个训练批次设置为16，训练的总迭代轮数设置为140epoch，优化算法为sgd；
[0042]
62)数据输入：从正常变电设备图像数据集n中进行随机抽取m个正常数据样本x＝{x1,x2,,,x
m
}，从变电设备外观缺陷图像数据集d中进行随机抽取m个正常数据样本y＝{y1,y2,,,y
m
}；
[0043]
63)迭代训练：最小化判别损失以及循环一致性损失更新模型参数，损失函数为：
[0044]
l
total
＝l
gan
(f,d
y
,x,y) l
gan
(g,d
x
,x,y) λl
cyc
(f,g,x,y)
[0045][0046][0047]
其中l
total
为总损失，l
gan
为x到y或y到x的生成判别损失，l
cyc
为循环一致性损失；
[0048]
64)通过循环步骤62)和步骤63)，形成博弈学习模式，最终当判别器无法判断输入样本的来源时，训练达到稳定状态，得到一个最优的生成器参数。
[0049]
有益效果
[0050]
本发明的基于融合数据生成和迁移学习技术的变电设备外观图像缺陷检测方法，与现有技术相比提高了变电设备外观图像缺陷检测的速度和准确率。其优点主要体现在以下几点：
[0051]
(1)本发明以变电设备的裂纹、锈蚀、油污、模糊等典型外观缺陷为研究对象，针对缺陷设备图像数据集样本较少、变电站图像背景复杂等问题，实现变电设备外观图像缺陷
检测。
[0052]
(2)本发明采用cyclegan模型将正常变电设备外观图像生成为相应的缺陷图像，实现变电设备外观缺陷图像的再生成，以应对数据集样本较少的问题。同时考虑到变电站图像背景复杂的问题，在cyclegan模型中加入注意力机制，以侧重于对变电设备的转换而忽略背景的影响。
[0053]
(3)本发明在yolov4的多尺度特征融合模块中加入pcbam模块，有助于模型更加聚焦变电设备关键缺陷特征而非复杂背景特征，以解决变电设备外观缺陷图像背景复杂、缺陷差异较大的问题。
[0054]
(4)本发明采用focal loss函数改进模型中置信度损失的交叉熵函数，有助于模型均衡学习到所有类别的信息，解决变电设备图像正负样本分布不平衡问题。
[0055]
(5)本文明采用多阶段的小样本迁移学习方式训练变电设备外观图像缺陷检测模型，有助于模型中特征提取模块的卷积层能够充分训练，使模型获得具有泛化性的训练结果。
附图说明
[0056]
图1为本发明的方法顺序图；
[0057]
图2为本发明所涉及基于注意力机制的对抗生成网络结构图；
[0058]
图3为本发明所涉及小样本迁移学习过程图。
[0059]
图4a、图4b和图4c为利用本发明所述方法检测出的变电设备外观缺陷图。
具体实施方式
[0060]
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
[0061]
如图1所示，本发明所述的一种基于融合数据生成和迁移学习技术的变电设备外观图像缺陷检测方法，包括以下步骤：
[0062]
第一步，变电设备外观缺陷图像的获取：获取已有的变电设备外观缺陷图像并进行预处理。
[0063]
(1)变电设备外观缺陷图像的获取：从监控视频图像中筛选出外观具有缺陷的变电设备图像，缺陷主要包括设备外观存在裂纹、锈蚀、油污；
[0064]
(2)变电设备外观正常图像的获取：从监控视频图像中筛选出外观正常的变电设备图像，正常变电设备图像是指设备外观无明显缺陷；
[0065]
(3)变电设备外观图像的预处理：对所采集到的缺陷图像和正常图像进行包括裁剪为预定大小图像、添加高斯噪声、旋转、翻转的预处理操作；
[0066]
(4)变电设备外观图像的分类：对所预处理后的图像按照有无缺陷分类并组合成变电设备外观缺陷图像数据集d和变电设备外观正常图像数据集n。在实验室环节中，可以将图像集分为用于训练图像转换cyclegan模型的训练集和用于测试cyclegan模型的测试集，划分比例为6：4。
[0067]
第二步，变电设备外观缺陷图像的再生成：利用图像转换gan模型对已有的变电设备外观缺陷图像进行样本再生成，用于数据扩增。
[0068]
由于变电站图像背景复杂、变电设备缺陷区域小，在生成图像时，有可能会把跟变电站设备类似的图像一并进行转换，造成转换出来的缺陷图像质量差，因此在cyclegan网络的基础上引入注意力机制，将变电设备从图像背景中分离出来再送入网络训练，这样网络就可以侧重于对变电设备的转换而忽略背景的影响。
[0069]
如图2所示，在cyclegan网络的基础上添加两个注意力网络ad和an。ad为n转换为d时使用的注意力模块，an为d转换为n时使用的注意力模块。网络的工作流程为，首先n会通过一个注意力网络ad得到掩膜n
a
，这个注意力层会把前景凸显出来，背景则忽略掉，这样把n和掩膜n
a
按位相乘这样就可以得到前景图，然后通过生成器f
n
→
d
得到转换之后的前景图，之后再和掩膜n
a
进行按位相乘的操作去除生成图像的背景。把n和1
‑
n
a
按位相乘就可以得到背景图，最后把转换之后的前景图和背景图相加就可以得到最终的输出n
′
，计算公式如下：
[0070]
n
′
＝n
a
⊙
f
n
→
d
(n
⊙
n
a
) (1
‑
n
a
)
⊙
n。
[0071]
所述变电设备外观缺陷图像的再生成具体步骤如下：
[0072]
(1)变电设备外观缺陷图像再生成模型的构建：使用pytorch深度学习框架搭建cyclegan模型，并在cyclegan网络的基础上添加两个注意力模块ad和an，其中ad为n转换为d时使用的注意力模块，an为d转换为n时使用的注意力模块。
[0073]
(2)数据输入：将变电设备外观缺陷图像数据集d和变电设备外观正常图像n输入变电设备外观缺陷图像再生成模型进行训练。
[0074]
(3)变电设备外观缺陷图像再生成模型的训练：迭代训练变电设备外观缺陷图像再生成模型并保存其参数。
[0075]
a1)设置训练超参数：初始学习率为0.001，每个训练批次设置为16，训练的总迭代轮数设置为140epoch，优化算法为sgd；
[0076]
a2)数据输入：从正常变电设备图像数据集n中进行随机抽取m个正常数据样本x＝{x1,x2,,,x
m
}，从变电设备外观缺陷图像数据集d中进行随机抽取m个正常数据样本y＝{y1,y2,,,y
m
}；
[0077]
a3)迭代训练：最小化判别损失以及循环一致性损失更新模型参数，损失函数为：
[0078]
l
total
＝l
gan
(f,d
y
,x,y) l
gan
(g,d
x
,x,y) λl
cyc
(f,g,x,y)
[0079][0080][0081]
其中l
total
为总损失，l
gan
为x到y或y到x的生成判别损失，l
cyc
为循环一致性损失；
[0082]
a4)通过循环步骤a2)和步骤a3)，形成博弈学习模式，最终当判别器无法判断输入样本的来源时，训练达到稳定状态，得到一个最优的生成器参数。
[0083]
(4)通过已训练好的变电设备外观缺陷图像再生成模型来生成变电设备外观缺陷图像，并将增强的变电设备外观缺陷图像与原来的d结合在一起，组成新的变电设备外观缺陷图像数据集d。
[0084]
第三步，变电设备外观缺陷检测模型的构建：基于融合并联型注意力技术构建变电设备外观缺陷检测模型。
[0085]
由于变电设备外观缺陷图像的背景复杂、缺陷区域大小不同以及缺陷样本之间存在不平衡，因此，本发明在yolov4基础上提出了变电设备外观缺陷检测模型(pcbam
‑
yolo)。
yolov4隶属于one
‑
stage目标检测算法，基于直接回归候选框的相对位置实现物体的定位与分类，具有较优的检测精度和速度，其主要包括特征提取模块、多尺度特征融合模块和预测模块3部分。在特征提取模块中，采用新的骨干网络cspdarknet53，其结合了cspnet和darknet53，利用残差网络来进行深层特征的提取。在多尺度特征融合模块中，spp作为附加模块以增大感受野，并借鉴panet的思想，充分利用特征融合，得到表征能力更强的缺陷特征张量。在多尺度预测模块中，继续沿用yolov3的预测模块，通过对13
×
13、26
×
26和52
×
52三个特征图中目标进行独立预测，3个尺度特征图分别用来检测大中小3种尺度目标，有效地增强了不同尺度的变电设备缺陷目标的检测效果。
[0086]
为使模型更加聚焦变电设备关键缺陷特征而非复杂背景特征，本发明在yolov4的基础上加入基于cbam改进的并联型注意力模块pcbam，其公式为：
[0087]
m
c
(f)＝σ(mlp(avgpool(f)) mlp(maxpool(f)))
[0088][0089]
m
s
(f)＝σ(conv([avgpool(f
′
)；maxpool(f
′
)]))
[0090][0091]
首先将原始特征图f同时输入空间注意力模块和通道注意力模块，分别得到空间权重m
s
(f)和通道权重m
c
(f)。其次，将m
s
(f)和m
c
(f)分别与输入特征图做点乘得到空间注意力特征图f
s
和通道注意力特征图f
c
。然后，对原始输入特征f应用3*3卷积以增加感受野、增强特征表征能力，得到特征图f
i
。最后，将f
s
和f
c
相加生成的混合注意力特征图与原始输入特征的卷积结果f
i
相加得到最终的特征图f
o
。与传统cbam相比，一方面pcbam避免了先经过通道注意力模块再经过空间注意力模块后m
c
(f)对m
s
(f)可能存在的部分权重系数干扰；另一方面pcbam对原始输入特征进行卷积并直接加权于最终的特征图，在保证丰富的语义信息不丢失的同时增强了输出特征图的表征能力。
[0092]
同时，损失函数作为深度神经网络对误检样本评判的依据,在很大程度上影响神经网络模型收敛的效果。由于数据集中简单易分的样本与复杂难分的样本之间存在不均衡现象，大量的某一类样本不仅会导致算法难以学习到其他类别样本的信息，还会影响损失函数的梯度更新方向，本发明在检测模型中引入focal loss函数设计交叉熵函数，使得模型在训练时更加专注于难分类样本，从而提高变电设备图像缺陷自动定位和识别的精度。
[0093]
变电设备外观缺陷检测模型的构建具体步骤如下：
[0094]
(1)构建变电设备外观缺陷检测模型的第一层为缺陷特征提取模块：骨干网络cspdarknet53结合了cspnet和darknet53，利用残差网络来进行深层特征的提取；变电设备外观缺陷图像经过cspdarknet53提取特征后，得到缺陷特征张量。
[0095]
(2)构建变电设备外观缺陷检测模型的第二层为多尺度特征融合模块：首先搭建spp模块，池化大小分别为：1
×
1，5
×
5，9
×
9，13
×
13；然后搭建panet特征金字塔模块，并在每个concat组件之后加入pcbam注意力模块，提升模型对局部鉴别性特征的提取；深层和浅层的缺陷特征张量经过多尺度特征融合模块后，得到两者融合后的多尺度语义特征。
[0096]
(3)构建变电设备外观缺陷检测模型的第三层为缺陷预测模块：搭建三个输出大小分别为13
×
13、26
×
26和52
×
52的预测分支；同时采用focal loss函数改进模型中置信度损失的交叉熵函数focal loss函数表达式如下所示：
[0097][0098]
式中：p为激活函数sigmoid的输出值；γ≥0，为聚焦参数，取γ＝2；为调节因子；0≤α≤1，为类别权重因子，取α＝0.25；γ和α为固定值，不参与训练；y为标签值。
[0099]
第四步，变电设备外观缺陷检测模型的训练：利用小样本多阶段迁移技术对变电设备外观缺陷检测模型进行训练。
[0100]
在变电设备外观缺陷检测任务中，传统的基于深度学习的检测方法中的模型训练过程中因为样本数据稀缺而出现过拟合的现象，同时模型迭代收敛困难，这些问题不仅影响了检测模型的性能，也影响了缺陷检测的效率。因此，本发明基于元学习的思想，研究同领域、相近领域或不同领域的特征知识迁移学习方法，利用已经存在的相关任务域中带有标记的数据学习源任务，将其获得的知识应用于变电站设备外观缺陷图像数据的目标域，解决目标域的缺陷检测任务；同时融合数据生成和多阶段小样本迁移学习的训练方法，缓解数据量不足引起的问题，提高训练效率且防止过拟合，从而实现变电站设备缺陷图像的自动、快速定位和识别。如图3所示，在实验室测试环节时，采用小样本迁移学习的方法训练模型，其在训练阶段只要一个或多个已标记的相近领域的训练样本，而无需大量的人力、物力去筛选并且给数据给予样本标签，并将学习到的特征知识迁移到缺陷检测模型中，利用生成的缺陷数据集进行微调，最后测试变电设备外观图像缺陷检测模型的性能。小样本迁移学习的目标旨在充分的使用过去的经验让学习系统能够学习新的任务。
[0101]
变电设备外观缺陷检测模型的训练具体步骤如下：
[0102]
(1)数据标注：将新的变电设备外观缺陷图像数据集d中的图像归一化到416
×
416，并使用labelimg软件标注，包括：类别、中心点横坐标、中心点纵坐标、目标宽度和目标长度；
[0103]
(2)数据划分：将已有的电力设备图像数据集作为源域，将新的变电设备外观缺陷图像数据集d作为目标域，源域与目标域的类别互不交叉；
[0104]
(3)预训练：从源域中选择k个类别构建任务，从选择的每个类别中，随机选择多个样本作为支持样本进行训练，得到预训练模型；
[0105]
(4)设置训练的超参数：初始学习率为0.001，每个训练批次设置为64，训练的总迭代轮数设置为120epoch，优化算法为sgd；
[0106]
(5)加载预训练模型：将步骤(2)中训练好的模型参数进行迁移；
[0107]
(6)变电设备外观缺陷检测模型训练：
[0108]
将标注好的变电设备外观缺陷图像数据集d(b：64，c：3，h：416，w：416)输入至变电设备外观缺陷检测模型的第一层缺陷特征提取模块，得到缺陷特征张量(c：1024，h：13，w：13)；然后再经过多尺度特征融合模块得到三个不同大小的特征张量，分别为(c：256，h：52，w：52)，(c：512，h：26，w：26)，(c：1024，h：13，w：13)；最后经过预测模块输出三个不同的预测数据，包括：类别、置信度、预测框坐标；
[0109]
(7)通过损失函数对张量数据相对于groundtruth进行计算，并经过反向传播求取梯度，进行权重更新；
[0110]
(8)通过循环步骤(6)和步骤(7)，直至损失函数降低至较小值，即训练完成，保存训练好的变电设备外观缺陷检测模型参数。
[0111]
第五步，待检测变电设备图像的获取，获取待检测变电设备图像，并进行预处理。
[0112]
第六步，待检测变电设备图像缺陷问题的检测：将预处理后的待检测变电设备图像输入训练后的变电设备外观缺陷检测模型，得到待检测变电设备图像的缺陷问题。
[0113]
在实验室测试环节时，从待检测变电设备图像数据集中随机抽取3幅图像输入模型进行检测，然后可视化检测结果如图4a、图4b和图4c所示，可见检测结果图中变电设备的锈蚀或油污均已被准确检测出。
[0114]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。