一种基于生成对抗网络的电力巡检图像中异物检测方法与流程

1.本发明涉及图像处理技术领域，特别涉及一种基于生成对抗网络的电力巡检图像中异物检测方法。


背景技术：

2.国家的发展离不开电力能源的发展，伴随着输电线路规模的发展，后期线路维护所需要投入的人力、物力和财力也随之增加。同时我国地域广阔，不同地区的地理环境差异很大，输电线路跨越平原、山脉、沼泽和湖泊多种地形。因此，输电线网络大部分都架设在自然环境中，极易受到“异物”的侵害，若是不能及时发现并处理这些挂线异物，将可能导致难以预计的电力事故，进而影响工厂生产用电和正常生活用电。因此有计划性地对输电线路进行巡检和维护是十分必要的。本研究中输电线上的异物搭挂现象一般是指风筝、气球、农业塑料大棚碎片等挂在架空输电线上的现象。由于大部分高压架空输电线是裸导线，线上异物的存在会使得输电线的对地放电安全距离缩短，容易对线下经过的行人、车辆或者房屋造成伤害。更严重的是，当空气中湿度使得异物的导电性超过绝缘的临界线，再加之挂线异物较长接触到了地面或者接触到了杆塔等导体，就会导致单相接地短路事故。或者由于风吹或摇晃等原因异物同时横挂在两相甚至三相导线之间时，则会导致更为严重的两相短路或三相短路事故。
3.经对现有技术的文献检索发现，与电线提取和电力巡检故障检测相比，国内外对输电线上的异物检测研究相对较少。一方面是因为异物检测相关技术起步较晚，发展明显落后于其他技术。另一方面，相对于电力巡检和电力线，输电线上搭挂的异物具有以下特点。首先，异物的种类多样，包含了风筝、气球、农业塑料大棚的碎片等。其次，异物的形状和颜色各异，输电线路的背景环境也各有不同，前景异物和背景的区分难度更大。因此，想要找到一种适用范围广泛且能在复杂背景中检测异物的方法非常具有挑战性。


技术实现要素：

4.有鉴于此，本发明的目的是提供一种基于生成对抗网络的电力巡检图像中异物检测方法。用于解决背景技术中提出的问题。
5.本发明的第一方面的目的是通过以下技术方案实现的：
6.该种基于生成对抗网络的电力巡检图像中异物检测方法，包括以下步骤：
7.步骤s1：利用u
‑
net改进生成对抗网络的生成网络，构建对应的判别网络，并定义损失函数l；
8.步骤s2：将正常电力巡检图像作为正样例构建数据集，用于训练改进的异物检测模型；
9.步骤s3：将待测电力巡检图像输入训练好的模型；
10.步骤s4：模型通过生成网络重建待测电力巡检图像，得到待测电力巡检的重建图像，计算异常分数；
11.步骤s5：若异常分数小于某一阈值，则判断待测电力巡检图像正常；若异常分数大于某一阈值，则判断待测电力巡检图像存在异物。
12.进一步，所述步骤s1中，所述生成网络包括一个编码器子网络g
e
，一个解码器子网络g
d
；所述判别网络d包括类编码器子网络d
e
，所述的编码器子网络g
e
和解码器子网络g
d
的结构互相对称，且尺度相同的层之间存在跳跃连接，实现层之间的直接信息传输。
13.进一步，所述损失函数l采用了对抗损失l
adv
、语境损失l
con
和潜在损失l
lat
三个损失函数的加权作为训练生成网络的目标函数，最终损失函数可以表示为：
14.l＝λ
adv
l
adv
λ
con
l
con
λ
lat
l
lat
15.其中λ
adv
，λ
con
，λ
lat
是用来平衡不同损失函数的系数；
16.对抗损失l
adv
：gan网络的训练过程就是生成器和判别器的对抗过程，生成器输出重建电力巡检图像后，要由判别器来判断该图像是来自于生成器，还是来自于原始图像。对抗损失可以表示为：
[0017][0018]
其中，x代表原始图像，x’代表重建图像，d(x)代表判别器对原始图像的判别结果；d(x')代表判别器对重建图像图像的判别结果，代表x取样于原始数据分布p
x
；
[0019]
语境损失l
con
：对抗损失强制模型生成真实样本，但不能保证学习有关输入的上下文信息。为了充分学习上下文信息以捕获输入样本的数据分布，于是构建语境损失。语境损失可以表示为：
[0020][0021]
其中，x代表原始图像，x’代表重建图像，代表x取样于原始数据分布p
x
；
[0022]
潜在损失l
lat
：通过前边定义的对抗性损失和语境损失，该模型能够生成真实的和上下文相似的图像。除了这些目标之外，我们还希望让输入图像x和重构图像x’具有尽可能相似的潜在表示，这是为了确保网络能够为常见示例产生上下文健全的潜在表示。潜在损失可以表示为：
[0023][0024]
其中，x代表原始图像，x’代表重建图像，f(x)表示由生成网络的编码器提取到原始图像的特征向量，f(x')表示由判别器的最后卷积层提取到重建图像的特征向量，代表x取样于原始数据分布p
x
。
[0025]
进一步，所述步骤s2中，收集大量正常电力巡检图像作为数据集，用来训练改进的异物检测模型，生成器网络g学习正样例原始图像的数据分布，对图像进行重建，判别网络d对重建图像进行真伪判断，生成网络g与判别网络d进行对抗训练，以迭代的方式不断更新，直至目标函数l的值收敛且达到最小，使得生成网络g生成的图像与原始图像几乎一致，从而使判别网络无法区分生成图像的真伪，完成模型的训练。
[0026]
进一步，所述步骤s3中，将待测图像输入训练完成的模型，当输入正常的电力巡检图像时，训练完成的编码器子网络g
e
和解码器子网络g
d
将该输入的待测原图图像以正样例图像数据分布的方式进行重建，得到待测重建图像，这种情况下，待测重建图像可以很好地还原待测原始图像，并且待测重建图像与待测原始图像之间的误差小于某一阈值，模型判
断该输入电力巡检图像为正常；当输入异常的电力巡检图像时，训练完成的编码器子网络g
e
和解码器子网络g
d
依然将该输入的待测原图图像以正样例图像数据分布的方式进行重建，但是由于异常图像的数据分布与正样例图像的数据分布存在差异，使得待测重建图像无法很好地还原待测原始图像，并且待测重建图像与待测原始图像之间的误差大于某一阈值，模型判断该输入电力巡检图像为异常，即存在异物，在模型的训练过程中，只学习正样例的电力巡检图像，使得该异物检测模型只能以正样例图像数据的分布方式来对输入的原始图像进行重建，从而只能还原正样例原始图像。
[0027]
进一步，所述步骤s4中，训练完成的生成网络g对同一批次输入的所有待测原始图像x，分别依次生成待测原始图像的潜在空间向量z、待测重建图像x’；训练完成的判别网络d对同一批次输入的所有待测重建图像，通过其最后一个卷积层，分别依次生成待测重建图像的潜在空间向量z’，计算待测原始图像的潜在空间向量与待测重建图像的潜在空间向量之间的距离，即计算异常分数。对于待测图像x,其异常分数可以表示为：
[0028]
a(x)＝ωr(x) (1
‑
ω)t(x)
[0029][0030][0031]
x'＝g(x)
[0032]
z＝f(x)
[0033]
z'＝f(x')
[0034]
其中，x代表待测电力巡检图像，ω为权重系数，x’代表重建电力巡检图像，z表示原始图像对应的潜在空间向量，z’表示重建图像对应的潜在空间向量，代表x取样于原始数据分布p
x
，r(x)是基于l
con
的公式测量输入图像和重建图像之间上下文相似度的重构分数，t(x)是基于l
lat
的公式测量输入图像和重建图像之间潜在差异的分数，g(x)代表生成网络重建图像，f(x)代表提取图像的潜在空间向量，a(x)代表异常得分，并且最后在[0,1]的范围内对异常分数进行缩放。5)若异常分数小于某一阈值，则模型判断该待测电力巡检图像正常；若异常分数大于某一阈值，则模型判断该待测电力巡检图像存在异物。
[0035]
本发明的第二方面的目的是提供一种计算机装置，包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前所述的方法。
[0036]
本发明的第三方面的目的是提供一种计算机可读存储介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现如前所述的方法。
[0037]
与现有的技术相比：
[0038]
1)本发明采用改进的异物检测模型，相比于其他有监督式的深度学习模型，本发明所使用的数据集只需要包含大量无标签的正样例图像数据即可，无需大量具有标签的负样例数据。当输入待检测电力巡检图像时，若不存在异物情况时，利用gan网络强大的图像生成能力，可以通过重建图像来还原原始图像，使得重建图像和原始图像之间的误差小于某一阈值；若存在异物情况时，待测图像和正样例图像的数据分布存在差异，使得待测图像和重建图像之间的误差大于某一阈值，模型判断该输入电力巡检图片存在异物。解决了电力巡检图像中负样例数量少、难采集、需要大量精力去标注数据等问题，提高了训练过程的
可行性和适应性。
[0039]
2)本发明改进生成网络，添加编码器和解码器在对应尺度上的跳跃连接，这种通过层之间的直接信息传输，保留了局部和全局的多尺度信息，产生更好地重建效果，使得最终的检测精确度有所提升。
[0040]
3)本发明考虑到判别网络除了可以作为分类器外，还具备特征提取功能，因此使用判别网络来代替异物检测模型中的第二个编码器，简化了模型，减少了需要训练的参数量，使得训练更加高效。
[0041]
4)本发明通过生成网络的编码器提取原始图像映射到潜在空间的向量，通过判别网络提取重建图像映射到潜在空间的向量，比较原始图像潜在空间向量和重建图像潜在空间向量的距离来表示原始图像和潜在图像之间的误差，用一维向量来代替复杂的高维向量，减少计算复杂度。
[0042]
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和前述的权利要求书来实现和获得。
附图说明
[0043]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
[0044]
图1为整体模型架构图；
[0045]
图2为在生成网络改进之处的数据连接图；
[0046]
图3为训练流程图；
[0047]
图4为异物检测的流程图。
具体实施方式
[0048]
以下将参照附图，对本发明的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
[0049]
本发明的一种基于生成对抗网络的电力巡检图像中异物检测方法，包括以下步骤：
[0050]
步骤s1：利用u
‑
net改进生成对抗网络的生成网络，构建对应的判别网络，并定义损失函数l；
[0051]
步骤s2：将正常电力巡检图像作为正样例构建数据集，用于训练改进的异物检测模型；
[0052]
步骤s3：将待测电力巡检图像输入训练好的模型；
[0053]
步骤s4：模型通过生成网络重建待测电力巡检图像，得到待测电力巡检的重建图像，计算异常分数；
[0054]
步骤s5：若异常分数小于某一阈值，则判断待测电力巡检图像正常；若异常分数大于某一阈值，则判断待测电力巡检图像存在异物。
[0055]
步骤s1中，构建损失函数具体是：本发明采用了对抗损失l
adv
、语境损失l
con
和潜在
损失l
lat
三个损失函数的加权作为训练生成网络的目标函数，最终损失函数可以表示为：
[0056]
l＝λ
adv
l
adv
λ
con
l
con
λ
lat
l
lat
[0057]
其中λ
adv
，λ
con
，λ
lat
是用来平衡不同损失函数的系数。
[0058]
对抗损失l
adv
：gan网络的训练过程就是生成器和判别器的对抗过程，生成器输出重建电力巡检图像后，要由判别器来判断该图像是来自于生成器，还是来自于原始图像。
[0059]
对抗损失可以表示为：
[0060][0061]
其中，x代表原始图像，x’代表重建图像，d(x)代表判别器对原始图像的判别结果；d(x')代表判别器对重建图像图像的判别结果，代表x取样于原始数据分布p
x
。
[0062]
语境损失l
con
：对抗损失强制模型生成真实样本，但不能保证学习有关输入的上下文信息。为了充分学习上下文信息以捕获输入样本的数据分布，于是构建语境损失。语境损失可以表示为：
[0063][0064]
其中，x代表原始图像，x’代表重建图像，代表x取样于原始数据分布p
x
。
[0065]
潜在损失l
lat
：通过前边定义的对抗性损失和语境损失，该模型能够生成真实的和上下文相似的图像。除了这些目标之外，我们还希望让输入图像x和重构图像x’具有尽可能相似的潜在表示，这是为了确保网络能够为常见示例产生上下文健全的潜在表示。
[0066]
潜在损失可以表示为：
[0067][0068]
其中，x代表原始图像，x’代表重建图像，f(x)表示由生成网络的编码器提取到原始图像的特征向量，f(x')表示由判别器的最后卷积层提取到重建图像的特征向量，代表x取样于原始数据分布p
x
。
[0069]
其中步骤s2中，构建数据集和构建异物检测模型具体为：
[0070]
(1)构建数据集：本发明的模型在训练时只需要学习正样例数据分布，因此需要收集大量正常电力巡检图像图像，制作正样例的训练集。同时为了评估模型性能，也为了提高模型异物检测的准确性，在训练步骤中加入了测试环节，因此还需要制作测试集，测试集中需要同时存在正样例图像和负样例图像，以此来测试该模型的检测效果。首先制作训练总样本，由于现有公开数据集中缺少电力巡检图像，本实施例中训练集数据通过无人机拍摄采集正样例的电力巡检图像。为扩充数据，对原始数据进行随机翻转与旋转90
°
操作来丰富样本。并且以中心剪切的方式裁剪图像，最终得到1200张正常电力巡检图像。从训练总样本中随机抽取200张放入测试集。由于测试集中需要使用负样例图像数据，但有异物的电力巡检图像数量稀少，难以采集，本实施例中，采用图像合成技术，人工制作带有异物的电力巡检图像，并且与不同背景进行融合。最终得到测试集共400张图像数据，其中正、负样例数量均为200张。
[0071]
(2)构建异物检测模型：改进的异物检测模型整体框架如图1所示。该生成对抗网络主要可以分为生成网络和判别网络两大部分，所述的生成网络g包括一个编码器子网络g
e
，一个解码子网络g
d
；所述判别网络d包括类编码器子网络d
e
。编码器子网络g
e
包括八层卷
积，输入数据为原始图像x，前七层卷积在边缘填充1层，卷积步长为2，实现降采样，尺寸缩小二分之一，并在卷积层后加入bn层和leakyrelu激活函数层。最后一层卷积无填充，卷积步长为1，卷积后输出原始图像的一维潜在空间向量z。编码器子网络g
e
各层的详细参数如下表1所示：
[0072]
表1编码器子网络参数表：
[0073][0074]
解码器子网络g
d
的结构与编码器子网络g
e
的结构相对称，第一层转置卷积无填充，卷积步长为1，输入为原始图像的一维潜在空间向量z，后四层转置卷积在边缘填充1层，卷积步长为2，实现上采样，尺寸变为原来的二倍。前七层转置卷积层后加入bn层和relu激活函数层，最后一层不使用bn并且使用tanh函数激活，输出重建图像x’。需要注意的是解码器子网络g
d
各层的输入数据，将前一卷积层的输出结果与编码器子网络g
e
对应层的输出结果进行拼接，作为下一个卷积层的输入，如图2数据连接图所示。解码器子网络g
d
各层的详细参数如下表2所示：
[0075]
表2解码器子网络参数表：
[0076][0077]
判别网络由类编码器子网络d
e
构成，类编码器子网络d
e
结构类似于编码器子网络g
e
，不再赘述，最后一层卷积层输出为重建图像的潜在空间向量z’，不同之处在于类编码器子网络d
e
在最后一个卷积层后又使用一个密集连接层，使用sigmoid函数激活，起到判断重建图像真伪的作用。
[0078]
步骤s3中，训练异物检测模型的训练流程图如图3所示，将训练集中的数据输入生成网络g中，生成网络g和判别网络d之间进行对抗训练，以迭代的方式不断更新，直至目标函数l的值收敛且达到最小，使得生成网络g生成的图像与原始图像几乎一致，从而使判别网络无法区分生成图像的真伪，完成模型的训练。训练过程中要记录并观察损失函数l，合理调整学习轮数epoch和学习率，以防止模型出现过拟合，影响模型泛化能力。
[0079]
客观评估模型性能包括：在每训练完一个epoch后，将测试集数据输入模型，计算auc(area under the roc curve)值，以此来评估异物检测模型的性能。auc被定义为roc曲线下的面积。其中，roc曲线全称为受试者工作特征曲线(receiver operating characteristic curve)，它是根据一系列不同的二分类方式(分界值或决定阈)，以真阳性率(敏感性)为纵坐标，假阳性率(1
‑
特异性)为横坐标绘制的曲线。我们往往使用auc值作为模型的评价标准是因为很多时候roc曲线并不能清晰的说明哪个分类器的效果更好，而auc作为一个数值，对应auc更大的分类器效果更好。auc＝1代表完美分类器，0.5＜auc＜1代表优于随机分类器。
[0080]
记录实验数据：本例实施的实验环境：系统为win10，显卡采用tesla p100，深度学习框架采用pytorch1.2，本发明中改进异物检测模型在电力巡检数据集上测试结果如表3所示。
[0081]
表3针对不同异物的检测结果：
[0082]
异物类型风筝气球农业塑料大棚碎片auc0.8570.8320.877
[0083]
本发明模型在电力巡检数据集上测试结果优异。
[0084]
步骤s4中的检测电力巡检图像的检测流程如图4所示，将待测电力巡检图像x输入训练好的模型中，分别依次生成待测原始图像的潜在空间向量z、待测重建图像x’；训练完
成的判别网络d对输入的待测重建图像x’，通过其最后一个卷积层生成待测重建图像的潜在空间向量z’。计算待测原始图像的潜在空间向量与待测重建图像的潜在空间向量之间的距离，即计算异常分数。其中，异常分数可以表示为：
[0085]
a(x)＝ωr(x) (1
‑
ω)t(x)
[0086][0087][0088]
x'＝g(x)
[0089]
z＝f(x)
[0090]
z'＝f(x')
[0091]
其中，x代表待测电力巡检图像，ω为权重系数，x’代表重建电力巡检图像，z表示原始图像对应的潜在空间向量，z’表示重建图像对应的潜在空间向量，代表x取样于原始数据分布p
x
，r(x)是基于l
con
的公式测量输入图像和重建图像之间上下文相似度的重构分数，t(x)是基于l
lat
的公式测量输入图像和重建图像之间潜在差异的分数，g(x)代表生成网络重建图像，f(x)代表提取图像的潜在空间向量，a(x)代表异常得分，并且最后在[0,1]的范围内对异常分数进行缩放。本实施例中通过计算，最终阈值在0.2左右。若异常分数小于自适应阈值，则判断待测电力巡检图像正常；若异常分数大于自适应阈值，则判断待测电力巡检图像存在异物。
[0092]
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术
‑
包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
[0093]
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
[0094]
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、ram、rom等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明
还包括计算机本身。
[0095]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。