一种输变电设备缺陷图像自动识别方法与流程

1.本发明属于图像识别技术领域，具体涉及一种输变电设备缺陷图像自动识别方法。


背景技术：

2.近年来，随着经济的不断发展，各地区输电线需求迅速增加，电网规模也在不断扩大，输电线路的散股、断股和绝缘子损坏口等缺陷引起的输电故障会对企业、工业生产造成无法弥补的经济损失，因此定期对输电线路进行安全巡检工作十分必要，目前比较传统的巡检方式主要还是靠人工巡检，采用这种方式进行巡检存在巡检工作强度大、效率低，巡检工作存在安全隐患，巡检质量不高，维修不及时等问题。伴随着计算机技术的迅猛发展，基于深度学习中的神经网络技术智能分析巡检图像大大提高了巡检人员的工作效率，但对于目前的输变电设备缺陷图像自动识别仍存在以下问题：
3.1、首先关于图像获取方面：远距离拍摄下，画面之中难免出现树木与丘陵，如果图像信息不够丰富，便会导致特征点提取较少，在分类时导致分类不准确的问题发生，且由于无人机拍摄的角度不同，输电线路中电力杆塔可能出现叠加情况。
4.2、然后关于图像预处理方面：输电线路所处环境光照变化剧烈，而且时常会遭遇大雨、大雪以及大雾等恶劣天气，这些恶劣的天气会严重影响成像质量，图像的亮度和对比度会大幅下降。并且由于输电线路的传输距离远，传输环境复杂，这些原因会使得传输回来的图像受到极大的噪声干扰。
5.3、接着关于图像特征提取方面：输电线路所处的环境非常复杂，复杂环境会使得输电线路设备的提取成为了一个难题，设计一个鲁棒性高、稳定、通用的算法将是一个非常大的难题。
6.4、最后关于图像分析与识别方面：输电线路现场安装的摄像头角度多变，会导致针对同一输电线路设备的拍摄视角多变。这个问题会导致提取的特征不稳定，例如形状特征，视角不同会导致同一物体的形状特征发生变化。这将会在输电线路的识别中成为难题。而且摄像头安装的位置不妥当，会导致“遮挡”问题，例如绝缘子的两串绝缘子之间会造成互相遮挡，影响绝缘子的识别。


技术实现要素：

7.本发明的目的在于：提供一种输变电设备缺陷图像自动识别方法，解决现有输变电设备缺陷图像自动识别技术采集的图像清晰度低、图像特征提取及图像识别稳定性差的问题。
8.本发明采用的技术方案如下：
9.一种输变电设备缺陷图像自动识别方法，包括以下步骤：
10.(a)作业人员操控无人机，对输变电设备进行巡检，作业人员触发无人机拍照指令，巡检软件就立刻记录当前巡检点位的飞行数据和图像数据；
11.(b)对采集的图像数据进行预处理，首先对图像进行基于gamma校正的非线性灰度变化以，构造非线性变换：
12.s＝cr
γ
(1)；
13.其中，r表示原始图像的灰度级，s表示变换后的灰度级，c和γ为正常数，γ＞1时，输入越亮输出值越加强，即图像变亮，γ＜1时，输入越亮输出值越减弱，即图像变暗；γ＝1时，表示为线性变换，图像亮度不变；因此，提出根据图像的平均灰度值的大小来决定γ的取值：
[0014][0015]
式(2)中，图像的分辨率为m
×
n，f(i,j)为点(i,j)上的灰度值；根据与γ的对应关系，带入式(1)即完成了图像的灰度校正；同时，为了增强图像整体对比度，使用直方图均衡化，即调用直方图均衡化函数：
[0016][0017]
式(3)中，mn为图像像素总数，nk是灰度为rk的像素个数，l是图像的灰度级数量，t(rk)为直方图均衡化函数；通过式(3)，输出图像中像素的灰度值可由输入图像中像素灰度rk映射为sk后得到；
[0018]
最后，采用小波去噪算法对图像进行去噪处理；
[0019]
(c)通过生产对抗网络对预处理后的图像进行数据增广，扩充图像数据集；
[0020]
(d)得到扩充后的图像数据集之后，对图像数据集中所有输电线路的杆塔鸟巢缺陷区域、导线断股缺陷区域、导线散股缺陷区域、绝缘子自爆缺陷区域的部分用矩形框进行标注，记录所有的缺陷坐标信息；采用基于fasterr-cnn目标检测网络进行输变电设备缺陷图像的自动识别，fasterr-cnn目标检测网络包含两个网络：区域候选网络rpn和fastr-cnn检测网络；fasterr-cnn目标检测网络的训练和检测过程通过区域候选网络rpn和fastr-cnn检测网络进行，具体训练过程可分为以下步骤：
[0021]
s1，输入经过预处理后的输电线路图像样本到cnn网络，输入到cnn网络的图像数据进行卷积运算，得到图像特征图；
[0022]
s2，提取输入的图像特征图的多个候选区域，区域候选网络rpn使用3*3的卷积核对共享卷积层提供的图像特征图进行卷积运算，获得一个256维的特征向量，代表原始图像中相对应位置的特征；并且为每个滑动窗口给出9种区域建议:以滑动窗口为中心，三种尺度和三种长宽比；继而滑动窗口的卷积有9个区域建议，使得区域建议更加精确，有利于后续的分类和目标框调整，接着通过2个全连接层分别得到区域建议和区域得分；因此，经过rpn网络在图像特征图上生成包含输电线路杆塔鸟巢缺陷区域、导线断股缺陷区域、导线散股缺陷区域、绝缘子自爆缺陷区域的大量候选区域框，对候选区域框进行非最大值抑制，保留得分最高的前300个框；
[0023]
s3，提取所述候选区域的特征，对s2得到的每个候选区域使用fastr-cnn网络进行特征提取，形成高维的特征向量；
[0024]
s4，使用分类器对所述特征进行分类，将s3中获得的特征量送入一个线性分类器
计算这些特征属于输电线路四类缺陷中某个类别的概率，作为分类依据以确定所述特征是否符合一个类别；
[0025]
s5，对符合输电线路杆塔鸟巢缺陷区域、导线断股缺陷区域、导线散股缺陷区域、绝缘子自爆缺陷区域类别的特征对应的候选区域进行边框回归；由fast r-cnn检测网络计算类别得分，对输电线路杆塔鸟巢缺陷区域、导线断股缺陷区域、导线散股缺陷区域、绝缘子自爆缺陷区域目标外围框的大小和位置进行精细回归，预测出更合适的输电线路杆塔鸟巢缺陷区域、导线断股缺陷区域、导线散股缺陷区域、绝缘子自爆缺陷区域目标的外围框位置。
[0026]
(e)完成输变电设备缺陷图像的自动识别。
[0027]
进一步地，所述步骤(b)中，小波去噪算法对图像进行去噪处理的具体步骤如下：
[0028]
(a)对应尺度j，基于一个小波函数和分解处理，对含有噪声的图像信号进行小波变
[0029]
换，获得不同尺度上的子图像；
[0030]
(b)在不同尺度上对细节的小波变换系数设定阈值，把噪声从信号中分离出来；
[0031]
(c)用重构算法实现图像的复原。
[0032]
进一步地，所述步骤(c)中，生产对抗网络的生成网络g的输入为随机噪声z和条件特征c，输出为生成图像，鉴别网络d的输入为生成图像和加入条件特征c的真实图像，鉴别网络d需要判断输入图像的真伪，输出一个二元概率分布，整个过程的损失函数可以表示为：
[0033][0034]
式(4)中，p
data
(x)表示真实图像的分布，pz(z)表示随机噪声z假样本的分布，具体训练过程为：
[0035]
在每一个epoch中：
[0036]
s`1,鉴别网络d先训练k次：从高斯分布pz中采样m个随机样本{z
(1)
,
…
,z
(m)
}，从真实图像分布p
data
随机抽取m个样本集{x
(1)
,
…
,x
(m)
}，{x
(1)
,
…
,x
(m)
}对应着m个标签{c
(1)
,
…
,c
(m)
}，这些作为鉴别网络d的输入，用梯度下降法使鉴别网络d的损失函数越小，在训练鉴别网络d的时候生产网络g中的所有参数固定，即不参加训练；
[0037]
s`2，再训练生产网络g1次：从高斯分布pz中采样m个随机样本{z
(1)
,
…
,z
(m)
}，将{x
(1)
,
…
,x
(m)
}对应的m个标签{c
(1)
,
…
,c
(m)
}都输入到生产网络g中，用梯度下降法使生产网络g的损失函数越小，在训练生产网络g的时候鉴别网络d中的所有参数也要固定住，即不参加训练；
[0038]
s`3,直到所有epoch执行完毕，训练结束，输出生成图像。
[0039]
综上所述，由于采用了上述技术方案，本发明的有益效果是：
[0040]
1、本发明中，采用基于非线性灰度变换的直方图均衡法实现光学校正，达到了图像增强和提高对比度的目的；然后针对航拍图像在成像过程中混入噪声而导致的图像质量下降问题，采用基于小波去噪的改进维纳滤波算法，小波变换在时域和频域同时具有良好的局部特性，所以去噪效果鲁棒性高，解决了图像曝光过度和曝光不足的现象。
[0041]
2、本发明中，为了提高模型的泛化能力，引入基于生成对抗网络(gan)的数据增广
技术扩充输变电设备图像训练数据集，其让网络模型之间通过对抗学习的方式不断地提升生成器的生成质量和鉴别网络的判别能力，大幅提高了网络的特征提取能力，使得网络生成的图像清晰度、多样性和局部细节都有明显的提高。
[0042]
3、本发明中，采用基于fasterr-cnn网络图像识别技术，该网络具有较强的深度学习能力，能够在复杂多变背景的影响下学习到输变电设备的特征并快速准确地识别出来，充分平衡了识别准确率和速率，并且对于输变电设备角度扭曲和长短不一等情形具有较好的识别鲁棒性。
附图说明
[0043]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图，其中：
[0044]
图1为本发明的整体流程示意图；
[0045]
图2为本发明生产对抗网络的处理流程图；
[0046]
图3为本发明fasterr-cnn目标检测网络的处理流程图。
具体实施方式
[0047]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
[0048]
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0049]
一种输变电设备缺陷图像自动识别方法，包括以下步骤：
[0050]
(a)作业人员操控无人机，对输变电设备进行巡检，作业人员触发无人机拍照指令，巡检软件就立刻记录当前巡检点位的飞行数据和图像数据；
[0051]
(b)对采集的图像数据进行预处理，首先对图像进行基于gamma校正的非线性灰度变化以，构造非线性变换：
[0052]
s＝cr
γ
(2)；
[0053]
其中，r表示原始图像的灰度级，s表示变换后的灰度级，c和γ为正常数，γ＞1时，输入越亮输出值越加强，即图像变亮，γ＜1时，输入越亮输出值越减弱，即图像变暗；γ＝1时，表示为线性变换，图像亮度不变；因此，提出根据图像的平均灰度值的大小来决定γ的取值：
[0054][0055]
式(2)中，图像的分辨率为m
×
n，f(i,j)为点(i,j)上的灰度值；根据与γ的对应
关系，带入式(1)即完成了图像的灰度校正；同时，为了增强图像整体对比度，使用直方图均衡化，即调用直方图均衡化函数：
[0056][0057]
式(3)中，mn为图像像素总数，nk是灰度为rk的像素个数，l是图像的灰度级数量，t(rk)为直方图均衡化函数；通过式(3)，输出图像中像素的灰度值可由输入图像中像素灰度rk映射为sk后得到；
[0058]
最后，采用小波去噪算法对图像进行去噪处理；
[0059]
(c)通过生产对抗网络对预处理后的图像进行数据增广，扩充图像数据集；
[0060]
(d)得到扩充后的图像数据集之后，对图像数据集中所有输电线路的杆塔鸟巢缺陷区域、导线断股缺陷区域、导线散股缺陷区域、绝缘子自爆缺陷区域的部分用矩形框进行标注，记录所有的缺陷坐标信息；采用基于faster r-cnn目标检测网络进行输变电设备缺陷图像的自动识别，faster r-cnn目标检测网络包含两个网络：区域候选网络rpn和fastr-cnn检测网络；faster r-cnn目标检测网络的训练和检测过程通过区域候选网络rpn和fast r-cnn检测网络进行，具体训练过程可分为以下步骤：
[0061]
s1，输入经过预处理后的输电线路图像样本到cnn网络，输入到cnn网络的图像数据进行卷积运算，得到图像特征图；
[0062]
s2，提取输入的图像特征图的多个候选区域，区域候选网络rpn使用3*3的卷积核对共享卷积层提供的图像特征图进行卷积运算，获得一个256维的特征向量，代表原始图像中相对应位置的特征；并且为每个滑动窗口给出9种区域建议:以滑动窗口为中心，三种尺度和三种长宽比；继而滑动窗口的卷积有9个区域建议，使得区域建议更加精确，有利于后续的分类和目标框调整，接着通过2个全连接层分别得到区域建议和区域得分；因此，经过rpn网络在图像特征图上生成包含输电线路杆塔鸟巢缺陷区域、导线断股缺陷区域、导线散股缺陷区域、绝缘子自爆缺陷区域的大量候选区域框，对候选区域框进行非最大值抑制，保留得分最高的前300个框；
[0063]
s3，提取所述候选区域的特征，对s2得到的每个候选区域使用fast r-cnn网络进行特征提取，形成高维的特征向量；
[0064]
s4，使用分类器对所述特征进行分类，将s3中获得的特征量送入一个线性分类器计算这些特征属于输电线路四类缺陷中某个类别的概率，作为分类依据以确定所述特征是否符合一个类别；
[0065]
s5，对符合输电线路杆塔鸟巢缺陷区域、导线断股缺陷区域、导线散股缺陷区域、绝缘子自爆缺陷区域类别的特征对应的候选区域进行边框回归；由fast r-cnn检测网络计算类别得分，对输电线路杆塔鸟巢缺陷区域、导线断股缺陷区域、导线散股缺陷区域、绝缘子自爆缺陷区域目标外围框的大小和位置进行精细回归，预测出更合适的输电线路杆塔鸟巢缺陷区域、导线断股缺陷区域、导线散股缺陷区域、绝缘子自爆缺陷区域目标的外围框位置。
[0066]
(e)完成输变电设备缺陷图像的自动识别。
[0067]
进一步地，所述步骤(b)中，小波去噪算法对图像进行去噪处理的具体步骤如下：
[0068]
(a)对应尺度j，基于一个小波函数和分解处理，对含有噪声的图像信号进行小波
变
[0069]
换，获得不同尺度上的子图像；
[0070]
(b)在不同尺度上对细节的小波变换系数设定阈值，把噪声从信号中分离出来；
[0071]
(c)用重构算法实现图像的复原。
[0072]
进一步地，所述步骤(c)中，生产对抗网络的生成网络g的输入为随机噪声z和条件特征c，输出为生成图像，鉴别网络d的输入为生成图像和加入条件特征c的真实图像，鉴别网络d需要判断输入图像的真伪，输出一个二元概率分布，整个过程的损失函数可以表示为：
[0073][0074]
式(4)中，p
data
(x)表示真实图像的分布，pz(z)表示随机噪声z假样本的分布，具体训练过程为：
[0075]
在每一个epoch中：
[0076]
s`1,鉴别网络d先训练k次：从高斯分布pz中采样m个随机样本{z
(1)
,
…
,z
(m)
}，从真实图像分布p
data
随机抽取m个样本集{x
(1)
,
…
,x
(m)
}，{x
(1)
,
…
,x
(m)
}对应着m个标签{c
(1)
,
…
,c
(m)
}，这些作为鉴别网络d的输入，用梯度下降法使鉴别网络d的损失函数越小，在训练鉴别网络d的时候生产网络g中的所有参数固定，即不参加训练；
[0077]
s`2，再训练生产网络g1次：从高斯分布pz中采样m个随机样本{z
(1)
,
…
,z
(m)
}，将{x
(1)
,
…
,x
(m)
}对应的m个标签{c
(1)
,
…
,c
(m)
}都输入到生产网络g中，用梯度下降法使生产网络g的损失函数越小，在训练生产网络g的时候鉴别网络d中的所有参数也要固定住，即不参加训练；
[0078]
s`3,直到所有epoch执行完毕，训练结束，输出生成图像。
[0079]
本发明在实施过程中：首先，由技术娴熟的作业人员操纵无人机，对输变电设备进行一次精细巡检，作业人员只要一触发拍照指令，巡检软件就立刻记录当前巡检点位的飞行数据和图像数据，巡检过程中注意航行方向尽量不要与输电线路方向平行，防止电力杆塔出现叠加情况。
[0080]
接着完成图像采集工作之后，需要对采集回来的图像数据进行预处理，首先对图像进行基于gamma校正的非线性灰度变化以解决图像与拍摄光照条件的适应性问题，构造非线性变换：
[0081]
s＝cr
γ
(3)
[0082]
其中，r表示原始图像的灰度级，s表示变换后的灰度级，c和γ为正常数，γ＞1时，输入越亮输出值越加强，即图像变亮，γ＜1时，输入越亮输出值越减弱，即图像变暗；γ＝1时，表示为线性变换，图像亮度不变。γ的取值直接关系到图像变换的效果。因此，本专利提出根据图像的平均灰度值的大小来决定γ的取值：
[0083][0084]
式(2)中，图像的分辨率为m
×
n，f(i,j)为点(i,j)上的灰度值。通过实验可以得到与γ的对应关系，然后带入式(1)即完成了图像的灰度校正。同时，为了增强图像整体对
比度，本专利使用直方图均衡化方法，即调用直方图均衡化函数：
[0085][0086]
式(3)中，mn为图像像素总数，nk是灰度为rk的像素个数，l是图像可能的灰度级数量(例如对于8比特图像l＝256)，t(rk)为直方图均衡化函数。通过式(3)，输出图像中像素的灰度值可由输入图像中像素灰度rk映射为sk后得到。在完成上述光学校正之后，还需要对航拍图像进行去噪处理，本专利采用小波去噪算法，具体步骤如下：
[0087]
(1)确定一个小波函数和分解技术(对应尺度j)，对含有噪声的图像信号进行小波变换，获得不同尺度上的子图像；
[0088]
(2)在不同尺度上对细节的小波变换系数设定阈值，把噪声从信号中分离出来；
[0089]
(3)用重构算法实现图像的复原。
[0090]
然后在完成了图像的预处理之后，为了提高后续训练模型的泛化能力，需要扩充图像数据集，本专利采用基于生成对抗网络(gan)的数据增广技术，如下图所示，生成网络g的输入为随机噪声z和条件特征c，输出为生成图像，鉴别网络d的输入为生成图像和加入条件特征c的真实图像，鉴别网络需要判断输入图像的真伪，即输出一个二元概率分布。
[0091]
整个过程的损失函数可以表示为：
[0092][0093]
式(4)，p
data
(x)表示真实样本的分布，pz(z)表示随机噪声z假样本的分布，公式的第一项保证了鉴别器能够对真实训练图像做出正确判断，第二项是使生成的图像g(z)尽可能真实，使鉴别器无法将其与真实图像区分开来。
[0094]
具体训练过程为：
[0095]
在每一个epoch中：
[0096]
(1)先训练鉴别器k次：从高斯分布pz中采样m个随机样本{z
(1)
,
…
,z
(m)
}，从真实图像分布p
data
随机抽取m个样本集{x
(1)
,
…
,x
(m)
}，{x
(1)
,
…
,x
(m)
}对应着m个标签{c
(1)
,
…
,c
(m)
}，这些作为鉴别器的输入，用梯度下降法使鉴别器的损失函数越小越好，注意在训练鉴别器的时候生成器中的所有参数要固定住，即不参加训练；
[0097]
(2)再训练生成器1次：从高斯分布pz中采样m个随机样本{z
(1)
,
…
,z
(m)
}，还有将{x
(1)
,
…
,x
(m)
}对应的m个标签{c
(1)
,
…
,c
(m)
}都输入到生成器中，用梯度下降法使生成器的损失函数越小越好，注意在训练生成器的时候鉴别器中的所有参数也要固定住，即不参加训练；
[0098]
(3)直到所有epoch执行完毕，训练结束，输出生成样本。
[0099]
得到扩充后的输变电设备图像数据集之后，需要对图像数据集中所有输电线路四类缺陷区域(杆塔鸟巢、导线断股、导线散股、绝缘子自爆)的部分用矩形框进行标注，记录所有的缺陷坐标信息。最后，本专利采用基于faster r-cnn目标检测网络进行输变电设备缺陷图像的自动识别，faster r-cnn算法网络包含两个网络：区域候选网络rpn和fast r-cnn检测网络。faster r-cnn算法网络的训练和检测过程都是通过这两个网络进行的，具体训练过程可分为5个步骤：
[0100]
(1)输入经过预处理后的输电线路图像样本到cnn网络。输入到cnn网络的图像数
据进行一系列卷积运算，得到航拍图像特征图；
[0101]
(2)提取输入的输电线路航拍图像的多个候选区域。区域候选网络rpn使用3*3的卷积核(滑动窗口)对共享卷积层提供的特征图进行卷积运算，获得一个256维的特征向量，代表原始图像中相对应位置的特征。并且为每个滑动窗口考虑9种区域建议:以滑动窗口为中心，三种尺度和三种长宽比。这就意味着，滑动窗口的卷积可以有9个区域建议，使得区域建议更加精确，有利于后续的分类和目标框调整，接着通过2个全连接层分别得到区域建议和区域得分。因此，经过rpn网络在输电线路图像的特征图上生成可能包含输电线路四类缺陷的大量候选区域框，对候选区域框进行非最大值抑制(阈值为0.7)，保留得分最高的前300个框；
[0102]
(3)提取所述候选区域的特征。对步骤(2)得到的每个候选区域使用fastr-cnn网络进行特征提取，形成高维的特征向量；
[0103]
(4)使用分类器对所述特征进行分类。将步骤(3)中获得的特征量送入一个线性分类器计算这些特征属于输电线路四类缺陷中某个类别的概率，作为分类依据以确定所述特征是否符合一个类别；
[0104]
(5)对符合输电线路四类缺陷类别的特征对应的候选区域进行边框回归。由fastr-cnn检测网络计算类别得分，对输电线路四类缺陷目标外围框的大小和位置进行精细回归，预测出更合适的输电线路四类缺陷目标的外围框位置。
[0105]
综上，本专利完成了输变电设备缺陷图像的自动识别任务。
[0106]
实施例1
[0107]
一种输变电设备缺陷图像自动识别方法，包括以下步骤：
[0108]
(a)作业人员操控无人机，对输变电设备进行巡检，作业人员触发无人机拍照指令，巡检软件就立刻记录当前巡检点位的飞行数据和图像数据；
[0109]
(b)对采集的图像数据进行预处理，首先对图像进行基于gamma校正的非线性灰度变化以，构造非线性变换：
[0110]
s＝cr
γ
(5)；
[0111]
其中，r表示原始图像的灰度级，s表示变换后的灰度级，c和γ为正常数，γ＞1时，输入越亮输出值越加强，即图像变亮，γ＜1时，输入越亮输出值越减弱，即图像变暗；γ＝1时，表示为线性变换，图像亮度不变；因此，提出根据图像的平均灰度值的大小来决定γ的取值：
[0112][0113]
式(2)中，图像的分辨率为m
×
n，f(i,j)为点(i,j)上的灰度值；根据与γ的对应关系，带入式(1)即完成了图像的灰度校正；同时，为了增强图像整体对比度，使用直方图均衡化，即调用直方图均衡化函数：
[0114][0115]
式(3)中，mn为图像像素总数，nk是灰度为rk的像素个数，l是图像的灰度级数量，t(rk)为直方图均衡化函数；通过式(3)，输出图像中像素的灰度值可由输入图像中像素灰度rk
映射为sk后得到；
[0116]
最后，采用小波去噪算法对图像进行去噪处理；
[0117]
(c)通过生产对抗网络对预处理后的图像进行数据增广，扩充图像数据集；
[0118]
(d)得到扩充后的图像数据集之后，对图像数据集中所有输电线路的杆塔鸟巢缺陷区域、导线断股缺陷区域、导线散股缺陷区域、绝缘子自爆缺陷区域的部分用矩形框进行标注，记录所有的缺陷坐标信息；采用基于faster r-cnn目标检测网络进行输变电设备缺陷图像的自动识别，faster r-cnn目标检测网络包含两个网络：区域候选网络rpn和fastr-cnn检测网络；faster r-cnn目标检测网络的训练和检测过程通过区域候选网络rpn和fast r-cnn检测网络进行，具体训练过程可分为以下步骤：
[0119]
s1，输入经过预处理后的输电线路图像样本到cnn网络，输入到cnn网络的图像数据进行卷积运算，得到图像特征图；
[0120]
s2，提取输入的图像特征图的多个候选区域，区域候选网络rpn使用3*3的卷积核对共享卷积层提供的图像特征图进行卷积运算，获得一个256维的特征向量，代表原始图像中相对应位置的特征；并且为每个滑动窗口给出9种区域建议:以滑动窗口为中心，三种尺度和三种长宽比；继而滑动窗口的卷积有9个区域建议，使得区域建议更加精确，有利于后续的分类和目标框调整，接着通过2个全连接层分别得到区域建议和区域得分；因此，经过rpn网络在图像特征图上生成包含输电线路杆塔鸟巢缺陷区域、导线断股缺陷区域、导线散股缺陷区域、绝缘子自爆缺陷区域的大量候选区域框，对候选区域框进行非最大值抑制，保留得分最高的前300个框；
[0121]
s3，提取所述候选区域的特征，对s2得到的每个候选区域使用fast r-cnn网络进行特征提取，形成高维的特征向量；
[0122]
s4，使用分类器对所述特征进行分类，将s3中获得的特征量送入一个线性分类器计算这些特征属于输电线路四类缺陷中某个类别的概率，作为分类依据以确定所述特征是否符合一个类别；
[0123]
s5，对符合输电线路杆塔鸟巢缺陷区域、导线断股缺陷区域、导线散股缺陷区域、绝缘子自爆缺陷区域类别的特征对应的候选区域进行边框回归；由fast r-cnn检测网络计算类别得分，对输电线路杆塔鸟巢缺陷区域、导线断股缺陷区域、导线散股缺陷区域、绝缘子自爆缺陷区域目标外围框的大小和位置进行精细回归，预测出更合适的输电线路杆塔鸟巢缺陷区域、导线断股缺陷区域、导线散股缺陷区域、绝缘子自爆缺陷区域目标的外围框位置。
[0124]
(e)完成输变电设备缺陷图像的自动识别。
[0125]
实施例2
[0126]
在实施例1的基础上，所述步骤(b)中，小波去噪算法对图像进行去噪处理的具体步骤如下：
[0127]
(a)对应尺度j，基于一个小波函数和分解处理，对含有噪声的图像信号进行小波变换，获得不同尺度上的子图像；
[0128]
(b)在不同尺度上对细节的小波变换系数设定阈值，把噪声从信号中分离出来；
[0129]
(c)用重构算法实现图像的复原。
[0130]
实施例3
[0131]
在上述实施例的基础上，所述步骤(c)中，生产对抗网络的生成网络g的输入为随机噪声z和条件特征c，输出为生成图像，鉴别网络d的输入为生成图像和加入条件特征c的真实图像，鉴别网络d需要判断输入图像的真伪，输出一个二元概率分布，整个过程的损失函数可以表示为：
[0132][0133]
式(4)中，p
data
(x)表示真实图像的分布，pz(z)表示随机噪声z假样本的分布，
[0134]
具体训练过程为：
[0135]
在每一个epoch中：
[0136]
s`1,鉴别网络d先训练k次：从高斯分布pz中采样m个随机样本{z
(1)
,
…
,z
(m)
}，从真实图像分布p
data
随机抽取m个样本集{x
(1)
,
…
,x
(m)
}，{x
(1)
,
…
,x
(m)
}对应着m个标签{c
(1)
,
…
,c
(m)
}，这些作为鉴别网络d的输入，用梯度下降法使鉴别网络d的损失函数越小，在训练鉴别网络d的时候生产网络g中的所有参数固定，即不参加训练；
[0137]
s`2，再训练生产网络g1次：从高斯分布pz中采样m个随机样本{z
(1)
,
…
,z
(m)
}，将{x
(1)
,
…
,x
(m)
}对应的m个标签{c
(1)
,
…
,c
(m)
}都输入到生产网络g中，用梯度下降法使生产网络g的损失函数越小，在训练生产网络g的时候鉴别网络d中的所有参数也要固定住，即不参加训练；
[0138]
s`3,直到所有epoch执行完毕，训练结束，输出生成图像。
[0139]
如上所述即为本发明的实施例。前文所述为本发明的各个优选实施例，各个优选实施例中的优选实施方式如果不是明显自相矛盾或以某一优选实施方式为前提，各个优选实施方式都可以任意叠加组合使用，所述实施例以及实施例中的具体参数仅是为了清楚表述发明的验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同变化，同理均应包含在本发明的保护范围内。