一种基于超分预处理与改进YOLOv5x的输电线路故障检测方法

一种基于超分预处理与改进yolov5x的输电线路故障检测方法
技术领域
1.本发明涉及输电线路技术领域，尤其是基于超分预处理与改进yolov5x的输电线路绝缘子及其故障检测方法。


背景技术：

2.绝缘子是输配电线路中起到电气绝缘与机械支撑的重要元件，其长期暴露在户外恶劣环境条件下，面临温湿度、雷电、强电场、污秽以及自然灾害等各种挑战。当绝缘子内部存在杂质或者缺陷的时候，受到外界压力影响，内外受力不均衡，导致绝缘子环爆裂，即绝缘子自爆现象，此时绝缘子就会丧失原有的功能，使输配电线路功能受损，严重时，甚至会导致区域大面积停电，影响企业正常作业以及城乡居民正常生活。
3.超分辨率技术是指通过一定方法将原始的低分辨率图像提升为高分辨率图像，使原图获得更多的细节信息和更细腻的画质。超分辨率问题的解决涉及到许多图像处理、计算机视觉、优化理论等领域中的基本问题,例如图像配准、图像分割、图像压缩、图像特征提取、图像质量评价、机器学习、最优化算法等,超分辨率是这些基本问题的一个具体应用领域,同时也对它们的研究进展起到了推动的作用。因此超分辨率问题本身的研究具有重要的理论意义。目前超分辨率问题已经成为相关研究领域的热点之一。
4.目标检测的主要任务是从输入图像中定位感兴趣的目标，然后准确地判断每个感兴趣目标的类别并用矩形框进行标记。当前目标检测技术已经广泛应用于日常生活安全、机器人导航、智能视频监控、交通场景检测、输电线路场景检测及航天航空等领域，并取得了许多重要成就。同时，目标检测也面临着许多问题与挑战，如复杂环境下的目标识别、小目标识别、系统实时性和稳定性的严格要求、形态各异的外貌特征检测等。
5.排除复杂背景干扰方面，现存研究中的图像预处理方法虽然可以改善图像质量、提升检测精度，但往往会增加检测模型运算量，降低目标检测速度；小目标检测方面，目前的研究虽然取得了一定效果，但未能较好解决下采样过程中的小目标信息损失问题，在输电线路检测中往往会导致故障定位失败，造成电力安全隐患。


技术实现要素：

6.本发明所要解决的技术问题是提供一种适用于输电线路无人机电力巡检场景下的绝缘子及其故障目标的检测方法。本发明通过使用usrnet与改进yolov5x相结合方式，对输电线路绝缘子及其故障目标进行检测，不仅能够提高对于复杂环境目标与小目标的检测精度，同时具有较好的实时性。
7.为解决上述技术问题，本发明所采用的技术方案是：为解决上述技术问题，本发明所采用的技术方案是：一种基于超分预处理与改进yolov5x的输电线路故障检测方法，包括以下步骤：
8.一、获取输电线路巡检图像数据并进行扩充后，按照比例随机划分为训练集、验证
集以及测试集，并对训练集和验证集中的绝缘子及其故障目标进行标记；
9.二、对步骤一中得到的的标记框进行聚类，以生成适合检测绝缘子及其故障目标的锚框；
10.三、将测试集图像进行超分辨率重建；
11.四、对yolov5x模型部分结构进行修改，以增强模型检测小目标的能力，并调整边框损失函数；
12.五、对步骤四中的改进yolov5x模型进行训练，将步骤三获取的超分辨测试集图像输入训练好的改进yolov5x模型进行目标检测，识别出图像中的绝缘子及其故障目标并对结果进行评价。
13.优选的，所述对步骤一中真实输电线路图像数据集来源于某国网公司，其中包含正常绝缘子图像2000张，缺陷绝缘子图像400张。
14.由于缺陷绝缘子图像数量与正常绝缘子数量差距过大，正负样本不均衡会影响模型收敛速度以及最终识别精度，因此使用因此使用镜像、旋转方式对故障绝缘子图片进行样本扩充，最终得到1600张故障绝缘子图像，与正常绝缘子图像共3600张作为目标检测算法的训练与验证。
15.其中，旋转方式为顺时针旋转九十度与逆时针旋转九十度两种方式；训练集、验证集以及测试集的数量比例为8：1：1，划分方式为随机划分，划分完成后，使用labelimg工具对训练集以及测试集中的绝缘子及其故障目标进行矩形框标记。
16.优选的，所述对步骤一中聚类方法为k-means ，聚类中心数量为12；
17.通过k-means 聚类算法对步骤一中得到的目标标记框进行聚类，得到适用于输电线路绝缘子及其故障的锚框尺寸，具体步骤如下：
18.1)随机选择一个样本目标框作为初始的聚类中心，计算其余样本框与当前聚类中心的最小iou距离a(x)：
19.a(x)＝1-iou
(x,c)
20.其中，iou表示两矩形框之间的交并比，x为子目标标记样本框，c表示聚类的中心；
21.2)计算每个绝缘子样本框被选为下一个聚类中心的概率o(x)，并使用轮盘法选出下一个聚类中心。
[0022][0023]
其中，x为目标标记框总样本，
[0024]
3)重复步骤1)和2)，直至选出k个聚类中心；
[0025]
4)计算数据集中每个样本x到k个聚类中心的距离，并将该样本分到距离最小的聚类中心对应的类中，重新计算每个类别cl的聚类中心，重复更新分类和聚类中心直到锚框大小不变。
[0026][0027]
其中，l＝1，
…
，k，k为不同尺寸锚框的个数，其值由检测模型的锚框个数决定。由于本文的检测模型含有4张检测特征图，每张特征图对应三个锚框，因此取k＝12。
[0028]
优选的，所述步骤三中所用的超分辨率重建技术为usrnet；
[0029]
usrnet模型分为两部分，第一部分使用公式建模方法对超分辨率共性问题进行建模，第二部分则采用神经网络方式对已建模完毕的超分辨率共性问题进行迭代求解。
[0030]
公式建模具体步骤如下：
[0031]
在最大后验概率推断框架下，超分辨率类问题的优化目标可用公式描述如下：
[0032][0033]
其中，x为hr图像，y为lr图像，g为模糊核，s为双三次下采样倍数。即需要使hr图像在经过模糊核g模糊处理以及s倍的双三次下采样后，与对应的原lr图像之间的误差最小。在考虑了一项额外的先验知识噪声强度之后，得到：
[0034][0035]
其中，第一项为数据项,第二项为先验项，φ(x)为噪声强度，λ为控制噪声强度的超参，σ为噪声等级。为了使误差e(x)最小，usrnet使用半二次拆分算法引入辅助变量z，将其等价为：
[0036][0037]
其中μ为控制x和z差距的惩罚参数。为了使模型匹配任意噪声和下采样，将数据项和先验项进行解耦：
[0038][0039][0040]
至此，可以通过迭代求解x，z优化目标，而求解过程则需要用到神经网络的思想。
[0041]
如图2中的神经网络结构主要分为module d、module p、module h三部分，模块d、p使用模块h生成的超参数以及其他相关参数通过迭代计算优化z、k，以清晰化hr图像。
[0042]
第一部分数据模块(data module d)用于求解zk，其使用pytorch实现快速傅里叶变换与其复共轭变换，引入超参数αk最小化zk：
[0043][0044]
其中，
[0045]
αk＝μkσ2[0046]
该求解过程可简写为：
[0047]
zk＝d(x
k-1
,s,g,y,αk)
[0048]
其中，x0由y通过最邻近插值得到。
[0049]
第二部分先验模块(prior module p)使用添加了残差项的u-net对原图降噪来求解式xk，噪声等级为：
[0050][0051]
该降噪过程可简写为：
[0052]
xk＝p(zk,βk)
[0053]
第三部分超参模块(hyper-parameter module h)用于计算每一次迭代时所需要
的αk，βk：
[0054]
[α,β]＝h(σ,s)
[0055]
该模块由三层全连接层构成，每一层的隐藏节点数为64，前两层的激活函数为relu，最后一层为softplus。
[0056]
整体模型端到端训练所采用的损失函数为l1_loss。
[0057]
优选的，所述neck结构修改具体为：
[0058]
在80
×
80特征层之后继续增加卷积层和上采样，再将2倍上采样特征层与160
×
160特征层进行融合，得到大小为160
×
160的检测特征图用以检测小目标。
[0059]
优选的，所述步骤四中边框损失函数由ciou_loss调整为eiou_loss。
[0060]
yolov5x的损失函数由三部分组成，分别为类别损失函数beclogits、置信度损失函数bceclsloss以及边框损失函数ciou_loss：
[0061][0062]
其中iou表示真实框与预测框之间的交并比，ν为两框长宽比的距离：
[0063][0064]
θ为一个权重系数：
[0065][0066]
ciou_loss考虑了边界框回归的重叠面积、中心点距离和纵横比，但忽略了宽高分别与其置信度的真实差异，阻碍了模型优化的有效性。
[0067]
为弥补由于结构增加造成的模型训练收敛减慢问题，以及提高模型整体性能，使用eiou_loss替换为新的边框损失函数，eiou_loss的惩罚项包含重叠损失，中心距离损失，宽高损失三个部分，公式如下：
[0068][0069]
前两者延续了ciou_loss中的方法，宽高损失为了让收敛速度更快，直接将优化目标设置为真实框与预测框的宽高最小差。其中c
ω
和ch是覆盖真实框与预测框的最小外接框的宽度和高度。
[0070]
优选的，所述步骤五中模型训练与评价指标具体为：
[0071]
模型训练时，图像输入尺度为640
×
640，批训练数据量为64，训练动量为0.8，初始学习率设为0.001，权重衰减为0.0005，训练过程持续了300个批次，采用随机梯度下降作为优化函数对模型进行训练。
[0072]
主要通过准确率(precision，p)、召回率(recall，r)、均值平均精度(mean averge precision，map)以及每秒处理帧数(frames per second，fps)等指标，验证目标检测性能。
[0073]
均值平均精度map通过平均精度(averge precision，ap)得到，公式如下：
[0074]
[0075][0076][0077][0078]
其中，tp(true positive)为准确识别的正样本个数、fp(false positive)为准确识别的负样本个数、fn(false negtive)为未识别的正样本个数，准确率p为在预测中为正样本时实际为正样本的概率，召回率r表示在实际为正样本时预测为正样本的概率，h表示模型所设置的类别数量，本文中h＝2，对应绝缘子、绝缘子故障部位。
[0079]
与现有技术相比，本发明的有益效果包括：
[0080]
本发明提供的一种基于超分预处理与改进yolov5x的输电线路故障检测方法，能够较为精准的在输电线路图像中检测出绝缘子及其故障目标，且对于复杂环境目标、小目标的识别效果均有所提升，同时具有较好的实时性。相比于原始边框损失函数ciou_loss，本文所采用的eiou_loss能够加快检测模型收敛速度，且能在一定程度上提高模型性能，减小预测框与真实框之间的差异；在原有检测模型基础上，针对输电线路故障小目标添加的检测头包含一张更大的检测特征图，能够充分利用浅层特征图中的小目标信息，提高小目标检测精度；采用usrnet对质量不高、背景复杂的输电线路图像进行超分重建，能够有效增强待检测目标的轮廓特征以将其区分于复杂背景，使其更容易被检测模型检测。
附图说明
[0081]
下面结合附图和实施例对本发明作进一步说明：
[0082]
下面结合附图与实施例对本发明作进一步说明：
[0083]
图1为本发明用于输电线路绝缘子故障及其目标检测的方法示意图；
[0084]
图2为本发明实施例中应用的图像超分重建技术usrnet结构图；
[0085]
图3为本发明实施例中应用的改进yolov5x算法结构图；
[0086]
图4a为本发明具体实施例1中不同模型损失值曲线对比；
[0087]
图4b为本发明具体实施例1中不同模型均值平均精度曲线对比；
[0088]
图5a为本发明具体实施例2中实验方法1检测结果；
[0089]
图5b为本发明具体实施例2中实验方法2检测结果；
[0090]
图5c为本发明具体实施例2中实验方法3检测结果；
[0091]
图5d为本发明具体实施例2中本文方法检测结果。
具体实施方式
[0092]
本发明方法如图1所示，本发明对输电线路图像数据集库的构建及标注、预处理和目标检测与识别进行详细阐述，包括以下步骤：
[0093]
一、获取输电线路巡检图像数据并进行扩充后，按照比例随机划分为训练集、验证集以及测试集，并对训练集和验证集中的绝缘子及其故障目标进行标记；
[0094]
二、对步骤一中得到的的标记框进行聚类，以生成适合检测绝缘子及其故障目标的锚框；
[0095]
三、将测试集图像进行超分辨率重建；
[0096]
四、对yolov5x模型部分结构进行修改，以增强模型检测小目标的能力，并调整边框损失函数；
[0097]
五、对步骤四中的改进yolov5x模型进行训练，将步骤三获取的超分辨测试集图像输入训练好的改进yolov5x模型进行目标检测，识别出图像中的绝缘子及其故障目标；
[0098]
优选的，真实输电线路图像数据集来源于某国网公司，其中包含正常绝缘子图像2000张，缺陷绝缘子图像400张。
[0099]
由于缺陷绝缘子图像数量与正常绝缘子数量差距过大，正负样本不均衡会影响模型收敛速度以及最终识别精度，因此使用因此使用镜像、旋转方式对故障绝缘子图片进行样本扩充，最终得到1600张故障绝缘子图像，与正常绝缘子图像共3600张作为目标检测算法的训练与验证。
[0100]
其中，旋转方式为顺时针旋转九十度与逆时针旋转九十度两种方式；训练集、验证集以及测试集的数量比例为8：1：1，划分方式为随机划分，划分完成后，使用labelimg工具对训练集以及测试集中的绝缘子及其故障目标进行矩形框标记。
[0101]
优选的，通过k-means 聚类算法对步骤一中得到的目标标记框进行聚类，得到适用于输电线路绝缘子及其故障目标的锚框尺寸，具体步骤如下：
[0102]
1)随机选择一个样本目标框作为初始的聚类中心，计算其余样本框与当前聚类中心的最小iou距离a(x)：
[0103]
a(x)＝1-iou
(x,c)
[0104]
其中，iou表示两矩形框之间的交并比，x为子目标标记样本框，c表示聚类的中心；
[0105]
2)计算每个绝缘子样本框被选为下一个聚类中心的概率o(x)，并使用轮盘法选出下一个聚类中心。
[0106][0107]
其中，x为目标标记框总样本，
[0108]
3)重复步骤1)和2)，直至选出k个聚类中心；
[0109]
4)计算数据集中每个样本x到k个聚类中心的距离，并将该样本分到距离最小的聚类中心对应的类中，重新计算每个类别cl的聚类中心，重复更新分类和聚类中心直到锚框大小不变。
[0110][0111]
其中，l＝1，
…
，k，k为不同尺寸锚框的个数，其值由检测模型的锚框个数决定。由于本文的检测模型含有4张检测特征图，每张特征图对应三个锚框，因此取k＝12。
[0112]
如表1所示为根据目标标记框聚类所得的锚框尺寸：
[0113]
表1优化后的锚框
[0114]
[0115][0116]
经锚框优化后，4个检测头的模型对应表1所有特征图及锚框；3个检测头的模型对应表1中80
×
80、40
×
40、20
×
20特征图及相应锚框。
[0117]
优选的，使用usrnet对步骤一中得到的测试集进行超分辨率重建。usrnet模型分为两部分，第一部分使用公式建模方法对超分辨率共性问题进行建模，第二部分则采用神经网络方式对已建模完毕的超分辨率共性问题进行迭代求解。
[0118]
公式建模具体步骤如下：
[0119]
在最大后验概率推断框架下，超分辨率类问题的优化目标可用公式描述如下：
[0120][0121]
其中，x为hr图像，y为lr图像，g为模糊核，s为双三次下采样倍数。即需要使hr图像在经过模糊核g模糊处理以及s倍的双三次下采样后，与对应的原lr图像之间的误差最小。在考虑了一项额外的先验知识噪声强度之后，得到：
[0122][0123]
其中，第一项为数据项,第二项为先验项，φ(x)为噪声强度，λ为控制噪声强度的超参，σ为噪声等级。为了使误差e(x)最小，usrnet使用半二次拆分算法引入辅助变量z，将其等价为：
[0124][0125]
其中μ为控制x和z差距的惩罚参数。为了使模型匹配任意噪声和下采样，将数据项和先验项进行解耦：
[0126][0127][0128]
至此，可以通过迭代求解x，z优化目标，而求解过程则需要用到神经网络的思想。
[0129]
如图2中的神经网络结构主要分为module d、module p、module h三部分，模块d、p使用模块h生成的超参数以及其他相关参数通过迭代计算优化z、k，以清晰化hr图像。
[0130]
第一部分数据模块(data module d)用于求解zk，其使用pytorch实现快速傅里叶变换与其复共轭变换，引入超参数αk最小化zk：
[0131][0132]
其中，
[0133]
αk＝μkσ2[0134]
该求解过程可简写为：
[0135]
zk＝d(x
k-1
,s,g,y,αk)
[0136]
其中，x0由y通过最邻近插值得到。
[0137]
第二部分先验模块(prior module p)使用添加了残差项的u-net对原图降噪来求解式xk，噪声等级为：
[0138][0139]
该降噪过程可简写为：
[0140]
xk＝p(zk,βk)
[0141]
第三部分超参模块(hyper-parameter module h)用于计算每一次迭代时所需要的αk，βk：
[0142]
[α,β]＝h(σ,s)
[0143]
该模块由三层全连接层构成，每一层的隐藏节点数为64，前两层的激活函数为relu，最后一层为softplus。
[0144]
整体模型端到端训练所采用的损失函数为l1_loss。
[0145]
优选的，为增强yolov5x对小目标的敏感度，对yolov5x模型的neck部分结构进行更改，以添加一个检测小目标的检测头以及对应的三个尺寸锚框，如图2所示为改进后的yolov5x结构图，具体如下：
[0146]
本发明的改进将红框内的卷积核通道数由原本的256变为了512，接着将红框内的concat层通道数由原本的512变为了1024，使得原本此处的输出特征图由512*80*80变为了1024*80*80；然后，依次增添了bottleneck-csp层、卷积层使得输出结果可以通过上采样层变为256*160*160；最终，得到尺寸为160
×
160的待检测特征图，与表1中的anchor相对应以检测更小的绝缘子目标。
[0147]
优选的，对原yolov5x的边框损失函数进行替换。
[0148]
如图1所示，yolov5x的损失函数由三部分组成，分别为类别损失函数beclogits、置信度损失函数bceclsloss以及边框损失函数ciou_loss：
[0149][0150]
其中iou表示真实框与预测框之间的交并比，ν为两框长宽比的距离：
[0151][0152]
θ为一个权重系数：
[0153][0154]
ciou_loss考虑了边界框回归的重叠面积、中心点距离和纵横比，但忽略了宽高分别与其置信度的真实差异，阻碍了模型优化的有效性。
[0155]
为弥补由于结构增加造成的模型训练收敛减慢问题，以及提高模型整体性能，使用eiou_loss替换为新的边框损失函数，eiou_loss的惩罚项包含重叠损失，中心距离损失，宽高损失三个部分，公式如下：
[0156]
[0157]
前两者延续了ciou_loss中的方法，宽高损失为了让收敛速度更快，直接将优化目标设置为真实框与预测框的宽高最小差。其中
cω
和ch是覆盖真实框与预测框的最小外接框的宽度和高度。
[0158]
优选的，所述步骤五中模型训练与评价指标具体为：
[0159]
模型训练时，图像输入尺度为640
×
640，批训练数据量为64，训练动量为0.8，初始学习率设为0.001，权重衰减为0.0005，训练过程持续了300个批次，采用随机梯度下降作为优化函数对模型进行训练。
[0160]
主要通过准确率(precision，p)、召回率(recall，r)、均值平均精度(mean averge precision，map)以及每秒处理帧数(frames per second，fps)等指标，验证目标检测性能。
[0161]
均值平均精度map通过平均精度(averge precision，ap)得到，公式如下：
[0162][0163][0164][0165][0166]
其中，tp(true positive)为准确识别的正样本个数、fp(false positive)为准确识别的负样本个数、fn(false negtive)为未识别的正样本个数，准确率p为在预测中为正样本时实际为正样本的概率，召回率r表示在实际为正样本时预测为正样本的概率，h表示模型所设置的类别数量，本文中h＝2，对应绝缘子、绝缘子故障部位。
[0167]
具体实施例1
[0168]
本具体实施例总共训练3个模型，分别为模型a、模型b、本文模型，具体如表2所示：
[0169]
表2各模型参数设置
[0170][0171]
其中，模型a为原始yolov5x模型，表2所有模型使用的测试集均经过超分处理。各模型的损失值曲线如图4(a)所示，在迭代250次后基本稳定在1％左右，训练结果均可收敛。横坐标为训练次数，纵坐标为训练中的loss值。
[0172]
与模型a相比，虽然模型b因eiou_loss将宽高损失拆开单独计算导致损失值初值增大，但是在迭代25次左右模型b表现出优于模型a的下降速率与收敛能力；验证了eiou_loss有利于加快检测模型损失下降速度，缩短其收敛时间。
[0173]
本文模型由于增加了网络结构收敛速度稍慢于模型b，在经迭代70次后，其损失值为2.12％明显低于模型a、b的值，这是因为本文模型添加的小目标检测头，对于小目标检测精度的提升作用。本文模型最终收敛稳定在0.72％，损失值终值显著降低，证明了损失函数调整与检测头增加结合改进的模型可以实现较好的训练、检测效果。
[0174]
如表3所示为各模型在超分辨测试集中的检测结果。
[0175]
表3不同模型的评价指标对比
[0176][0177]
如表3所示，输电线路故障的检测中本文模型具有最高检测精度，其准确率为95.4％、召回率为97.2％、map可达到98.8％，能够较准确的检测故障目标。与模型b相比，增加检测头的模型结构改进较明显的提高了检测精度，但其牺牲了部分推理速度，导致模型每秒检测图像数减少。不同模型均值平均精度在交并比为0.5时的对比曲线如图4(b)所示。可以看出，在训练过程中随着迭代次数的增加，3种模型的map值分别迭代70次、30次、45次后上升到80％左右，并最终上升到98％左右，经过损失函数调整的模型b与本文模型的收敛能力得到了显著提升。
[0178]
具体实施例2
[0179]
本具体实施例设计4组不同的绝缘子及其故障检测实验进行对比分析。采用不同测试集与不同模型的组合设置4组实验方法，进行复杂背景目标、小目标的结果对比分析，设置的实验方法参数选择如表4所示。
[0180]
4各实验方法参数设置
[0181][0182]
4种实验方法的评价指标如表5所示，实验方法1、2与实验方法3、本文方法分别对比可知，图像经过超分辨重建处理后，各项检测结果评价指标都得到提升；分别在原始、超分测试集下进行检测的结果表明，采用本文改进模型的实验方法在各个评价指标上均有更好效果。本文方法实现故障检测准确率为95.4％，map值为98.8％，均高于其他3种方法，对提升输电线路故障检测性能具有明显优势。
[0183]
表5不同绝缘子及其故障检测方法对比结果
[0184][0185]
4种实验方法的检测结果如图5所示。图5(a)中的漏检目标分别对应图1中的a、b故障小目标，c模糊目标，d被遮挡目标，且目标b所在绝缘子的检测框未能较好将其覆盖。
[0186]
使用本文改进模型后的实验方法2，如图5(b)故障小目标a被检测出，且由于替换了损失函数，目标b虽然漏检，但其所在绝缘子的检测框较实验方法1更接近真实框。因此，添加小目标检测头可有效的提高模型检测小目标精度，但目标b、c、d未被检测出，说明复杂背景仍然对检测有所干扰。
[0187]
使用超分测试集的实验方法3，如图5(b)模糊目标c与被遮挡目标d均被检测出，然而小目标故障a、b仍然被漏检。证明图像超分处理后可有效的排除复杂背景干扰，但无法较好的提高小目标检测效果。
[0188]
同时使用改进模型与超分数据集的本文方法，如图5(d)目标a、b、c和d均被检测出。因此，在原始模型上添加小目标检测头，提高了小目标检测精度；同时使用usrnet对图像进行质量提升，有效排除了复杂背景干扰，提升了复杂背景下目标检测精度。
[0189]
上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。