一种基于改进YOLOv5的输电线路零部件识别方法

一种基于改进yolov5的输电线路零部件识别方法
技术领域
1.本发明属于图像处理技术领域，具体涉及一种基于改进yolov5的输电线路零部件识别方法。


背景技术：

2.随着我国经济的飞速增长，人们对用电的需求也在不断提升。据国家能源局统计，2021年我国发电总量为81122亿千瓦时，同比增涨6.41％；全社会用电量83128亿千瓦时，同比增长10.3％。随着用电需求的增加，对电网高质量供电提出更高的要求。输电线路作为电能远距离传输的载体，是“发、输、变、配、用”五大环节中不可缺少的一环，因此确保输电线路安全稳定运行至关重要。
3.输电线主要是由绝缘子、防震锤、间隔棒、杆塔、导线、避雷线、其他金具等部件构成。其中绝缘子起支撑导线和防止电流回地的作用；防震锤主要起到减少输电线路震动的作用；间隔棒起防止导线之间鞭击，以及防震的作用；杆塔主要起支撑导线、地线的作用；导线起传输电能的作用。由于输电线路长期直接暴露在自然环境下，不仅收到电力负荷的内部因素影响，还会受到狂风、暴雨、大雪、雷击以及鸟害等自然因素影响，容易造成输电线路上的零部件故障，导致线路供电中断，甚至引发大面积停电。因此，对输电线路进行巡检必不可少。
4.传统的输电线路巡检方式是人工巡检，巡线人员通常佩戴繁琐的爬塔安全防护装备，蹬上杆塔后对输电线设备进行检查，或者利用望远镜、测量仪等观测设备在地面沿着输电线路进行检查。这种巡检方式一方面受地理位置约束而且危险系数很高，另一方面巡检质量难以得到保证，巡检效率过低。随着无人机技术的发展，利用无人机对输电线路进行巡检逐渐成为新的巡检方式。通过定位技术让无人机到达目标位置，利用无人机搭载的摄像头对输电线路采集视频或者图片数据，然后把这些数据传递回地面工作站，工作人员在地面对接受到的数据进行处理，得到输电线路的状态信息。与传统人工巡检方式相比，无人机巡检不受地理环境约束、安全系数高、巡检效率高、节约了大量的人力成本。
5.虽然无人机巡检拥有许多优势，但也存在新的问题。由于无人机拍摄到的图片仍需要人工进行检查，而航拍图像往往背景比较复杂，而且零部件尺度大小不一，存在严重的遮挡情况，工作人员在检查时容易产生视觉疲劳，出现漏检、误检的情况，降低了效率。因此，迫切需要一种图像识别方法自动对图片进行检测。随着图像处理技术的发展，深度学习在目标检测领域取得了不错的进展，目前经典的目标检测算法主要分为单阶段和双阶段两类，单阶段的包括yolo,sdd,retina-net等，双阶段的包括r-cnn,fast r-cnn，mask r-cnn等。其中yolo算法运行速度最快，准确度也较高，比较适合输电线路的零部件检测，但是由于输电线路的航拍图像背景复杂、遮挡严重、零部件较小等问题，识别效果并不太好，仍需进一步研究。


技术实现要素：

6.本发明所要解决的技术问题是针对上述背景技术的不足，提供了一种基于改进yolov5的输电线路零部件识别方法，可以对一幅图像中的多种零部件进行识别与定位，包括绝缘子、防震锤、均压环、屏蔽环、间隔棒、重锤、调整板、警示牌、悬垂线夹等，在目标较小、背景复杂以及存在遮挡的情况下有较好检测效果。
7.本发明为实现上述发明目的采用如下技术方案：
8.一种基于改进yolov5的输电线路零部件识别方法，包括以下步骤：
9.步骤一、收集输电线路航拍图像，并对其进行数据增强。
10.步骤二、构造改进后的yolov5网络，包括以下内容：首先对网络结构进行改进，增加更小尺度检测层，并在pan层添加跳跃连接；然后提出pcsa(position and channel self-attenion)注意力机制，构建pcsa block替换部分c3模块；提出l
sciou
(small object enhanced ciou loss)，作为bounding box的损失函数。
11.步骤三、将步骤一得到的数据集按8：2的比例划分为训练集和测试集。将训练集放入改进后的yolov5网络进行训练，取其训练结果最好的权重best.pt作为最终权重。
12.步骤四、将步骤三得到的权重载入网络，用测试集图片进行测试，用精确度、召回率和平均精确率均值评价最终测试结果。
13.优选地，步骤一具体如下：
14.步骤1.1、首先将图片调整到统一大小；然后裁剪出数量较少的零部件图片，其余部分用黑色背景填充，通过平移生成不同的新图片，增加数量较少的零部件图片；最后对全部图像进行翻转、旋转，并且通过调整亮度、通道变换等方法模拟不同光照条件下的情况。
15.步骤1.2、利用labelimg软件对图片进行手动标注，用矩形框标注出物体的位置并记录类别信息，生成一一对应的xml格式文件。xml格式文件记录了图片的大小、名称，物体的位置信息、类别信息等。
16.优选地，步骤2具体如下：
17.步骤2.1、网络结构改进具体为：从fpn结构的第二个concat模块引出一个分支，通过c3、conv、上采样模块与backbone的第一个c3模块的输出进行堆叠，其结果经过一个c3模块后一路送往检测头，另一路经过conv、concat模块接入pan结构。
18.将backbone的第2个c3的输出通过1*1的卷积模块降低一半通道数，与pan结构中对应大小的concat模块进行堆叠。第3个c3模块以同样的方式与pan结构的concat模块进行堆叠。
19.步骤2.2.1、构造pcsa注意力机制，包括位置注意力机制和通道注意力机制，位置注意力机制具体如下：对于输入特征图，经过3个不同的1*1卷积生成不同的特征图，对应query、key、value。然后对query和key进行通道维度上的平均池化，然后将query进行转置与key进行矩阵乘法再经过softmax得到位置权重，将value与转置的位置权重做矩阵乘法得到加权后的特征图1。
20.通道注意力机制具体如下：对query和key进行空间维度上的平均池化，然后将query与转置的key进行矩阵乘法再经过softmax得到通道权重，将权重与value进行矩阵乘法得到加权后的特征图2。最后将特征图1和特征图2乘上不同的可训练权重与原特征图相加得到输出。
21.公式为：
[0022][0023]
其中，为可训练权重，avgc为通道维度上平均池化，avgs为平面维度上平均池化，t为转置，q、k、v分别代表着输入x经过3个1*1卷积生成的特征图。
[0024]
步骤2.2.2、构造pcsa block模块，结构为输入经过1*1卷积模块和psca模块后与输入经过另一个1*1卷积模块进行堆叠，再通过一个1*1卷积模块得到输出。其中前两个1*1卷积模块输出的通道数为输入的一半，最后一个1*1卷积模块输出通道数等于输入。公式为：out＝conv(concat(pcsa(conv(x)),conv(x)))
[0025]
用pcsa block模块替换backbone的最后一个c3模块以及pan层的最后一个c3模块。
[0026]
步骤2.3、改进损失函数，l
sciou
公式为：
[0027][0028][0029][0030]
其中，λ为可调参数，iou为交并比，w
gt
、h
gt
分别为真实框的宽、高，w、h分别为预测框的宽、高，ρ(b,b
gt
)为两框中心点坐标的欧式距离，c为两框最小外接矩形的对角线长度。当λ(1-iou)一定时，w
gthgt
减小，l
sciou
增加，并且w
gthgt
越小增加越明显，而w
gthgt
很大时，l
sciou
近似等于l
ciou
；当w
gthgt
一定时，iou减小，l
sciou
比l
ciou
增加更多。
[0031]
优选地，步骤3具体如下：
[0032]
步骤3.1、将步骤一得到的图片和xml文件按8：2的比例划分训练集、测试集。
[0033]
步骤3.2、设置训练参数为：批次大小为48，训练轮次为250次，图像大小为640*640，初始学习率为0.01，最终学习率为0.2，优化函数为sgd，冲量为0.937，权重衰减系数为0.0005，l
sciou
的λ为20。
[0034]
步骤3.3、将训练集图片送入改进后的yolov5网络进行训练，通过多次训练使损失函数尽可能降低，在损失函数收敛后或者到达最大训练轮次后停止训练，保存此次训练的最佳网络权重best.pt。
[0035]
优选地，步骤4具体如下：
[0036]
步骤4.1、将步骤三训练得到的网络权重载入网络，用测试集对其进行测试训练效果，用精确度(precision)、召回率(recall)和平均精确率均值(map)等指标对网络性能进行评价。
[0037]
步骤4.2、训练后的模型能够自动识别出输电线路图片中零部件的类别及位置，并用矩形框在图中标注出来。
[0038]
与现有技术相比，本发明具有以下有益效果：
[0039]
1、本发明通过对图片数据增强，补充了小样本图片数量，平衡了样本类别，通过调整亮度模拟了不同光照的情况，增强了网络的泛化性。
[0040]
2、本发明通过1*1的卷积模块构建backbone和pan结构的跳跃连接，在增加很少计算量的情况下实现了多路径特征融合，而且弥补了在下采样过程中特征的丢失情况；增加更小尺度检测层，虽然增加了计算量，但是可以有效提高小目标的识别率；无人机航拍过程中，由于拍摄角度和距离的影响，往往会存在很多小目标，提升网络的小目标检测能力能够有效避免漏检的情况。
[0041]
3、本发明使用pcsa注意力机制，通过空间和通道不同维度的池化，减少了计算量，通过融合位置和通道的特征关联，建立全局依赖关系，让网络忽略无关信息而关注重点信息；输电线路航拍图像往往背景比较复杂，而且零部件之间存在遮挡，通过注意力机制增强目标的显著度，让网络更关注重点部分。
[0042]
4、本发明使用l
sciou
损失函数，由于输电线零部件大小不一，而比较大的目标往往比较容易识别，因此通过提升小目标、难识别目标的损失，来调整不同大小的目标识别的损失，提升小目标、难识别目标的识别效果。
附图说明
[0043]
下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其有益效果显而易见。
[0044]
图1是本发明的整体流程图；
[0045]
图2是本发明改进后的yolov5总结构图；
[0046]
图3是本发明构建的pcsa block模块结构图；
[0047]
图4是本发明改进后的yolov5的训练过程示意图；
[0048]
图5是本发明改进前后的评价指标对比图；
[0049]
图6是本发明利用训练好的yolov5测试实际效果图。
具体实施方式
[0050]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0051]
如图1所示，一种基于改进yolov5的输电线路零部件识别方法，包括以下步骤：
[0052]
步骤1、收集输电线路航拍图像，并对其进行数据增强。
[0053]
步骤1.1，收集输电线路航拍图片，图片由中国电力线绝缘子公开数据集(cplid)和github上收集的其他图片构成，共计1622张；包括城市、农村、田野、湖泊、平原多种场景，涉及绝缘子、防震锤、均压环、屏蔽环、间隔棒、重锤、调整板、标志牌、悬垂线夹等零部件以及鸟巢。
[0054]
步骤1.2、数据集中屏蔽环、重锤的比例较少，通过裁剪得到包含屏蔽环、重锤的小块图片，其余部分用黑色背景填充，通过平移生成不同的新图片；最后对全部图像进行随机翻转、随机旋转，并且通过调整亮度、通道变换等方法模拟不同光照条件下的情况，最终扩充完的数据集为3376张。
[0055]
步骤1.3、利用labelimg软件对图片进行手动标注，用矩形框标注出物体的位置并
记录类别信息，生成一一对应的xml格式文件，xml格式文件记录了图片的大小、名称，物体的位置信息、类别信息等。
[0056]
步骤2、构造改进后的yolov5网络，改进后的网络结构如图2所示。
[0057]
步骤2.1、网络结构改进具体为：从fpn结构的第二个concat模块引出一个分支，通过c3、conv、上采样模块与backbone的第一个c3模块的输出进行堆叠，其结果经过一个c3模块后一路送往检测头，另一路经过conv、concat模块接入pan结构。
[0058]
将backbone的第2个c3的输出(大小[1,128,80,80])通过1*1的卷积模块降低一半通道数(大小[1,64,80,80])，与pan结构中对应大小的concat模块进行堆叠，第3个c3模块以同样的方式与pan结构的concat模块进行堆叠。
[0059]
步骤2.2、构造pcsa注意力机制，具体结构如图3所示，包括位置注意力机制和通道注意力机制，位置注意力机制具体如下：对于输入特征图，经过3个不同的1*1卷积生成不同的特征图，对应query、key、value。然后对query和key进行通道上的平均池化，然后将query进行转置与key进行矩阵乘法再经过softmax得到位置权重，将value与转置的位置权重做矩阵乘法得到加权后的特征图1。通道注意力机制具体如下：对query和key进行进行空间上的平均池化，然后将query与转置的key进行矩阵乘法再经过softmax得到通道权重，将权重与value进行矩阵乘法得到加权后的特征图2。最后将特征图1和特征图2乘上不同的系数与原特征图相加得到输出。
[0060]
公式为：
[0061][0062]
其中，为权重，avgc为通道维度上平均池化，avgs为平面维度上平均池化，t为转置，q、k、v分别代表着输入x经过3个1*1卷积生成的特征图。
[0063]
步骤2.3、构造pcsablock模块，结构为输入经过1*1卷积模块和psca模块后与输入经过另一个1*1卷积模块进行堆叠，再通过一个1*1卷积模块得到输出；其中前两个1*1卷积模块输出的通道数为输入的一半，最后一个1*1卷积模块输出通道数等于输入。公式为：out＝conv(concat(pcsa(conv(x)),conv(x)))
[0064]
用pcsablock模块替换backbone的最后一个c3模块以及pan层的最后一个c3模块。
[0065]
步骤2.4、改进损失函数，l
sciou
公式为：
[0066][0067][0068][0069]
其中，λ为可调参数，iou为交并比，w
gt
、h
gt
分别为真实框的宽、高，w、h分别为预测框的宽、高，ρ(b,b
gt
)为两框中心点坐标的欧式距离，c为两框最小外接矩形的对角线长度。当λ(1-iou)一定时，w
gthgt
减小，l
sciou
增加，并且w
gthgt
越小增加越明显，而w
gthgt
很大时，l
sciou
近似等于l
ciou
；当w
gthgt
一定时，iou减小，l
sciou
比l
ciou
增加更多。
[0070]
步骤3、训练改进后的yolov5网络；
[0071]
步骤3.1、将步骤1得到的图片和xml文件按8：2的比例划分训练集、测试集。
[0072]
步骤3.2、设置训练参数为：批次大小为48，训练轮次为250次，图像大小为640*640，初始学习率为0.01，最终学习率为0.2，优化函数为sgd，冲量为0.937，权重衰减系数为0.0005，l
sciou
的λ为20。
[0073]
步骤3.3、将训练集图片送入改进后的yolov5网络进行训练，训练过程如图4所示，通过多次训练使损失函数尽可能降低，在损失函数收敛后或者到达最大训练轮次后停止训练，保存此次训练的最佳网络权重best.pt。
[0074]
步骤4具体如下：
[0075]
步骤4.1、将步骤3训练得到的网络权重载入网络，用测试集对其进行测试训练效果，用精确度(precision)、召回率(recall)和平均精确率均值(map)等指标对网络性能进行评价。
[0076]
改进前后评价指标结果如图5所示，表中class名称分别代表：绝缘子(insulator)，防震锤(damper)，鸟巢(nest)，db调整板(db)，间隔棒(spacer)，屏蔽环(ring)，均压环(ring1)，重锤(hammer)，警示牌(sign)，悬垂线夹(clamp)。改进前yolov5网络的map值为0.899，改进后的为0.937，提升了4.2％。可以看到，改进后的每个种类ap值都比改进前有不同程度的提升。其中，db调整板和悬垂线夹都属于较小的目标，db调整板由0.889提升到了0.95，提升了6.9％；悬垂线夹由0.839提升到了0.928，提升了10.6％。通过指标可以验证改进后的yolov5网络对目标较小、复杂背景、遮挡情况下的输电线路零部件识别有较好效果。
[0077]
为了进一步验证改进方法的有效性，对其进行消融实验，结果如表1所示：
[0078]
表1消融实验
[0079][0080]
步骤4.2、如图6所示，训练后的模型能够自动识别出输电线路图片中零部件的类别及位置，并用矩形框在图中标注出来。
[0081]
以上所述仅为本发明的示例性实施例，并非因此限制本发明专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。