基于深度学习的架空线路工程质量通病检测方法及系统与流程

1.本发明属于图像识别与计算机视觉领域，具体涉及一种基于深度学习的架空线路工程质量通病检测方法及系统。


背景技术：

2.随着电力系统正常运行在国民生产生活中重要性的不断增加，行业内对输变电工程建设中可能存在的各类质量通病的重视程度也在不断提高。国家电网公司为保证输变电工程建设高效健康运作，并进一步落实输变电工程质量通病防治工作责任，提高输变电工程建设的质量水平，依据国家及行业有关工程建设质量标准及规范，编制了《国家电网公司输变电工程质量通病防治工作要求及技术措施》，对输变电工程建设常见的质量通病从技术角度提出具体防治措施，并结合工程通病治理成效及新生问题，不断更新防治工作要求和技术措施。输变电杆塔工程建设质量通病的防治是工程质量管理的重要环节，在输变电杆塔工程建设中，能够导致质量问题的通病有很多，引线破损锈迹、防盗螺母未拧紧、缺失、防盗螺母规格不一致等是其中的典型问题。这些质量通病问题可能会导致电路损毁甚至整个电力系统的瘫痪。因此，在施工的过程中，工作人员应加强对电力设备的检查。然而当前针对电力设备是否具有质量通病问题的检测主要以人工检查为主，人工检查容易被各种各样的因素干扰降低效率，并且相当浪费人力资源，所以这种方法效率比较低下，各安全监管部门的实际需求无法得到充分满足。


技术实现要素：

3.本发明的目的在于提供一种基于深度学习的架空线路工程质量通病检测方法及系统，该方法及系统能够有效识别判断架空线路是否存在质量通病问题。
4.为实现上述目的，本发明采用的技术方案是：一种基于深度学习的架空线路工程质量通病检测方法，包括以下步骤：
5.s1、获取输变电杆塔工程螺母与引线质量通病相关图片并预处理；
6.s2、根据yolov5目标检测算法的要求，构建输变电杆塔工程螺母与引线质量通病检测数据集；
7.s3、对yolov5算法的训练超参数进行调优，并在yolov5算法中加入优化算法优化检测模型，然后通过数据集对检测模型进行训练，得到输变电杆塔工程螺母与引线质量通病检测模型；
8.s4、根据得到的检测模型对输入图片进行目标检测，获取初步检测结果；
9.s5、对初步检测结果进行解码，并采用非极大值抑制算法筛选出最终检测结果，在输入图片中绘制检测框；
10.s6、根据最终检测结果进行质量通病类别判断，并将质量通病类别结果在结果图片中。
11.进一步地，所述步骤s1具体为：
12.s11、获取输变电杆塔工程螺母与引线质量通病相关的数据图片，对数据图片进行筛选并清除无用数据；
13.s12、采用包括邻域去噪、数据图像归一化的方法对筛选后的数据图片进行预处理；
14.s13、确定质量通病图片中的不同物体类别，使用labelimg标注工具对预处理后的数据图片进行标注，得到并保存标注信息；
15.s14、采用包括几何变换、图像混合和mixup的方法进行数据增强，扩充数据图片样本。
16.进一步地，所述步骤s2具体为：
17.s21、对所有数据图片进行统一格式命名，并根据yolov5算法要求将所有数据图片按预设比例分为训练集、测试集和验证集；
18.s22、将图片数据标注信息的物体坐标进行归一化处理，并映射物体类别信息，生成训练模型所需的文件。
19.进一步地，所述步骤s3具体为：
20.s31、获取超参数的最优值，通过调优超参数使训练模型的性能达到最优；
21.s32、在yolov5的训练配置模块中预设动量梯度下降中的动量参数momentum和权重衰减的正则系数decay，并采取steps方法进行学习率调整；
22.s33、在yolov5网络结构中加入peleenet网络中的stem模块，使用卷积和池化两条路径提取不同特征，以在不增加过多计算耗时的同时，提高网络的特征表达能力；
23.s34、利用k
‑
means聚类算法计算数据集的先验框anchor，使用数据图片的宽、高对bounding box的宽高做归一化；
24.s35、在yolov5网络结构中加入transformer模块，使用自注意力机制来克服卷积归纳偏差所带来的局限性；
25.s36、在yolov5网络结构中使用focus模块，对输入图像进行切片操作后得到多个特征图，然后对特征图进行一次32个卷积核的卷积操作，得到训练所需特征图；
26.s37、基于得到的特征图，开始训练检测模型，进而得到训练好的输变电杆塔工程螺母与引线质量通病检测模型。
27.进一步地，所述步骤s34中，使用数据图片的宽高w
img
,h
img
对bounding box的宽高w
box
,h
box
做归一化，具体为：
[0028][0029]
其中，w
normalize
，h
normalize
为归一化后的宽和高；
[0030]
令anchor＝(w
anchor
,h
anchor
),box＝(w
box
,h
box
)，w
anchor
,h
anchor
为先验框anchor的宽和高，使用交并比iou作为度量，其计算方式如下：
[0031][0032]
iou的取值在0到1之间，两个box越相似则iou值越大，d为最终度量，其计算公式为：
[0033]
d＝1
‑
iou(box,anchor)
[0034]
在数据集中随机选取k个bounding box作为初始anchor，使用iou度量将每个bounding box分配给与其距离最近的anchor，遍历所有bounding box后，计算每个簇中所有bounding box宽和高的均值，更新anchor，重复以上步骤直到anchor不再变化或者达到了最大迭代次数。
[0035]
进一步地，所述步骤s4具体为：
[0036]
s41、利用训练得到的模型检测图片，输入数据图片经过特征提取网络处理后将得到三个不同尺寸的特征图；
[0037]
s42、根据提取到的三个不同尺寸的特征图，对三个初始特征图进行卷积，得到的结果一部分用于输出该特征图对应的预测结果，另一部分用于进行反卷积后与其他特征图进行结合，最终得到三个有效特征图的预测结果。
[0038]
进一步地，所述步骤s5具体为：
[0039]
s51、根据得到的预测结果对预先设定好的先验框进行调整，得到预测框的大小和位置信息；
[0040]
s52、根据调整后的预测框，利用非极大值抑制算法进行处理，在候选目标中进行局部搜索，寻找置信度最高的预测框并抑制置信度低的预测框；
[0041]
s53、经过非极大值抑制后得到最终的检测框，根据检测框中心点坐标以及宽高计算得出检测框在输出图片中的位置信息，将检测框绘制在原图中，得到结果图片。
[0042]
进一步地，所述步骤s51具体为：
[0043]
s511、将特征图划分为s
×
s个网格，然后将预先设置好的先验框调整到有效特征图上；
[0044]
s512、从网络预测结果中获取先验框信息x
offest
,y
offset
,w
anchor
,h
anchor
，其分别表示预测框相对先验框在x、y轴的偏移值，以及先验框的宽、高；
[0045]
s513、将网格对应的先验框的中心点坐标进行sigmoid函数处理后加上对应的x
offest
,y
offset
得到预测框的中心，再利用w
anchor
,h
anchor
计算得到预测框的宽和高，最终得到预测框的大小和位置信息；
[0046]
所述步骤s52具体为：
[0047]
s521、在进行非极大值抑制时，将同一个目标的预测框按置信度从大到小进行排序，取出置信度最高的预测框分别与其余预测框计算iou；
[0048]
按照交并比iou寻找局部最大值的过程，设两个检测框b1和b2，则二者之间的交并比如下：
[0049][0050]
s522、若计算结果大于所设定阈值则该预测框被抑制，不会作为结果输出，计算完所有预测框后，取出剩余预测框中拥有最大置信度的预测框。
[0051]
进一步地，所述步骤s6具体为：
[0052]
s61、根据步骤s5中得到的检测结果，判断图片中是否存在质量通病问题；
[0053]
s62、对图片进行rgb颜色空间转换，并在图片中显示质量通病检测的中文结果，输
出最终结果图片。
[0054]
本发明提供了一种基于深度学习的架空线路工程质量通病检测系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
[0055]
与现有技术相比，本发明具有以下有益效果：提供了一种基于深度学习的架空线路工程质量通病检测方法及系统，能够有效识别判断输变电杆塔工程螺母与引线中电力设备是否存在质量通病问题，具有较好的泛化能力和鲁棒性，在复杂环境下能具有较好的检测性能。
附图说明
[0056]
图1是本发明实施例的方法实现流程图。
具体实施方式
[0057]
下面结合附图及实施例对本发明做进一步说明。
[0058]
应该指出，以下详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
[0059]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0060]
如图1所示，本实施例提供了一种基于深度学习的架空线路工程质量通病检测方法，包括以下步骤：
[0061]
s1、获取输变电杆塔工程螺母与引线质量通病相关图片，如引线、防盗帽等数据图片，并预处理。所述步骤s1具体包括：
[0062]
s11、获取输变电杆塔工程螺母与引线质量通病相关的数据图片，对数据图片进行筛选并清除无用数据；
[0063]
s12、采用包括邻域去噪、数据图像归一化的方法对筛选后的数据图片进行预处理；
[0064]
s13、确定质量通病图片中的不同物体类别，使用labelimg标注工具对预处理后的数据图片进行标注，得到并保存标注信息；
[0065]
s14、采用包括几何变换、图像混合和mixup的方法进行数据增强，扩充数据图片样本。
[0066]
s2、根据yolov5目标检测算法的要求，构建输变电杆塔工程螺母与引线质量通病检测数据集。所述步骤s2具体包括：
[0067]
s21、对所有数据图片进行统一格式命名，并根据yolov5算法要求将所有数据图片按预设比例分为训练集、测试集和验证集；
[0068]
s22、将图片数据标注信息的物体坐标进行归一化处理，并映射物体类别信息，生成训练模型所需的txt文件。
[0069]
s3、对yolov5算法的训练超参数进行调优，并在yolov5算法中加入优化算法优化检测模型，然后通过数据集对检测模型进行训练，得到输变电杆塔工程螺母与引线质量通病检测模型。所述步骤s3具体包括：
[0070]
s31、获取超参数的最优值，通过调优超参数使训练模型的性能达到最优。
[0071]
s32、在yolov5的训练配置模块中预设动量梯度下降中的动量参数momentum和权重衰减的正则系数decay，并采取steps方法进行学习率调整。
[0072]
具体为，在yolov5的训练配置文件中将动量梯度下降中的动量参数momentum设为0.9，能够有效防止网络训练中损失函数陷入局部最小值，加快梯度收敛到最优值的速度；将权重衰减的正则系数decay设为0.0005，可以有效防止过拟合。学习率过大则权重更新速度快，但容易错过最优值的选取，学习率过小则权重更新速度缓慢，训练效率低下，设置相对合适的学习率可以有效提高训练速度与最优值选取，学习率调整方式采取steps方法，在达到一定迭代次数时学习率将会以一定倍数衰减。
[0073]
s33、在yolov5网络结构中加入peleenet网络中的stem模块，使用卷积和池化两条路径提取不同特征，以在不增加过多计算耗时的同时，提高网络的特征表达能力。
[0074]
具体为，在yolov5网络结构中加入peleenet网络中的stem模块，使用卷积和池化两条路径提取不同特征，在卷积路径上使用1
×
1和3
×
3两个卷积核提取特征，在池化路径上使用2
×
2最大池化提取特征，最后对提取到的两个特征进行融合，stem模块在没有增加过多计算耗时的同时，有效提高网络的特征表达能力。
[0075]
s34、利用k
‑
means聚类算法计算数据集的先验框anchor，使用数据图片的宽高w
img
,h
img
对bounding box的宽高w
box
,h
box
做归一化。
[0076]
具体为：
[0077][0078]
其中，w
normalize
，h
normalize
为归一化后的宽和高；
[0079]
令anchor＝(w
anchor
,h
anchor
),box＝(w
box
,h
box
)，w
anchor
,h
anchor
为先验框anchor的宽和高，使用交并比iou作为度量，其计算方式如下：
[0080][0081]
iou的取值在0到1之间，两个box越相似则iou值越大，d为最终度量，其计算公式为：
[0082]
d＝1
‑
iou(box,anchor)
[0083]
在数据集中随机选取k个bounding box作为初始anchor，使用iou度量将每个bounding box分配给与其距离最近的anchor，遍历所有bounding box后，计算每个簇中所有bounding box宽和高的均值，更新anchor，重复以上步骤直到anchor不再变化或者达到了最大迭代次数。
[0084]
s35、在yolov5网络结构中加入transformer模块，使用自注意力机制来有效克服卷积归纳偏差所带来的局限性，计算每对特征之间的注意力权重，从而得到一个更新的特征映射。其中每个位置都包含关于同一图像中任何其他特征的信息，有效提高了检测模型
的检测性能。
[0085]
s36、在yolov5网络结构中使用focus模块，对输入图像进行切片操作后得到多个特征图，然后对特征图进行一次32个卷积核的卷积操作，得到训练所需特征图。相比直接利用conv2d卷积核得到特征图的方法，focus模块可以有效减少flops(每秒浮点运算次数)与网络层深度并提高模型推理速度。
[0086]
s37、基于得到的特征图，开始训练检测模型，进而得到训练好的输变电杆塔工程螺母与引线质量通病检测模型。
[0087]
s4、根据得到的检测模型对输入图片进行目标检测，获取初步检测结果。所述步骤s4具体包括：
[0088]
s41、利用训练得到的模型检测图片，输入数据图片经过特征提取网络处理后将得到三个不同尺寸的特征图；
[0089]
s42、根据提取到的三个不同尺寸的特征图，对三个初始特征图进行卷积，得到的结果一部分用于输出该特征图对应的预测结果，另一部分用于进行反卷积后与其他特征图进行结合，最终得到三个有效特征图的预测结果。
[0090]
s5、对初步检测结果进行解码，并采用非极大值抑制算法筛选出最终检测结果，在输入图片中绘制检测框。所述步骤s5具体包括：
[0091]
s51、根据得到的预测结果对预先设定好的先验框进行调整，得到预测框的大小和位置信息。所述步骤s51具体包括：
[0092]
s511、将得到的三个特征图划分为s
×
s个网格，然后将预先设置好的先验框调整到有效特征图上；
[0093]
s512、从网络预测结果中获取先验框信息x
offest
,y
offset
,w
anchor
,h
anchor
，其分别表示预测框相对先验框在x、y轴的偏移值，以及先验框的宽、高；
[0094]
s513、将网格对应的先验框的中心点坐标进行sigmoid函数处理后加上对应的x
offest
,y
offset
得到预测框的中心，再利用w
anchor
,h
anchor
计算得到预测框的宽和高，最终得到预测框的大小和位置信息。
[0095]
s52、根据调整后的预测框，利用非极大值抑制算法进行处理，在候选目标中进行局部搜索，寻找置信度最高的预测框并抑制置信度较低的预测框。所述步骤s52具体包括：
[0096]
s521、在进行非极大值抑制时，将同一个目标的预测框按置信度从大到小进行排序，取出置信度最高的预测框分别与其余预测框计算iou；
[0097]
按照交并比iou寻找局部最大值的过程，设两个检测框b1和b2，则二者之间的交并比如下：
[0098][0099]
s522、若计算结果大于所设定阈值则该预测框被抑制，不会作为结果输出，计算完所有预测框后，取出剩余预测框中拥有最大置信度的预测框。
[0100]
s53、经过非极大值抑制后得到最终的检测框，根据检测框中心点坐标以及宽高计算得出检测框在输出图片中的位置信息，将检测框绘制在原图中，得到结果图片。
[0101]
s6、根据最终检测结果进行质量通病类别判断，并将质量通病类别结果以中文显
示在结果图片中。所述步骤s6具体包括：
[0102]
s61、根据步骤s5中得到的检测结果，使用方差计算等方法判断图片中是否存在质量通病问题；
[0103]
s62、对图片进行rgb颜色空间转换，并使用notosanscjk
‑
black.ttc在图片中显示质量通病检测的中文结果，输出最终结果图片。
[0104]
本实施例还提供了一种基于深度学习的架空线路工程质量通病检测系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
[0105]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0106]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0107]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0108]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0109]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。