一种输电线路中小金具缺陷的检测方法、检测装置和设备与流程

1.本技术涉及输电线路缺陷检测技术领域，具体而言，涉及一种输电线路中小金具缺陷的检测方法、检测装置和设备。


背景技术：

2.小金具为输电线路中广泛使用的铁制或铝制的金属附件，它关系着导线或杆塔的安全，即使一只损坏，也可能造成输电线路的故障。因此，能够及时精准地检测出有故障的小金具，能够维持输电线路的正常运行。
3.目前，基于深度学习和机器视觉的目标检测技术已经应用到了输电线路缺陷检测领域中。然而，由于小金具缺陷目标相对于原始巡检图像占比极小，导致图像中包含的小金具像素信息少，现有的一阶段的目标检测网络由于不需要候选区域，因此在检测速度较高的情况下降低了检测精度，在应用于输电线路中小金具缺陷的检测时，对于有缺陷的小金具发现率较低且检测结果误报率较高。此外，在检测精度较高的二阶段的目标检测网络中，由于需要候选区域，因此在提高了检测精度的同时也降低了检测速度。
4.综上所述，现有的目标检测的网络在检测速度较高的情况下降低了检测精度，在检测精度较高的情况下降低了检测速度，因此，现有的目标检测网络无法保持在较高的检测速度的情况下以较高的检测精度实现对小金具缺陷的检测。


技术实现要素：

5.有鉴于此，本技术实施例的目的在于提供一种输电线路中小金具缺陷的检测方法、检测装置和设备，能够在保持较快的检测速度的情况下以较高的检测精度实现对小金具缺陷的检测。
6.第一方面，本技术实施例提供了一种输电线路中小金具缺陷的检测方法，所述检测方法包括：
7.获取目标输电线路的巡检图像，并对所述巡检图像进行滑动窗口剪裁得到多个巡检子图像；
8.针对每个所述巡检图像，将该巡检图像输入到预先训练好的小金具缺陷检测模型中，获得所述小金具缺陷检测模型针对该巡检图像输出的大图检测结果；
9.将该巡检图像对应的多个巡检子图像依次输入到预先训练好的小金具缺陷检测模型中，获得所述小金具缺陷检测模型针对每个巡检子图像输出的子图检测结果；
10.利用所述滑动窗口的坐标对每个巡检子图像输出的子图检测结果进行调整，获得所述子图检测结果在所述巡检图像上对应的子图调整结果；
11.对所述大图检测结果和所述子图调整结果进行合并处理，得到对所述巡检图像中小金具缺陷的检测结果。
12.可选地，所述利用所述滑动窗口的坐标对每个巡检子图像输出的子图检测结果进行调整，获得所述子图检测结果在所述巡检图像上对应的子图调整结果，包括：
13.针对每个巡检子图像，获取该巡检子图像对应的滑动窗口的左上角坐标；
14.获取该巡检子图像中每个小金具的检测框的坐标；
15.利用所述滑动窗口的左上角坐标调整该巡检子图像中每个小金具的检测框的坐标，得到调整后的小金具的检测框的坐标；
16.在该巡检图像上按照所述调整后的小金具的检测框的坐标显示调整后的小金具的检测框，以获得所述子图检测结果在该巡检图像上对应的子图调整结果。
17.可选地，所述小金具缺陷检测模型通过以下方式训练而被得到：
18.获取训练集样本图像；
19.从所述训练集样本图像中抽取多个样本图像，得到原始训练子集样本图像；
20.针对所述原始训练子集样本图像中的每个样本图像，进行滑动窗口剪裁，获得多个样本子图像；
21.将所述多个样本子图像添加到所述原始训练子集样本图像中，获得训练子集样本图像；
22.利用所述训练集样本图像对初始小金具缺陷检测模型进行训练，获得预训练小金具缺陷检测模型；
23.利用所述训练子集样本图像对所述预训练小金具缺陷检测模型进行训练，以获得小金具缺陷检测模型。
24.可选地，所述小金具缺陷检测模型包括：特征提取层、特征融合层和检测层；所述将所述巡检图像输入到预先训练好的小金具缺陷检测模型中，获得所述小金具缺陷检测模型针对所述巡检图像输出的大图检测结果，包括：
25.将所述巡检图像输入到所述特征提取层对所述巡检图像进行特征提取，获得第一特征图像；所述第一特征图像包括第一尺度特征图像、第二尺度特征图像和第三尺度特征图像；
26.将所述第一特征图像输入到所述特征融合层对所述第一特征图像进行特征融合，得到第二特征图像；所述第二特征图像包括第四尺度特征图像、第五尺度特征图像和第六尺度特征图像；
27.将所述第二特征图像输入到所述检测层对所述第二特征图像进行检测，获得所述小金具缺陷检测模型针对所述巡检图像输出的大图检测结果。
28.可选地，所述特征提取层包括：第一卷积层和第二卷积层组；所述第二卷积层组包括第三卷积层组和一个第四卷积层；所述第三卷积层组包括n个第五卷积层；所述将所述巡检图像输入到所述特征提取层对所述巡检图像进行特征提取，获得第一特征图像，包括：
29.将所述巡检图像输入到所述第一卷积层对所述目标巡检图像进行卷积操作，获得第一子特征图像；
30.将所述第一子特征图像输入到第三卷积层组，得到第二子特征图像组；所述第二子特征图像组包括在第n-1个第五卷积层和第n个第五卷积层输出的第二子特征图像；
31.将所述第n个第五卷积层输出的第二子特征图像输入到第四卷积层，得到第三子特征图像；
32.将第二子特征图像组包括的第二子特征图像和第三子特征图像确定为第一特征图像。
33.可选地，每个所述第五卷积层包括：下采样层和cspnet网络层；所述cspnet网络层包括多个级联的convnext block残差结构；
34.所述将所述第一子特征图像输入到第三卷积层组，得到第二子特征图像组，包括：
35.将所述第一子特征图像输入到第三卷积层组，通过第n-1个第五卷积层中的下采样层得到第一下采样图像，将所述第一下采样图像输入到该第五卷积层中的cspnet网络层进行升通道操作，得到第n-1个第五卷积层输出的第二子特征图像；
36.将所述第n-1个第五卷积层输出的第二子特征图像输入到第n个第五卷积层，通过该第五卷积层中的下采样层得到第二下采样图像，将所述第二下采样图像输入到该第五卷积层中的cspnet网络层进行升通道操作，得到第n个第五卷积层输出的第二子特征图像；
37.将所述第n-1个第五卷积层输出的第二子特征图像和所述第n个第五卷积层输出的第二子特征图像，作为第二子特征图像组；
38.可选地，所述第四卷积层包括：下采样层、池化层和cspnet网络层；所述将所述第n个第五卷积层输出的第二子特征图像输入到第四卷积层，得到第三子特征图像，包括：
39.将所述第n个第五卷积层输出的第二子特征图像输入到下采样层进行下采样处理，得到第三下采样特征图像；
40.将所述第三下采样特征图像输入到所述池化层进行最大池化处理，得到池化特征图像；
41.将所述池化特征图像输入到所述cspnet网络层进行升通道操作，得到第三子特征图像。
42.可选地，所述特征融合层包括：自顶向下的特征金字塔网络、多个自处理层和自底向上的路径增强金字塔网络；所述将所述第一特征图像输入到所述特征融合层对所述第一特征图像进行特征融合，得到第二特征图像，包括：
43.将所述第一特征图像输入到所述自顶向下的特征金字塔网络进行下融合处理，获得所述自顶向下的特征金字塔网络中的每一层金字塔网络输出的浅层融合特征图像；
44.针对所述每一层金字塔网络输出的浅层融合特征图像，分别将该层金字塔网络输出的浅层融合特征图像输入到对应的自处理层进行卷积处理，获得每一层金字塔网络对应的自处理层输出的自处理特征图像；
45.将所述自处理特征图像输入到所述自底向上的路径增强金字塔网络进行上融合处理，获得所述自底向上的路径增强金字塔网络中的每一层金字塔网络输出的深层融合特征图像；
46.将所述自底向上的路径增强金字塔网络中的每一层金字塔网络输出的深层融合特征图像作为第二特征图像。
47.可选地，所述检测层包括三个检测头；每个检测头包括两层注意力机制结构组；每层注意力机制结构组包括多个注意力机制结构；
48.所述将所述第二特征图像输入到所述检测层对所述第二特征图像进行检测，获得所述小金具缺陷检测模型针对所述巡检图像输出的大图检测结果，包括：
49.将所述第二特征图像输入到所述检测头中进行图像感知，以得到三种尺度感知图像；每种尺度感知图像中包括回归特征图像和分类特征图像；
50.针对每种尺度感知图像，将该种尺度感知图像输入到对应的回归与分类检测网络
中进行回归与分类处理，得到该种尺度感知图像的回归结果和分类结果；
51.根据所述回归结果和分类结果，获得所述小金具缺陷检测模型针对所述巡检图像输出的大图检测结果。
52.第二方面，本技术实施例提供了一种输电线路中小金具缺陷的检测装置，所述检测装置包括：
53.获取模块，用于获取目标输电线路的巡检图像，并对所述巡检图像进行滑动窗口剪裁得到多个巡检子图像；
54.大图检测模块，用于针对每个所述巡检图像，将该巡检图像输入到预先训练好的小金具缺陷检测模型中，获得所述小金具缺陷检测模型针对该巡检图像输出的大图检测结果；
55.小图检测模块，用于将该巡检图像对应的多个巡检子图像依次输入到预先训练好的小金具缺陷检测模型中，获得所述小金具缺陷检测模型针对每个巡检子图像输出的子图检测结果；
56.调整模块，用于利用所述滑动窗口的坐标对每个巡检子图像输出的子图检测结果进行调整，获得所述子图检测结果在所述巡检图像上对应的子图调整结果；
57.合并检测模块，用于对所述大图检测结果和所述子图调整结果进行合并处理，得到对所述巡检图像中小金具缺陷的检测结果。
58.第三方面，本技术实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行第一方面任一项所述的输电线路中小金具缺陷的检测方法的步骤。
59.第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行第一方面任一项所述的输电线路中小金具缺陷的检测方法的步骤。
60.本技术实施例提供的输电线路中小金具缺陷的检测方法、检测装置和设备，能够基于改进的yolox目标检测模型对输电线路中小金具进行检测，在保持较快的检测速度的情况下以较高的检测精度实现对小金具缺陷的检测。
附图说明
61.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
62.图1示出了本技术实施例提供的一种输电线路中小金具缺陷的检测方法的流程图；
63.图2示出了本技术实施例提供的基于yolox改进的小金具缺陷检测模型的网络结构示意图；
64.图3示出了本技术实施例提供的通过小金具缺陷检测模型获得所述小金具缺陷检测模型针对所述巡检图像输出的大图检测结果的流程图；
65.图4示出了本技术实施例提供的特征提取层的结构示意图；
66.图5示出了本技术实施例提供的通过所述特征提取层对所述巡检图像进行特征提取，获得第一特征图像的步骤的流程图；
67.图6示出了本技术实施例提供的第一卷积层的结构示意图；
68.图7示出了本技术实施例提供的cspnet网络层的结构示意图；
69.图8示出了本技术实施例提供的convnext block残差结构的结构示意图；
70.图9示出了本技术实施例提供的池化层的结构示意图；
71.图10示出了本技术实施例提供的特征融合层的网络结构示意图；
72.图11示出了本技术实施例提供的通过所述特征融合层对所述第一特征图像进行特征融合，得到第二特征图像的步骤的流程图；
73.图12示出了本技术实施例提供的检测层的检测头的结构示意图；
74.图13示出了本技术实施例提供的一种通过检测层获得所述小金具缺陷检测模型针对所述巡检图像输出的大图检测结果的步骤的流程图；
75.图14示出了本技术实施例提供的输电线路中小金具缺陷的检测方法的示意图；
76.图15示出了本技术实施例提供的一种输电线路中小金具缺陷的检测装置的结构示意图；
77.图16示出了本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
78.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
79.目前，常用于输电线路缺陷检测领域中缺陷识别的深度学习算法包括two-stage(两阶段)检测器，如：fast-rcnn、libra r-cnn、faster-rcnn、cascade-rcnn等，和one-stage(单阶段)检测器，如retinanet、ssd、yolo及其改进系列等。两类算法各有优劣，通常两阶段算法精度较高，但检测速度慢；而单阶段算法检测速度快，但精度也略有下降。在工程应用中，一方面需要目标检测网络有较好的检测效果，另一方面网络的检测速度和实时性还应满足实际需求。
80.基于此，本技术实施例提供了一种输电线路中小金具缺陷的检测方法、检测装置和设备，下面通过实施例进行描述。
81.为便于对本实施例进行理解，首先对本技术实施例所公开的一种输电线路中小金具缺陷的检测方法进行详细介绍。参见图1所示，图1示出了本技术实施例提供的一种输电线路中小金具缺陷的检测方法的流程图。如图1所示，本技术实施例提供的一种小金具缺陷的检测方法包括以下步骤：
82.s1、获取目标输电线路的巡检图像，并对所述巡检图像进行滑动窗口剪裁得到多
个巡检子图像。
83.这里，目标输电线路为预先选定的巡检区域中的输电线路，所述巡检图像可以为针对目标输电线路拍摄的多张巡检图像。
84.在该步骤中，具体地，针对每张巡检图像，进行滑动窗口剪裁，得到该巡检图像对应的多张巡检子图像。
85.作为示例，可以根据从上到下，从左到右的顺序进行滑动窗口剪裁。作为示例，滑动窗口的大小可以为巡检图像的短边长度的二分之一、四分之一和八分之一等。作为示例，滑动窗口的步长可以为滑动窗口大小的二分之一、四分之一、八分之一等。
86.s2、针对每个所述巡检图像，将该巡检图像输入到预先训练好的小金具缺陷检测模型中，获得所述小金具缺陷检测模型针对该巡检图像输出的大图检测结果。
87.作为示例，所述小金具缺陷检测模型通过以下方式训练而被得到：
88.首先获取训练集样本图像，然后从所述训练集样本图像中抽取多个样本图像，得到原始训练子集样本图像，然后针对所述原始训练子集样本图像中的每个样本图像，进行滑动窗口剪裁，获得多个样本子图像，然后将所述多个样本子图像添加到所述原始训练子集样本图像中，获得训练子集样本图像，然后利用所述训练集样本图像对初始小金具缺陷检测模型进行训练，获得预训练小金具缺陷检测模型，最后利用所述训练子集样本图像对所述预训练小金具缺陷检测模型进行训练，以获得小金具缺陷检测模型。
89.这里，作为示例，可以对目标输电线路拍摄多张巡检图像，然后将一部分巡检图像作为检测图像，另一部分巡检图像作为训练集样本图像。
90.这里，在得到训练集样本图像后，将所述训练集样本图像输入到初始小金具缺陷检测模型中进行参数的迭代优化，当迭代次数达到预先设置的第一迭代次数时停止训练，得到预训练小金具缺陷检测模型。在得到预训练小金具缺陷检测模型之后，将所述训练子集样本图像输入到所述预训练小金具缺陷检测模型中进行参数的迭代优化，当迭代次数达到预先设置的第二迭代次数时停止训练，获得小金具缺陷检测模型。
91.这里，初始小金具缺陷检测模型为基于现有的深度学习目标检测网络yolox改进的一种改进型yolox目标检测网络。基于此，本技术实施例中的小金具缺陷检测模型为基于上述改进型yolox目标检测网络进行训练得到的。
92.具体地，请参阅图2，图2示出了本技术实施例提供的基于yolox改进的小金具缺陷检测模型的网络结构示意图。
93.如图2所示，本技术实施例中的小金具缺陷检测模型包括：特征提取层、特征融合层和检测层。
94.原始的yolox目标检测网络是由cspdarknet特征提取层、pafpn特征融合层和检测头层组成。本技术实施例中基于cspdarknet特征提取层进行改进，得到本技术实施例中的特征提取层，基于pafpn特征融合层进行改进，得到本技术实施例中的特征融合层，基于检测头层进行改进得到本技术实施例中的检测层。
95.下面，将结合图3介绍在步骤s2中，如何通过小金具缺陷检测模型，获得所述小金具缺陷检测模型针对所述巡检图像输出的大图检测结果。
96.具体地，请参阅图3，图3示出了本技术实施例提供的通过小金具缺陷检测模型获得所述小金具缺陷检测模型针对所述巡检图像输出的大图检测结果的流程图。
97.如图3所示，在步骤s21、将所述巡检图像输入到所述特征提取层对所述巡检图像进行特征提取，获得第一特征图像；所述第一特征图像包括第一尺度特征图像、第二尺度特征图像和第三尺度特征图像。
98.请参阅图4，图4示出了本技术实施例提供的特征提取层的结构示意图。如图4所示，所述特征提取层包括：第一卷积层和第二卷积层组；所述第二卷积层组包括第三卷积层组和一个第四卷积层；所述第三卷积层组包括n个第五卷积层；每个所述第五卷积层包括：下采样层和cspnet网络层，所述第四卷积层包括：下采样层、池化层和cspnet网络层，这里，所述cspnet网络层包括多个级联的convnext block残差结构。
99.请参阅图5，图5示出了本技术实施例提供的通过所述特征提取层对所述巡检图像进行特征提取，获得第一特征图像的步骤的流程图。
100.如图5所示，在步骤s211、将所述巡检图像输入到所述第一卷积层对所述目标巡检图像进行卷积操作，获得第一子特征图像。
101.具体地，请参阅图6，图6示出了本技术实施例提供的第一卷积层的结构示意图；如图6所示，第一卷积层由一个简单的卷积网络替换了原始yolox网络中的focus stem层，作为示例，该卷积网络可以由一个卷积核(d)大小为6
×
6，步长为s＝2的卷积层组成，需要说明的是，本领域技术人员应当知晓，该卷积网络的卷积核大小和步长可以为其他大小和步长，本技术对此不作限制。
102.在该步骤中，首先通过所述卷积核对输入为h
×w×
3的图像变换为h/2
×
w/2
×
64的特征层，然后使用layer norm和gelu激活函数对该特征层做归一化和非线性映射，得到第一子特征图像；
103.通过本技术实施例中的第一卷积层，可以避免原来的focus stem层带来的space-to-depth operation(空间到深度方向的转换操作)，减小了网络的flops和复杂度。
104.在步骤s212、将所述第一子特征图像输入到第三卷积层组，得到第二子特征图像组；所述第二子特征图像组包括在第n-1个第五卷积层和第n个第五卷积层输出的第二子特征图像。
105.作为示例，该步骤可以包括：步骤a、将所述第一子特征图像输入到第三卷积层组，通过第n-1个第五卷积层中的下采样层得到第一下采样图像，将所述第一下采样图像输入到该第五卷积层中的cspnet网络层进行升通道操作，得到第n-1个第五卷积层输出的第二子特征图像。
106.步骤b、将所述第n-1个第五卷积层输出的第二子特征图像输入到第n个第五卷积层，通过该第五卷积层中的下采样层得到第二下采样图像，将所述第二下采样图像输入到该第五卷积层中的第二cspnet网络层进行升通道操作，得到第n个第五卷积层输出的第二子特征图像；
107.步骤c、将所述第n-1个第五卷积层输出的第二子特征图像和所述第n个第五卷积层输出的第二子特征图像，作为第二子特征图像组。
108.具体地，请参阅图7，图7示出了本技术实施例提供的cspnet网络层的结构示意图，如图7所示，所述cspnet网络层包括多个级联的convnext block残差结构。
109.请参阅图8，图8示出了本技术实施例提供的convnext block残差结构的结构示意图。
110.convnext block残差结构为由一个卷积核大小为7
×
7和两个卷积核大小为1
×
1的卷积层组成的反瓶颈残差结构。对输入为h
×w×
c的特征层，先使用1
×
1的卷积把通道数升为原先的4倍即h
×w×
4c，最后使用1
×
1的卷积降为同输入特征层相同的通道数c，这样能让信息在不同通道特征空间转换时避免压缩通道维度带来的信息损失。
111.cspnet网络层的核心结构即是由n个convnext block残差结构块堆叠而成的，在左右两部分网络中：一部分即是由n个convnext block残差结构块堆叠构成；另一部分可以看作一个大的残差边，大残差边的输出特征直接和另一部分的输出特征在通道维作拼接，最后经过1
×
1的卷积层调整通道和归一化输出。
112.在步骤s213、将所述第n个第五卷积层输出的第二子特征图像输入到第四卷积层，得到第三子特征图像；
113.具体地，该步骤包括：
114.步骤(1)，将所述第n个第五卷积层输出的第二子特征图像输入到下采样层进行下采样处理，得到第三下采样特征图像；
115.步骤(2)，将所述第三下采样特征图像输入到所述池化层进行最大池化处理，得到池化特征图像；
116.步骤(3)，将所述池化特征图像输入到所述cspnet网络层进行升通道操作，得到第三子特征图像。
117.具体地，请参阅图9，图9示出了本技术实施例提供的池化层的结构示意图，如图9所示，池化层采用具有较小flops的快速级联空间池化结构sppf。
118.sppf主要是由3个相同大小池化核的最大池化层maxpool级联组成，通过最大池化进行特征提取，提高网络的感受野。相比原yolox中使用的空间池化结构spp，实验表明使用sppf在保持检测精度不变的同时具有更快的推理速度。
119.在步骤s214、将第二子特征图像组包括的第二子特征图像和第三子特征图像确定为第一特征图像。
120.这里，第n-1个第五卷积层输出的第二子特征图像、第n个第五卷积层输出的第二子特征图像以及第三子特征图像即分别为第一尺度特征图像、第二尺度特征图像和第三尺度特征图像。
121.请继续参阅图3，在步骤s22、将所述第一特征图像输入到所述特征融合层对所述第一特征图像进行特征融合，得到第二特征图像；所述第二特征图像包括第四尺度特征图像、第五尺度特征图像和第六尺度特征图像。
122.具体地，请参阅图10，图10示出了本技术实施例提供的特征融合层的网络结构示意图。
123.如图10所示，特征融合层包括：自顶向下的特征金字塔网络、多个自处理层和自底向上的路径增强金字塔网络。
124.这里，自处理层由n个级联的convnext block残差结构块构成。
125.在原始yolox网络中，pafpn特征融合层是在自顶向下的特征金字塔网络fpn的输出后连接了一个自底向上的路径增强金字塔网络。但是pafpn特征融合层的这种融合方式是在跨层的不同尺度特征层间的融合，比如p5特征层和经过上采样的n4的特征层的输出直接进行融合、n3特征层经过上采样直接和p4特征层融合，跨层之间特征层的直接融合并没
有充分利用不同尺度特征的信息，基于此，本技术实施例基于pafpn特征融合层进行了改进，在原始yolox网络中自顶向下的特征金字塔网络的每一层金字塔网络后面都增加了自处理层，通过自处理进行信息的深度融合，相比于pafpn特征融合层能够充分利用不同尺度特征的信息。
126.具体地，请参阅图11，图11示出了本技术实施例提供的通过所述特征融合层对所述第一特征图像进行特征融合，得到第二特征图像的步骤的流程图。
127.如图11所示，步骤s22包括：
128.步骤s221、将所述第一特征图像输入到所述自顶向下的特征金字塔网络进行下融合处理，获得所述自顶向下的特征金字塔网络中的每一层金字塔网络输出的浅层融合特征图像。
129.步骤s222、针对所述每一层金字塔网络输出的浅层融合特征图像，分别将该层金字塔网络输出的浅层融合特征图像输入到对应的自处理层进行卷积处理，获得每一层金字塔网络对应的自处理层输出的自处理特征图像。
130.步骤s223、将所述自处理特征图像输入到所述自底向上的路径增强金字塔网络进行上融合处理，获得所述自底向上的路径增强金字塔网络中的每一层金字塔网络输出的深层融合特征图像。
131.步骤s224、将所述自底向上的路径增强金字塔网络中的每一层金字塔网络输出的深层融合特征图像作为第二特征图像。
132.请继续参阅图3，在步骤s23、将所述第二特征图像输入到所述检测层对所述第二特征图像进行检测，获得所述小金具缺陷检测模型针对所述巡检图像输出的大图检测结果。
133.请参阅图12，图12示出了本技术实施例提供的检测层中的检测头的结构示意图。
134.这里，所述检测层包括三个检测头；每个检测头包括两层注意力机制结构组；每层注意力机制结构组包括多个注意力机制结构，其中，每个所述注意力机制结构包括尺度感知模块，空间感知模块和任务感知模块。
135.这里，在原始yolox目标检测网络的检测层中，是直接在自底向上的特征融合金字塔网络的每一层金字塔网络的输出后堆叠多个普通的卷积层，然后在卷积层后分别连接一个回归卷积子网络和分类卷积子网络。本技术实施例对原始yolox检测头层进行了改进，用包括了多个注意力机制结构组的的检测头替换了原始的堆叠的多个普通卷积层，本技术实施例中的这种检测层，通过在特征层间、特征层空间位置上和特征通道内引入注意力机制，分别用以目标检测任务的于尺度感知、空间位置感知和任务感知，在不增加计算量的情况下显著的提升了检测头的表征能力。
136.请参阅图13，图13示出了本技术实施例提供的一种通过检测层获得所述小金具缺陷检测模型针对所述巡检图像输出的大图检测结果的步骤的流程图。
137.如图13所示，在步骤s231，将所述第二特征图像输入到所述检测头中进行图像感知，以得到三种尺度感知图像；每种尺度感知图像中包括回归特征图像和分类特征图像。
138.在步骤s232、针对每种尺度感知图像，将该种尺度感知图像输入到对应的回归与分类检测网络中进行回归与分类处理，得到该种尺度感知图像的回归结果和分类结果；
139.在步骤s233、根据所述回归结果和分类结果，获得所述小金具缺陷检测模型针对
所述巡检图像输出的大图检测结果。
140.请继续参阅图1，在步骤s3，将该巡检图像对应的多个巡检子图像依次输入到预先训练好的小金具缺陷检测模型中，获得所述小金具缺陷检测模型针对每个巡检子图像输出的子图检测结果。
141.这里，通过预先训练好的小金具缺陷检测模型获得所述小金具缺陷检测模型针对每个巡检子图像输出的子图检测结果的步骤和上述获得大图检测结果的步骤同理，因此不再赘述。
142.在步骤s4，利用所述滑动窗口的坐标对每个巡检子图像输出的子图检测结果进行调整，获得所述子图检测结果在所述巡检图像上对应的子图调整结果。
143.作为示例，在该步骤中，首先可以针对每个巡检子图像，获取该巡检子图像对应的滑动窗口的左上角坐标；
144.例如，第n个滑动窗口的左上角坐标可以为[shift_x
nl
,shift_y
nl
]；
[0145]
然后获取该巡检子图像中每个小金具的检测框的坐标；
[0146]
例如，每个小金具的检测框的坐标可以为[x
nli
,y
nli
,x
nri
,y
nri
]；
[0147]
这里，x
nli
为第n个滑动窗口对应的巡检子图像中第i个小金具的检测框的左上角横坐标；y
nli
为第n个滑动窗口对应的巡检子图像中第i个小金具的检测框的左上角纵坐标；x
nri
为第n个滑动窗口对应的巡检子图像中第i个小金具的检测框的右下角横坐标；y
nri
为第n个滑动窗口对应的巡检子图像中第i个小金具的检测框的右下角纵坐标。
[0148]
然后，利用所述滑动窗口的左上角坐标调整该巡检子图像中每个小金具的检测框的坐标，得到调整后的小金具的检测框的坐标；
[0149]
例如，可以利用以下公式得到调整后的小金具的检测框的坐标box：
[0150]
box＝[x
nli
shift_x
nl
,y
nli
shift_y
nl
,x
nri
shift_x
nl
,y
nri
shift_y
nl
]；
[0151]
最后，在该巡检图像上按照所述调整后的小金具的检测框的坐标显示调整后的小金具的检测框，以获得所述子图检测结果在该巡检图像上对应的子图调整结果。
[0152]
例如，若巡检图像中的小金具的检测框有1个，巡检子图像有4个，每个巡检子图像中的小金具的检测框有1个，那么调整后的小金具的检测框有4个。子图调整结果为在巡检图像上显示的4个调整后的小金具检测框和原有的1个小金具的检测框。
[0153]
在步骤s5，对所述大图检测结果和所述子图调整结果进行合并处理，得到对所述巡检图像中小金具缺陷的检测结果。
[0154]
这里，合并处理包括非极大值抑制、大尺度非极大值抑制、非极大值融合等，以过滤或者融合合并后的重叠检测框，得到最终的检测结果。
[0155]
这里，小金具缺陷的检测结果包括检测框，检测框坐标和标签，标签包括：缺陷和非缺陷。
[0156]
下面，将结合图14介绍在一个具体的示例中，如何对小金具缺陷进行检测。
[0157]
请参阅图14，图14示出了本技术实施例提供的一种输电线路中小金具缺陷的检测方法的示意图。
[0158]
如图14所示，在基于滑窗剪裁的检测模块中，首先，获取目标输电线路的巡检图像m1、m2……mn
，并对每个巡检图像均进行滑动窗口剪裁得到多个巡检子图像，这里，多个巡检子图像中包括每个巡检图像对应的巡检子图像。这里，例如针对巡检图像m1进行滑动窗口
剪裁，获得该巡检图像对应的巡检子图像m1、m2……mn
；
[0159]
然后，针对每个所述巡检图像，例如针对巡检图像m1，将该巡检图像m1输入到预先训练好的小金具缺陷检测模型中，获得所述小金具缺陷检测模型针对该巡检图像m1输出的大图检测结果；
[0160]
然后，将该巡检图像m1对应的多个巡检子图像，即巡检子图像m1、m2……mn
，依次输入到预先训练好的小金具缺陷检测模型中，获得所述小金具缺陷检测模型针对每个巡检子图像输出的子图检测结果；
[0161]
然后针对每个巡检子图像，例如针对巡检子图像m1，获取该巡检子图像m1对应的滑动窗口的左上角坐标，并获取该巡检子图像m1中每个小金具的检测框的坐标，然后利用所述滑动窗口的左上角坐标调整该巡检子图像m1中每个小金具的检测框的坐标，得到调整后的小金具的检测框的坐标，然后在该巡检图像m1上按照所述调整后的小金具的检测框的坐标显示调整后的小金具的检测框，以获得所述子图检测结果在该巡检图像m1上对应的子图调整结果。
[0162]
最后，对所述大图检测结果和所述子图调整结果进行合并处理(例如非极大值抑制)，得到对所述巡检图像中小金具缺陷的检测结果。这里，基于滑窗剪裁的训练微调模型模块用于训练小金具缺陷检测模型。如图14所示，在基于滑窗剪裁的训练微调模型模块中，通过以下方式训练小金具缺陷检测模型：
[0163]
首先获取训练集样本图像p1、p2、p3……
pn，然后从所述训练集样本图像p1、p2、p3……
pn中抽取多个样本图像，例如p1、p2，得到原始训练子集样本图像，然后针对所述原始训练子集样本图像中的每个样本图像，例如针对样本图像p1进行滑动窗口剪裁，获得多个样本子图像p1、p2，然后将所述多个样本子图像p1、p2添加到所述原始训练子集样本图像中，获得训练子集样本图像p1、p2、p1、p2，然后利用所述训练集样本图像p1、p2、p3……
pn对初始小金具缺陷检测模型进行训练，获得预训练小金具缺陷检测模型，然后利用所述训练子集样本图像p1、p2、p1、p2对所述预训练小金具缺陷检测模型进行训练，获得小金具缺陷检测模型。
[0164]
本技术实施例中，能够在保持较快的检测速度的情况下以较高的检测精度实现对小金具缺陷的检测。
[0165]
基于同一发明构思，本技术实施例中还提供了与上述输电线路中小金具缺陷的检测方法对应的输电线路中小金具缺陷的检测装置。
[0166]
参见图15所示，图15为本技术实施例提供的一种输电线路中小金具缺陷的检测装置的结构示意图，该输电线路中小金具缺陷的检测装置100包括：
[0167]
获取模块101，用于获取目标输电线路的巡检图像，并对所述巡检图像进行滑动窗口剪裁得到多个巡检子图像；
[0168]
大图检测模块102，用于针对每个所述巡检图像，将该巡检图像输入到预先训练好的小金具缺陷检测模型中，获得所述小金具缺陷检测模型针对该巡检图像输出的大图检测结果；
[0169]
小图检测模块103，用于将该巡检图像对应的多个巡检子图像依次输入到预先训练好的小金具缺陷检测模型中，获得所述小金具缺陷检测模型针对每个巡检子图像输出的子图检测结果；
[0170]
调整模块104，用于利用所述滑动窗口的坐标对每个巡检子图像输出的子图检测结果进行调整，获得所述子图检测结果在所述巡检图像上对应的子图调整结果；
[0171]
合并检测模块105，用于对所述大图检测结果和所述子图调整结果进行合并处理，得到对所述巡检图像中小金具缺陷的检测结果。
[0172]
在一种可能的实施方式中，调整模块104，具体用于：
[0173]
针对每个巡检子图像，获取该巡检子图像对应的滑动窗口的左上角坐标；
[0174]
获取该巡检子图像中每个小金具的检测框的坐标；
[0175]
利用所述滑动窗口的左上角坐标调整该巡检子图像中每个小金具的检测框的坐标，得到调整后的小金具的检测框的坐标；
[0176]
在该巡检图像上按照所述调整后的小金具的检测框的坐标显示调整后的小金具的检测框，以获得所述子图检测结果在该巡检图像上对应的子图调整结果。
[0177]
在一种可能的实施方式中，上述输电线路中小金具缺陷的检测装置100还包括：训练模块106(未在图中示出)。
[0178]
所述训练模块106具体用于：获取训练集样本图像；
[0179]
从所述训练集样本图像中抽取多个样本图像，得到原始训练子集样本图像；
[0180]
针对所述原始训练子集样本图像中的每个样本图像，进行滑动窗口剪裁，获得多个样本子图像；
[0181]
将所述多个样本子图像添加到所述原始训练子集样本图像中，获得训练子集样本图像；
[0182]
利用所述训练集样本图像对初始小金具缺陷检测模型进行训练，获得预训练小金具缺陷检测模型；
[0183]
利用所述训练子集样本图像对所述预训练小金具缺陷检测模型进行训练，以获得小金具缺陷检测模型。
[0184]
在一种可能的实施方式中，上述大图检测模块102，具体用于：将所述巡检图像输入到所述特征提取层对所述巡检图像进行特征提取，获得第一特征图像；所述第一特征图像包括第一尺度特征图像、第二尺度特征图像和第三尺度特征图像；
[0185]
将所述第一特征图像输入到所述特征融合层对所述第一特征图像进行特征融合，得到第二特征图像；所述第二特征图像包括第四尺度特征图像、第五尺度特征图像和第六尺度特征图像；
[0186]
将所述第二特征图像输入到所述检测层对所述第二特征图像进行检测，获得所述小金具缺陷检测模型针对所述巡检图像输出的大图检测结果。
[0187]
在一种可能的实施方式中，上述大图检测模块102，还用于：
[0188]
将所述巡检图像输入到所述第一卷积层对所述目标巡检图像进行卷积操作，获得第一子特征图像；
[0189]
将所述第一子特征图像输入到第三卷积层组，得到第二子特征图像组；所述第二子特征图像组包括在第n-1个第五卷积层和第n个第五卷积层输出的第二子特征图像；
[0190]
将所述第n个第五卷积层输出的第二子特征图像输入到第四卷积层，得到第三子特征图像；
[0191]
将第二子特征图像组包括的第二子特征图像和第三子特征图像确定为第一特征
图像。
[0192]
在一种可能的实施方式中，上述大图检测模块102，还用于：
[0193]
所述将所述第一子特征图像输入到第三卷积层组，得到第二子特征图像组，包括：
[0194]
将所述第一子特征图像输入到第三卷积层组，通过第n-1个第五卷积层中的下采样层得到第一下采样图像，将所述第一下采样图像输入到该第五卷积层中的cspnet网络层进行升通道操作，得到第n-1个第五卷积层输出的第二子特征图像；
[0195]
将所述第n-1个第五卷积层输出的第二子特征图像输入到第n个第五卷积层，通过该第五卷积层中的下采样层得到第二下采样图像，将所述第二下采样图像输入到该第五卷积层中的cspnet网络层进行升通道操作，得到第n个第五卷积层输出的第二子特征图像；
[0196]
将所述第n-1个第五卷积层输出的第二子特征图像和所述第n个第五卷积层输出的第二子特征图像，作为第二子特征图像组。
[0197]
在一种可能的实施方式中，上述大图检测模块102，还用于：
[0198]
将所述第n个第五卷积层输出的第二子特征图像输入到下采样层进行下采样处理，得到第三下采样特征图像；
[0199]
将所述第三下采样特征图像输入到所述池化层进行最大池化处理，得到池化特征图像；
[0200]
将所述池化特征图像输入到所述cspnet网络层进行升通道操作，得到第三子特征图像。
[0201]
在一种可能的实施方式中，上述大图检测模块102，还用于：
[0202]
将所述第一特征图像输入到所述自顶向下的特征金字塔网络进行下融合处理，获得所述自顶向下的特征金字塔网络中的每一层金字塔网络输出的浅层融合特征图像；
[0203]
针对所述每一层金字塔网络输出的浅层融合特征图像，分别将该层金字塔网络输出的浅层融合特征图像输入到对应的自处理层进行卷积处理，获得每一层金字塔网络对应的自处理层输出的自处理特征图像；
[0204]
将所述自处理特征图像输入到所述自底向上的路径增强金字塔网络进行上融合处理，获得所述自底向上的路径增强金字塔网络中的每一层金字塔网络输出的深层融合特征图像；
[0205]
将所述自底向上的路径增强金字塔网络中的每一层金字塔网络输出的深层融合特征图像作为第二特征图像。
[0206]
在一种可能的实施方式中，上述大图检测模块102，还用于：
[0207]
所述将所述第二特征图像输入到所述检测层对所述第二特征图像进行检测，获得所述小金具缺陷检测模型针对所述巡检图像输出的大图检测结果，包括：
[0208]
将所述第二特征图像输入到所述检测头中进行图像感知，以得到三种尺度感知图像；每种尺度感知图像中包括回归特征图像和分类特征图像；
[0209]
针对每种尺度感知图像，将该种尺度感知图像输入到对应的回归与分类检测网络中进行回归与分类处理，得到该种尺度感知图像的回归结果和分类结果；
[0210]
根据所述回归结果和分类结果，获得所述小金具缺陷检测模型针对所述巡检图像输出的大图检测结果。
[0211]
本技术实施例提供的输电线路中小金具缺陷的检测装置，能够基于改进的yolox
目标检测模型对输电线路中小金具进行检测，在保持较快的检测速度的情况下以较高的检测精度实现对小金具缺陷的检测。
[0212]
参见图16所示，图16为本技术实施例提供的一种电子设备的示意图，该电子设备200包括：处理器201、存储器202和总线203，所述存储器202存储有所述处理器201可执行的机器可读指令，当电子设备运行时，所述处理器201与所述存储器202之间通过总线203通信，所述处理器201执行所述机器可读指令，以执行如上述输电线路中小金具缺陷的检测方法的步骤。
[0213]
具体地，上述存储器202和处理器201能够为通用的存储器和处理器，这里不做具体限定，当处理器201运行存储器202存储的计算机程序时，能够执行上述输电线路中小金具缺陷的检测方法。
[0214]
对应于上述输电线路中小金具缺陷的检测方法，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述输电线路中小金具缺陷的检测方法的步骤。
[0215]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0216]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0217]
另外，在本技术各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
[0218]
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0219]
最后应说明的是：以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻
易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。