一种引入注意力机制的输电线路螺栓脱销缺陷检测方法与流程

1.本发明涉及计算机视觉和深度学习等人工智能技术领域，尤其涉及一种引入注意力机制的输电线路螺栓脱销缺陷检测方法。


背景技术：

2.随着电力系统规模的不断扩大，对电力线路的安全性和可靠性需求日益增强。为了保障电力系统的正常运转，输电线路巡检己经成为电力部门维护基础设施安全的主要工作之一。其中，螺栓作为输电线路上各种不同部件之间连接的必要紧固件，根据不同部件上起到的不同作用，螺栓可分为:带销螺栓和不带销螺栓。带销螺栓一般安装于输电线路上主要部件之间的连接处，在连接金具本体、金具与电塔挂点处或者在连接金具互相连接时，需要使用开口销等进行固定。由于需要受到较大的作用力，往往容易发生缺陷，销钉的缺失可能导致连接处或者挂点处断开，导致整个电塔以及输电线路的稳定性遭到破坏，因此一旦发生缺陷常常需要尽早地进行维修处理，以避免发生重大故障事故。因此，对输电线路带销螺栓进行精确的脱销缺陷检测并及时排除故障对保障输电力系统稳定运行十分重要。
3.传统方式需要专业技术人员周期性在特定的时间环境进行登杆逐个检测。近些年无人机巡检技术兴起之后，在巡视方法上进行了改进，采用无人机图像采集技术，对铁塔关键位置进行数据采集，后期采用人工判读或者深度学习算法检测方法。
4.传统的电塔检修需要高空停电上塔检修作业，需要施工人员备良好的专业素质和身体素质进行上塔作业，传统方式费时、费力、不准确且危险，每年需要消耗大量的人力物力。
5.随着电力线路无人机巡检技术的大规模发展和推广，线路巡视班组的定期巡检会产生大量的巡检图像，人工判读的方法费时费力，需要大量专业判定作业人员进行大规模判读，效率低、准确率和召回率都不高，容易发生遗漏等情况。
6.传统的目标检测方法对小目标的检测能力不敏感，通用的深度卷积神经网络算法对小目标的检测效果并不理想，从而造成漏检率高等情况。


技术实现要素：

7.本发明提供了一种深度学习神经卷积神经网络算法加注意力机制结合的方法，基于实时检测模型fcos，通过改进fcos检测方法，引入注意力机制的计算，通过采用空间自适应和尺寸自适应的注意力机制改进原模型的head，实现模型的轻量化改进，在模型大小和检测时间不增加的基础上提高模型对螺栓脱销缺陷的检测精度。
8.本发明提供的一种引入注意力机制的输电线路螺栓脱销缺陷检测方法，包括：
9.s1:基于无人机影像分拣标注获得输电线路螺栓脱销缺陷数据集；
10.s2:预处理所述数据集，对数据进行清洗，使数据集内正常螺栓和脱销螺栓的样本数量符合1:1的比例，并将数据集按照4:1比例划分出训练集和测试集；
11.s3:搭建注意力机制改进的fcos模型，所述fcos模型包括：主干网络、特征金字塔
网络和引入注意力机制改进head；
12.s4:利用所述训练集对模型进行迭代训练，根据收敛效果确定模型；
13.s5:利用测试集进行测试，通过性能指标对比，得到最优的螺栓脱销缺陷检测模型。
14.可选的，
15.步骤s1包括通过无人机巡检输电线路的电力塔架来采集图像数据，所述图像数据中包含正常螺栓和脱销螺栓，挑选出塔架上含有脱销螺栓的图像，获取输电线路螺栓脱销缺陷数据集。
16.可选的，
17.步骤s1包括利用标注工具，对图像中的正常螺栓和脱销螺栓进行标注，标注的信息包含类别名称和位置信息，并以voc数据格式保存成xml标签文件。
18.可选的，
19.所述主干网络为resnet-50包括5个卷积模块记为conv1、conv12
……
conv5，模块输出的特征图分别命名为ci，i＝1，2，3，4，5，每个模块在输出时，将当前特征的分辨率下采样至输入的1/2，同时其通道数扩大2倍，其中，用于输入fpn的特征图c3、c4、c5的通道数分别是512、1024、2048。
20.可选的，
21.所述特征金字塔网络为fpn网络；选取c3、c4、c5作为输入，其中c5通过通道调整后直接输出，命名为p5，同时经过2次3
×
3卷积，生成的特征图分别记为p6、p7；此外，c5还经过1
×
1卷积调整通道数与c4一致后，通过2倍最近邻上采样生成与c4相同分辨率的特征图，随后，二者按对应元素相加，再进行一次3
×
3卷积，得到p4；同理可得p3，最终得到输出特征通道均为256的特征图p3、p4、p5、p6、p7。
22.可选的，
23.所述网络包括dla-34网络或者优于所述resnet-50网络的先进全面的主干网络；
24.所述特征金字塔网络包括bifpn网络或者比fpn网络更加先进全面的特征金字塔网络。
25.可选的，
26.所述注意力机制改进head；面向p4、p5、p6生成3个注意力机制改进后的head，每个head均共享权值，head以特征图p
x
和其相邻的两个特征图p
x-1
和p
x 1
作为输入，并采用3个不同的形变卷积进行几何变换计算，其中，p
x-1
的分辨率是p
x
的2倍，为使输出分辨率与p
x
一致，将其对应形变卷积的步长stride设置为2，而p
x 1
的分辨率是p
x
的二分之一，则需要先通过2倍最近邻上采样生成与p
x
相同分辨率的特征图，再进行形变卷积运算；通过形变卷积后，在相同空间位置上进行多层次特征聚合；
27.注意力的实现共分为squeeze、excitation、特征重标定和信息融合四个过程；通过squeeze操作对特征进行压缩，输入的3层特征经过平均池化采样后得到3
×1×1×
256维度的张量；excitation操作再将张量通过1
×
1的卷积层改变通道数为1，经过relu和hard sigmoid激活函数后生成相应的权重；在特征重标定过程中将原先的三层特征与相应权重求积获得具有尺度自适应的3层特征图；最后通过mean操作求平均值，融合三层不同尺度的特征信息，使模型能够根据语义重要性的不同动态地融合特征，输出h
×w×
256维度的特征
图h
x
。
28.可选的，
29.步骤s4包括：在物理电脑平台windows上使用输电线路螺栓脱销缺陷数据集中的训练集训练改进后的fcos模型，模型训练采用自适应矩估计优化器作为网络的训练优化策略，共训练100轮次；
30.学习率从0.001开始动态调整，每一轮次更新完成后，学习率乘以0.9；
31.观察训练损失loss的变化，当loss值连续5个轮次没有下降的时候，停止训练，获取收敛效果最好的模型。
32.可选的，
33.步骤s5包括：在模拟无人机linux或者raspberrypi平台上使用输电线路螺栓脱销缺陷数据集中的测试集测试改进后的fcos模型；
34.采用精度pa、召回率ra、map(mean average precision)、fps(frames per second)和flops(floating point operations)作为模型测试的性能指标；精度和召回率的定义公式为：
[0035][0036][0037]
上式中：x
tp，a
表示a类中被正确识别的目标；x
fp，a
表示a类中被错误识别为正例的目标；x
fn，a
表示a类中未正确识别的正例；pa表示对于所有识别为类别a的目标中正确识别的目标占比；ra表示图片中所有类别为a的目标中被正确识别的目标占比；置信度是某个目标属于类别a的概率。
[0038]
可选的，
[0039]
步骤s5包括：将测试集中每个类别被检测出的目标按照置信度从高到低进行排序并绘制该类别的精度-召回率曲；将曲线下的面积作为此类别的ap，接着对所有类别的ap求均值即可得到map，map反映映模型对各个类别的平均检测精度；fps指模型每秒处理，反映目标的检测速度；flops指模型的计算量，用于衡量模型的复杂度；使用这5个性能指标共同评估模型性能，经过多次实验，获取在输电线路螺栓脱销缺陷数据集中测试集的检测效果较好的模型。
[0040]
本技术相对于现有技术具备如下有益效果：
[0041]
无人机上使用的计算平台算力较低，通常难以运行复杂度高的目标检测模型，本发明在实时检测模型fcos的基础上，使用空间自适应和尺寸自适应的注意力机制改进模型的head，建立可在无人机平台运行的输电线路螺栓脱销缺陷检测方法。对比以往替换模型backbone和fpn的方式，该方法可以在不额外增加模型消耗的基础上，有效提高模型对螺栓脱销缺陷这类小尺寸目标的检测精度，且可以缓解脱销螺栓与不带销螺栓容易混淆的难题。我们的方法在该案例下，取得了令人信服的结果。在无人机平台上检测脱销螺栓的任务中，与上面的许多报告提及的一样，我们的方法可以在平台上高效运行，取得了令人满意的
成效。
[0042]
本技术技术方案具体技术效果体现为：
[0043]
1、使用形变卷积替换原fcos模型head中的普通卷积，通过提高模型空间自适应能力，使模型更好地聚焦于相关的细节信息，以缓解脱销螺栓与不带销螺栓容易混淆的难题。
[0044]
2、构建尺度自适应的注意力机制改进head，使模型可以根据语义重要性自适应地融合不同尺度的特征图信息，提升螺栓脱销缺陷这类小尺寸目标的检测精度。
[0045]
3、对比原fcos模型，改进后的fcos模型仅采用三个head进行最终的目标类别预测和位置回归，进一步降低了模型的计算量，降低了模型的复杂度。
[0046]
4、模型训练采用自适应矩估计优化器作为网络的训练优化策略，提高模型收敛性能。
[0047]
5、从检测精度、模型推理时间、模型复杂度三个方面严格评估模型性能。
附图说明
[0048]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0049]
图1为本发明的引入注意力机制的输电线路螺栓脱销缺陷检测方法实施例的流程图；
[0050]
图2为本发明的引入注意力机制的输电线路螺栓脱销缺陷检测方法实施例的fcos模型示意图；
[0051]
图3为本发明的引入注意力机制的输电线路螺栓脱销缺陷检测方法实施例的引入注意力机制改进head结构示意图。
具体实施方式
[0052]
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
[0053]
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
[0054]
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
[0055]
本发明提供了一种深度学习神经卷积神经网络算法加注意力机制结合的方法，基于实时检测模型fcos，通过改进fcos检测方法，引入注意力机制的计算，通过采用空间自适应和尺寸自适应的注意力机制改进原模型的head，实现模型的轻量化改进，在模型大小和检测时间不增加的基础上提高模型对螺栓脱销缺陷的检测精度。
[0056]
下面结合图1至图3对本实施例进行说明：
[0057]
s1、基于无人机影像分拣标注获得输电线路螺栓脱销缺陷数据集。
[0058]
前期通过无人机巡检输电线路的电力塔架来采集图像数据，由于无人机拍摄的图像中包含大量正常螺栓且大部分不包含脱销螺栓，因此需要以人工分拣的方式，挑选出塔架上含有脱销螺栓的图像，获取输电线路螺栓脱销缺陷数据集。
[0059]
利用标注工具，对图像中的正常螺栓和脱销螺栓进行标注，标注的信息包含类别名称和位置信息xmin(标注框左上脚x坐标)、ymin(标注框左上脚y坐标)、xmax(标注框右下脚x坐标)、以及ymax(标注框右下脚y坐标)，并以voc数据格式保存成xml标签文件。
[0060]
s2、预处理所述数据集，对数据进行清洗，使数据集内正常螺栓和脱销螺栓的样本数量符合1:1的比例，并将数据集按照4:1比例划分出训练集和测试集；
[0061]
对数据集进行处理：清洗亮度异常、噪声较大和图像模糊的数据，并使数据集内正常螺栓和脱销螺栓的样本数量符合1:1的比例，然后数据集均按照4:1的数量比例划分出训练集和测试集。
[0062]
s3、搭建注意力机制改进的fcos模型，所述fcos模型包括：主干网络、特征金字塔网络和引入注意力机制改进head；
[0063]
fcos(fcos:fully convolutional one-stage object detection)是一种端到端的逐像素目标检测模型，目前大多数主流的深度学习目标检测模型，例如retinanet、ssd、yolov3、faster r-cnn都依赖于预先定义的锚框，相比之下，fcos不依赖预先定义的锚框，因此避免了关于锚框的复杂运算，减少了模型的时间复杂度(计算量)和空间复杂度(访存量)，同时避免了人工调整对最终检测结果非常敏感的与锚框有关的超参数，从而显着提高了检测性能。其模型结构主要由主干网络resnet-50、特征金字塔网络fpn和检测头网络head组成，如图2所示。
[0064]
resnet-50相比普通卷积网络其特点在于增加了卷积层之间的跳跃连接，使得浅层卷积特征能够直接传播至深层，缓解训练时梯度消失与网络退化的问题。resnet-50由5个卷积模块(conv1～conv5)构成，模块输出的特征图分别命名为ci，i＝1，2，3，4，5，每个模块在输出时，将当前特征的分辨率下采样至输入的1/2，同时其通道数扩大2倍。其中，用于输入fpn的特征图c3、c4、c5的通道数分别是512、1024、2048。
[0065]
为节省内存和计算量，fpn未使用分辨率较低的c1与c2特征图，只选取c3、c4、c5作为输入。其中c5通过通道调整后直接输出，命名为p5，同时经过2次3
×
3卷积，生成的特征图分别记为p6、p7；此外，c5还经过1
×
1卷积调整通道数与c4一致后，通过2倍最近邻上采样生成与c4相同分辨率的特征图，随后，二者按对应元素相加，再进行一次3
×
3卷积，得到p4；同理可得p3，最终得到输出特征通道均为256的特征图p3、p4、p5、p6、p7。
[0066]
面对目标类别预测和位置回归两个任务，fcos分别采用4个3
×
3的卷积核大小在融合后的特征图上计算，生成相应的输出。对于深层特征图，其具有较大的感受野，包含更多的语义信息，能够较好地检测大尺寸目标，但是相比于浅层特征缺少了太多的空间位置信息，为此不容易检测出小尺寸目标。为此，fcos模型中每层特征对应的head均共享权值，虽然通过信息共享在一定上提高了对小尺寸目标的检测精度，但并没有考虑每层特征的贡献是不一样的，不能自适应地融合各个尺度特征的信息。
[0067]
因此本专利提出引入尺度自适应的注意力机制改进head，使模型可以自适应地融
合不同尺度的特征图信息，同时使用3个空间自适应的形变卷积层(deformable conv，d-conv)替换8个普通卷积层，提高模型学习上下文信息的能力，能够更容易地区分脱销螺栓与不带销螺栓，改进后的head结构如下图所示。
[0068]
仅面向p4、p5、p6生成3个注意力机制改进后的head，每个head均共享权值，head以特征图p
x
和其相邻的两个特征图p
x-1
和p
x 1
作为输入，并采用3个不同的形变卷积进行几何变换计算，其中，p
x-1
的分辨率是p
x
的2倍，为使输出分辨率与p
x
一致，将其对应形变卷积的步长stride设置为2，而p
x 1
的分辨率是p
x
的二分之一，则需要先通过2倍最近邻上采样生成与p
x
相同分辨率的特征图，再进行形变卷积运算。通过形变卷积后，在相同空间位置上进行多层次特征聚合(stack操作)。
[0069]
尺度自适应的注意力机制通过利用对head中所输入的每层特征进行不同权重的赋值，与关键信息相关度高的特征图具有更大的权重，使模型得以在不同尺度特征图中提取更为关键的特征信息。注意力的实现共分为squeeze、excitation、特征重标定和信息融合四个过程。通过squeeze操作对特征进行压缩，输入的3层特征经过平均池化采样后得到3
×1×1×
256维度的张量。excitation操作再将张量通过1
×
1的卷积层改变通道数为1，经过relu和hard sigmoid激活函数后生成相应的权重。在特征重标定过程中将原先的三层特征与相应权重求积获得具有尺度自适应的3层特征图。最后通过mean操作求平均值，融合三层不同尺度的特征信息，使模型能够根据语义重要性的不同动态地融合特征，输出h
×w×
256维度的特征图h
x
。对比原fcos模型使用5个head进行计算，改进后的fcos模型仅利用h4、h5、h6进行最终的目标类别预测和位置回归，进一步降低了模型的计算量。
[0070]
对于第3部分的步骤3-1，可以根据无人机平台的环境以及任务要求对主干网络进行替换，例如，可以使用对检测精度有明显提升但复杂度稍大的dla-34网络替换resnet-50网络。如有更加先进全面的主干网络，也可进行简单的替换。
[0071]
对于第3部分的步骤3-2，可以根据无人机平台的环境以及任务要求对特征金字塔网络进行替换，例如，可以使用对检测精度有明显提升但推理速度稍慢的bifpn网络替换fpn网络。如有更加先进全面的特征金字塔网络，也可进行简单的替换。
[0072]
s4、利用所述训练集对模型进行迭代训练，根据收敛效果确定模型；
[0073]
在物理电脑平台windows上使用输电线路螺栓脱销缺陷数据集中的训练集训练改进后的fcos模型，模型训练采用自适应矩估计优化器作为网络的训练优化策略，共训练100轮次。学习率从0.001开始动态调整，每一轮次更新完成后，学习率乘以0.9。观察训练损失loss的变化，当loss值连续5个轮次没有下降的时候，停止训练，获取收敛效果最好(最终loss值最低)的模型。
[0074]
s5利用测试集进行测试，通过性能指标对比，得到最优的螺栓脱销缺陷检测模型；
[0075]
测试阶段：在模拟无人机平台linux/raspberrypi上使用输电线路螺栓脱销缺陷数据集中的测试集测试改进后的fcos模型。采用精度pa、召回率ra、map(mean average precision)、fps(frames per second)和flops(floating point operations)作为模型测试的性能指标。精度和召回率的定义公式为
[0076]
[0077][0078]
上式中：x
tp，a
表示a类中被正确识别的目标；x
fp，a
表示a类中被错误识别为正例的目标；x
fn，a
表示a类中未正确识别的正例；pa表示对于所有识别为类别a的目标中正确识别的目标占比；ra表示图片中所有类别为a的目标中被正确识别的目标占比。置信度是某个目标属于类别a的概率，将测试集中每个类别被检测出的目标按照置信度从高到低进行排序并绘制该类别的精度-召回率曲线，将曲线下的面积作为此类别的ap，接着对所有类别的ap求均值即可得到map，map反映映模型对各个类别的平均检测精度。fps指模型每秒处理，反映目标的检测速度。flops指模型的计算量，用于衡量模型的复杂度。
[0079]
使用这5个性能指标共同评估模型性能，经过多次实验，获取在输电线路螺栓脱销缺陷数据集中测试集的检测效果较好的模型。
[0080]
在本技术的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。
[0081]
机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0082]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0083]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0084]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
[0085]
人工智能是研究计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技
术主要包括计算机视觉技术、语音识别技术、自然语音处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
[0086]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本技术公开的技术方案所期望的结果，本文在此不进行限制。
[0087]
上述具体实施方式，并不构成对本技术保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本技术的精神和原则之内所作的修改、等同替换和改进等，均应包含在本技术保护范围之内。