一种输电线路销钉缺陷检测方法、设备及介质与流程

1.本发明涉及一种输电线路销钉缺陷检测方法、设备及介质，属于小目标检测、输电线路巡检技术领域。


背景技术：

2.对于传统的销钉检测，通过人工攀爬的方式是主要手段，费时又费力，但由于销钉具有在输电线路中分布十分广泛以及规格样式多变的特点，使其检查变得更加困难。随着无人机技术的发展，其体积较小和高安全性的特点使其在电力巡检中被大量运用，极大的提高了巡检效率。但是针对销钉数量多、尺寸小的情况，巡检人员通过只能通过放大、拉动的方式，对无人机巡检图像所示的销钉进行逐一检查，这可能会导致极高的工作量以及漏检率。而且航拍图像中缺销钉与正常销钉的视觉差异极小，缺陷特征的不规则性使得航拍图像中缺销钉的缺陷特征分类更具挑战性。
3.目前无人机输电线路巡检图像中对销钉缺陷的检测主要是采用深度学习算法。其中比较接近的是采用faster-rcnn算法对销钉进行缺陷检测，其主要包括3个部分：特征提取网络cnn，目标检测网络rcnn与区域建议网络(region proposal network，rpn)。首先，特征提取网络部分使用vgg16作为网络框架，对输入的图片提取浅层特征，输出得到的特征图作为区域建议网络rpn的输入；然后在rpn中对该特征图采用滑动窗口遍历卷积，将特征图映射为一个低维向量，分别送入分类层与回归定位层，输出可能包括目标物的建议框；目标检测网络rcnn结合cnn输出的特征图与rpn输出的区域建议框，首先利用非极大值抑制算法得到感兴趣区域(region of interest，roi)，再通过roi池化层，将roi下采样至某一固定尺寸。通过全连接层得到roi的低维特征向量，最后送入softmax分类器，进一步调整目标分类置信度和定位矩形框位置。该算法对于面积较大和特征较明显的目标物有较好的检测效果。对于销钉这类小目标检测精度低，漏检率和误检率较高。因此，如何针对销钉图像背景大体积小导致漏检率高、缺陷特征不明显导致误检率高的特点，在海量图像中准确的定位销钉并识别出销钉是否异常是一个急需解决的问题。


技术实现要素：

4.为了解决上述现有技术中存在的问题，本发明提出了一种输电线路销钉缺陷检测方法，针对销钉体积小的特点建立有小目标检测模型和分类模型，利用小目标检测模型框出销钉位置并进行剪裁，再将剪裁后的目标框子图输入到分类模型进行销钉缺陷检测，改善输电线路巡检图像中销钉缺陷识别误检率高的问题。
5.本发明的技术方案如下：
6.一方面，本发明提供一种输电线路销钉缺陷检测方法，包括以下步骤：
7.制作销钉图像数据集；收集包含销钉的输电线路巡检影像并进行预处理，得到销钉图像数据集；
8.构建基于神经网络的小目标检测模型；利用所述销钉图像数据集对所述小目标检
测模型进行训练，得到销钉检测模型；
9.制作缺陷数据集，从所述销钉图像数据集中的图像里裁剪出包含销钉的目标框子图；对目标框子图进行预处理，并为图像中销钉的添加缺陷标签，得到销钉缺陷数据集；
10.构建基于神经网络的分类模型，利用所述销钉缺陷数据集对所述分类模型进行训练，得到销钉缺陷检测模型；
11.输入待检测的图像，通过销钉检测模型检测图像中的销钉，并输出检测到销钉的目标框的位置信息；根据目标框的位置信息对图像进行剪裁，得到目标框子图，将目标框子图输入至销钉缺陷检测模型检测是否存在缺陷，并输出结果。
12.作为优选实施方式，所述小目标检测模型包括两部分，其中：
13.第一部分包括一vgg16特征提取网络，所述vgg16特征提取网络嵌入有一fm聚焦模块；通过vgg16特征提取网络提取输入图像的特征矩阵；所述fm聚焦模块对特征矩阵先进行一个全局平均池化操作，得到1
×1×
channel的特征矩阵，然后进行一个特征交互过程，先压缩通道数再重构回原来通道，最后经过sigmoid函数，生成channel间0～1的注意力权重再乘回原输入的特征矩阵；将图像分为多个尺寸的子模块后，分批次输出至第二部分；
14.第二部分包括resnet101网络、rpn层以及fc分类层；所述resnet101网络包括依次连接的rs1～rs4四个残差块，每一残差块均包括卷积、池化和relu激活函数操作，提取输入数据的特征矩阵；resnet101网络提取的特征矩阵输出至rpn层，rpn层根据输入的特征矩阵输出感兴趣区域roi至fc分类层；fc分类层包括全连接层、softmax函数和位置回归函数，对所述感兴趣区域roi的位置进行校正，输出目标框。
15.作为优选实施方式，在所述rs3模块中，嵌入有特征强化操作；所述特征强化操作采用双线性插值法提高特征的分辨率，具体为：
16.设f(wi,hj)为特征图上任意一点的特征值，则任意位置f(wi u,hj v)的计算公式为：
[0017][0018]
且在resnet101网络中，使用多尺度特征融合方法，将rs2模块输出的特征矩阵与rs3模块输出的增强后的特征矩阵进行融合，得到融合后的特征矩阵再输出至rpn层。
[0019]
作为优选实施方式，所述rpn层在学习过程中，设定以下损失函数度量预测目标框与真实框之间的偏差：
[0020][0021]
其中，i是建议框的索引数，di是建议框i成为目标的预测概率，是真实框的标签，ui是表示预测目标框的四个参数化坐标的向量，是与ui相关联的真实框，n
reg
代表锚点位置的数量，n
cls
是对应于训练图像的常数，l
cls
和l
reg
由n
cls
和n
reg
归一化得到，λ代表一个平衡权重，l({di},{ui})是分类回归后得到的最终损失。
[0022]
作为优选实施方式，所述销钉缺陷检测模型检测采用efficientnet-b0网络，包括16个mbconv层、2个卷积层、1个全局平均池化层和1个fc分类层；
[0023]
所述销钉缺陷检测模型采用迁移学习的方法训练网络。
[0024]
另一方面，本发明还提供一种输电线路销钉缺陷检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例所述的检测方法。
[0025]
再一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的检测方法。
[0026]
本发明具有如下有益效果：
[0027]
1、本发明一种输电线路销钉缺陷检测方法，针对销钉体积小的特点建立有小目标检测模型和分类模型，利用小目标检测模型框出销钉位置并进行剪裁，再将剪裁后的目标框子图输入到分类模型进行销钉缺陷检测，改善输电线路巡检图像中销钉缺陷识别误检率高的问题。
[0028]
2、本发明一种输电线路销钉缺陷检测方法，提出一种基于vgg16 resnet101的混合结构作为特征提取网络的小目标检测模型，并针对小目标在特征提取网络的第一部分vgg16中添加fm聚焦模块，加强对小目标的特征提取能力。
[0029]
3、本发明一种输电线路销钉缺陷检测方法，在resnet101网络中的其中一模块嵌入特征强化操作，提高特征的分辨率；并采用多尺度特征融合的方法，将强化后的特征和其他特征进行融合，保留了高层语义特征的抽象，又在一定程度上抑制了低层特征的噪声冗余。
附图说明
[0030]
图1为本发明实施例一的流程图；
[0031]
图2为本发明实施例中销钉检测模型的训练示例图；
[0032]
图3为本发明实施例中销钉缺陷检测模型的训练示意图。
具体实施方式
[0033]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0034]
应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
[0035]
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0036]
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0037]
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0038]
实施例一：
[0039]
参见图1，一种输电线路销钉缺陷检测方法，包括以下步骤：
[0040]
制作销钉图像数据集；通过无人机进行输电线路巡检，从巡检图像收集包含销钉的输电线路巡检影像并进行预处理和数据增强操作，包括去抖防噪、实施旋转，裁剪，拉伸等处理以及对不同场景的图像进行场景增强；处理后得到销钉图像数据集；划分训练集、验证集和测试集并对训练集和验证集采用labelimg进行人工标注，标注后得到对应图像的文件名、图像宽度与高度信息及销钉目标框左上点与右下方点坐标信息的xml文件。
[0041]
构建基于神经网络的vfm-resepnet小目标检测模型；利用训练集对所述销钉图像数据集对vfm-resepnet小目标检测模型进行训练，在训练过程通过验证集持续验证模型性能，并根据各项网络参数变化情况，在达到期望数值时固化模型得到销钉检测模型。
[0042]
制作缺陷数据集，从所述销钉图像数据集中的图像里裁剪出包含销钉的目标框子图；对目标框子图同样进行数据预处理和图像增强后划分训练集、验证集和测试集，人工标注时只需标注类别标签，正常销钉图像和缺销钉图像数量相当，以保持样本的均衡，得到销钉缺陷数据集。
[0043]
构建基于神经网络的分类模型，利用所述销钉缺陷数据集对所述分类模型进行训练，得到销钉缺陷检测模型；
[0044]
输入待检测的图像，通过销钉检测模型检测图像中的销钉，检测完成后得到带有目标位置信息矩形目标框的输出结果；根据目标框的位置信息对图像进行剪裁，得到目标框子图，将目标框子图输入至销钉缺陷检测模型检测是否存在缺陷，并输出图像的分类结果，结果包括异常和正常两种，当输出异常结果时，还输出异常的类别即销钉的缺陷类别。
[0045]
具体参见图2，作为本实施例的优选实施方式，所述vfm-resepnet小目标检测模型包括两部分，其中：
[0046]
第一部分包括一vgg16特征提取网络，所述vgg16特征提取网络嵌入有一fm聚焦模块；通过vgg16特征提取网络提取输入图像的特征矩阵；fm聚焦模块是一个针对小目标特征的聚焦模块，能够加强对小目标的特征提取能力，首先对输入的特征矩阵进行一个全局平均池化操作，得到1
×1×
channel的特征矩阵，然后进行一个特征交互过程，先压缩通道数再重构回原来通道，最后经过sigmoid函数，生成channel间0～1的注意力权重再乘回原输入的特征矩阵；图像经(vgg16 fm)特征提取后分辨率变为900
×
700大小，将图像分为多个128
×
128大小的子模块并经过卷积、池化层后，分批次输出至第二部分；
[0047]
第二部分包括resnet101网络、rpn层以及fc分类层；所述resnet101网络包括依次连接的rs1～rs4四个残差块，每一残差块均包括卷积、池化和relu激活函数操作，提取输入数据的特征矩阵；resnet101网络提取的特征矩阵输出至rpn层，rpn层根据输入的特征矩阵输出感兴趣区域roi至fc分类层；fc分类层包括全连接层、softmax函数和位置回归函数，对所述感兴趣区域roi的位置进行校正，输出目标框。
[0048]
作为本实施例的优选实施方式，在所述rs3模块中，嵌入有enhance操作，即一种特征强化方法；为防止高级语义特征被过度腐蚀，加入双线性插值来提高特征的分辨率，具体为：
[0049]
设f(wi,hj)为特征图上任意一点的特征值，则任意位置f(wi u,hj v)的计算公式为：
[0050]
[0051]
继而本实施例在rs2模块和rs3模块之间使用多尺度特征融合的方法，将rs2模块输出的特征矩阵与rs3模块输出的增强后的特征矩阵进行融合，既保留了高层语义特征的抽象，又在一定程度上抑制了低层特征的噪声冗余；融合后的特征矩阵放入rpn层，应用锚机制，将锚的比例设置为0.5、1、2和3，对于每个锚点，使用16个不同大小的锚点框来计算融合特征矩阵中前景和背景的置信度。
[0052]
本实施例提出了一种xroi操作(expansion roi，即扩张roi)来解决原来roi层中小目标存在的特征丢失的问题，在roi池化操作的基础上加入了双线性插值的方法，使小物体的深层视觉特征被很好地保留下来，充分提取前景的深层特征，对于不同尺寸的roi，采用7
×
7的固定尺寸roi进行特征提取：首先通过xroi操作得到14
×
14的特征区域，然后以步长2进行最大值池化。最终得到7
×7×
1536的张量。
[0053]
所述rpn层在学习过程中，设定以下损失函数度量预测目标框与真实框之间的偏差：
[0054][0055]
其中，i是建议框的索引数，di是建议框i成为目标的预测概率，是真实框的标签，ui是表示预测目标框的四个参数化坐标的向量，是与ui相关联的真实框，n
reg
代表锚点位置的数量，n
cls
是对应于训练图像的常数，l
cls
和l
reg
由n
cls
和n
reg
归一化得到，λ代表一个平衡权重，l({di},{ui})是分类回归后得到的最终损失。
[0056]
该7
×7×
1536的张量流经1000个节点的全连接层，该层分别连接到长度为(k 1)和4
×
(k 1)的全连接层(k是待检测对象的类别数)，然后通过softmax函数计算和位置回归计算，得到分类概率和目标位置校正，冗余对象建议框采用非极大值抑制操作。最终分类和回归损失函数的计算方式和上述rpn层损失函数计算方式一致。
[0057]
具体参加图3，作为本实施例的优选实施方式，所述销钉缺陷检测模型检测采用efficientnet-b0网络，包括16个mbconv层、2个卷积层、1个全局平均池化层和1个fc分类层；
[0058]
为了加快模型训练的速度，本网络采用迁移学习的方法来提升训练速度，使用在imagenet数据集上大规模预训练的深度模型作为通用的特征提取器。
[0059]
实施例二：
[0060]
本实施例提供一种输电线路销钉缺陷检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例所述的检测方法。
[0061]
实施例三：
[0062]
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的检测方法。
[0063]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。