一种输电线路细粒度螺栓缺陷诊断方法及系统与流程

1.本发明涉及模式识别技术领域，尤其涉及一种输电线路细粒度螺栓缺陷诊断方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.为保证电力设备的安全稳定工作，人工智能技术中的“引擎”技术，深度学习技术已经在电力巡检工作中引入，面对具体场景下如何准确的将所感兴趣的目标对象识别出对应的种类是近期行业领域关注的研究热点，所以利用机器学习或深度学习实现精细化图像的识别显得尤为重要。
4.在输电线路领域，螺栓缺陷的识别是尤为关键的，通常其出现缺陷后大概率下为高危缺陷，并且螺栓级别的目标分类属于细粒度图像分类任务，不同子类别的特征是非常相似的。其中目标块的尺寸大小在10x10到200x200像素之间，并且分类样本极度分布不均。如何获取螺栓图像细节特征实现不同缺陷种类的分类即是实际场景下的迫切需求。


技术实现要素：

5.有鉴于此，本发明提出了一种输电线路细粒度螺栓缺陷诊断方法及系统，将热度图特征与深度学习特征横向融合，并实现高层的输出特征融合低层特征，实现前向网络的横向特征融合再训练的方法，获取特征更强的表达能力，从而实现精细化的特征分类。
6.根据本发明实施例的第一个方面，提供了一种输电线路细粒度螺栓缺陷诊断方法，包括：
7.对于获取到的待识别图像，对螺栓所在的区域进行定位，得到螺栓所在区域的局部区域图像；
8.提取局部区域图像的深度学习特征；
9.提取局部区域图片的sift特征，并计算sift特征的热力图；
10.将深度学习特征与sift特征的热力图进行融合；根据融合后的特征实现对螺栓缺陷的细粒度分类诊断。
11.根据本发明实施例的第二个方面，提供了一种输电线路细粒度螺栓缺陷诊断系统，包括：
12.局部区域定位模块，用于对于获取到的待识别图像，对螺栓所在的区域进行定位，得到螺栓所在区域的局部区域图像；
13.深度学习特征提取模块，提取局部区域图像的深度学习特征；
14.sift特征提取模块，用于提取局部区域图片的sift特征，并计算sift特征的热力图；
15.特征融合模块，用于将深度学习特征与sift特征的热力图进行融合；
16.螺栓缺陷细粒度分类模块，用于根据融合后的特征实现对螺栓缺陷的细粒度分类。
17.根据本发明实施例的第三个方面，提供了一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行上述的输电线路细粒度螺栓缺陷诊断方法。
18.根据本发明实施例的第四个方面，提供了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的输电线路细粒度螺栓缺陷诊断方法。
19.根据本发明实施例的第五个方面，提供了一种电力巡检设备，采用上述的输电线路细粒度螺栓缺陷诊断方法，实现输电线路细粒度螺栓缺陷分类诊断。
20.根据本发明实施例的第六个方面，提供了一种电力巡检机器人，采用上述的输电线路细粒度螺栓缺陷诊断方法，实现输电线路细粒度螺栓缺陷分类诊断。
21.根据本发明实施例的第七个方面，提供了一种电力巡检无人机，采用上述的输电线路细粒度螺栓缺陷诊断方法，实现输电线路细粒度螺栓缺陷分类诊断。
22.与现有技术相比，本发明的有益效果是：
23.(1)本发明提出了一种输电线路细粒度螺栓缺陷诊断方法，通过无监督化关键点热度图提取，增加了关键点的局部特征权重，提取了更全面的局部细节信息，实现了传统特征与深度学习特征的融合，从而有效提升了细粒度图像识别方法的识别准确率。
24.(2)本发明提出了输电线路细粒度螺栓图像局部精细化特征分类算法，提出图像无监督化局部特征自提取方法，设计了输电线路细粒度螺栓图像深度学习特征与sift特征横向融合方法，实现了关键点的局部特征权重增加，提升了网络结构对图像细节特征的表征能力，降低了图像背景噪声的干扰；解决了局部特征在全局占比较小的问题，实现了更强的特征表达能力,提高了精细化的特征分类准确率。
25.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
26.图1为根据本发明实施例的一种输电线路细粒度螺栓缺陷分类方法流程图；
27.图2为根据本发明实施例的一种热图与深度学习特征金字塔的融合结构示意图；
28.图3为根据本发明实施例的一种可选的输电线路细粒度螺栓缺陷分类方法流程图。
具体实施方式
29.应该指出，以下详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
30.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，
意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
31.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
32.实施例一
33.根据本发明实施例，提供了一种输电线路细粒度螺栓缺陷分类方法的实施例，参照图1的一种输电线路细粒度螺栓缺陷分类方法流程图，包括以下步骤：
34.步骤s101：对于获取到的待识别图像，对螺栓所在的区域进行定位，得到螺栓所在区域的局部区域图像；
35.具体地，构建一个通类模型，也就是触发模型，基于所述通类模型来识别出物体的大类别，采用深度学习模型实现大类目标位置的局部区域定位。
36.通类模型可以采用一阶段深度学习网络或二阶段深度学习网络，如r-fcn、ssd、yolo等。其中，对于深度学习网络的训练过程包括：
37.构建数据集，对所述数据集中的图像进行螺栓的标定，采用标定后的数据集对深度学习网络进行训练，得到训练后的能够进行待识别目标定位的模型。
38.具体地，模型的训练集为采集到的电力设备图像，进行人工标注螺栓大类别，螺栓类，包含的子类别有螺栓缺销子、螺栓销子脱出、螺栓销子未打开、螺栓螺母欠扣、螺栓锈蚀等，将训练集输入到深度学习网络模型进行模型训练，最终获取可定位预测的神经网络模型。此模型即为检测大类别的通类模型。
39.步骤s102：对于步骤s101中构建的数据集，根据大类别所独有的局部特征进行人工分类，构建大类下的细分类数据集；比如：对于螺栓局部图片进行细分类别，分为：螺栓缺销子、螺栓销子脱出、螺栓销子未打开、螺栓螺母欠扣、螺栓锈蚀等，并将图像尺寸都调整为422x422尺寸。
40.步骤s103：提取局部区域图像的深度学习特征，具体过程包括：将局部区域图像输入到训练好的深度学习网络；通过所述深度学习网络的各卷积网络层实现深度学习特征的提取，利用特征金字塔式结构实现特征横向融合，得到局部区域图像的深度学习特征。
41.深度学习特征融合按照公式实现融合，f
c
表示c通道上的深度学习特征，融合方式则为各通道特征进行直和运算生成最终融合特征f。
42.步骤s104：使用传统特征提取方法，提取局部区域图片的sift特征。
43.具体地，提取局部区域图片的sift特征的步骤如下：
44.步骤s1041：尺度空间极值点检测，建立局部区域图片高斯金字塔及高斯差分金字塔(dog)，检测空间极值点。将输入图像通过不同尺度(σ)的高斯核函数连续滤波和下采样，形成高斯金字塔图像，然后利用不同尺度的高斯差分核与图像卷积生成高斯差分金字塔，计算公式：
45.d(x,y,σ)＝[g(x,y,kσ)-g(x,y,σ)*i(x,y)]
[0046]
＝l(x,y,kσ)-l(x,y,σ)。
[0047]
将dog尺度空间每个点与其相邻尺度和相邻位置的26个点逐个进行比较，以确保在尺度空间和二维空间检测到极值点。
[0048]
步骤s1042：关键点位置确定。通过拟合三维二次函数以精确确定关键点的位置和
尺度(达到亚像素精度)，同时根据曲面拟合的方法对关键点进行进一步的精确定位，同时剔除对比度低的关键点和不稳定的边缘响应点(因为dog算子会产生较强的边缘响应)。
[0049]
步骤s1043：关键点方向分配。以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向，直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。为每个关键点指定方向参数，使算子具备旋转不变性。
[0050]
步骤s1044：生成特征点描述符。对任意一个关键点，在其所在的尺度空间(即高斯金字塔结构的某一层)，取以关键点为中心的16像素
×
16像素大小的邻域，再将此邻域均匀地分为4
×
4个子区域(每个子区域大小为4像素
×
4像素)，对每个子区域计算梯度方向直方图(直方图均匀分为8个方向)。然后，对4
×
4个子区域的8方向梯度直方图根据位置依次排序，这样就构成了一个4
×4×
8＝128维的向量，该向量就是sift描述符。
[0051]
步骤s105：计算sift特征的热力图。
[0052]
具体地，离散点热度图的计算是一个中心衰减，离散点处值最大，越远则值越小，公式如下：
[0053][0054][0055]
热度图中各位置强度值的计算根据均值为σ的高斯分布，计算公式如式(1)所示。其中m(x
i
,y
i
)代表热度图中各位置强度值，d(x
i
,y
i
)表示热度图(x
i
,y
i
)位置和与该位置距离最近的关键点的距离的平方和。3σ2为d(x
i
,y
i
)的阈值，目的是使热度图主要关注对应关键点相关的区域，减少其他区域的干扰，同时也减少热度图计算量。d(x
i
,y
i
)的计算公式如式(2)所示。
[0056]
sift特征的热力图计算过程如下：
[0057]
步骤s1051：sift特征为离散点集，每个离散点设定一个半径，创建一个缓冲区；
[0058]
步骤s1052：对每个离散点的缓冲区，使用渐进的灰度带(完整的灰度带是0～255)从内而外，由浅至深地填充；
[0059]
步骤s1053：由于灰度值可以叠加，从而对于有缓冲区交叉的区域，可以叠加灰度值，因而缓冲区交叉的越多，灰度值越大；
[0060]
步骤s1054：对叠加后的灰度值进行归一化处理，每个像素点的数值区间为(0，1)。
[0061]
步骤s106：进行深度学习特征与图像sift特征的热力图融合。
[0062]
具体地，深度学习特征与图像sift特征的融合，其中f表示网络结构中的特征图，h
sift
表示sift特征热图，表示将特征图的不同通道(共有c个通道)分别与热度图进行逐像素的融合后按照通道连接起来。
[0063]
融合后的最终特征表示如下：
[0064][0065]
h
sift
为sift特征的热力图，f
forward
为融合图。
[0066]
步骤s107：构建类似fpn的框架，实现分类算法特征融合模型，特征金字塔的融合结构如2图所示，卷积层cn输出的多维特征通过步骤s106，对图像sift特征的热力图进行相
应尺寸的放缩实现热力图与卷积层特征图的融合，然后运用1*1卷积实现特征的降维。最终输出n-1个特征图，输入average-pooling(平均池化)层，然后进行特征的横向融合(横向融合即为各通道进行矩阵直和操作)，然后输入全连接层，最终输入特征分类层。
[0067]
步骤s108：运用步骤s107下构建的分类模型，采用步骤s102构建的数据集进行分类模型训练工作，最终获取优异的细粒度深度学习分类模型。
[0068]
步骤s109：将螺栓图像信息，输入到训练好的细粒度深度学习分类模型，输出设备的细分类别。
[0069]
下面以进行输电设备螺栓缺陷的细粒度检测为例，对本发明方法进行进一步的举例说明。
[0070]
参照图3，进行输电设备螺栓缺陷的细粒度检测方法包括如下步骤：
[0071]
步骤1：训练螺栓定位模型，选用resnet101模型，采用大规模数据集imagenet的预训练的网络来进行网络结构以及模型参数的微调，实现大类螺栓位置的局部区域定位，获取螺栓局部区域图片。
[0072]
步骤2：构建训练数据集，对数据集中的螺栓局部图片进行细分类别标注；包括：螺栓缺销子、螺栓销子脱出、螺栓销子未打开、螺栓螺母欠扣、螺栓锈蚀等，并图像调整尺寸都转为224x224尺寸。
[0073]
步骤3：通过深度学习网络卷积层卷积获取的深度学习特征；
[0074]
步骤4：提取螺栓区域图片sift特征；
[0075]
步骤5：将sift特征转化为热力图；
[0076]
步骤6：构建特征融合模块，进行深度学习特征与图像sift特征的热力图融合。
[0077]
步骤7：选取resnet50作为深度学习分类模型，将步骤6中的特征融合模块在resnet50中进行添加实现分类算法特征融合模型。
[0078]
步骤8：运用步骤7下构建的分类模型进行分类模型训练工作，最终获取优异的深度学习分类模型。
[0079]
本发明实施例采用无监督关键点自提取方法定位出关键区域的位置，实现了关键点的局部特征权重增加，在一定程度上筛除了背景噪声的干扰。运用这种注意力机制的添加可以注意到子类别所独有的局部特征，可实现更全面的局部细节信息提取，从而有效提升了细粒度图像识别方法的识别准确率。在一定程度上解决了传统的图像分类网络中，无论图像中的重要判别区域占整个图像的比重有多大，都只会对整张图片一视同仁提取特征的问题。
[0080]
实施例二
[0081]
根据本发明实施例，还提供了一种输电线路细粒度螺栓缺陷诊断系统的实施例，具体包括：
[0082]
局部区域定位模块，用于对于获取到的待识别图像，对螺栓所在的区域进行定位，得到螺栓所在区域的局部区域图像；
[0083]
深度学习特征提取模块，提取局部区域图像的深度学习特征；
[0084]
sift特征提取模块，用于提取局部区域图片的sift特征，并计算sift特征的热力图；
[0085]
特征融合模块，用于将深度学习特征与sift特征的热力图进行融合；
[0086]
螺栓缺陷细粒度分类模块，用于根据融合后的特征实现对螺栓缺陷的细粒度分类。
[0087]
此处需要说明的是，上述局部区域定位模块、深度学习特征提取模块、sift特征提取模块、特征融合模块和螺栓缺陷细粒度分类模块对应于实施例一中的步骤s101至s108，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
[0088]
实施例三
[0089]
根据本发明实施例，提供了一种终端设备，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中的输电线路细粒度螺栓缺陷诊断方法。为了简洁，在此不再赘述。
[0090]
应理解，本实施例中，处理器可以是中央处理单元cpu，处理器还可以是其他通用处理器、数字信号处理器dsp、专用集成电路asic，现成可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0091]
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
[0092]
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
[0093]
实施例一中的输电线路细粒度螺栓缺陷诊断方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
[0094]
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0095]
实施例四
[0096]
根据本发明实施例，提供了提供了一种电力巡检设备，该设备在进行电力设备巡检时，采用上述的输电线路细粒度螺栓诊断方法，实现输电线路细粒度螺栓缺陷分类诊断。
[0097]
具体来说，电力巡检设备可以是电力巡检机器人，也可以是电力巡检无人机等等。
[0098]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。