一种基于注意力机制的输电线路小部件属性识别方法与流程

1.本发明属于图像识别技术领域，具体涉及一种基于注意力机制的输电线路小部件属性识别方法。


背景技术：

2.输电线路小部件缺陷识别是检测输电线路缺陷的一种方法，小部件缺陷指螺栓、垫片、螺母、销钉的缺失、安装不规范、锈蚀等等。
3.小部件的缺陷使输电线路安全存在极大隐患，可能造成巨大的安全和经济事故。输电线路小部件如螺栓小部件是否存在开口销、是否存在螺母的属性识别对缺陷识别准确率有极大的影响。
4.当前输电线路螺栓小部件属性识别主要有以下几点不足：(1)人工检测消耗大量的人力。(2)传统的图像属性处理方法，识别准确率低。


技术实现要素：

5.本发明提供一种基于注意力机制的输电线路小部件属性识别方法，通过自注意力机制，在图像编码阶段对图像相关属性的特征进行关注，忽略图像噪音和图像属性无关的特征，极大的提高了图像属性识别的准确率，从而解决了现有技术中存在的针对输电线路小部件属性存在的识别准确率低等技术问题。
6.本发明通过下述技术方案实现：
7.一种基于注意力机制的输电线路小部件属性识别方法，所述方法包括以下步骤：
8.s1：构造输电线路小部件图像自注意力机制编码器；
9.s2：构造输电线路小部件属性分类器；
10.s3：输电线路小部件属性分类器训练及推理。
11.可选地，步骤s1中，构造输电线路小部件图像自注意力机制编码器的具体方法为，获得输电线路小部件图像，并对所述输电线路小部件图像依次进行图像分块处理、分块图像局部自注意力计算处理及全局图像自注意力计算。
12.可选地，步骤s2中，构造输电线路小部件属性分类器的具体方法为：步骤s1中输电线路小部件编码器获得的特征向量依次进行分类器计算、目标函数计算、优化器计算。
13.可选地，步骤s3中，输电线路小部件属性分类器训练及推理具体操作为：创建带标签的输电线路小部件属性检测数据集，然后对输电线路小部件属性检测数据集进行训练，并根据输电线路小部件属性进行分类，将分类结果应用到输电线路小部件缺陷检测中。
14.可选地，对所述输电线路小部件图像进行图像分块处理的方法为，将输送线路小部件图像进行填充为边长64整倍的正方形，然后按组分割成不同尺寸的连续的矩形方块。
15.可选地，图像块图像局部自注意力计算处理方法为，对不同尺寸的矩形方块进行局部自注意力体制学习，使用三种卷积核对矩形方块图像进行卷积计算，将卷积前的数值张量和卷积后的张量进行位相乘，实现自注意力功能；使用三种卷积核对每个矩形方块图
像进行卷积计算，三种卷积核分别k/d
×
k/d卷积核、(2d-1)
×
(2d-1)扩张卷积核、1
×
1卷积核。
16.attention
patch
＝conv1×1(convd(convk×k(f
patch
)))
17.其中，k为patch图像矩形方框的边长，d为扩张卷积核的间隔，convk
×
k为k/d
×
k/d卷积核、convd为(2d-1)
×
(2d-1)卷积核，fpatchεh×w×d为patch矩形方块的特征图，attentionpatchεh×w×d为patch矩形方块的注意力特征，h、w和d分别为特征图的长、宽、特征长度，将卷积前的数值张量与卷积后的张量进行位相乘：
[0018][0019]
式中，f’patch
为添加注意力后的patch矩形块特征图，通过该方法实现一层局部注意力的计算，通过多层串联进行深度局部自注意力学习。
[0020]
可选地，图像块图像全局图像自注意力计算方法为：将每组经过局部自注意力计算的矩形方块图像投影为固定长度的向量送入transformer，使用多头注意力对矩形方块图像序列进行全局注意力计算；
[0021]
attention
full
＝transformer(seq(flatte(f
patch
)))
[0022]
式中，attention
full
为全局注意力，flatte将矩形块特征图展开，seq为将展开的矩形块特征图序列化。
[0023]
可选地，步骤s1中输电线路小部件编码器获得的特征向量通过卷积计算和softmax回归分类，对输电线路小部件图像的属性检测进行分类计算，
[0024][0025]
式中：z为卷积计算后的类别概率，n为分类类别数，for i＝1,
…
n and＝(z1,
…zn
)从1循环到n，r为实数，i和j分别表示第i个类别、第j个类别。
[0026]
可选地，步骤s1中输电线路小部件编码器获得的特征向量进行目标函数计算的方法为，softmax回归计算结果与标注数据使用交叉熵损失函数计算预测结果与标签数据的目标差值。
[0027]
可选地，步骤s3中创建带标签的输电线路小部件属性检测数据集的具体方法为：创建监督学习数据集包括训练集、验证集和测试集，对输电线路小部件图像添加属性标签。
[0028]
本发明与现有技术相比，具有如下的优点和有益效果：
[0029]
1)本技术方案提供一种基于注意力机制的输电线路小部件属性识别方法，通过使用自注意力机制，在图像编码阶段对图像属性相关特征进行关注，忽略图像噪音和图像属性无关的特征，大大提高图像属性识别准确率。
[0030]
2)本技术方案所述一种基于注意力机制的输电线路小部件属性识别方法中，使用深度神经网络提高识别的泛化性，采用自注意力机制对全局或局部的模糊特征获取更准确。
附图说明
[0031]
图1为本发明的流程结构示意框图。
具体实施方式
[0032]
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
[0033]
实施例1：
[0034]
如图1所示，一种基于注意力机制的输电线路小部件属性识别方法，所述方法包括以下步骤：
[0035]
s1：构造输电线路小部件图像自注意力机制编码器；
[0036]
步骤s1中，构造输电线路小部件图像自注意力机制编码器的具体方法为，获得输电线路小部件图像，并对所述输电线路小部件图像依次进行图像块处理、图像块图像局部自注意力计算处理及全局图像自注意力计算。对所述输电线路小部件图像进行图像块处理的方法为，将输送线路小目标图像进行填充为边长64整倍的正方形，然后按组分割成不同尺寸的连续的矩形方块，如16x16，32x32，64x64，不同尺寸的小块图像用于获取不同感受野的注意力。
[0037]
图像分块图像局部自注意力计算处理方法为，对不同尺寸的矩形方块图像进行局部自注意力体制学习，局部自注意力体制可以挖掘图像小目标中更多的细节信息。
[0038]
使用三种卷积核对每块矩形方块图像进行卷积计算，将卷积前的数值张量和卷积后的张量进行位相乘，实现自注意力功能。
[0039]
使用三种卷积核对每个矩形方块图像进行卷积计算，三种卷积核分别k/d
×
k/d卷积核、(2d-1)
×
(2d-1)扩张卷积核、1
×
1卷积核。
[0040]
attention
patch
＝conv1×1(convd(convk×k(f
patch
)))
[0041]
其中，k为patch图像矩形方框的边长，d为扩张卷积核的间隔，convk×k为k/d
×
k/d卷积核、convd为(2d-1)
×
(2d-1)卷积核，f
patch
εh×w×d为patch矩形方块的特征图，attention
patch
εh×w×d为patch矩形方块的注意力特征，h，w，d分别为特征图的长、宽、特征长度。
[0042]
将卷积前的数值张量与卷积后的张量进行位相乘，
[0043][0044]
式中，f’patch
为f
patch
添加注意力后的patch矩形块特征图，通过该方法实现一层局部注意力的计算，通过多层串联进行深度局部自注意力学习。
[0045]
图像块图像全局图像自注意力计算方法为：将每组经过局部自注意力计算的矩形方块图像投影为固定长度的向量送入transformer，使用多头注意力对矩形方块图像序列进行全局注意力计算。
[0046]
attention
full
＝transformer(seq(flatte(f
patch
)))
[0047]
式中，attention
full
为全局注意力，flatte将矩形块特征图展开，seq为将展开的矩形块特征图序列化。
[0048]
步骤s1中输电线路小部件编码器获得的特征向量通过卷积计算和softmax回归分类，对输电线路小部件图像的属性检测进行分类计算。
[0049][0050]
式中：z为卷积计算后的类别概率，n为分类类别数，for i＝1,
…
n and＝(z1,
…zn
)从1循环到n，r为实数，i和j分别表示第i个类别、第j个类别。
[0051]
具体地，步骤s1中输电线路小部件编码器获得的特征向量依次进行分类器计算、目标函数计算、优化器计算。步骤s1中输电线路小部件编码器获得的特征向量进行目标函数计算的方法为，softmax回归计算结果与标注数据使用交叉熵损失函数计算预测结果与标签数据的目标差值。
[0052]
s2：构造输电线路小部件属性分类器；
[0053]
具体地，构造输电线路小部件图像属性分类器的方法包括：分类器计算方法，目标函数计算方法，优化器计算方法。具体操作方法为：待识别的输电线路小部件图像经过局部和全局注意力机制提取特征图，再将特征向量输入分类器进行分类。例如n张输入输电线路小部件图像经过自注意机制编码器提取特征图得到n张属性的特征图[n，d，h，w]，其中，d是特征图的特征维度，h和w别为经过编码器下采样后的特征图大小。
[0054]
分类器计算方法为：分类器为全连接神经网络，输入shape为的[n，d，h，w]的特征图，输出shape为[n，c]的分类结果，c为分类类别数。
[0055]
目标函数计算方法为：目标损失函数采用交叉熵损失函数，计算分类器的输出类别和图片的实际类别之间存在的差异。
[0056]
优化器计算方法为：优化器使用梯度下降方法，根据目标损失函数计算的损失，不断更新优化神经网络模型的参数，使目标函数的损失逐渐降低。
[0057]
s3：输电线路小部件属性分类器训练及推理。
[0058]
其中，步骤s3中，输电线路小部件属性分类器训练及推理具体操作为：创建带标签的输电线路小部件属性检测数据集，然后对输电线路小部件属性检测数据集进行训练，并根据输电线路小部件图像属性进行分类，进行缺陷检测。
[0059]
步骤s3中创建带标签的输电线路小部件属性检测数据集的具体方法为：创建监督学习数据集包括训练集、验证集和测试集，对输电线路小部件图像添加图像属性标签。输电线路小部件图像属性为：开口销安装不规范，开口销脱出、开口销确实、单螺母松动、双螺母松动等表示螺栓典型属性的标签，数据集将用于训练优化分类器。
[0060]
其中，训练方法主要用于使用带标签的训练数据集，经过编码器、分类器通过不断优化迭代，缩小预测与真实值的损失，不断优化模型，直到模型损失值收敛，完成模型训练。
[0061]
其中，推理方法主要用于使用训练好的模型，实现输电线路螺栓小部件属性的分类，将分类结果应用到小部件缺陷检测任务中，提高缺陷检测准确率。
[0062]
本实施例中所述的基于自注意力机制的输电线路小部件属性识别方法，把需要识别的输电线路小部件图像切分成小块，对每个小块使用卷积神经网络的局部注意力机制的特征图提取，将提取的特征使用transformer的全局注意力机制的特征图提取，将提取的特征图经过全连接层进行分类，相对于传统的图像处理方法，极大的提高了小部件属性识别的准确率，从而解决了现有技术中存在的针对输电线路小部件属性存在的局部或全局模糊特征识别获取准确率低等技术问题。
[0063]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。