基于双面特征的螺栓松动检测方法、装置及存储介质

1.本发明涉及工件检测工艺，特别是基于双面特征的螺栓松动检测方法、装置及存储介质。


背景技术：

2.螺栓作为连接件，被广泛应用到各个行业。在列车行业，也将螺栓作为列车的关键连接件，对列车安全运行起着关键作用。需要对螺栓的松动情况进行检测，保证列车运行安全。


技术实现要素：

3.本发明的目的在于至少解决现有技术中存在的技术问题之一，提供一种螺栓松动检测方法、装置、设备及存储介质。
4.本发明解决其问题所采用的技术方案是：
5.本发明的第一方面，基于双面特征的螺栓松动检测方法，包括以下步骤：
6.获取螺栓的第一图像和第二图像，所述第一图像为显示所述螺栓安装于安装件的正侧视图，所述第二图像为显示所述螺栓安装于所述安装件的正俯视图；
7.将所述第一图像和所述第二图像输入至螺栓检测模型进行图像识别，使所述螺栓检测模型根据所述第一图像得到所述螺栓凸出于所述安装件的伸长量，使所述螺栓检测模型根据所述第二图像得到所述螺栓上的标记线与所述安装件的标准线之间的夹角；
8.根据所述伸长量和所述夹角进行螺栓松动分析，得到所述螺栓的松动情况。
9.根据本发明的第一方面，所述使所述螺栓检测模型根据所述第一图像得到所述螺栓凸出于所述安装件的伸长量，包括：
10.根据所述第一图像进行特征提取，提取关于所述伸长量的第一特征；
11.从所述第一图像生成多个第一目标预测框；
12.根据所述第一特征对所述第一目标预测框进行识别，得到所述螺栓凸出于所述安装件的伸长量。
13.根据本发明的第一方面，所述使所述螺栓检测模型根据所述第二图像得到所述螺栓上的标记线与所述安装件的标准线之间的夹角，包括：
14.根据所述第二图像进行特征提取，提取关于所述夹角的第二特征；
15.从所述第二图像生成多个第二目标预测框；
16.根据所述第二特征对所述第二目标预测框进行识别，得到所述螺栓上的标记线与所述安装件的标准线之间的夹角。
17.根据本发明的第一方面，所述根据所述第一图像进行特征提取，提取关于所述伸长量的第一特征，包括：
18.由所述第一图像得到第一特征图，将所述第一特征图经过由通道注意力模块和空间注意力模块组成的特征提取模块，在空间维度和通道维度上进行特征提取，得到所述第
一特征；
19.所述根据所述第二图像进行特征提取，提取关于所述夹角的第二特征，包括：
20.由所述第二图像得到第二特征图，将所述第二特征图经过由通道注意力模块和空间注意力模块组成的特征提取模块，在空间维度和通道维度上进行特征提取，得到所述第二特征。
21.本发明的第二方面，基于双面特征的螺栓松动检测装置，包括：
22.图像获取单元，用于获取螺栓的第一图像和第二图像，所述第一图像为显示所述螺栓安装于安装件的正侧视图，所述第二图像为显示所述螺栓安装于所述安装件的正俯视图；
23.识别单元，用于将所述第一图像和所述第二图像输入至螺栓检测模型进行图像识别，所述识别单元包括伸长量识别单元和夹角识别单元，所述伸长量识别单元用于使所述螺栓检测模型根据所述第一图像得到所述螺栓凸出于所述安装件的伸长量，所述夹角识别单元用于使所述螺栓检测模型根据所述第二图像得到所述螺栓上的标记线与所述安装件的标准线之间的夹角；
24.分析单元，用于根据所述伸长量和所述夹角进行螺栓松动分析，得到所述螺栓的松动情况。
25.根据本发明的第二方面，所述伸长量识别单元，包括：
26.第一特征提取单元，用于根据所述第一图像进行特征提取，提取关于所述伸长量的第一特征；
27.第一预测框生成单元，用于从所述第一图像生成多个第一目标预测框；
28.伸长量识别子单元，用于根据所述第一特征对所述第一目标预测框进行识别，得到所述螺栓凸出于所述安装件的伸长量。
29.根据本发明的第二方面，所述夹角识别单元，包括：
30.第二特征提取单元，用于根据所述第二图像进行特征提取，提取关于所述夹角的第二特征；
31.第二预测框生成单元，用于从所述第二图像生成多个第二目标预测框；
32.夹角识别子单元，用于根据所述第二特征对所述第二目标预测框进行识别，得到所述螺栓上的标记线与所述安装件的标准线之间的夹角。
33.根据本发明的第二方面，所述第一特征提取单元具体用于由所述第一图像得到第一特征图，将所述第一特征图经过由通道注意力模块和空间注意力模块组成的特征提取模块，在空间维度和通道维度上进行特征提取，得到所述第一特征；
34.所述第二特征提取单元具体用于由所述第二图像得到第二特征图，将所述第二特征图经过由通道注意力模块和空间注意力模块组成的特征提取模块，在空间维度和通道维度上进行特征提取，得到所述第二特征。
35.本发明的第三方面，一种螺栓松动检测装置，包括：存储器、处理器及存储在存储器上并能在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明的第一方面所述的螺栓松动检测方法。
36.本发明的第四方面，一种存储介质，存储有计算机程序，所述计算机程序用于执行如本发明的第一方面所述的螺栓松动检测方法。
37.上述方案至少具有以下的有益效果：通过螺栓检测模型对第一图像进行图像识别得到伸长量，并对第二图像进行图像识别得到标记线与标准线之间的夹角；结合伸长量和夹角进行分析得到螺栓的松动情况；通过图像识别技术，节省了人力成本，提高了检测精度和检测效率，结合伸长量和夹角进行多角度分析，进一步提高了检测精度。
38.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
39.下面结合附图和实例对本发明作进一步说明。
40.图1是本发明实施例一种螺栓松动检测方法的结构图；
41.图2是本发明实施例一种螺栓松动检测装置的结构图；
42.图3是第一图像的示例图；
43.图4是第二图像的示例图；
44.图5是特征提取模块的结构示意图。
具体实施方式
45.本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
46.在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
47.在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
48.本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
49.参照图1，本发明的第一方面的实施例，提供了一种基于双面特征的螺栓松动检测方法。
50.螺栓松动检测方法包括以下步骤：
51.步骤s100、获取螺栓100的第一图像和第二图像，第一图像为显示螺栓100安装于安装件200的正侧视图，第二图像为显示螺栓100安装于安装件200的正俯视图；
52.步骤s200、将第一图像和第二图像输入至螺栓检测模型进行图像识别，使螺栓检测模型根据第一图像得到螺栓100凸出于安装件200的伸长量，使螺栓检测模型根据第二图像得到螺栓100上的标记线301与安装件200的标准线302之间的夹角；
53.步骤s300、根据伸长量和夹角进行螺栓松动分析，得到螺栓100的松动情况。
54.在该实施例中，对于螺栓100，螺栓100包括螺帽101和螺杆102；对于安装件200，安装件200设有螺孔，螺杆102能螺纹连接于螺孔。螺帽101的上表面设有标记线301，安装件200的上表面设有标准线302。当螺杆102完全插设到安装件200的螺孔中，此时螺杆102的伸长量为0mm，且标记线301与标准线302之间的夹角为0度。
55.需要说明的是，正侧视图为从螺栓100的正侧面拍摄的图片，能拍摄到螺栓100的螺帽101部分和螺杆102部分的正侧面以及安装件200的正侧面。正俯视图为从螺帽101上表面的上方往螺帽101上表面方向拍摄的图片，能拍摄到螺帽101上表面和安装件200上表面。
56.在本实施例中，通过螺栓检测模型对第一图像进行图像识别得到伸长量，并对第二图像进行图像识别得到标记线301与标准线302之间的夹角；结合伸长量和夹角进行分析得到螺栓100的松动情况；通过图像识别技术，节省了人力成本，提高了检测精度和检测效率，结合伸长量和夹角进行多角度分析，进一步提高了检测精度。
57.参照图3和图4，对于螺栓100的松动情况，一般地，伸长量越大，螺栓100的安装越松；在伸长量相同的条件下，标记线301与标准线302之间的夹角越大，螺栓100的安装越松。
58.另外，在一些情况下，虽然螺栓100的螺帽101部分看似贴近安装件200的上表面，使得螺栓100的伸长量检测到为0，实际螺栓100旋转了一定角度，此时通过结合标记线301与标准线302之间的夹角可以更方便地判断螺栓100的松动情况。在另一些情况下，标记线301刚好对准标准线302，但是实际上，螺栓100已经松动，螺杆102已经伸出部分。因此结合螺杆102的伸长量以及标记线301与标准线302之间的夹角，能更加准确地判断螺栓100的松动情况。
59.本发明的第一方面的某些实施例，使螺栓检测模型根据第一图像得到螺栓100凸出于安装件200的伸长量，包括：
60.根据第一图像进行特征提取，提取关于伸长量的第一特征；
61.从第一图像生成多个第一目标预测框；
62.根据第一特征对第一目标预测框进行识别，得到螺栓100凸出于安装件200的伸长量。
63.对于根据第一图像提取第一特征的步骤，通过卷积神经网络提取特征；卷积神经网络使用darknet－53作为整个网络的分类骨干部分。darknet－53包含53个卷积层，且只有卷积层，通过调节卷积步长控制输出特征图的尺寸；每个后面跟随着批标准化层和弱relu层；没有池化层，使用步幅为2的卷积层替代池化层进行特征图的降采样过程，这样可以有效阻止由于池化层导致的低层级特征的损失。卷积神经网络借鉴金字塔特征图思想，小尺寸特征图用于检测大尺寸物体，而大尺寸特征图检测小尺寸物体。卷积神经网络输出多个包含第一特征的特征图，每个特征图的下采样倍率不同。
64.对于生成第一目标预测框的步骤，将第一图像划分为多个小方块，每个小方块的大小与第一图像的宽和高大小相关。然后以每个小方块为中心分别生成一系列锚框，以使整张图片都会被锚框覆盖到，锚框是边界框的先验，是使用k均值聚类得到的。在每个锚框的基础上产生多个与之对应的预测框，其中预测框的中心坐标为(b
x
，by)，b
x
＝δ(t
x
) c
x
，by＝δ(ty) cy；预测框的宽为bw，高为bh；bw＝p
wetw
,bh＝p
heth
；t
x
、ty、tw和th为网络的输出，pw和ph为锚框的维度。δ为激活函数，可以采用sigmoid函数；通过sigmoid函数进行中心坐标预测，强制将值限制在0和1之间。根据锚框和预测框与图片上物体真实框之间的位置关系，对
这些预测框进行标注。
65.当预测框是网络预测的输出值，将预测框作为目标值，以两者之间的差距作为损失函数，可以建立回归问题，通过学习网络参数，使差距接近，进而能求解出预测框的位置坐标和大小，得到多个预测框。通过计算预测框与真实框两者的iou，得到iou最大的预测框作为第一目标预测框。
66.根据第一特征对第一目标预测框进行识别，识别得到螺栓100的螺帽101部分、螺杆102部分和安装件200部分。根据螺杆102部分得到螺栓100凸出于安装件200的伸长量。
67.本发明的第一方面的某些实施例，使螺栓检测模型根据第二图像得到螺栓100上的标记线301与安装件200的标准线302之间的夹角，包括：
68.根据第二图像进行特征提取，提取关于夹角的第二特征；
69.从第二图像生成多个第二目标预测框；
70.根据第二特征对第二目标预测框进行识别，得到螺栓100上的标记线301与安装件200的标准线302之间的夹角。
71.对于根据第二图像提取第二特征的步骤，通过卷积神经网络提取特征；卷积神经网络使用darknet－53作为整个网络的分类骨干部分。darknet－53包含53个卷积层，且只有卷积层，通过调节卷积步长控制输出特征图的尺寸；每个后面跟随着批标准化层和弱relu层；没有池化层，使用步幅为2的卷积层替代池化层进行特征图的降采样过程，这样可以有效阻止由于池化层导致的低层级特征的损失。卷积神经网络借鉴金字塔特征图思想，小尺寸特征图用于检测大尺寸物体，而大尺寸特征图检测小尺寸物体。卷积神经网络输出多个包含第一特征的特征图，每个特征图的下采样倍率不同。
72.对于生成第二目标预测框的步骤，将第二图像划分为多个小方块，每个小方块的大小与第二图像的宽和高大小相关。然后以每个小方块为中心分别生成一系列锚框，以使整张图片都会被锚框覆盖到，锚框是边界框的先验，是使用k均值聚类得到的。在每个锚框的基础上产生多个与之对应的预测框，其中预测框的中心坐标为(b
x
，by)，b
x
＝δ(t
x
) c
x
，by＝δ(ty) cy；预测框的宽为bw，高为bh；bw＝p
wetw
,bh＝p
heth
；t
x
、ty、tw和th为网络的输出，pw和ph为锚框的维度。δ为激活函数，可以采用sigmoid函数；通过sigmoid函数进行中心坐标预测，强制将值限制在0和1之间。根据锚框和预测框与图片上物体真实框之间的位置关系，对这些预测框进行标注。
73.当预测框是网络预测的输出值，将预测框作为目标值，以两者之间的差距作为损失函数，可以建立回归问题，通过学习网络参数，使差距接近，进而能求解出预测框的位置坐标和大小，得到多个预测框。通过计算预测框与真实框两者的iou，得到iou最大的预测框作为第二目标预测框。
74.根据第二特征对第二目标预测框进行识别，识别得到螺栓100的螺帽101部分、安装件200部分、螺帽101的标记线301和安装件200的标准线302，进而得到标记线301与标准线302之间的夹角。
75.本发明的第一方面的某些实施例，根据第一图像进行特征提取，提取关于伸长量的第一特征，包括：
76.由第一图像得到第一特征图，将第一特征图经过由通道注意力模块401和空间注意力模块402组成的特征提取模块400，在空间维度和通道维度上进行特征提取，得到第一
特征；
77.根据第二图像进行特征提取，提取关于夹角的第二特征，包括：
78.由第二图像得到第二特征图，将第二特征图经过由通道注意力模块401和空间注意力模块402组成的特征提取模块400，在空间维度和通道维度上进行特征提取，得到第二特征。
79.参照图5，在该实施例中，特征提取模块400是基于卷积模块的注意力机制模块，结合了空间维度和通道维度。第一特征图或第二特征图先进入特征提取模块400的通道注意力模块401，在通道注意力模块401中，特征图分别经过基于宽和高的全局最大池化层和全局平均池化层，然后经过共享全连接层，共享全连接层输出的两个特征经过基于元素宽的加和操作，再经过sigmoid函数的激活操作，得到通道注意力图。将通道注意力模块401的输出特征和第一特征图或第二特征图做基于元素宽的乘法操作，得到空间注意力模块402的输入特征。实际上通道注意力模块401将特征图在空间维度上进行压缩得到一维矢量，平均池化和最大池化可用来聚合特征映射的空间信息，平均值池化对特征图上的每一个像素点都有反馈，而最大值池化在进行梯度反向传播计算时，只有特征图中响应最大的地方有梯度的反馈；共享网络压缩输入特征图的空间维数，逐元素求和合并，以产生通道注意力图。
80.空间注意力模块402将输入的特征图进行全局最大池化操作和全局平均池化操作，并将两个结果做基于通道的拼接操作；经过一个卷积操作降维至一个通道，再经过sigmoid激活函数生成第一特征或第二特征。空间注意力模块402对特征的通道进行压缩，在通道维度上分别进行全局最大池化操作和全局平均池化操作。
81.参照图2，本发明的第二方面的实施例，提供了基于双面特征的螺栓松动检测装置。
82.螺栓松动检测装置包括图像获取单元10、识别单元20和分析单元30。
83.其中，图像获取单元10用于获取螺栓100的第一图像和第二图像，第一图像为显示螺栓100安装于安装件200的正侧视图，第二图像为显示螺栓100安装于安装件200的正俯视图。
84.识别单元20用于将第一图像和第二图像输入至螺栓检测模型进行图像识别，识别单元20包括伸长量识别单元20和夹角识别单元20，伸长量识别单元20用于使螺栓检测模型根据第一图像得到螺栓100凸出于安装件200的伸长量，夹角识别单元20用于使螺栓检测模型根据第二图像得到螺栓100上的标记线301与安装件200的标准线302之间的夹角。
85.分析单元30用于根据伸长量和夹角进行螺栓松动分析，得到螺栓100的松动情况。
86.在本实施例中，通过识别单元20利用螺栓检测模型对第一图像进行图像识别得到伸长量，并对第二图像进行图像识别得到标记线301与标准线302之间的夹角；通过分析单元30结合伸长量和夹角进行分析得到螺栓100的松动情况；通过图像识别技术，节省了人力成本，提高了检测精度和检测效率，结合伸长量和夹角进行多角度分析，进一步提高了检测精度。
87.本发明的第二方面的某些实施例，伸长量识别单元20包括第一特征提取单元、第一预测框生成单元和伸长量识别子单元。
88.其中，第一特征提取单元用于根据第一图像进行特征提取，提取关于伸长量的第一特征；第一预测框生成单元用于从第一图像生成多个第一目标预测框；伸长量识别子单
元用于根据第一特征对第一目标预测框进行识别，得到螺栓100凸出于安装件200的伸长量。
89.本发明的第二方面的某些实施例，夹角识别单元20包括第二特征提取单元、第二预测框生成单元和夹角识别子单元。
90.其中，第二特征提取单元用于根据第二图像进行特征提取，提取关于夹角的第二特征；第二预测框生成单元用于从第二图像生成多个第二目标预测框；夹角识别子单元用于根据第二特征对第二目标预测框进行识别，得到螺栓100上的标记线301与安装件200的标准线302之间的夹角。
91.本发明的第二方面的某些实施例，第一特征提取单元具体用于由第一图像得到第一特征图，将第一特征图经过由通道注意力模块401和空间注意力模块402组成的特征提取模块400，在空间维度和通道维度上进行特征提取，得到第一特征；
92.第二特征提取单元具体用于由第二图像得到第二特征图，将第二特征图经过由通道注意力模块401和空间注意力模块402组成的特征提取模块400，在空间维度和通道维度上进行特征提取，得到第二特征。
93.需要说明的是，本发明的第二方面的实施例所提供的螺栓松动检测装置的各个单元与本发明的第一方面的实施例所提供的螺栓松动检测方法的各个步骤一一对应。能实现相同的技术方案，解决相同的技术问题，带来相同的技术效果。
94.本发明的第三方面的实施例，提供了一种螺栓松动检测装置。螺栓松动检测装置包括：存储器、处理器及存储在存储器上并能在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明的第一方面的实施例所述的螺栓松动检测方法。
95.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
96.本发明的第四方面的实施例，提供了一种存储介质。存储介质存储有计算机程序，所述计算机程序用于执行如本发明的第一方面的实施例所述的螺栓松动检测方法。
97.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd－rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
98.以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。