一种列车车下设备紧固螺栓的缺失检测方法和系统与流程

1.本发明涉及一种紧固螺栓的缺失检测方法，具体涉及一种列车车下设备紧固螺栓的缺失检测方法和系统。


背景技术：

2.螺栓作为一种常见的机械零部件，被广泛应用在日常生活和工业生产制造中，如汽车制造、轨道交通、航空航天等，螺栓的健康状态对设备正常、安全的运行有着非常重要的意义。
3.轨道交通行业作为国家和社会经济发展、日常出行的命脉，其安全性不可忽略。为保证地铁的安全运行，工作人员需要定时对其进行各项状态检查，其中一项就是检查螺栓是否缺失。但由于列车的复杂性，单节列车的紧固螺栓数量通常就可以达到几百个，再加上轨道交通行业对列车检修的严格性，故螺栓缺失的检测是一件极其繁重的工作。
4.传统通过人工进行螺栓缺失检测的方式消耗的时间成本和人工成本极高，同时重复性的工作和复杂的车下环境，易使检修人员产生视觉疲劳，导致错检、漏检，对于检测包含大量螺栓的连接结构无论经济性还是可靠性上都偏低。
5.近年来，随着人工智能技术的不断发展，基于计算机视觉的结构健康检测方法受到了学术界和工业界的广泛关注，以轨道交通为例，列车底部螺栓缺陷是常见的器件缺陷，现有的钢结构螺栓缺失检测方法主要的通过传统机器学习或深度学习等方法训练一个基于损伤图像和正常图像的分类模型或目标检测模型，从而应用该模型检测采集的图像区域是否存在螺栓丢失的缺陷情况。
6.尽管巡检机器人在轨道交通线路中的缺陷检修已经得到了一些应用，但在轨道交通场景中针对列车底部螺栓缺陷识别仍存在以下困难。
7.当前深度学习的目标检测模型的训练需要大量的螺栓缺失的缺陷样本，然而轨道交通中螺栓缺失的图像并不好收集，同时缺失的状态多种多样，难以获取充足的螺栓缺失图像样本，因此训练出的目标检测模型精度较低，且现有采集螺栓连接图像时包含背景信息，影响了检测结果的准确度。
8.其次现有方法螺栓缺失区域一般采集深度学习目标检测方法获取，首先目标检测数据集收集与制作较难，现场环境干扰目标检测鲁棒性较低，同时该方法只能识别特定区域，针对新增设备需要重新采集数据集进一步训练，功能部署受限。
9.同时列车底部设备拍摄易受光照、油渍、灰尘等环境干扰变化呈现不同拍摄效果，而且机器人导航和云台存在一定定位误差，巡检机器人的参考图与巡检图基于sift、surf、orb等特征的匹配算法，无法在列车底部任意点位得到正确的变换矩阵。
10.因此，需要一种新的适用于列车车下设备紧固螺栓的缺失检测方法和系统。


技术实现要素：

11.为解决现有技术的不足，本发明的目的在于提供一种列车车下设备紧固螺栓的缺
失检测方法和系统。
12.为了实现上述目标，本发明采用如下的技术方案：一种列车车下设备紧固螺栓的缺失检测方法，包括以下步骤：s1、获取待测设备同一部位的螺栓对应的待检测图像与预设参考图像；s2、将待检测图像与预设参考图像进行图像配准，利用透视变换对待检测图像进行校正得到校正图像；s3、采用图像分割模型识别校正图像中的螺栓位置；s4、基于预设参考图像分割掩码图中的螺栓位置信息，与校正图像中的螺栓位置信息，确认待检测螺栓点位的螺栓的缺失结果。
13.采用定点巡检拍摄方式获取待测设备不同部位的螺栓对应的待检测图像与预设参考图像。
14.上述步骤s2中的图像配准采用sgmnet算法。
15.上述步骤s3中的图像分割模型包括segnext模型。
16.上述步骤s4中螺栓的缺失确认，包括以下步骤：a1、计算预设参考图分割掩码图中每个螺栓位置的外接矩形；a2、遍历所有外接矩形区域，预设参考图像与待检测图像的每个外接矩形的iou得分；a3、当iou小于指定阈值时，判定该位置螺栓缺失。
17.上述步骤s1中的预设参考图像为螺栓的正面视角图。
18.一种列车车下设备紧固螺栓的缺失检测系统，包括巡检机器人单元、图像校正单元、图像分割单元、和比较单元；所述巡检机器人用于采用定点巡检拍摄方式获取待测设备不同部位的螺栓对应的待检测图像与预设参考图像，并输向图像校正单元；所述图像校正单元用于将待检测图像与预设参考图像进行图像配准，并对待检测图像进行校正，得到校正图像；所述图像分割单元用于识别待检测图像与预设参考图像的分割掩码图中的螺栓位置信息；所述比较单元用于通过待检测图像与预设参考图像的分割掩码图中的螺栓位置信息，确认待检测螺栓点位的螺栓缺失结果。
19.上述巡检机器人单元还配有螺栓信息库：包括与预设参考图像对应的设备信息；基于螺栓缺失结果，巡检机器人单元输出缺失螺栓的设备信息。
20.进一步的，上述巡检机器人单元输出待检测图像中螺栓的缺失信息。
21.本发明的有益之处在于：本发明的一种列车车下设备紧固螺栓的缺失检测方法和系统，直接在预设参考图像与待检测图像使用种子模式的图神经网络进行特征点提取与特征匹配，实现检测参考点的准确提取，保证透视变换得到校正图像的正确性，同时把检测螺栓缺失的问题转换为检测正常螺栓的问题，解决了缺失螺栓样本难以获取的问题；感兴趣区域突出了前景有效特征，排除了背景干扰，提高了列车底部图像分割与螺栓识别精度，最终实现提高螺栓缺失检测结果的准确性的目标。
22.本发明的检测方法和系统，针对列车底部螺栓缺失识别环境由于污染、光照等导致的待检测图像与原图差异大，sgmnet配准算法对于差异较大场景能够提取更多特征点，同时利用种子图神经网络提升特征匹配效率，特征匹配能力更强，鲁棒性优于传统匹配算法；可结合巡检机器人配置工具可实现对任意点位任意区域的识别；可灵活绑定设备信息，结构化输出螺栓缺失信息，具有很强的实用性和广泛的适用性。
附图说明
23.图1为本发明的方法的实施流程图；图2为预设参考图像（图a）和机器人获取的巡检图-待检测图像（图b）；图3为预设参考图像的分割掩码图；图4为预设参考图像和巡检图的特征提取与匹配效果图；图5为巡检图校正（图c）及分割效果（图d）；图6为预设参考图与巡检图螺栓分割掩码iou计算结果图。
具体实施方式
24.以下结合附图和具体实施例对本发明作具体的介绍。
25.一种列车车下设备紧固螺栓的缺失检测系统，由巡检机器人单元、图像校正单元、图像分割单元、和比较单元组成。
26.检测方法如图1所示，包括以下步骤：s1、由巡检机器人采用定点巡检拍摄方式分别获取待测设备同一部位的螺栓对应的待检测图像与预设参考图像，如图2所示；其中，预设参考图像为螺栓的正面视角，细节清晰同时能反映螺栓特征。
27.s2、基于预设参考图像与待检测图像匹配关系，利用透视变换对待检测图像进行校正得到校正图像。
28.由于巡检机器人定点拍摄过程中可能存在导航与云台定位不准，导致待检测图像与预设参考图像存在尺度、角度、位置等不确定偏差；因此在待检测图像进行螺栓分割之前，需将待检测部件的待检测图像与预设参考图像进行配准操作，利用透视变换对待检测图像进行校正得到校正图像，使得两幅图像中对应位置的像素点进一步对齐；配准之后，提取待检测图像与预设参考图像中螺栓缺失待测区域的对应区域，作为待检测图像的螺栓缺失待检测区域。透视变换不仅可以解决图像视角问题，还能解决少量区域存在遮挡、模糊和曝光的问题，便于后期有效识别螺栓缺失待检测区域中的螺栓。
29.图像配准算法为sgmnet，是在superglue的基础上引入了“种子模块”（seeding module），使用稀疏的连接图取代superglue中的完全连接图，并且设计了带有注意力机制的种子图神经网络。
30.步骤为：先用注意力池化聚合所有种子匹配点的特征信息；然后使用“种子过滤器”（seeding filter）在图内/图间进行匹配点的信息交流，并抑制误匹配点的影响；最后使用注意力反池化将经过充分上下文交互的特征信息映射回每个匹配点上。
31.superglue将预设参考图像和待检测图像中所有的关键点都看作图的一个节点，并且将所有节点之间都用边连接起来，构成一个完全连接图，这种完全链接的方式不仅会
带来巨大的计算成本，而且根据实验结果来看许多的边的连接权重几乎为0，这些连接都是冗余的。
32.因此，sgmnet在superglue的基础上引入了“种子机制”，即不对所有的匹配点进行处理，而是从中选取部分点作为种子（候选点），然后在对其进行连接构成图。
33.首先，通过sift、orb、superpoint等方式提取特征点并进行特征描述，然后融合位置信息得到初始的特征向量。
34.公式（1）中的a，b分别代表预设参考图像和待检测图像，为图像i 中第i个匹配点对应的特征描述向量，为图像i 中第i个匹配点的坐标位置。
35.接着构造种子模块：先在初始特征中利用最邻近匹配的方法生成种子匹配点，同时使用sift 算法中比率测试的方式，将同一个点对应的最邻近匹配和第二邻近匹配之前的路径之比的倒数作为匹配的可靠性得分，最后使用非极大值抑制的方法来获取更好的种子点。
36.种子模块输出的是匹配序列，其中表示图像i中匹配点的索引列表。将获取的种子匹配点序列s和对应的特征向量、，输入到种子图神经网络sgmnet。
37.sgmnet的核心方法有加权注意力聚合方法、注意力池化和种子过滤器。
38.加权注意力聚合方法，指的是在一个的d 维的特征向量空间中，m个用于更新的特征向量为，n个用于处理的特征向量，的权重向量，计算方式如下公式（2）：其中，标识进行softmax处理，q是x和k的线性投影，v是y的线性投影。经过注意力聚合之后，更新的xr聚合了来自y的信息，同时w中的每个权重反映了y中的每个向量对于x影响的程度。
39.注意力池化，指的是首先根据种子匹配序列s，从初始特征向量中把种子匹配点对应的特征向量检索出来，如下公式（3）：然后分别在每个图中对匹配点的特征信息进行聚合，计算如下公式（4）：
接着将预设参考图像与待检测图像包含的种子匹配点特征向量沿行拼接起来，并输入到一个多层感知机中，计算如下公式（5）：公式（5）输出的编码了预设参考图像与待检测图像中的视觉与位置上下文信息以及种子匹配点对应的特征信息，并将其作为输入，进入到种子过滤器中。
40.种子过滤器，首先要进行图内/图间的种子匹配点之间的信息交互，图内是指预设参考图像与待检测图像各自内部的匹配点的信息交互，计算如下公式（6）：图间是指原图与待检测图像匹配点之前的信息交互，计算如下公式（7）：种子过滤器使用一个单独的上下文规范分支计算每个种子匹配点对应的正确匹配得分γ，计算过程如下公式（8）：最终种子过滤器输出的是种子匹配点对应的特征向量以及每对匹配点对应的得分γ。
41.最后一步是注意力反池化操作，将种子匹配点的特征向量以得分γ作为权重，更新最初的输入特征向量tfi，得到下一层图神经网络的输入
t 1fi ，更新的计算如下公式（9）：经过n层种子图神经网络的处理之后，得到最终的输出特征向量，nfa，nfb，然后利用sinkhorn algorithm算法计算匹配矩阵m，计算如下公式（10-11）：
其中是一个可学习参数，表示垃圾箱的匹配值。
42.虽然种子图神经网络在初始种子的基础上就具备强大的潜在匹配识别的能力，但在前一次匹配的基础上，重新选择一次种子匹配点，并重新进行一次匹配，就可以获得准确率更高的匹配结果。
43.具体而言，就是根据前面得到的匹配矩阵m，从中选取在行和列中都为最大值的点作为候选点，从中选取匹配值最大的前k个点作为种子匹配点，重新进行一次匹配操作。网络具体实现，在初始化阶段使用的种子图神经网络由6层网络构成，在优化阶段使用的种子图神经网络由3层网络构成。网络的损失函数包含两个部分，如下公式（12）：其中lassign的计算过程如下公式（13）：其中lassign的计算过程如下公式（13）：lm表示匹配点集合，l
ua
、l
ub
分别表示两幅图中的误匹配点集合，此处的误匹配指的是两幅图中由于遮挡和角度变化等原因而导致的不存在对应匹配的点。lweight表示在第t层网络中，正确匹配点和误匹配点的分类交叉熵损失。对于一对匹配点如果它的对极距离小于一个阈值，则会被分类为正确匹配点。
44.s3、采用图像分割模型识别校正图像中的螺栓位置。
45.基于深度学习的螺栓图像分割方法，在螺栓缺失待检测区域出现锈蚀、拍摄图像质量不佳、油渍、阴影等不良情况下，依然可稳定地提取螺栓前景，同时排除复杂背景对于螺栓缺失的影响。
46.首先，采集包含螺栓缺失区域的图像，对采集的图像中的螺栓进行交互式数据标注，并形成训练集和验证集；可采用eiseg工具进行标注， eiseg工具是一个可视化交互式的图像分割标定工具。
47.其次，在模型训练之前采用copy-paste离线数据增强方式，对图像进行随机遮挡，提高分割模型的泛化能力，同时在模型训练过程中采用在线数据增强方式，所采用的数据增强方式包含但不限于以下几种：图像对比度增强、hsv 空间变换、尺度变化、透视变换、随机旋转等，其中采用多尺度编码和多层mlp结构解码，可更好的适应螺栓这种小目标，提高模型分割精度。
48.最后，当验证集验证结果满足结束条件时结束训练，保存分割模型参数。
49.图像分割模型为segnext，该模型提出卷积注意力是一种比transformer中的自注意力机制更高效编码上下文信息的方式。使用大核卷积来替代transformer模型中的注意力机制，一个标准的大核卷积可以用depth-wise conv、depth-wise dilation conv、pointwiseconv来代替实现。分割网络包含编码与解码阶段，其中编码阶段：通过一个简单
的元素乘的方式和三个并行的多尺度条形卷积代替大kernel 卷积，提供多尺度特征，以此来唤醒空间注意。
50.解码阶段：使用来自不同阶段的多级特征并使用hamburger 方法进一步提取全局信息。该分割模型能够获取从局部到全局的多尺度上下文信息、实现空间和通道上的适应性，聚合了低到高各个级别的信息。
51.segnext的核心方法为卷积编码器，该编码器基于传统的金字塔结构，对于每个构造块，使用了一种结构类似于vit，但没有使用self-attention 的注意力机制，而是使用多尺度卷积注意力(msca)。msca具有大感受野、多尺度信息以及自适应性等优势，归咎于主要采用大卷积核分解、多分支并行架构以及类似van的注意力机制。具体实现为利用逐元素的矩阵乘替代位置编码的操作，计算公式如下(14-15):15):其中，f是输入的特征，att与out分别是注意力map和输出，att与out通过逐元素相乘得到out；dw_conv为depth-wise卷积，scale_0为shortcut的分支，scale_i为7、11、21 的不同尺度分支。多个msca级联起来，就构成了一个卷积编码器(mscan)。mscan的设计跟之前的vit各种backbone类似，也是分四个stage，每个stage下采样两倍，从1/4到1/32。
52.由于小卷积感受野小，大卷积参数爆炸，本文使用参数量小的大卷积。在下游任务中，其实大kernel卷积带来的效益要比小的更明显，小kernel卷积受限于自身的感受野，通常比较难捕全局信息，在语义分割的任务中会带来一定的影响，通常在标对象与背景的交界处或者一些大尺寸的目标，识别会较差。cnn通过不同的size的kernal进行组合，就能获取不同维度特征的信息，收敛的时间也比transformer更快，同时使用depth-wise 与非对称卷积可进一步减少计算量。
53.解码器：首先将后三个stage的输出concat起来，然后送入一个轻量的hamburger来进一步建模全局上下文。hamburger 结构采用矩阵分解方式进行全局空域信息建模。轻量化的hamburger模型在注意力机制建模全局信息具有决定作用的语义分割及大规模图像生成中展现出优异的性能。结合强大的卷积编码器，使用轻量级解码器可提高计算效率。
54.网络训练过程基于mmsegmentation工具箱，使用adamw，加上一个很小的学习参数，对大kernel的非对称卷积进行调参。
55.如图3所示为预设参考图像的分割掩码图。
56.如图4所示为预设参考图像和巡检图的特征提取与匹配效果图。
57.s4、基于预设参考图像分割掩码图中的螺栓位置信息，与校正图像中的螺栓位置信息，确认待检测螺栓点位的螺栓的缺失结果。
58.如图5所示为巡检图校正（图c）及分割效果（图d）。
59.先计算预设参考图螺栓分割掩码图中每个螺栓位置的外接矩形，然后遍历所有外接矩形区域，预设参考图与待检测图像每个外接矩形中的iou得分，当iou小于指定阈值时，判定该位置螺栓缺失。
60.如图6所示，为预设参考图与巡检图螺栓分割掩码iou计算结果图。
61.s5、基于巡检机器人单元配置的螺栓信息库：与预设参考图像对应的设备信息；基于螺栓缺失结果，巡检机器人单元输出缺失螺栓的设备信息；输出待检测图像中螺栓的缺失信息。
62.以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。