一种监测车底螺栓紧固度的方法及电子设备与流程

1.本发明涉及列车基础设备检测技术领域，尤其涉及一种监测车底螺栓紧固度的方法及电子设备。


背景技术：

2.随着交通运输行业的发展，轨道交通逐步成为现代社会非常重要的交通出行手段；在铁路轨道中，列车车底的诸多部件会应用到不同类型的螺栓，以辅助完成列车车底各部件之间的安装、固定与连接。螺栓是列车车底结构的关键零部件，是轨道交通运行安全的重要保障，轨道巡检中的最重要环节就是对螺栓状态的检测，因此螺栓在图像中的定位及其松动的判别尤为关键。
3.目前，常用的方法是人工巡检，通过肉眼观察螺栓位置和手动辨别螺栓松动。这种方式费时费力，很大程度上依赖工人技术人员的经验判断，准确性难以保证。而通过图像方式进行识别检测时，螺栓在图像中的成像又会受到类型的多样性、车底环境中不确定的外界干扰的影响，依赖传统图像处理的处理方法鲁棒性弱，无法完美地解决上述问题。存在速度慢、效率低、判断不准确的缺陷。


技术实现要素：

4.(一)要解决的技术问题
5.鉴于现有技术的上述缺点、不足，本发明提供一种监测车底螺栓紧固度的方法及电子设备。其解决了图像方式识别检测螺栓时成像多，抗干扰能力弱检测速度慢、效率低以及判断不准确的技术问题。
6.(二)技术方案
7.为了达到上述目的，本发明采用的主要技术方案包括：
8.第一方面，本发明实施例提供一种监测车底螺栓紧固度的方法，其包括：
9.s10、针对预先采集的包括至少一个螺栓的图像，识别出所述图像内所有的螺栓及该螺栓所在区域，所述图像中每一螺栓均包括预先在螺栓本体上标注的防松线信息；
10.s20、基于所述图像，提取出每一个螺栓的子图，获取提取出的每一个螺栓的类别及掩码图；
11.s30、针对提取的每一个螺栓的子图，根据所述防松线信息、所述螺栓子图及该螺栓的掩码图，获取对应该螺栓的防松线区域；
12.s40、查找所述防松线区域是否存在最小外接矩形，若存在一个所述外接矩形且所述外接矩形面积为螺栓子图面积的一半以下，则判断该螺栓未松动；
13.否则，根据松动判断策略，确定所述螺栓是否松动。
14.可选地，将拍摄的图像输入预先训练的目标检测网络，框选出每一螺栓的区域；
15.所述目标检测网络是yolov4的darknet53。
16.可选地，从所述图像中按照框选信息提取每一螺栓子图；
17.针对每一个螺栓子图，将该螺栓子图输入到分类网络，获取该螺栓的类别信息；
18.以及将所述螺栓子图和所述类别信息输入到分割网络，得到该螺栓的掩码图。
19.可选地，针对每一螺栓子图，对该螺栓的掩码图进行腐蚀操作，得到二值图，获取防松线区域。
20.可选地，所述s40包括：s401、基于预先构建的函数对所述防松线区域查找防松线轮廓，求取最小外接矩形；
21.s402、对所述外接矩形个数与面积进行判断：
22.若所述外接矩形个数为0，判断为螺栓未松动；
23.若所述外接矩形个数为1且所述外接矩形面积在所述螺栓子图面积的一半以下，判断为螺栓未松动；
24.若所述外接矩形个数不低于2且所述外接矩形面积在所述螺栓子图面积的一半以下，使用松动判断策略进行判断；
25.若任一所述外接矩形面积大于所述螺栓子图面积的一半，判断为拍摄距离过近，无法识别。
26.可选地，所述松动判断策略还包括：
27.识别所述外接矩形的边长，将所述外接矩形按所述面积由大到小排序，选取前两个外接矩形s1、s2，所述外接矩形s1面积大于s2面积；
28.依据预先设定的正方形判别策略，若所述外接矩形s2为正方形，则计算所述两个外接矩形中心的距离，如果该距离小于设定的第一阈值，则判断螺栓未松动；
29.若所述距离大于所述外接矩形s1长边的0.6，则判断为螺栓松动，
30.如果所述距离在设定的第一阈值以外且在所述外接矩形s1长边的0.6以内，则判断螺栓即将松动；
31.若所述外接矩形s2是长方形，判断所述外接矩形s1、s2分别相对画面的旋转角度，计算所述外接矩形s1、s2的夹角，若该夹角超出预设的夹角阈值，则判断为螺栓松动；
32.若所述夹角在预设的夹角阈值以内，计算所述防松线轮廓面积与所述外接矩形面积的比值，任一所述比值在0.71以下，判断为螺栓松动；
33.若所述比值均大于0.71，计算所述两个防松线轮廓左上角的直线距离，若所述直线距离在预设的第二阈值以上，则判断为螺栓未松动，若所述直线距离小于所述第二阈值，判断所述直线距离是否在第一阈值以上，若是，则判断为螺栓松动，否则，判断为螺栓未松动。
34.可选地，所述方法还包括：
35.将检测的每一螺栓是否松动的信息及松动判断的标识显示在拍摄的图像的各螺栓区域，并展示。
36.可选地，所述预先设定的正方形判别策略，具体为：
37.若所述外接矩形s2中的防松线轮廓面积与所述外接矩形s2的比值大于预先设定的第三阈值，且所述外接矩形s2的宽高比值在开区间(0.71,1.4)之内，则判断所述外接矩形为正方形；
38.否则，判断所述外接矩形为长方形。
39.第二方面，本发明还提供一种监测车底螺栓状态的电子设备，包括存储器、处理
器，所述存储器中存储计算机指令，所述处理器执行所述存储器中存储的计算机指令，具体执行上述第一方面任一所述的监测车底螺栓紧固度的方法。
40.(三)有益效果
41.本发明提供了一种监测车底螺栓紧固度的方法及电子设备，其基于图像采集、图像处理、模型深度学习的方法定位螺栓并分类，再分割出螺栓上的防松线区域，计算后通过松动判断策略来判别防松线是否出现错位，进而得出螺栓是否松动的结论并展示，解决了现有技术中图像方式识别检测螺栓时成像多、抗干扰能力弱、检测速度慢、效率低以及判断不准确的技术问题，极大地提高了检测的效率与准确率、节约了人力成本以及减少了人为检测的误差。
附图说明
42.图1为本发明一实施例提供的监测车底螺栓紧固度的方法的流程示意图；
43.图2为本发明另一实施例的框选螺栓区域的示意图
44.图3为本发明又一实施例的螺栓子图及二值图的示意图；
45.图4为本发明再一实施例的最小外接矩形示意图。
具体实施方式
46.为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。可以理解的是，以下所描述的具体的实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合；为了便于描述，附图中仅示出了与发明相关的部分。
47.如图1所示，本实施例提供一种监测车底螺栓紧固度的方法，本实施例的监测方法包括：
48.s10、针对预先采集的包括至少一个螺栓的图像，识别出所述图像内所有的螺栓及该螺栓所在区域，所述图像中每一螺栓均包括预先在螺栓本体上标注的防松线信息；
49.在一些实施例中，所述预先在螺栓本体上标注的防松线信息可为人工标注。
50.s20、基于所述图像，提取出每一个螺栓的子图，获取提取出的每一个螺栓的类别及掩码图；
51.s30、针对提取的每一个螺栓的子图，根据所述防松线信息、所述螺栓子图及该螺栓的掩码图，获取对应该螺栓的防松线区域；
52.s40、查找所述防松线区域是否存在最小外接矩形，若存在一个所述外接矩形且所述外接矩形面积为所述螺栓子图面积的一半以下，则判断该螺栓未松动；
53.否则，根据松动判断策略，确定所述螺栓是否松动。
54.本实施例的监测车底螺栓紧固度的方法是用于对车辆底部的螺栓是否紧固进行监测的方法，基于图像处理、深度学习的方法先将螺栓定位，再分割出螺栓上的防松线区域然后通过计算来判别防松线是否错位，进而得出结论螺栓是否松动。可以极大的提高检测效率与准确率，节约人力成本与减少人为检测的误差。
55.在实际应用中，针对步骤s10，识别出所述预先采集的图像内所有的螺栓及该螺栓所在区域具体为：将拍摄的图像输入预先训练的目标检测网络，框选出每一螺栓的区域。在
本实施例中，具体用到的目标检测网络是yolov4的darknet53。当然，在其他一些实施例中，还可以使用其他能够达到目标检测目的的目标检测网络，此处不做限制。
56.如图2所示，图2示出了一实施例中的框选螺栓区域示意图，针对步骤s20，从所述预先采集的图像中按照框选信息提取每一螺栓子图；每一螺栓子图包括一个螺栓，以及螺栓上预先标注的防松线信息。针对每一个螺栓子图，将该螺栓子图输入到分类网络，获取该螺栓的类别信息。
57.在本实施例中，预先对分类网络进行训练，以实现分类网络识别螺栓的类别信息的功能。将所述螺栓子图及其所述类别信息输入到分割网络，得到该螺栓子图的掩码图。
58.针对每一螺栓子图，对该螺栓子图的掩码图进行腐蚀操作，得到二值图，获取防松线区域。如图3所示，图3(a)示出了一实施例中的螺栓子图，图3(b)示出了该螺栓子图经过分割网络与腐蚀操作后的二值图。所述二值图中白色部分为所述防松线区域。
59.在本实施例中，所述腐蚀操作包括腐蚀膨胀操作，消除防松线区域的边界点,使目标缩小，消除小于结构元素的噪声点，将与防松线区域接触的所有背景点合并到防松线区域中，使目标增大，添补防松线区域中的空洞，使得分割出来的防松线内部没有空洞。
60.进一步地，针对步骤s40，基于预先构建的函数对所述防松线区域查找防松线轮廓，求取最小外接矩形；具体地，在本实施例中，通过opencv的minarearect函数，获取每一防松线区域的最小外接矩形。
61.在实际使用时，所述图像中的防松线可能会出现错位，分成多段防松线的情况，由此，在求取最小外接矩形时，可能出现一个或多个最小外接矩形。如图4所示，图4示出了本发明一实施例的最小外接矩形示意图，如图所示，所述防松线存在两个防松线区域，每个防松线区域都有相应的最小外接矩形。
62.进一步地，对所述外接矩形个数与面积进行判断：
63.若所述外接矩形个数为0，判断为未检测到防松线区域，默认该螺栓未松动；
64.若所述外接矩形个数为1且所述外接矩形面积在所述螺栓子图面积的一半以下，即防松线未错位，判断为该螺栓未松动；
65.若所述外接矩形个数不低于2且所述外接矩形面积在所述螺栓子图面积的一半以下，使用松动判断策略进行判断；
66.若任一所述外接矩形面积大于所述螺栓子图面积的一半，判断为拍摄距离过近，无法识别。
67.进一步地，在所述外接矩形个数不低于2且所述外接矩形面积在所述螺栓子图面积的一半以内，使用松动判断策略进行判断，具体包括：
68.识别所述外接矩形的边长，将所述外接矩形按所述面积由大到小排序，选取前两个外接矩形s1、s2，所述外接矩形s1面积大于s2面积；
69.依据预先设定的正方形判别策略，若所述外接矩形s2为正方形，计算所述两个外接矩形中心的距离，如果该距离小于设定的第一阈值，则判断螺栓未松动。
70.针对所述预先设定的正方形判别策略，具体为若所述外接矩形s2中的防松线轮廓面积与所述外接矩形s2的比值大于预先设定的第三阈值，且所述外接矩形s2的宽高比值在开区间(0.71,1.4)之内，则判断所述外接矩形为正方形；否则，判断所述外接矩形为长方形。
71.若所述距离大于所述外接矩形s1长边的0.6，则判断为螺栓松动，
72.如果所述距离在设定的第一阈值以外且在所述外接矩形s1长边的0.6以内，则判断为该螺栓即将松动。
73.具体地，所述外接矩形s1长边为所述外接矩形长度最大的边。
74.进一步地，在实际应用中，还存在所述外接矩形s2为长方形，此时可对所述外接矩形s1、s2分别相对画面的旋转角度进行判断，计算所述外接矩形s1、s2的夹角，若该夹角超出预设的夹角阈值，则判断为螺栓松动。
75.具体地，每个矩形求其相对画面的旋转角度，角度计算方式为由x轴逆时针旋转至所述外接矩形宽边的角度，计算所述外接矩形s1、s2的夹角。所述外接矩形的宽边为x轴逆时针旋转第一次碰到所述外接矩形的边，所述宽边的邻边为高。
76.若所述夹角在预设的夹角阈值以内，计算所述防松线轮廓面积与其对应的外接矩形的面积的比值，任一所述比值在0.71以下，则判断为螺栓松动。
77.若所述比值均大于0.71，计算所述两个防松线轮廓左上角的直线距离，若所述直线距离在预设的第二阈值以上，则判断为螺栓未松动，若所述直线距离小于所述第二阈值，判断所述直线距离是否在第一阈值以上，若是，则判断为螺栓松动，否则，判断为螺栓未松动。
78.在本实施例中，所述检测到的螺栓是否松动的信息可以显示在图像界面上，使判断结果更加明显易读。
79.本发明实施例还提供一种监测车底螺栓状态的电子设备，其可包括存储器、处理器等，所述存储器中存储计算机指令，所述处理器执行所述存储器中存储的计算机指令，具体执行上述任一所述的车底螺栓松动的检测方法。
80.在其他一些实施例中，所述电子设备还包括图像采集设备，用于对列车车底图像进行采集。
81.为了更好的解释本发明，以下将结合一个具体的实施例来阐述。
82.在某一具体实施例中，使用一种监测车底螺栓状态的电子设备用来检测车底螺栓状态，其使用图像的采集设备分辨率是400万像素相机，最大分辨率可达2560
×
1440，工作距离是200-600mm，对车底螺栓进行图像采集，将任一拍摄图像的尺寸缩放至960x544，如图2所示，图中存在有远近角度大小等不同的多个螺栓。本实施例中，所述车底螺栓预先被标记红色防松线信息。当然，在实际应用中，所述图像采集设备、防松线区域颜色、图像尺寸等不做要求，依据实际自行确定。
83.针对步骤s10，本实施例将拍摄的图像输入预先训练好的目标检测网络yolov4的darknet53，以框选出图像上的每一螺栓。
84.针对步骤s20，按照所述图像中的框选信息裁剪出每一螺栓子图，本实施例中，将任一所述螺栓的子图的尺寸缩放至224*224，将所述每一螺栓子图输入到分类网络mobilenet，对螺栓子图中的螺栓进行分类。将分类后的螺栓子图和类别信息输入到分割网络unet，对矩形区域中的螺栓的红色像素区域分割提取，得到该螺栓子图的掩码图。
85.针对步骤s30，对所述螺栓子图的掩码图进行腐蚀膨胀操作，减少防松线内部空洞，得到二值图，此时图上仅存在防松线区域。
86.针对步骤s401，在本实施例中，获取防松线区域后，基于opencv的findcontours函
数查找所述二值图中的防松线区域的轮廓，获取所述防松线轮廓后，基于opencv的minarearect函数，获取每一防松线区域的最小外接矩形。在一些实际应用中，此处还获取了最小外接矩形的坐标，具体可为所述外接矩形的左上角坐标，还可以获取所述外接矩形的宽边和高，以及所述外接矩形相较于画面旋转的角度等。所述宽边和高均为所述外接矩形的边长，其中长度较长的边为长边。
87.当然，在实际应用中，其他实施例不排斥其他任何能够达到同样目的的技术手段，此处不做限制。
88.进一步地，针对步骤s402，获取所述最小外接矩形后，判断所述最小外接矩形的个数和面积：
89.如果没有所述外接矩形，则为未检测到防松线区域，默认该螺栓未松动，标识代码为true＝0；
90.如果有一个最小外接矩形且所述外接矩形面积在所述螺栓子图面积的一半以内，判断为螺栓未松动，标识代码为true＝1；
91.如果有两个或两个以上的最小外接矩形且所述外接矩形面积在所述螺栓子图面积的一半以内，则进入下一步的松动判断策略；
92.若任一所述外接矩形面积大于所述螺栓子图面积的一半，判断为拍摄距离过近，无法识别，标识代码为dl_b2b，默认该螺栓未松动。
93.本实施例中，存在两个及两个以上的最小外接矩形且所述外接矩形面积在所述螺栓子图面积的一半以内时，将所述外接矩形按照其面积由大到小进行排序，选取面积最大的前两个外接矩形s1、s2，其中所述外接矩形s1面积大于s2面积。
94.进一步地，根据正方形判断策略，若所述外接矩形s2为正方形，计算所述两个外接矩形中心点的距离：
95.在本实施例中，针对所述正方形判断策略，所述第三阈值设置为0.5若所述外接矩形s2中的防松线轮廓面积与所述外接矩形s2的比值大于0.5，且所述外接矩形s2的宽高比值在开区间(0.71,1.4)之内，则该外接矩形为正方形；否则，判断所述外接矩形为长方形。
96.如果所述两个外接矩形中心点的距离小于设定的第一阈值，则判断螺栓未松动；标识代码为true 实际距离；在本实施例中所述第一阈值为18，在其他一些实施例中，所述第一阈值依据实际的情况进行设定，此处不做限制。
97.如果所述两个外接矩形中心的距离大于所述外接矩形s1的长边的0.6，则判断为螺栓松动，标识代码为flase_sq_d2b；
98.如果所述距离在设定的第一阈值18以上且在所述外接矩形s1长边的0.6以内，则判断该螺栓即将松动但还未松动，标识代码为dl_sq。
99.进一步地，若所述外接矩形s2为长方形，计算两个外接矩形的夹角，角度计算方式为对所述外接矩形求其相对画面的旋转角度，即由x轴逆时针旋转至第一次碰到所述外接矩形边的角度，首先取外接矩形s1旋转角度减去外接矩形s2的旋转角度的角度绝对值，在所述角度绝对值大于90度且大于180度减去该角度绝对值时，夹角θ取180度减去角度绝对值，所述角度绝对值不属于上述角度范围时，夹角θ等于该角度绝对值。
100.在实际应用中，所述相对画面可为x，y坐标系，所述坐标系的原点依据实际情况进行确定，此处不做限制。
101.在本实施例中，所述预设的夹角阈值为20度，若该夹角大于或等于预设的夹角阈值20度，则判断为螺栓松动，标识代码为flase 实际夹角度数。
102.若所述夹角小于预设的夹角阈值20度，则计算s1中防松线轮廓面积与所述外接矩形s1面积的比值和s2中防松线轮廓面积与所述外接矩形s2面积的比值即填充率，任一所述比值在0.71以下，判断为螺栓松动，标识代码flase 实际夹角；
103.若所述比值均大于0.71，计算所述两个防松线轮廓左上角的直线距离，在本实施例中，若所述直线距离在预设的第二阈值1000以上，则判定该距离等于0，判断为螺栓未松动，标识代码为true 实际夹角角度，若所述直线距离小于所述第二阈值1000，则判断所述直线距离是否在第一阈值18以上，若是，则判断为螺栓松动，标识代码为flase_d2b，否则，判断为螺栓未松动，标识代码为true 实际夹角角度。
104.当然，本实施例的阈值等都是基于本实施例的实际需求设定的，在其他一些实施例中，应当依据其实际需求进行设定，不被此处所限制。
105.检测到螺栓是否松动后，本实施例还将检测的每一螺栓是否松动的信息及松动判断的标识显示在拍摄的图像的各螺栓区域，并展示。
106.另外，所述判断的标识种类与具体标识，依据具体应用时的需求设立，此处不做要求。
107.本发明提供的一种监测车底螺栓紧固度的方法及电子设备，针对预先采集的螺栓图像，识别出图像内所有的螺栓及该螺栓所在区域，图像中每一螺栓包括预先人工在螺栓本体上标注的防松线信息，从图像中提取出每一个螺栓的子图，获取提取出的每一个螺栓的类别及掩码图；针对提取的每一个螺栓的子图，利用每一个螺栓子图及该螺栓的掩码图，获取对应该螺栓的防松线区域；查找防松线区域是否存在最小外接矩形，根据松动判断策略，确定螺栓是否松动。在节约人力物力的情况下准确检测车底螺栓的紧固度，减少了人力资源的浪费，具有效率高、抗干扰能力强、准确率高等优点。
108.由于本发明上述实施例所描述的装置，为实施本发明上述实施例的方法所采用的装置，故而基于本发明上述实施例所描述的方法，本领域所属技术人员能够了解该装置的具体结构及变形，因而在此不再赘述。凡是本发明上述实施例的方法所采用的装置都属于本发明所欲保护的范围。
109.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
110.本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。
111.此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施
例或示例的特征进行结合和组合。
112.尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。