一种紧固件松动检测方法与流程

1.本发明涉及视觉检测领域，更具体地，涉及一种紧固件松动检测方法。


背景技术：

2.列车作为现代社会中常用的一种交通工具，为现代人们的出行提供了便利，对社会发展起到重要作用。而作为一种常用的交通工具，列车的安全运行显得至关重要，所以列车需要在每趟或每天进行例行的安全检测。例行的安全检测步骤繁杂、检测频率高，自动化的安全检测是相关领域的重点研究对象。列车在运动过程中产生大量长时间的振动，使列车上的紧固件容易产生松动，若不能及时发现，则容易造成严重事故。因而，在例行的安全检测中，紧固件的松动检测是数量最多，频次最多的检测。
3.传统的紧固件松动检测采用画防松线的方法进行，首先在每个紧固件完成紧固后，使用记号笔画一条穿过紧固件的表面和被紧固物体的表面的标志线作为防松线；然后在例行的安全检测时，逐个观察紧固件的防松线是否断开/错位；若防松线断开/错位，则表面该紧固件发生了松动。传统的紧固件松动检测需要人工逐个检查，工作量巨大，且容易出现疏漏。
4.视觉检测是指通过图像摄取装置(如相机、摄像机)将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像处理系统对这些信号进行各种运算来抽取目标的特征，进而输出判别的结果。视觉检测在检测缺陷和防止缺陷产品流出的功能方面具有不可估量的价值。将视觉检测应用于上述的紧固件松动检测，通过将防松线作为被摄取目标的特征，能实现自动化的安全检测，有效地提高检测效率。但在实际应用中，由于被摄取的紧固件的图像中的防松线往往难以得到正常识别，图像处理系统常会发出错误的报警信号，视觉检测的准确性和误报率难以满足应用的需求。


技术实现要素：

5.本发明旨在克服上述现有技术至少一项的不足，提供一种紧固件松动检测方法，用于解决应用视觉检测紧固件松动时准确性低、误报率高的问题。
6.本发明采取的技术方案是，一种紧固件松动检测方法，包括相机和图像识别模块，具体步骤如下：
7.s1.在紧固件的端面设置第一标志线和第二标志线；s2.初始化时，使用相机获取紧固件的端面的第一图像，并将第一图像传输给图像识别模块；s3.使用图像识别模块识别第一图像中的第一标志线和第二标志线，并获得第一标志线的基准斜率k1和第二标志线的基准斜率k2；s4.检测时，使用相机获取紧固件的端面的第二图像，并将第二图像传输给图像识别模块；s5.使用图像识别模块识别第二图像中的第一标志线和第二标志线，并获得第一标志线的实际斜率k5和第二标志线的实际斜率k6；s6.使用分析模块判断第一标志线和第二标志线的斜率变化情况，并给出紧固件的松动结果。
8.本方案以应用于列车的转向架上的紧固件松动检测为例说明。相机固定在轨道的一侧，在相机的视角范围内形成一定的检测区域。轨道上设有车轮传感器，车轮传感器用于向相机触发拍摄信号。列车以某一速度通过该检测区域时，车轮传感器检测到列车的车轮后向相机发出拍摄信号，相机拍摄包含有若干个紧固件的转向架的图像，图像识别模块和分析模块分别对图像进行处理，从而获得每个紧固件的松动情况。
9.本方案中，紧固件完成紧固后，检修人员在紧固件的端面设置第一标志线和第二标志线。列车第一次驶入检测区域(初始化时)，相机定点触发拍摄得到转向架的第一图像，第一图像覆盖了紧固件的端面；图像识别模块获得紧固件的第一标志线的基准斜率k1和第二标志线的基准斜率k2。列车第二次驶入检测区域(检测时)，相机定点触发拍摄得到转向架的第二图像，第二图像覆盖了紧固件的端面；图像识别模块获得紧固件的第一标志线的实际斜率k5和第二标志线的实际斜率k6。接着，分析模块将基准斜率与实际斜率的差值与预设的阈值进行比较，若差值大于阈值，则表明紧固件发生了松动；若差值小于阈值，则表明紧固件保持紧固。而基准斜率与实际斜率的差值计算有两种方式，一种为，先分别对第一标志线的基准斜率k1和实际斜率k5求第一差值，对第二标志线的基准斜率k2和实际斜率k6求第二差值，然后对第一差值和第二差值求平均值；另一种为，先对第一图像中的第一标志线和第二标志线的角平分线求斜率，并将其作为基准斜率，然后对第二图像中的第一标志线和第二标志线的角平分线求斜率，并将其作为实际斜率，最后对该角平分线的基准斜率和实际斜率求差值。
10.本方案中，一方面，由于相机获取的第一图像和第二图像中均包括第一标志线和第二标志线，在评价其斜率变化情况时，分析模块通过求解平均的方式，消除了图像识别带来的误差，进而解决应用视觉检测紧固件松动时准确性低的问题。另一方面，由于采用了两条标志线的双保险方式，在其中一条标志线图像识别错误的情况下，分析模块依然能通过另一条标志线的斜率变化情况，判断出紧固件的松动结果，进而解决应用视觉检测紧固件松动时误报率高的问题。
11.需要注意的是，上述列车的第一次和第二次驶入检测区域仅表明其前后顺序，不代表列车的实际驶入次数。也即，当列车下一次驶入检测区域时，可以使用上一次检测合格的结果作为初始化数据，上一次的图像作为第一图像，其第一标志线和第二标志线的实际斜率作为基准斜率k1和基准斜率k2，并进行下一次的斜率变化情况分析。其次，第一标志线和第二标志线不局限为单一的线段，也可以为图形的边线。例如，第一标志线和第二标志线为三角形的两边。再者，根据相机的视角范围，第一图像和第二图像可以覆盖多个紧固件，图像分析模块按规则给多个紧固件编号，图像识别模块和分析模块也可以同时处理一张图像中的多个紧固件的第一标志线和第二标志线。
12.优选地，步骤s3还包括：若图像识别模块未获得第一标志线的基准斜率k1和第二标志线的基准斜率k2，则向用户发出报警信息，并返回步骤s2。增加的判断步骤，可以保证初始化时获得第一标志线的基准斜率k1和第二标志线的基准斜率k2，以便在检测时通过求解平均的方式，判断紧固件的松动情况。
13.优选地，还包括步骤s7：若所述第一标志线和所述第二标志线的斜率变化无法识别或超过阈值，则向用户发出报警信息，并同时推送第二图像用于人工确认。
14.优选地，所述第一标志线与所述第二标志线在紧固件的端面上相交于一点。第一
标志线和第二标志线相交后，由于相交点的出现，第一标志线和第二标志线相互关联。图像识别模块在识别第一标志线和第二标志线时，增加了相交点作为识别特征，有利于减少图像识别模块的识别误差，提高获得的基准斜率k1和基准斜率k2的准确性。
15.进一步，还包括第三标志线，第三标志线分别与所述第一标志线、所述第二标志线相交；第三标志线用于校对第一标志线和第二标志线的斜率变化情况。第三标志线的增加使第一标志线和第二标志线再分别增加了另一个相交点。图像识别模块在识别第一标志线和第二标志线时，增加了两个相交点作为识别特征，进一步减少图像识别模块的识别误差，提高获得的基准斜率k1和基准斜率k2的准确性。
16.进一步，所述第一标志线和所述第二标志线是位于紧固件端面的中心的十字线。呈十字线时，第一标志线和第二标志线的夹角最大，在其相交点附近，第一标志线与第二标志线之间的像素干扰最少。此外，第一标志线和第二标志线在紧固件的端面上覆盖的范围也最大，即使在第一标志线和第二标志线局部破损或局部被阻挡，也不对图像识别模块造成影响。因而，第一标志线和第二标志线呈十字线的形状进一步提升了图像识别模块的识别准确性。
17.本方案中，第一标志线和第二标志线在紧固件端面上的设置包括两种方式，一种为基于传统的划线方式，另一种为基于标志贴纸的粘贴方式。
18.采用划线方式时，步骤s1包括：使用记号笔在紧固件的端面上绘制所述第一标志线和所述第二标志线。由于检修人员在紧固件完成紧固后，必然会设置防松线，同时要求其增加绘制第一标识线和第二标识线，并不会带来额外的应用成本，从而降低对现有安全检测过程的影响，使本方法易于推广使用。此外，图像识别模块采用回归算法进行第一标志线和第二标志线的斜率计算，第一标志线和第二标志线不需要为笔直的直线线段，从而降低对检修人员的绘制要求。
19.进一步，所述第一标志线和/或所述第二标志线从紧固件的端面延伸至被紧固的物体的表面。紧固件端面上的第一标志线或第二标志线用于图像识别模块的识别和分析模块的判断；延伸部分上的第一标志线或第二标志线相当于传统的防松线，用于人工检测。此时，也相当于检修人员在原有防松线的基础上，直接绘制第一标志线和第二标志线。延伸的第一标志线或第二标志线既适应视觉检测，保证图像识别的可靠性，发挥自动化松动检测功能；又保留了原有防松线的功能，可以直观对比查验，实现人机合一，自动/手动检测的灵活切换。
20.采用粘贴方式时，步骤s1包括：使用绘制有所述第一标志线和所述第二标志线的标志贴纸粘贴至紧固件的端面。第一标志线和第二标志线批量印刷在标志贴纸上，第一标志线和第二标志线的粗细、直线度、颜色深度等均可以得到统一保证，从而降低图像识别模块的识别难度，提高识别的准确性。使用时，检修人员在紧固件紧固后，在紧固件的端面大致居中粘贴上该标志贴纸即可。
21.进一步，所述第一标志线和所述第二标志线具有防水特性、反光特性，和/或防水特性、荧光特性。防水特性为了第一标志线和第二标志线不易破损，反光特性和荧光特性为了改善第一标志线和第二标志线在第一图像或第二图像中的曝光情况，提升其对比度，使图像识别模块的识别更容易和准确。
22.与现有技术相比，本发明的有益效果为：
23.本方案中，一方面，由于相机获取的第一图像和第二图像中均包括第一标志线和第二标志线，在评价其斜率变化情况时，分析模块通过求解平均的方式，消除了图像识别带来的误差，进而解决应用视觉检测紧固件松动时准确性低的问题。另一方面，由于采用了两条标志线的双保险方式，在其中一条标志线图像识别错误的情况下，分析模块依然能通过另一条标志线的斜率变化情况，判断出紧固件的松动结果，进而解决应用视觉检测紧固件松动时误报率高的问题。
附图说明
24.图1为本发明应用于列车的转向架的示意图。
25.图2为本发明实施例1中，初始化时的第一图像的局部图。
26.图3为本发明实施例1中，紧固件松动后的第二图像的局部图。
27.图4为本发明实施例2中，初始化时的第一图像的局部图。
28.图5为本发明实施例2中，紧固件松动后的第二图像的局部图。
29.图6为本发明实施例3中，初始化时的第一图像的局部图。
30.图7为本发明实施例3中，紧固件松动后的第二图像的局部图。
31.标号说明：相机11、转向架12、紧固件13、第一标志线21、第二标志线22、第三标志线23、防松线24。
具体实施方式
32.本发明附图仅用于示例性说明，不能理解为对本发明的限制。为了更好说明以下实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。实施例1
33.如图1、2、3所示，本实施例为一种紧固件松动检测方法，包括相机和图像识别模块，具体步骤如下：
34.s1.在紧固件的端面设置第一标志线和第二标志线；s2.初始化时，使用相机获取紧固件的端面的第一图像，并将第一图像传输给图像识别模块；s3.使用图像识别模块识别第一图像中的第一标志线和第二标志线，并获得第一标志线的基准斜率k1和第二标志线的基准斜率k2；s4.检测时，使用相机获取紧固件的端面的第二图像，并将第二图像传输给图像识别模块；s5.使用图像识别模块识别第二图像中的第一标志线和第二标志线，并获得第一标志线的实际斜率k5和第二标志线的实际斜率k6；s6.使用分析模块判断第一标志线和第二标志线的斜率变化情况，并给出紧固件的松动结果。
35.本方案以应用于列车的转向架上的紧固件松动检测为例说明。相机固定在轨道的一侧，在相机的视角范围内形成一定的检测区域。轨道上设有车轮传感器，车轮传感器用于向相机触发拍摄信号。列车以某一速度通过该检测区域时，车轮传感器检测到列车的车轮后向相机发出拍摄信号，相机拍摄包含有若干个紧固件的转向架的图像，图像识别模块和分析模块分别对图像进行处理，从而获得每个紧固件的松动情况。
36.本方案中，紧固件完成紧固后，检修人员在紧固件的端面设置第一标志线和第二标志线。列车第一次驶入检测区域(初始化时)，相机定点触发拍摄得到转向架的第一图像，
第一图像覆盖了紧固件的端面；图像识别模块获得紧固件的第一标志线的基准斜率k1和第二标志线的基准斜率k2。列车第二次驶入检测区域(检测时)，相机定点触发拍摄得到转向架的第二图像，第二图像覆盖了紧固件的端面；图像识别模块获得紧固件的第一标志线的实际斜率k5和第二标志线的实际斜率k6。接着，分析模块将基准斜率与实际斜率的差值与预设的阈值进行比较，若差值大于阈值，则表明紧固件发生了松动；若差值小于阈值，则表明紧固件保持紧固。而基准斜率与实际斜率的差值计算有两种方式，一种为，先分别对第一标志线的基准斜率k1和实际斜率k5求第一差值，对第二标志线的基准斜率k2和实际斜率k6求第二差值，然后对第一差值和第二差值求平均值；另一种为，先对第一图像中的第一标志线和第二标志线的角平分线求斜率，并将其作为基准斜率，然后对第二图像中的第一标志线和第二标志线的角平分线求斜率，并将其作为实际斜率，最后对该角平分线的基准斜率和实际斜率求差值。
37.本方案中，一方面，由于相机获取的第一图像和第二图像中均包括第一标志线和第二标志线，在评价其斜率变化情况时，分析模块通过求解平均的方式，消除了图像识别带来的误差，进而解决应用视觉检测紧固件松动时准确性低的问题。另一方面，由于采用了两条标志线的双保险方式，在其中一条标志线图像识别错误的情况下，分析模块依然能通过另一条标志线的斜率变化情况，判断出紧固件的松动结果，进而解决应用视觉检测紧固件松动时误报率高的问题。
38.需要注意的是，上述列车的第一次和第二次驶入检测区域仅表明其前后顺序，不代表列车的实际驶入次数。也即，当列车下一次驶入检测区域时，可以使用上一次检测合格的结果作为初始化数据，上一次的图像作为第一图像，其第一标志线和第二标志线的实际斜率作为基准斜率k1和基准斜率k2，并进行下一次的斜率变化情况分析。其次，第一标志线和第二标志线不局限为单一的线段，也可以为图形的边线。例如，第一标志线和第二标志线为三角形的两边。再者，根据相机的视角范围，第一图像和第二图像可以覆盖多个紧固件，图像分析模块按规则给多个紧固件编号，图像识别模块和分析模块也可以同时处理一张图像中的多个紧固件的第一标志线和第二标志线。
39.优选地，步骤s3还包括：若图像识别模块未获得第一标志线的基准斜率k1和第二标志线的基准斜率k2，则向用户发出报警信息，并返回步骤s2。增加的判断步骤，可以保证初始化时获得第一标志线的基准斜率k1和第二标志线的基准斜率k2，以便在检测时通过求解平均的方式，判断紧固件的松动情况。
40.优选地，还包括步骤s7：若所述第一标志线和所述第二标志线的斜率变化无法识别或超过阈值，则向用户发出报警信息，并同时推送第二图像用于人工确认。
41.本方案采用划线方式设置第一标志线和第二标志线，步骤s1具体包括：使用记号笔在紧固件的端面上绘制所述第一标志线和所述第二标志线。由于检修人员在紧固件完成紧固后，必然会设置防松线，同时要求其增加绘制第一标识线和第二标识线，并不会带来额外的应用成本，从而降低对现有安全检测过程的影响，使本方法易于推广使用。此外，图像识别模块采用回归算法进行第一标志线和第二标志线的斜率计算，第一标志线和第二标志线不需要为笔直的直线线段，从而降低对检修人员的绘制要求。
42.进一步，所述第一标志线和/或所述第二标志线从紧固件的端面延伸至被紧固的物体的表面。紧固件端面上的第一标志线或第二标志线用于图像识别模块的识别和分析模
块的判断；延伸部分上的第一标志线或第二标志线相当于传统的防松线，用于人工检测。此时，也相当于检修人员在原有防松线的基础上，直接绘制第一标志线和第二标志线。延伸的第一标志线或第二标志线既适应视觉检测，保证图像识别的可靠性，发挥自动化松动检测功能；又保留了原有防松线的功能，可以直观对比查验，实现人机合一，自动/手动检测的灵活切换。
43.优选地，所述第一标志线与所述第二标志线在紧固件的端面上相交于一点。第一标志线和第二标志线相交后，由于相交点的出现，第一标志线和第二标志线相互关联。图像识别模块在识别第一标志线和第二标志线时，增加了相交点作为识别特征，有利于减少图像识别模块的识别误差，提高获得的基准斜率k1和基准斜率k2的准确性。
44.本方案中，记号笔的墨水应具有防水特性、反光特性，和/或防水特性、荧光特性。防水特性为了使绘制的第一标志线和第二标志线不易破损，反光特性和荧光特性为了改善第一标志线和第二标志线在第一图像或第二图像中的曝光情况，提升其对比度，使图像识别模块的识别更容易和准确。
45.本实施例中，检修人员从紧固件的边缘上的一点开始分别进行两次连续直线划线，一直延伸至被紧固的物体的表面，形成所述第一标志线和所述第二标志线。其中，左边的设置为第一标志线，右边的设置为第二标志线，反之亦可。第一标志线和第二标志线可充当传统的防松线，检修人员不需要再额外划防松线。第一标志线和第二标志线的夹角不小于30
°
，且第一标志线和第二标志线在第一图像或第二图像中的像素长度不小于20个像素点，以确保图像识别模块可以准确地识别并获得其斜率。实施例2
46.如图1、4、5所示，本实施例为一种紧固件松动检测方法，为基于实施例1的另一种实施方式，以下仅针对差异进行说明，相同的部分不再累述。
47.本方案采用粘贴方式设置第一标志线和第二标志线，步骤s1具体包括：使用绘制有所述第一标志线和所述第二标志线的标志贴纸粘贴至紧固件的端面。第一标志线和第二标志线批量印刷在标志贴纸上，第一标志线和第二标志线的粗细、直线度、颜色深度等均可以得到统一保证，从而降低图像识别模块的识别难度，提高识别的准确性。使用时，检修人员在紧固件紧固后，在紧固件的端面大致居中粘贴上该标志贴纸即可。
48.进一步，所述第一标志线和所述第二标志线是位于紧固件端面的中心的十字线。呈十字线时，第一标志线和第二标志线的夹角最大，在其相交点附近，第一标志线与第二标志线之间的像素干扰最少。此外，第一标志线和第二标志线在紧固件的端面上覆盖的范围也最大，即使在第一标志线和第二标志线局部破损或局部被阻挡，也不对图像识别模块造成影响。因而，第一标志线和第二标志线呈十字线的形状进一步提升了图像识别模块的识别准确性。
49.本实施例中，标志贴纸为圆形的十字基准符号，包括四个象限，其第一象限和第三象限深色填充，第二象限和第四象限无填充。图像识别模块通过识别象限之间的颜色差异，得到第一标志线和第二标志线。其中，竖直方向的设置为第一标志线，水平方向的设置为第二标志线，反之亦可。此外，紧固件上仍需要保留设置防松线，以便切换为人工检测。
50.进一步，第一象限和第三象限中的深色填充的墨水具有防水特性、反光特性，和/或防水特性、荧光特性。防水特性为了第一标志线和第二标志线不易破损，反光特性和荧光
特性为了改善第一标志线和第二标志线在第一图像或第二图像中的曝光情况，提升其对比度，使图像识别模块的识别更容易和准确。实施例3
51.如图6、7所示，本实施例为实施例2的标志贴纸的另一种实施方式，以下仅针对差异进行说明，相同的部分不再累述。
52.本方案包括第一标志线、第二标志线和第三标志线，第三标志线分别与所述第一标志线、所述第二标志线相交；第三标志线用于校对第一标志线和第二标志线的斜率变化情况。第三标志线的增加使第一标志线和第二标志线再分别增加了另一个相交点。图像识别模块在识别第一标志线和第二标志线时，增加了两个相交点作为识别特征，进一步减少图像识别模块的识别误差，提高获得的基准斜率k1和基准斜率k2的准确性。
53.本实施例中，标志贴纸为深色填充的三角形贴纸。三角形的一个顶角指向防松线，沿该顶角逆时针方向，可以依次设置为第一标志线、第三标志线和第二标志线。此外，三角形深色填充的墨水也应具有防水特性、反光特性，和/或防水特性、荧光特性。
54.显然，本发明的上述实施例仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。