基于3D深度图像模板匹配的螺栓异常检测方法及系统与流程

基于3d深度图像模板匹配的螺栓异常检测方法及系统
技术领域
1.本发明属于螺栓检测技术领域，特别是涉及一种基于3d深度图像模板匹配的螺栓异常检测方法及系统。


背景技术：

2.目前，基于3d点云进行螺栓检测的方法有以下几种：（1）利用2d相机拍摄2d图像，利用3d相机拍摄3d图像，对2d图像和3d图像进行对齐；然后用标准2d图像与待测2d图像进行配准，并将配准后的2d图像映射到3d图像中提取螺栓的3d点云；计算螺栓的3d点云中螺栓上表面和下表面之间的高度差，从而判断螺栓是否松动。这种方法存在如下缺点：需要两个相机（2d相机和3d相机），增加了拍摄的复杂度；2d图像配准受光线、污渍、锈渍等干扰，匹配容易失败，进而造成后面3d测量不准确，造成误判。
3.（2）利用深度学习的目标检测网络找到2d图像中螺栓的位置，然后映射到3d点云中提取点云数据，再使用点云配准深度学习网络对点云进行配准，以此计算螺栓位移量，判定螺栓是否松动。这种方法利用深度学习检测螺栓，由于深度学习需要大量数据训练，在没有泛化的数据上容易造成漏报和误报，造成检测鲁棒性差；在3d点云配准中，也是利用深度学习网络，计算开销大，需要大量数据，前期不容易训练部署，不容易大面积推广。


技术实现要素：

4.本发明的目的在于克服现有技术的不足，提供一种基于3d深度图像模板匹配的螺栓异常检测方法及系统。
5.本发明的目的是通过以下技术方案来实现的：根据本发明的第一方面，基于3d深度图像模板匹配的螺栓异常检测方法，其特征在于，包括：获取待测螺栓的3d点云图像；将所述3d点云图像与模板点云进行配准；将配准后的3d点云图像和模板点云转换为深度图像；测量3d点云图像对应的深度图像和模板点云对应的深度图像中的螺栓高度；根据测量得到的所述螺栓高度判断待测螺栓是否异常。
6.进一步地，所述待测螺栓的3d点云图像由设置于巡检机器人上的3d相机拍摄得到。
7.进一步地，将所述3d点云图像与模板点云进行配准，包括：对所述3d点云图像进行直通滤波，滤除所述3d点云图像的xy平面内点云深度小于待测螺栓的最小深度的点云以及点云深度大于待测螺栓的最大深度的点云；对直通滤波后的3d点云图像进行掩码提取；将掩码提取后的3d点云图像与预设的模板点云进行配准。
8.进一步地，所述待测螺栓的3d点云图像由设置于巡检机器人上的3d相机拍摄得到；对所述3d点云图像进行直通滤波时，利用巡检机器人的定位精度对所述3d点云图像进行直通滤波。
9.进一步地，进行掩码提取时，只提取3d点云图像中待测螺栓内的点云。
10.进一步地，将掩码提取后的3d点云图像与预设的模板点云进行配准，包括：利用ndt算法进行3d点云图像与模板点云的第一次配准；利用icp算法进行3d点云图像与模板点云的第二次配准。
11.进一步地，将配准后的3d点云图像和模板点云转换为深度图像，包括：利用所述3d相机的内参将配准后的3d点云图像映射为深度图像；利用所述3d相机的内参将配准后的模板点云映射为深度图像。
12.进一步地，测量3d点云图像对应的深度图像和模板点云对应的深度图像中的螺栓高度，包括：在所述模板点云对应的深度图像中标注螺栓位置；在所述模板点云对应的深度图像中截取螺栓图像得到目标螺栓截图；在所述3d点云图像对应的深度图像中截取螺栓图像得到待测螺栓截图；测量目标螺栓截图和待测螺栓截图中的螺栓高度。
13.进一步地，根据测量得到的所述螺栓高度判断待测螺栓是否异常，包括：判断3d点云图像对应的螺栓高度与目标点云对应的螺栓高度的差值是否大于阈值，若所述差值大于阈值，则待测螺栓异常。
14.根据本发明的第二方面，基于3d深度图像模板匹配的螺栓异常检测系统，其特征在于，包括：点云获取模块，用于获取待测螺栓的3d点云图像；配准模块，用于将所述3d点云图像与模板点云进行配准；图像转换模块，用于将配准后的3d点云图像和模板点云转换为深度图像；螺栓高度测量模块，用于测量3d点云图像对应的深度图像和模板点云对应的深度图像中的螺栓高度；判断模块，用于根据测量得到的所述螺栓高度判断待测螺栓是否异常。
15.本发明的有益效果是：本发明进行螺栓的异常检测时只利用3d点云数据，具有采集简单等优点，同时避免了利用2d图像配准时光照、污渍、锈渍等干扰导致误报和漏报的情况。
附图说明
16.图1为本发明中螺栓异常检测方法的一个实施例的流程图；图2为一个实施例中配准前的点云叠加示意图；图3为一个实施例中配准后的点云叠加示意图；图4为一个实施例中的待测深度图像；图5为一个实施例中的模板深度图像；图6为本发明中螺栓异常检测系统的一个实施例的示意图。
具体实施方式
17.下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.参阅图1～图6，本发明提供一种基于3d深度图像模板匹配的螺栓异常检测方法及系统：本发明的第一方面提供了一种基于3d深度图像模板匹配的螺栓异常检测方法，如图1所示，所述螺栓异常检测方法包括步骤s100～步骤s500，以下详细说明。
19.步骤s100.获取待测螺栓的3d点云图像。
20.在一些实施例中，所述待测螺栓的3d点云图像由设置于巡检机器人上的3d相机拍摄得到。该实施例中，利用巡检机器人搭载3d相机采集螺栓的3d点云图像来检测螺栓是否松动等，无需人工操作，提高了检测效率。例如，目前在国铁车辆整备检修过程中由人工检测车辆螺栓松动，存在效率低、劳动强度大等缺点，若采用本实施例的方法，利用机器人对车辆进行自动巡检，同时利用3d相机对待测螺栓进行拍摄形成有序的3d点云图像来检测螺栓是否异常，可以解决人工检测存在的缺点。
21.步骤s200.将所述3d点云图像与模板点云进行配准。
22.在一些实施例中，将所述3d点云图像与模板点云进行配准，包括：步骤s210.对所述3d点云图像进行直通滤波，滤除所述3d点云图像的xy平面内点云深度小于待测螺栓的z轴方向最小坐标值以及点云深度大于待测螺栓的z轴方向最大坐标值的点云。即，对xy平面内所有点云，将和的点云全部过滤，其中，z为点云z轴坐标值，a为待测螺栓的点云最小坐标值，b为待测螺栓的点云最大坐标值。
23.在一个实施例中，所述待测螺栓的3d点云图像由设置于巡检机器人上的3d相机拍摄得到，此时利用巡检机器人的定位精度对所述3d点云图像进行直通滤波。具体的，根据巡检机器人位置在z轴方向的定位精度，经过多次实验，取包括完整部件的最大的坐标和最小的坐标，则有效点云坐标z的范围为，滤波算法把点云中所有 z 坐标在范围外的点全部过滤掉。直通滤波能够在点云大概范围已知的情况下，可以快速、粗略筛选出有效点云，从而提高后期点云配准时的鲁棒性和算法运行速度。
24.步骤s220.对直通滤波后的3d点云图像进行掩码提取。
25.在一些实施例中，进行掩码提取时，只提取3d点云图像中待测螺栓内的点云，从而提高掩码提取的速度，同时降低了无效点云的干扰。
26.步骤s230.将掩码提取后的3d点云图像与预设的模板点云进行配准。
27.在一个实施例中，将掩码提取后的3d点云图像与预设的模板点云进行配准，包括：利用ndt算法进行3d点云图像与模板点云的第一次配准；利用icp算法进行3d点云图像与模板点云的第二次配准。
28.利用ndt算法进行3d点云图像与模板点云的第一次配准，包括：
步骤k01.将模板点云细分为均匀大小的体素栅格单元，并计算每个体素单元格的均值向量和协方差矩阵cov。均值向量和协方差矩阵cov的计算公式为：式中， 为体素单元格中包括的坐标，tr为矩阵转置。
29.步骤k02. 初始化变换参数（先对参数赋予0值进行初始化），其中，为3d点云图像相对于模板点云x方向的平移量，为3d点云图像相对于模板点云y方向的平移量，为3d点云图像相对于模板点云z方向的平移量，为3d点云图像相对于模板点云绕x轴的旋转角度， 为3d点云图像相对于模板点云绕y轴的旋转角度，为3d点云图像相对于模板点云绕z轴的旋转角度。
30.步骤k03.对于待测螺栓的3d点云图像，通过矩阵变换ｔ的形式将其变换到模板点云的体素栅格单元中。
31.式中，为3d点云图像的第i个坐标，为转换后的点云坐标，p为变换参数，t为转换函数。
32.式中，x、y、z为转换前的点云坐标，为转换后的点云坐标。
33.步骤k04.根据正态分布参数（每个单元格点的均值向量和协方差矩阵cov）, 计算每个转换点的概率密度pdf(xi)，如下：式中，d代表维度。
34.步骤k05. ndt配准得到目标函数score，目标函数score由计算每个网格的概率密度累加求和得到：步骤k06.根据牛顿优化算法对目标函数score进行优化，即寻找变换参数使得目标函数score的值最大。
35.步骤k07.跳转到步骤k03继续执行，直到达到收敛条件为止。
36.利用icp算法进行3d点云图像与模板点云的第二次配准，包括：步骤k11.在输入点云模型中取点集。
37.步骤k12.找出目标点云中对应的最近点集，如果最小距离小于阈值，则为有效的点对，否则为无效点对。
38.步骤k13. 用奇异值分解的方式计算坐标变换中的旋转矩阵ｒ，从而得到平移向量ｔ，使得目标函数的值最小：。
39.步骤k14. 用求得的旋转矩阵ｒ与平移矩阵ｔ对输入点云 模型的点集ｙ进行变化，新点集记做。
40.步骤k15. 利用新求出的点集与对应点的平均距离:。
41.步骤k16. 若d小于给定的阈值或者迭代次数超过了最大迭代次数，则停止迭代，否则回到步骤k13继续迭代，直至满足收敛条件。
42.步骤s300.将配准后的3d点云图像和模板点云转换为深度图像。
43.在一些实施例中，将配准后的3d点云图像和模板点云转换为深度图像，包括：利用所述3d相机的内参将配准后的3d点云图像映射为深度图像；利用所述3d相机的内参将配准后的模板点云映射为深度图像。
44.在一个实施例中，将配准后的3d点云图像和模板点云转换为深度图像的公式为：其中f
x
和fy为相机x方向和y方向的焦距，c
x
和cy为光心位置；为点云坐标；为图像坐标位置。灰度值采用深度值归一化。公式为：其中g为对应位置的灰度值， 为z轴方向坐标值， 最小坐标值，为最大坐标值。
45.步骤s400. 测量3d点云图像对应的深度图像和模板点云对应的深度图像中的螺栓高度。
46.在一些实施例中，测量3d点云图像对应的深度图像和模板点云对应的深度图像中的螺栓高度，包括：s410.在所述模板点云对应的深度图像中标注螺栓位置。
47.s420.在所述模板点云对应的深度图像中截取螺栓图像得到目标螺栓截图。
48.s430.在所述3d点云图像对应的深度图像中截取螺栓图像得到待测螺栓截图。
49.s440.测量目标螺栓截图和待测螺栓截图中的螺栓高度。
50.所述螺栓高度的测量公式为：。
51.步骤s500.根据测量得到的所述螺栓高度判断待测螺栓是否异常。
52.一般的，根据测量得到的所述螺栓高度判断待测螺栓是否异常，包括：判断3d点云图像对应的螺栓高度与目标点云对应的螺栓高度的差值是否大于阈值，若所述差值大于阈值，则待测螺栓异常。
53.图2～图5为利用本实施例方法进行螺栓异常检测的一个例子。利用机器人上的3d相机拍照得到3d点云图像，并对3d点云图像进行直通滤波和掩码滤波。然后将3d点云图像与模板点云进行配准，图2为配准前的点云叠加，图3为配准后的点云叠加。利用3d相机的内参将配准后的3d点云图像与模板点云映射为深度图像，3d点云图像对应的待测深度图像如图4所示，模板点云对应的模板深度图像如图5所示，图中的框为标定好的螺栓位置。对待测深度图像和模板深度图像中标注的螺栓位置进行灰度值的高度测量，然后进行比较，若高度差值大于阈值（如1mm），则认为判定为螺栓松动。
54.本发明的第二方面提供了一种基于3d深度图像模板匹配的螺栓异常检测系统，如图6所示，所述螺栓异常检测系统包括点云获取模块、配准模块、图像转换模块、螺栓高度测量模块和判断模块。
55.点云获取模块，用于获取待测螺栓的3d点云图像。本实施例中，所述点云获取模块可用于执行图1所示的步骤s100，关于所述点云获取模块的具体描述可参对所述步骤s100的描述。
56.配准模块，用于将所述3d点云图像与模板点云进行配准。本实施例中，所述配准模块可用于执行图1所示的步骤s200，关于所述配准模块的具体描述可参对所述步骤s200的描述。
57.图像转换模块，用于将配准后的3d点云图像和模板点云转换为深度图像。本实施例中，所述图像转换模块可用于执行图1所示的步骤s300，关于所述图像转换模块的具体描述可参对所述步骤s300的描述。
58.螺栓高度测量模块，用于测量3d点云图像对应的深度图像和模板点云对应的深度图像中的螺栓高度。本实施例中，所述螺栓高度测量模块可用于执行图1所示的步骤s500，关于所述螺栓高度测量模块的具体描述可参对所述步骤s400的描述。
59.判断模块，用于根据测量得到的所述螺栓高度判断待测螺栓是否异常。本实施例中，所述判断模块可用于执行图1所示的步骤s500，关于所述判断模块的具体描述可参对所述步骤s500的描述。
60.以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。