一种基于深度相机辅助定位精度的测量方法、系统及介质与流程

1.本发明属于测量技术领域；具体地，涉及一种非接触式三维对准精度自动化测量方法及系统；更具体地，涉及一种基于深度相机辅助定位精度的测量方法、系统及介质。


背景技术：

2.在以大型箱体自动装填为代表的现代大型复杂系统总装集成中，需要测量箱体相对于参考基准的三维姿态对准精度。目前普遍采用的是经纬仪建站测量方法。即利用带有准直功能的高精度经纬仪如徕卡等，分别准直待测的平面镜、立方镜，然后通过经纬仪之间的互瞄，利用经纬仪的码盘数值计算得到待测箱体与参考基准直接的三维姿态对准精度。但由于经纬仪观测时必需用人眼观测，受经纬仪布站远近、光照等环境因素影响，测量精度不高，且无法实现自动化测量。
3.本发明中提出了根据深度相机得到的目标三维图像和目标几何特征，通过基于三维点云匹配的位姿计算算法，计算出对接目标相对深度相机的空间姿态信息，最后实现对接目标相对于对接系统的三维姿态对准精度的自动化测量。随着航天航空船舶以及大型精密光学系统等先进制造工业的发展，对设备安装的三维姿态对准精度测量需求越来越多，精度要求越来越高，基于深度相机的三维对准精度实时自动化测量方法具有广泛的应用前景，可以促进未来航天航空船舶等大型复杂系统集成制造业的发展。


技术实现要素：

4.针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度相机辅助定位精度的测量方法、系统及介质。其中，本发明用于根据参考设备将至少一标定设备进行辅助定位，并实时测量该标定设备移动至相应目标定位区域的精度，该精度测量系统包括深度相机、位姿标定模块和精度测量模块，以上装置和模块均设置在参考设备上，首先深度相机根据标定设备移动至相应目标定位区域的位置进行标定获取相应的三维点云数据，再通过实时检测的图像与待对准目标几何特征的三维点云匹配的位姿计算算法，计算出标定设备相对深度相机成像的三维姿态信息，最后实现对接目标相对于参考设备的三维姿态对准精度的自动化测量。
5.为实现上述目的，按照本发明第一方面，提供一种基于深度相机辅助定位精度的测量方法，包括：
6.提供一参考设备和至少一标定设备，利用所述参考设备对所述标定设备进行辅助定位；所述标定设备上设置有至少三个特征点，测量所述特征点在实际空间体系中的第一位姿信息；
7.将至少一深度相机布设于所述参考设备表面且靠近所述标定设备一侧，以使每个所述特征点均在所述深度相机的视场范围内；使用所述深度相机获取所述标定设备移动至目标定位区域时所述特征点的标定图像，提取所述特征点在所述标定图像中的第二位姿信息；
8.根据所述第一位姿信息和第二位姿信息建立所述实际空间体系和深度相机成像体系之间的空间映射关系；
9.使用所述深度相机检测所述标定设备移动至目标定位区域过程中所述特征点的检测图像，提取所述特征点在所述检测图像中的第三位姿信息；
10.根据所述空间映射关系和第三位姿信息计算所述标定设备和参考设备在实际空间中相对位姿信息。
11.进一步地，所述标定设备和参考设备在实际空间中相对位姿信息包括：所述标定设备相对于所述参考设备在实际空间体系三维方向上的偏移角度。
12.进一步地，所述根据所述第一位姿信息和第二位姿信息建立所述实际空间体系和深度相机成像体系之间的空间映射关系，包括：
13.在所述实际空间中建立三维第一坐标系，提取所述特征点p1、p2、
……
、pn在所述第一坐标系中的第一位姿坐标(x01,y01,z01)、(x02,y02,z02)
……
、(x0n,y0n,z0n)；
14.在所述标定图像中建立三维第二坐标系，对所述第二坐标系标定以使其与所述第一坐标系平行，获取标定后第二坐标系；
15.提取所述特征点p1、p2、
……
、pn在所述标定后第二坐标系中的第二位姿坐标(x11,y11,z11)、(x12,y12,z12)
……
、(x1n,y1n,z1n)；
16.根据所述第一位姿坐标和第二位姿坐标建立所述实际空间体系和深度相机成像体系之间的空间映射关系；
17.其中，所述n为正整数，且n≥3。
18.进一步地，所述提取所述特征点在所述检测图像中的第三位姿信息，包括：
19.基于所述标定后第二坐标系提取所述特征点p1、p2、
……
、pn在所述检测图像中的第三位姿坐标(x21,y21,z21)、(x22,y22,z22)
……
、(x2n,y2n,z2n)。
20.进一步地，所述根据所述空间映射关系和第三位姿信息计算所述标定设备和参考设备在实际空间中相对位姿信息，包括：
21.将所述第三位姿坐标(x21,y21,z21)、(x22,y22,z22)
……
、(x2n,y2n,z2n)与第二位姿坐标(x11,y11,z11)、(x12,y12,z12)
……
、(x1n,y1n,z1n)中所述特征点p1、p2、
……
、pn对应的坐标进行一一匹配；
22.基于坐标变换算法获得所述第三位姿坐标相对于第二位姿坐标的绕坐标轴的旋转参数[α,β,γ]。
[0023]
按照本发明第二方面，提供一种基于深度相机辅助定位精度的测量系统，包括：
[0024]
一参考设备和至少一标定设备，所述标定设备上设置有至少三个特征点；
[0025]
至少一深度相机，布设于所述参考设备表面且靠近所述标定设备一侧，用于获取所述标定设备移动至目标定位区域时所述特征点的标定图像和检测图像；其中，每个所述特征点均在所述深度相机的视场范围内；
[0026]
位姿标定模块，用于测量所述特征点在实际空间体系中的第一位姿信息，提取所述特征点在所述标定图像中的第二位姿信息，并根据所述第一位姿信息和第二位姿信息建立所述实际空间体系和深度相机成像体系之间的空间映射关系；
[0027]
精度测量模块，用于提取所述特征点在所述检测图像中的第三位姿信息，并根据所述空间映射关系和第三位姿信息计算所述标定设备和参考设备在实际空间中相对位姿
信息。
[0028]
进一步地，所述标定设备和参考设备在实际空间中相对位姿信息包括：所述标定设备相对于所述参考设备在实际空间体系三维方向上的偏移角度。
[0029]
进一步地，所述位姿标定模块包括：
[0030]
第一提取单元，用于在所述实际空间中建立三维第一坐标系，提取所述特征点p1、p2、
……
、pn在所述第一坐标系中的第一位姿坐标(x01,y01,z01)、(x02,y02,z02)
……
、(x0n,y0n,z0n)；
[0031]
第二提取单元，用于在所述标定图像中建立三维第二坐标系，对所述第二坐标系标定以使其与所述第一坐标系平行，获取标定后第二坐标系；并提取所述特征点p1、p2、
……
、pn在所述标定后第二坐标系中的第二位姿坐标(x11,y11,z11)、(x12,y12,z12)
……
、(x1n,y1n,z1n)；
[0032]
标定匹配单元，用于根据所述第一位姿坐标和第二位姿坐标建立所述实际空间体系和深度相机成像体系之间的空间映射关系；
[0033]
其中，所述n为正整数，且n≥3。
[0034]
进一步地，所述精度测量模块包括：
[0035]
第三提取单元，用于基于所述标定后第二坐标系提取所述特征点p1、p2、
……
、pn在所述检测图像中的第三位姿坐标(x21,y21,z21)、(x22,y22,z22)
……
、(x2n,y2n,z2n)；
[0036]
检测匹配单元，用于将所述第三位姿坐标(x21,y21,z21)、(x22,y22,z22)
……
、(x2n,y2n,z2n)与第二位姿坐标(x11,y11,z11)、(x12,y12,z12)
……
、(x1n,y1n,z1n)中所述特征点p1、p2、
……
、pn对应的坐标进行一一匹配；
[0037]
精度测量单元，用于基于坐标变换算法获得所述第三位姿坐标相对于第二位姿坐标的绕坐标轴的旋转参数[α,β,γ]。
[0038]
按照本发明第三方面，提供一种计算机可读介质，其存储电子设备执行的计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如上所述的方法。
[0039]
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
[0040]
本发明提供一种基于深度相机辅助定位精度的测量方法、系统及介质，该测量方法和测量系统可以实现辅助定位的三维姿态对准精度的自动化测量，测量精度可以达到角分级，测量效率可以达到每分钟100次，可有效解决在参考设备相对于标定设备的三维姿态对准精度的测量过程中，操作者观察结果易疲劳、人为主观误差较大、不能自动实时测量等问题，提高三维对准精度测量的工作效率，从而提供了一种简易、实时、自动化、精确的三维对准精度自动测量方法和系统。
附图说明
[0041]
图1为按照本发明提供一种基于深度相机辅助定位精度的测量方法的流程示意图。
具体实施方式
[0042]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对
本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0043]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
[0044]
需要说明的是，本发明涉及的函数方程中符号“·”为运算符号表示前后两个常量或者向量的相乘，“/”为运算符号表示前后两个常量或者向量的相除，本发明中所有函数方程遵循数学的加减乘除运算法则。
[0045]
需要说明的是，本发明涉及的术语“第一\第二”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的本发明的实施例能够以除了在这里描述或图示的那些以外的顺序实施。
[0046]
根据本发明一种具体地实施方式，如图1所示提供一种基于深度相机辅助定位精度的测量方法，包括：
[0047]
s1：提供一参考设备和至少一标定设备，利用所述参考设备对所述标定设备进行辅助定位；所述标定设备上设置有至少三个特征点p1、p2、
……
、pn，测量所述特征点在实际空间体系中的第一位姿信息；
[0048]
s2：将至少一深度相机布设于所述参考设备表面且靠近所述标定设备一侧，以使每个所述特征点均在所述深度相机的视场范围内；使用所述深度相机获取所述标定设备移动至目标定位区域时所述特征点的标定图像，提取所述特征点在所述标定图像中的第二位姿信息；
[0049]
s3：根据所述第一位姿信息和第二位姿信息建立所述实际空间体系和深度相机成像体系之间的空间映射关系；
[0050]
s4：使用所述深度相机检测所述标定设备移动至目标定位区域过程中所述特征点的检测图像，提取所述特征点在所述检测图像中的第三位姿信息；
[0051]
s5：根据所述空间映射关系和第三位姿信息计算所述标定设备和参考设备在实际空间中相对位姿信息。
[0052]
具体地，在步骤s1中，所述标定设备上设置有至少三个特征点p1、p2、
……
、pn，其中n最少为3，但在实际应用中n为100甚至100000，特征点选取越多其方法的测量精度越准确。
[0053]
具体地，在步骤s2中，使用深度相机采集标定图像，并且保证每个所述特征点均在所述深度相机的视场范围内。其中，深度相机由发光二极管(led)发射近红外线(nir)，是主动式视觉传感器，可以在黑暗环境应用，工作会受到外界光源的影响，能够同时输出被测目标的深度、幅度和灰度信息，是一种较为新型便捷的三维成像设备。例如，本发明中的深度相机可以采用pmd公司生产的pmd@camcube3.0，其主要性能指标为：(2)帧频：50fps；(5)有效像素：200
×
200；(6)工作距离：10m；(4)距离分辨率：3mm@4m。
[0054]
具体地，在步骤s3中，所述根据所述第一位姿信息和第二位姿信息建立所述实际空间体系和深度相机成像体系之间的空间映射关系，包括：
[0055]
s31：在所述实际空间中建立三维第一坐标系，提取所述特征点p1、p2、
……
、pn在所述第一坐标系中的第一位姿坐标(x01,y01,z01)、(x02,y02,z02)
……
、(x0n,y0n,z0n)；
[0056]
s32：在所述标定图像中建立三维第二坐标系，对所述第二坐标系标定以使其与所述第一坐标系平行，获取标定后第二坐标系；
[0057]
s33：提取所述特征点p1、p2、
……
、pn在所述标定后第二坐标系中的第二位姿坐标(x11,y11,z11)、(x12,y12,z12)
……
、(x1n,y1n,z1n)；
[0058]
s34：根据所述第一位姿坐标和第二位姿坐标建立所述实际空间体系和深度相机成像体系之间的空间映射关系；
[0059]
其中，所述n为正整数，且n≥3。
[0060]
更具体地，在步骤s31和步骤s33中，对特征点p1、p2、
……
、pn的位姿信息进行提取可以采用相关图像处理装置，例如，相关图像处理装置可以采用中国科学院微电子研究所信息识别与系统控制研究中心的面向camera link接口的kintex-7与tms320c6678视觉图像处理系统。该产品由两块核心板块——fpga板块和dsp板块组成，主要面向嵌入式微型化视觉图像领域，dsp采用ti公司最新一代keystone多核c66x系列tms320c6678，具有10g处理能力；fpga采用xilinx公司的kintex-7(k7)系列xc7k325t-2ffg900i，具有326080逻辑单元，可用于缺陷检测、尺寸测量、色选、运动目标检测跟踪、字符识别等智能图像处理分析等。
[0061]
更具体地，在步骤s32和步骤s34中，使用三维点云匹配算法原理为多标记点空间相对位姿的求解。由标定设备上多个已知几何特征点p1、p2、
……
、pn(n≥3)建立的目标坐标系o0-x0y0z0，为了使得经过旋转变换后使得该坐标系与深度相机坐标系o1-x1y1z1平行，该旋转变换过程用参考设备坐标系绕坐标轴的旋转参数来表示。
[0062]
具体地，在步骤s4中，所述提取所述特征点在所述检测图像中的第三位姿信息，包括：
[0063]
s41:基于所述标定后第二坐标系提取所述特征点p1、p2、
……
、pn在所述检测图像中的第三位姿坐标(x21,y21,z21)、(x22,y22,z22)
……
、(x2n,y2n,z2n)。
[0064]
更具体地，步骤s41特征点数据的提取方式和步骤s31和步骤s33相同。
[0065]
具体地，在步骤s5中，所述标定设备和参考设备在实际空间中相对位姿信息包括：所述标定设备相对于所述参考设备在实际空间体系三维方向上的偏移角度。
[0066]
更具体地，所述根据所述空间映射关系和第三位姿信息计算所述标定设备和参考设备在实际空间中相对位姿信息，包括：
[0067]
s51：将所述第三位姿坐标(x21,y21,z21)、(x22,y22,z22)
……
、(x2n,y2n,z2n)与第二位姿坐标(x11,y11,z11)、(x12,y12,z12)
……
、(x1n,y1n,z1n)中所述特征点p1、p2、
……
、pn对应的坐标进行一一匹配；
[0068]
s52：基于坐标变换算法获得所述第三位姿坐标相对于第二位姿坐标的绕坐标轴的旋转参数[α,β,γ]。
[0069]
更具体地，在步骤s51和步骤s52中，通过深度相机测得标定设备的三维点云数据与深度相机测定的标定设备移动至目标定位区域时所述特征点的标定图像中特征点的标定数据匹配，得到各特征点在深度相机坐标系o1-x1y1z1中的坐标，再通过坐标变换求解，可得到旋转参数[α,β,γ]的值，即为待标定设备相对于参考设备的三维对准精度。
[0070]
根据本发明另一种具体地实施方式，提供了一种基于深度相机辅助定位精度的测量系统，包括：
[0071]
一参考设备和至少一标定设备，所述标定设备上设置有至少三个特征点；
[0072]
至少一深度相机，布设于所述参考设备表面且靠近所述标定设备一侧，用于获取所述标定设备移动至目标定位区域时所述特征点的标定图像和检测图像；其中，每个所述特征点均在所述深度相机的视场范围内；
[0073]
位姿标定模块，用于测量所述特征点在实际空间体系中的第一位姿信息，提取所述特征点在所述标定图像中的第二位姿信息，并根据所述第一位姿信息和第二位姿信息建立所述实际空间体系和深度相机成像体系之间的空间映射关系；
[0074]
精度测量模块，用于提取所述特征点在所述检测图像中的第三位姿信息，并根据所述空间映射关系和第三位姿信息计算所述标定设备和参考设备在实际空间中相对位姿信息。
[0075]
具体地，所述标定设备和参考设备在实际空间中相对位姿信息包括：所述标定设备相对于所述参考设备在实际空间体系三维方向上的偏移角度。
[0076]
更具体地，深度相机由发光二极管(led)发射近红外线(nir)，是主动式视觉传感器，可以在黑暗环境应用，工作会受到外界光源的影响，能够同时输出被测目标的深度、幅度和灰度信息，是一种较为新型便捷的三维成像设备。例如，本发明中的深度相机可以采用pmd公司生产的pmd@camcube3.0，其主要性能指标为：(2)帧频：50fps；(5)有效像素：200
×
200；(6)工作距离：10m；(4)距离分辨率：3mm@4m。
[0077]
具体地，所述位姿标定模块包括：
[0078]
第一提取单元，用于在所述实际空间中建立三维第一坐标系，提取所述特征点p1、p2、
……
、pn在所述第一坐标系中的第一位姿坐标(x01,y01,z01)、(x02,y02,z02)
……
、(x0n,y0n,z0n)；
[0079]
第二提取单元，用于在所述标定图像中建立三维第二坐标系，对所述第二坐标系标定以使其与所述第一坐标系平行，获取标定后第二坐标系；并提取所述特征点p1、p2、
……
、pn在所述标定后第二坐标系中的第二位姿坐标(x11,y11,z11)、(x12,y12,z12)
……
、(x1n,y1n,z1n)；
[0080]
标定匹配单元，用于根据所述第一位姿坐标和第二位姿坐标建立所述实际空间体系和深度相机成像体系之间的空间映射关系；
[0081]
其中，所述n为正整数，且n≥3。
[0082]
具体地，所述精度测量模块包括：
[0083]
第三提取单元，用于基于所述标定后第二坐标系提取所述特征点p1、p2、
……
、pn在所述检测图像中的第三位姿坐标(x21,y21,z21)、(x22,y22,z22)
……
、(x2n,y2n,z2n)；
[0084]
检测匹配单元，用于将所述第三位姿坐标(x21,y21,z21)、(x22,y22,z22)
……
、(x2n,y2n,z2n)与第二位姿坐标(x11,y11,z11)、(x12,y12,z12)
……
、(x1n,y1n,z1n)中所述特征点p1、p2、
……
、pn对应的坐标进行一一匹配；
[0085]
精度测量单元，用于基于坐标变换算法获得所述第三位姿坐标相对于第二位姿坐标的绕坐标轴的旋转参数[α,β,γ]。
[0086]
更具体地，第一提取单元、第二提取单元和第三提取单元可以采用相关图像处理
装置，例如，相关图像处理装置可以采用中国科学院微电子研究所信息识别与系统控制研究中心的面向camera link接口的kintex-7与tms320c6678视觉图像处理系统。该产品由两块核心板块——fpga板块和dsp板块组成，主要面向嵌入式微型化视觉图像领域，dsp采用ti公司最新一代keystone多核c66x系列tms320c6678，具有10g处理能力；fpga采用xilinx公司的kintex-7(k7)系列xc7k325t-2ffg900i，具有326080逻辑单元，可用于缺陷检测、尺寸测量、色选、运动目标检测跟踪、字符识别等智能图像处理分析等。
[0087]
本实施方式中，提供的基于深度相机辅助定位精度的测量系统技术方案和上述基于深度相机辅助定位精度的测量方法相同，其它具体地技术方案不在赘述。
[0088]
根据本发明另一种具体地实施方式，提供一种计算机可读介质，其存储电子设备执行的计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如上所述的方法。
[0089]
应当理解，本发明的方法、结构图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0090]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0091]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0092]
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0093]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0094]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。