一种少量重合区域无需特制标定物的多深度相机外参标定的方法与流程

1.本发明主要涉及计算机三维视觉领域，具体为一种少量重合区域无需特制标定物的多深度相机外参标定的方法。


背景技术：

2.随着计算机视觉技术的发展，基于深度相机的三维计算机视觉应用越来越多，与二维相机相比，深度相机可以直接拍摄出图像的深度信息，尤其是激光雷达拍摄出的深度信息已经非常准确；有了这样的深度信息，现实中使用场景也越来越多，如三维重建、全息捕捉、姿态捕捉、物体识别等。
3.一旦涉及2个及以上的深度相机联合获取图像数据并对数据进行处理的场景，就需要对深度相机进行外参标定，深度相机又分为纯深度相机和rgb-d深度相机，纯深度相机由于无法获取rgb图像数据，故无法使用类似张正友棋盘格的外参标定方法。
4.rgb-d相机在业界往往使用张正友棋盘格标定法进行外参配准，张正友在1999年发布的论文“flexible camera calibration by viewing a plane from unknown orientations”，包括根据张正友棋盘格升级版的aruco二维码棋盘格进行外参配准的方法，均需要特制刚体标定物，且对尺寸有严格要求，如张正友棋盘格标定法就需要一块大小占据视野范围1/2的绝对刚体棋盘格；故使用棋盘格的方法，不适合少量重合区域的场景，且需要特制标定物，也无法应用于纯深度相机。
5.在发明专利cn2022104736610中提到了一种方法，可以对rgb-d相机进行外参配准，其描述的纸张制作的标定物进行外参标定的方法，即便没有刚体和视野范围的严格要求，适用于少量重合区域，但是由于其需要获取rgb图像数据，无法应用于纯深度相机。
6.在发明专利cn202110906366中提到了一种方法，该方法也可以对rgb-d相机进行外参标定，但是不适用于少量重合区域，且由于其需要获取rgb图像数据，故无法应用于纯深度相机。
7.在发明专利cn2007100628256和cn2017113988037中提到的基于rgb相机的多相机标定方法，此类方法也可以对rgb-d相机进行外参标定，也适用于少量重合区域，但该方法任然需要特制标定物，且由于其需要获取rgb图像数据，无法应用于纯深度相机。
8.现有的纯深度相机外参配准的方法，往往需要定制特制的立体标定物，如申请号cn2020116264908的发明专利中记载了一种方法，其适用于纯深度相机，但是要求较多的重合区域，且仍需要特制标定物。
9.现有的许多无需特制标定物纯深度相机外参标定的方法，往往要求较多的重合区域，否则效果不佳，因此，需要一种适用于少量重合区域，无需特制标定物的适用于所有深度相机的多深度相机外参标定的方法。


技术实现要素：

10.本发明针对上述现有技术存在的问题，提供了一种适用于少量重合区域，无需特制标定物的多深度相机外参标定的方法；仅需一个人进入相机的少量重合视野，利用人体特征点做外参配准，此方法既可以用在rgb-d相机上，也可以应用在纯深度相机上。
11.需要说明的是，本发明的前置操作为：以人部分身体进入深度相机1、深度相机2的重合区域，然后用多深度相机拍摄图像后提取骨骼数据。
12.获取深度相机1、深度相机2的深度图像，将其分别转换为点云1、点云2（以下简称pcd1、pcd2），此时pcd1、pcd2之间仅有少量重合区域，如说明书附图图1所示，深度相机1、2的夹角达到了180度。
13.为了相关领域熟练技术人员能更好的理解本发明，以下给出详细计算步骤：step1：通过两个深度相机，分别获取人体骨骼数据；step2：通过对人体骨骼点进行筛选，选择至少三个点作为特征点使用icp配准配法进行相机外参配准；step3：通过使用点对点icp算法进行初步的配准，计算出相机局部配准外参矩阵t1；其中icp算法如下：给定两个点云的点集如（1）所示：
ꢀꢀ
（1）其中x表示源点集，p表示目标点集，n表示点集对应的数量；点云的配准过程中需要找到两个点集的相对位姿变换，从而使得两个点集的距离最小化，其最小化形式如（2）所示：
ꢀꢀ
（2）其中r表示为旋转矩阵，t 表示为平移矩阵.；由于旋转矩阵r会引进三角量，因此不能采用最小二乘法来进行求解，这里将引入两组点云的质心，如（3）所示：
ꢀꢀ
（3）通过对误差函数进行如下的处理：
在上式推导过程中，注意到交叉项当中为零，因此优化目标如下（4）所示：
ꢀꢀꢀ
（4）通过观察左右两项可知，左边的式子只与r有关，右边与r有关也与t有关系，即求解过程只需先求解左边式子最小化，再将求解的带入右边的式子，再对右边的式子最小化求解出，其表达形式如下（5）所示：其中 （5）这里需要先计算出两组点的质心坐标之后，再计算每个点的去质心坐标，其中去质心坐标表示如（6）所示： （6）接下来将r的误差项进行展开：由于上式中，因此前两项均与r无关，可以将上式转化为如（7）所式：
ꢀꢀ
（7）通过引入矩阵的迹的性质将问题进行转换，如（8）所示：
ꢀꢀ
（8）
其中，且h是一个3x3的矩阵，对h进行svd分解，如（9）所示：
ꢀꢀ
(9)其中表示奇异值所组成的对角矩阵并且对角元素从大到小进行排列，令 ,则有如（10）所示：
ꢀꢀ
(10)通过上式可知可以获得最大值，icp的最终解为：step4：通过使用t1作为初值，对全局骨骼点进行全局配准从而得到新的相机之间的全局配准外参矩阵t2作为最终外参标定结果。
14.需要说明的是，上述方法通过选取的至少三个特征点，可保证配准时有良好的效果，并将由此得到外参矩阵作为局部配准的初值可将整体配准更加精细优化，以此大大减少初始值对配准的影响，该方法具有强鲁棒性，适用于少量重合区域，无需特制任何标定物。
15.需要说明的是，上述方法只介绍的有两台深度相机的情况，但本方法也适用于2台及以上的深度相机外参标定，相关领域熟练技术人员可根据实际需求做出调整，在所属权利要求的范围内做出的各种变形或修改均在保护范围内。
16.需要说明的是，上述方法中的骨骼提取算法也可以替换为能提取出骨骼三维坐标的骨骼提取算法，相关领域熟练技术人员可根据实际需求做出调整，在所属权利要求的范围内做出的各种变形或修改均在保护范围内。
17.优选的，可以把奇异值分解（svd）的非线性优化方法替换为任意非线性优化方法，如随机梯度下降、高斯牛顿法、遗传算法或粒子群算法，相关领域熟练技术人员可根据实际需求做出调整，在所属权利要求的范围内做出的各种变形或修改均在保护范围内。
18.优选的，本发明也提供了一种使用多帧的优化方法，详见说明书附图3，使用多帧优化，可以利用在时间空间的维度，降低最初的骨骼提取算法的影响，并使其配准效果提升，实际应用更稳定，通过此方法即使中间的帧采用上述配准方法计算出错误的值，也会因为循环迭代将其引入正确的值，提高了其鲁棒性，并且提高了外参标定的精度。
19.优选的，本发明也提供了一种使用外部特征点进行验证和精配准的优化方法，该方法可以与多帧优化的方法结合使用，也可以单独使用作为检测本次外参标定误差的有效方法，如误差未达到阈值，则本次获取的外参矩阵精度较佳，可以作为最终外参标定结果，如误差过大超过阈值，则应该手动测量，这里所指的阈值没有一个确切的数值，应当视实际应用场景的需求而定，详见说明书附图4，这种方法可以降低由于骨骼提取算法导致的最终配准的误差，提高了其鲁棒性，并且进一步提高了外参标定的精度。
附图说明
20.如图，图1是本发明一种典型使用场景，该场景下深度相机呈180度对角摆放，夹角极大，只有少量的重合区域，且场景中几乎无特征物可以作为无特征点的选择凭据。
21.如图，图2是本发明的实施例1流程图，该实施例展示了使用1帧的三维人体骨骼数据做点云配准的流程。
22.如图，图3是本发明的一种对实施例1进行多帧优化的方法，该方法可以利用在时间空间的维度，降低最初的骨骼提取算法的影响，并使其配准效果提升，实际应用更稳定，通过此方法即使中间的帧采用上述配准方法计算出错误的值，也会因为循环迭代将其引入正确的值，提高了其鲁棒性。
23.如图，图4是本发明的一种对实施例1进行使用外部特征点进行验证和精配准的优化方法，这种方法可以降低由于骨骼提取算法导致的最终配准的误差，提高了其鲁棒性。
具体实施方式
24.参见图2，图2展示了本发明的实施例1，该实施例展示了使用1帧的人体三维骨骼做外参标定的流程，该方法适用于少量重合区域，且无需特制标定物，仅需一个人进入相机的少量重合视野，利用人体特征点做外参配准，此方法既可以用在rgb-d相机上，也可以应用在纯深度相机上；需要说明的是，本实施例的给出仅用于解释本发明，并不构成对本发明的限制，本领域的熟练技术人员可根据需要做出调整，在所属权利要求的范围内做出的各种变形或修改均在保护范围内，具体实施方法如下：s201：数据采集，两台深度相机分别使用kinect body tracking sdk获取1帧的三维人体骨骼数据1、骨骼数据2。
25.s202、s203：选取骨骼点，从骨骼数据1、骨骼数据2中分别选取spine_ches,hip_left,ankle_left,foot_left4个骨骼点，用以下个步骤的局部配准。
26.s204：使用点对点icp算法对上述选择的2组4个共8个骨骼点进行配准，得到相机外参t1。
27.s205：将t1作为初始外参矩阵，通过icp算法对骨骼数据1、骨骼数据2中的所有32个骨骼点进行配准，从而计算出相机外参矩阵t2，得到外参标定结果。
28.参见图3，图3是一种对实施例1进行多帧优化的方法，使用多帧优化，可以利用在时间空间的维度，降低最初的骨骼提取算法的影响，并使其配准效果提升，实际应用更稳定，通过此方法即使中间的帧采用上述配准方法计算出错误的值，也会因为循环迭代将其引入正确的值，提高了其鲁棒性，并且提高了外参标定的精度；实施例的给出仅用于解释本发明，并不构成对本发明的限制，本领域的熟练技术人员可根据需要做出调整，在所属权利要求的范围内做出的各种变形或修改均在保护范围内，具体实施方法如下：s301：对n帧使用实施例1中的方法得出的单帧相机外参计算所有三维骨骼点的点对点之间的均方差作为误差并记录其误差，具体计算步骤如下：，。
29.s302：判断该组n帧的误差是否收敛或趋于稳定，如是，取该组相机外参平均值；如否，重复s301步骤。
30.s303：输出最终相机外参矩阵，得到外参标定结果。
31.参见图4，图4是一种对实施例1使用外部特征点进行验证和精配准的优化方法，本实施例中所述的优化方法与上述多帧优化方法进行了结合，但其也可以单独使用作为检测本次外参标定误差的有效方法，这种方法可以进一步降低由于骨骼提取算法导致的最终配准的误差，并且相对于只使用说明书附图3实施例中的优化方法，进一步提高了外参标定的精度和鲁棒性；需要说明的是，本实施例的给出仅用于解释本发明，并不构成对本发明的限制，本领域的熟练技术人员可根据需要做出调整，在所属权利要求的范围内做出的各种变形或修改均在保护范围内，使用外部特征点进行验证和精配准的优化方法的具体实施方法如下：s401：放入两个相机重合视野的n个arcou二维码，使用open cv读取并识别两个深度相机一帧的rgb图像，找到arcou二维码的4n个角点，将四个角点映射到点云里的2组4n个点云。
32.s402：对n帧使用实施例1中的方法得出的单帧相机外参进行记录。
33.s403： 使用s402中的n组相机外参矩阵，计算所有arcou二维码角点进行点对点之间的均方差作为误差并记录其误差，具体计算步骤如下：，。
34.s404：判断判断该组n帧的误差是否收敛或趋于稳定，如是，取该组相机外参平均值；如否，重复s402、s403步骤。
35.s405：输出最终相机外参矩阵，得到外参标定结果。
36.上面结合附图及其实时例描述了本发明的几种实施方式，只是为了使本发明的目的、优点更加清楚明白，实施例的给出仅用于解释本发明，并不构成对本发明的限制，本领域的熟练技术人员可根据需要做出调整，在所属权利要求的范围内做出的各种变形或修改均在保护范围内。
37.需要说明的是，在本发明中涉及“s301”、“s302”、步骤的名称如：“数据采集”、“验证及精配准”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“s301”、“s302”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术本实施例可以相互结合，但是必须是以本领域熟练技术人员能够实现为基础，当技术本实施例的结合出现相互矛盾或无法实现时应当认为这种技术本实施例的结合不存在，也不在本发明要求的保护范围之内。