激光雷达与相机联合外参标定系统及方法与流程

1.本发明涉及传感器标定技术领域，具体地，涉及激光雷达与相机联合外参标定系统及方法，更为具体地，涉及一种通过机械臂将传感器的外参标定到结构件坐标系，从而获取传感器的相对外参以及传感器到车辆坐标系外参的系统。


背景技术：

2.现有技术是将标定物放置于相机和雷达的可见范围内，同时标定物进行检测，获取约束对外参进行建模标定，标定物可以是棋盘格、镂空标定物、反光二维码等。但是激光雷达的稀疏性导致检测出来特征会有偏差，从而影响标定精度。并且有些标定物，如镂空标定板或者二维码等会使检测特征变得繁琐，有些可能还需要预先测量出标定物之间的位置关系，操作复杂。
3.现有技术还存在相机和雷达在运动条件下分别对周围环境进行重建，然后通过环境特征建模标定。但是运动状态下相机和雷达的时间匹配很难做到一致，造成的误差无法避免。
4.专利文献cn111735479b公开了一种多传感器联合标定装置及方法，包括机械臂，所述机械臂上设置传感器融合框架，传感器融合框架上设置有激光雷达、单目相机，以及用以处理数据的计算机，还包括激光雷达-相机四标定板联合标定靶，所述激光雷达-相机四标定板联合标定靶包括1号标定板、2号标定板、3号标定板、4号标定板；1号标定板、2号标定板、3号标定板的中心位置由圆点标注，用于提供外参标定用的特征点。
5.专利文献cn107976668b(申请号：201610922058.0)公开了一种确定相机与激光雷达之间的外参数的方法，所述方法包括：将多张不同id的apriltag分别设置于多边形标定板的各角；获取相机检测到的各第一角点位置坐标，其中，所述第一角点位置坐标由所述相机通过检测各apriltag获得；获取各第二角点位置坐标，其中，所述第二角点位置坐标为所述多边形标定板的各角的角点坐标；依据获取到的所述第一角点位置坐标和所述第二角点位置坐标，确定相机与激光雷达之间的外参数。
6.专利文献cn110021046b(申请号：201910164594.2)公开了一种相机与激光雷达组合传感器的外参数标定方法，包括：将该组合传感器对准一个标定装置，进行一次扫描，获得该标定装置在激光雷达坐标系中的第一坐标、在图像坐标系中的第二坐标和在相机坐标系中的第三坐标；通过该第一坐标和该第二坐标，获取标定装置坐标系至该激光雷达坐标系的第一变换矩阵；通过第三坐标和该第二坐标，获取该相机坐标系至该标定装置坐标系的第二变换矩阵；通过该第一变换矩阵和该第二变换矩阵，获得该相机坐标系至该激光雷达坐标系的外参数矩阵。
7.专利文献cn113625288a(申请号：202110661361.0)公开了一种基于点云配准的相机与激光雷达位姿标定方法和装置，其中方法包括：基于多个相机以及激光雷达，分别采集预设场景的图像序列和激光点云数据；其中，所述多个相机之间刚性固定；基于所述图像序列进行稀疏重建，得到所述预设场景的稀疏三维点云数据；将所述激光点云数据与所述稀
疏三维点云数据进行配准，得到所述激光雷达与所述多个相机中的参考相机间的位姿标定信息，并基于所述多个相机之间的相对位姿信息，确定所述激光雷达与其他相机间的位姿标定信息。
8.专利文献cn113253246a(申请号：202110607494.x)公开了一种激光雷达和相机的标定方法，包括以下步骤：激光雷达获取n帧包括标定板的点云数据，消除激光雷达的随机误差，找出标定板的边缘点；设定与雷达坐标系之间的转换矩阵为t1伪相机坐标系，将标定板的边缘点转换到伪相机坐标系下，并投影到伪相机的成像平面上，得到投影图像；从投影图像中找到标定板的角点位于伪相机坐标系下的2d坐标；获取标定板的角点在相机坐标系下的3d坐标，从而得到相机坐标系和伪相机坐标系之间的转换矩阵t2，进而得到激光雷达坐标系与相机坐标系之间的转换矩阵t＝t2-1*t1。


技术实现要素：

9.针对现有技术中的缺陷，本发明的目的是提供一种激光雷达与相机联合外参标定系统及方法。
10.根据本发明提供的一种激光雷达与相机联合外参标定系统，包括：激光雷达、相机、传感器基座、机械臂和标定物；
11.所述激光雷达和所述相机同时安装在所述传感器基座上；
12.所述传感器基座为可拆卸式多功能结构件，安装在目标车辆的顶端或安装在所述机械臂的末端；
13.所述标定物为棋盘格、镂空标定物或反光二维码。
14.根据本发明提供的一种激光雷达与相机联合外参标定方法，运用上述所述的激光雷达与相机联合外参标定系统执行如下步骤：
15.步骤s1：通过手眼标定的方法获取相机相对于传感器基座的外参
16.步骤s2：通过手眼标定的方法获取激光雷达相对于传感器基座的外参
17.步骤s3：基于外参和外参计算出相机相对于激光雷达的外参
18.步骤s4：基于以及传感器基座相对于目标车辆的外参计算出相机相对于目标车辆的外参以及激光雷达相对于目标车辆的外参
19.步骤s5：完成外参标定后，将传感器基座以及激光雷达和相机从机械臂上取下，安装到目标车辆上。
20.优选地，所述步骤s1采用：
21.步骤s1.1：在相机的可视范围内固定放置标定物；
22.步骤s1.2：使机械臂处于第一个位姿，通过pnp算法获取当前标定物相对于相机的外参并从机械臂处直接获取当前传感器基座相对于机械臂坐标系的外参
23.步骤s1.3：变换机械臂使其处于第二个位姿，通过pnp算法获取此时标定物到相机的外参并从机械臂处直接获取此时传感器基座到机械臂坐标系的外参
24.步骤s1.4：利用以及计算出相机相对于传感器基
座的外参
25.优选地，所述步骤s1.4包括：
26.由于标定物相对于机械臂坐标系始终固定不变，则机械臂坐标系始终固定不变，则解出
27.优选地，所述步骤s2采用：
28.步骤s2.1：在激光雷达的可视范围内固定放置标定物；
29.步骤s2.2：使机械臂处于第一个位姿，采集第一帧点云数据；
30.步骤s2.3：变换机械臂使其处于第二个位姿，采集第二帧点云数据，利用第二帧点云数据与第一帧点云数据作icp计算，获取当前标定物相对于激光雷达的外参并从机械臂处直接获取此时传感器基座相对于机械臂坐标系的外参
31.步骤s2.4：变换机械臂使其处于第三个位姿，采集第三帧点云数据，利用第三帧点云数据与第一帧点云数据作icp计算，获取当前标定物相对于激光雷达的外参并从机械臂处直接获取此时传感器基座相对于机械臂坐标系的外参
32.步骤s2.5：利用以及计算出激光雷达相对于标定物的外参
33.优选地，所述步骤s2.5采用：
34.由于标定物相对于机械臂坐标系始终固定不变，则由于标定物相对于机械臂坐标系始终固定不变，则解出
35.优选地，所述步骤s3采用：
[0036][0037]
优选地，所述步骤s4采用：
[0038][0039][0040]
根据本发明提供的一种激光雷达与相机联合外参标定方法，运用上述所述的激光雷达与相机联合外参标定系统执行如下步骤：
[0041]
步骤t1：在相机和激光雷达的可视范围内固定放置标定物；
[0042]
步骤t2：使机械臂处于第一个位姿，采集激光雷达的第一帧点云数据；
[0043]
步骤t3：变换机械臂使其处于第二个位姿，获取此时标定物相对于相机的外参同时采集激光雷达的第二帧点云数据，然后根据第一帧点云数据和第二帧点云数据，计算出激光雷达从第一个位姿到第二个位姿的空间变换关系
[0044]
步骤t4：变换机械臂使其处于第三个位姿，获取此时标定物相对于相机的外参
同时采集激光雷达的第三帧点云数据，然后根据第一帧点云数据和第三帧点云数据，计算出激光雷达从第一个位姿到第三个位姿的空间变换关系
[0045]
步骤t5：由于标定物相对于机械臂的第一个位姿是固定的，则步骤t5：由于标定物相对于机械臂的第一个位姿是固定的，则解出相机相对于激光雷达的外参
[0046]
与现有技术相比，本发明具有如下的有益效果：
[0047]
1、本发明将各传感器的外参标定解耦，无需用同一个标定物标定两个传感器，避免了由于激光雷达对标定物检测不准导致的误差；
[0048]
2、数据采集的时候传感器和标定物都处于静止状态，也可以避免由于传感器时间同步问题导致的误差；
[0049]
3、同时标定到一个可拆卸的基座上，只要测量出基座相对于车身的外参，可以进一步获取传感器到车身的外参，省去了后续标定传感器到车身的外参。
附图说明
[0050]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0051]
图1为基于机械臂和可拆卸基座的激光雷达和相机外参标定系统示意图。
具体实施方式
[0052]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
[0053]
实施例1
[0054]
根据本发明提供的一种激光雷达与相机联合外参标定系统，如图1所示，包括：激光雷达、相机、传感器基座、机械臂和标定物；
[0055]
所述激光雷达和所述相机同时安装在所述传感器基座上；
[0056]
所述传感器基座为可拆卸式多功能结构件，安装在目标车辆的顶端或安装在所述机械臂的末端；
[0057]
所述标定物为棋盘格、镂空标定物或反光二维码。
[0058]
本发明提出用手眼标定的方法分别将相机和雷达标定到同一坐标系，从而间接获取相机和雷达外参的方法，可以避免每次标定都需要确保标定物出现在所有传感器视野中，并且雷达的匹配由于采用icp的方式，精度更高，避免了对棋盘格进行检测的误差，每次数据的采集都处在静止状态下，可以避免因为时间不匹配导致的误差。
[0059]
根据本发明提供的一种激光雷达与相机联合外参标定方法，运用上述所述的激光雷达与相机联合外参标定系统执行如下步骤：
[0060]
步骤s1：通过手眼标定的方法获取相机相对于传感器基座的外参
[0061]
具体地，所述步骤s1采用：
[0062]
步骤s1.1：在相机的可视范围内固定放置标定物；
[0063]
步骤s1.2：使机械臂处于第一个位姿，通过pnp算法获取当前标定物相对于相机的外参并从机械臂处直接获取当前传感器基座相对于机械臂坐标系的外参
[0064]
步骤s1.3：变换机械臂使其处于第二个位姿，通过pnp算法获取此时标定物到相机的外参并从机械臂处直接获取此时传感器基座到机械臂坐标系的外参
[0065]
步骤s1.4：利用以及计算出相机相对于传感器基座的外参
[0066]
其中，所述步骤s1.4采用：
[0067]
由于标定物相对于机械臂坐标系始终固定不变，则由于标定物相对于机械臂坐标系始终固定不变，则解出
[0068]
步骤s1.2和s1.3所采用的pnp算法，即n点透视(perspective-n-point)算法，是求解3d到2d点对运动的方法，它描述了当我们知道n个3d空间点以及它们的投影位置时，如何估计相机所在的位姿。
[0069]
步骤s2：通过手眼标定的方法获取激光雷达相对于传感器基座的外参
[0070]
具体地，所述步骤s2采用：
[0071]
步骤s2.1：在激光雷达的可视范围内固定放置标定物；
[0072]
步骤s2.2：使机械臂处于第一个位姿，采集第一帧点云数据；
[0073]
步骤s2.3：变换机械臂使其处于第二个位姿，采集第二帧点云数据，利用第二帧点云数据与第一帧点云数据作icp计算，获取当前标定物相对于激光雷达的外参并从机械臂处直接获取此时传感器基座相对于机械臂坐标系的外参
[0074]
步骤s2.4：变换机械臂使其处于第三个位姿，采集第三帧点云数据，利用第三帧点云数据与第一帧点云数据作icp计算，获取当前标定物相对于激光雷达的外参并从机械臂处直接获取此时传感器基座相对于机械臂坐标系的外参
[0075]
步骤s2.5：利用以及计算出激光雷达相对于标定物的外参
[0076]
其中，所述步骤s2.5采用：
[0077]
由于标定物相对于机械臂坐标系始终固定不变，则机械臂坐标系始终固定不变，则解出
[0078]
步骤s2.3和s2.4所采用的icp算法，即迭代最近点(iterated closest point)算法，是经典的点云配准算法，其通过求取源点云和目标点云之间的对应点对，基于对应点对构造旋转平移矩阵，并利用所求矩阵，将源点云变换到目标点云的坐标系下，估计变换后源点云与目标点云的误差函数，若误差函数值大于阀值，则迭代进行上述运算直到满足给定
的误差要求。
[0079]
步骤s3：基于外参和外参计算出相机相对于激光雷达的外参
[0080]
具体地，所述步骤s3采用：
[0081][0082]
步骤s4：基于以及传感器基座相对于目标车辆的外参计算出相机相对于目标车辆的外参以及激光雷达相对于目标车辆的外参
[0083]
具体地，所述步骤s4采用：
[0084][0085][0086]
步骤s5：完成外参标定后，将传感器基座以及激光雷达和相机从机械臂上取下，安装到目标车辆上。
[0087]
如果不需要获取传感器到车身的外参，则标定的时候可以将激光雷达坐标系直接替换基座坐标系。
[0088]
根据本发明提供的一种激光雷达与相机联合外参标定方法，运用上述所述的激光雷达与相机联合外参标定系统执行如下步骤：
[0089]
步骤t1：在相机和激光雷达的可视范围内固定放置标定物；
[0090]
步骤t2：使机械臂处于第一个位姿，采集激光雷达的第一帧点云数据；
[0091]
步骤t3：变换机械臂使其处于第二个位姿，获取此时标定物相对于相机的外参同时采集激光雷达的第二帧点云数据，然后根据第一帧点云数据和第二帧点云数据，计算出激光雷达从第一个位姿到第二个位姿的空间变换关系
[0092]
步骤t4：变换机械臂使其处于第三个位姿，获取此时标定物相对于相机的外参同时采集激光雷达的第三帧点云数据，然后根据第一帧点云数据和第三帧点云数据，计算出激光雷达从第一个位姿到第三个位姿的空间变换关系
[0093]
步骤t5：由于标定物相对于机械臂的第一个位姿是固定的，则步骤t5：由于标定物相对于机械臂的第一个位姿是固定的，则解出相机相对于激光雷达的外参
[0094]
在本技术的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。
[0095]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部
件内的结构。
[0096]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。