一种车载多线激光雷达与IMU外参数自动标定方法及装置与流程

一种车载多线激光雷达与imu外参数自动标定方法及装置
技术领域
1.本发明属于自动驾驶领域，尤其涉及一种车载多线激光雷达与imu外参数自动标定方法及装置。


背景技术：

2.多线激光雷达作为一种常用的传感器设备，具有测量位置精度高、测量范围大、受外界环境干扰较小等特点，可以用于准确地测量周围环境中障碍物的方位以及距离信息。gps和imu(惯性测量单元)的融合定位可以为载体提供精确的位姿信息。激光雷达和gps/imu的数据融合被广泛运用到测绘、自动驾驶、机器人等多个领域。由于多线激光雷达的测量精度与其自身的内参和相对于imu的外参密切相关,因此需要对多线激光雷达的内参和外参进行标定，以提高多线激光雷达的测量精度，而正常情况下，激光雷达在出厂前已完成内参的标定。
3.常见的激光雷达与imu的外参数标定主要有人工测量标定和标定场控制点标定两种方法：人工标定采用手动或仪器测量的方式，测量激光雷达坐标系和imu坐标系之间的变换关系。首先，确定激光雷达坐标系原点位置和imu坐标系的原点位置，利用卡尺或者卷尺测量激光雷达坐标系原点到imu原点之间的横向、纵向及垂向的偏移距离，然后，确定激光雷达坐标轴和imu坐标轴的方向，用特殊测试仪器例如三维角度测量仪来测量激光雷达在imu坐标系下的翻滚角、俯仰角和偏航角；
4.标定场控制点标定方法，通过选择空旷、gps信号良好的区域作为标定场，选取规则的房屋或窗户角点作为控制点，并用全站仪测定各个控制点的wgs-84坐标。在标定时，人工选取待标定的多线激光雷达在标定场景中各控制点位置的点云数据，结合gps/imu的绝对位姿信息，将控制点位置采集的点云数据和wgs-84下的标定控制点坐标进行配对，建立车载激光雷达系统的严密定位方程。利用最小二乘平差的原理解算罗德里格斯参数a、b、c，以此计算激光雷达相对imu的旋转矩阵。再根据最小二乘原理解算两个传感器之间的偏移向量。
5.人工测量标定方法虽然原理简单，但是对操作者的操作精细度以及测量仪器的精度要求高，并且在测量时不易确定imu坐标系的原点位置，使得测量结果存在较大误差与不确定性，测量精度也会随着操作者的水平而高低变化。而标定场控制点标定的方法，理论上可以达到较高的标定精度，但是车载系统的移动导致激光雷达的坐标原点和坐标轴指向均在不断变化，且多线激光雷达的点云较稀疏，很难保证光束能准确扫到房屋/窗户的角点上。同时，人工挑选控制点在激光雷达坐标系下对应的点云坐标，也会出现一定的误差。
6.可见，这两种标定方法都需要人工操作，过程复杂且效率低下，难以适用于批量化的车载系统传感器外参标定。


技术实现要素：

7.有鉴于此，本发明实施例提供了一种车载多线激光雷达与imu外参数自动标定方
法及装置，用于解决现有标定方法需要人工参与、过程复杂且效率低下的问题。
8.在本发明实施例的第一方面，提供了一种车载多线激光雷达与imu外参数自动标定方法，包括：
9.在标定场中以预定路线采集标定板的激光雷达原始点云数据和车辆绝对位姿；
10.提取所述原始点云数据中感兴趣区域的点云数据，并基于欧氏距离聚类分离出感兴趣区域的点云数据中空间上相互独立的目标聚类；
11.通过ransac平面检测算法从目标聚类中提取平面点云，并根据雷达回波点的深度信息不连续性，提取边缘点云，所述边缘点云为标定板上镂空圆的边缘点和标定板左右侧的边缘点；
12.剔除标定板左右侧的边缘点云后，采用ransac球面拟合算法，对镂空圆孔的边缘点云拟合出最佳候选球面，并计算出球心坐标；
13.根据标定板内圆心的三维坐标，利用已知的标定板物理尺寸信息，计算得到激光雷达坐标系下标定板四个角点的坐标；
14.计算与当前帧点云时间戳对应的imu坐标系下的绝对位姿，并根据绝对位姿将所有wgs-84控制点坐标转换到imu坐标系下；
15.设置激光雷达与imu的外参初始值，将标定板的四个角点坐标由激光雷达坐标系转换到imu坐标系下，基于knn最近邻匹配算法，查找标定板四个角点所对应的控制点，组成同名点对；
16.获取一定数量的同名点对，并通过高斯牛顿法对多组同名点对求解，得到激光雷达到imu的外参数。
17.在本发明实施例的第二方面，提供了一种车载多线激光雷达与imu外参数自动标定装置，包括：
18.数据采集模块，用于在标定场中以预定路线采集标定板的激光雷达原始点云数据和车辆绝对位姿；
19.聚类分离模块，用于提取所述原始点云数据中感兴趣区域的点云数据，并基于欧氏距离聚类分离出感兴趣区域的点云数据中空间上相互独立的目标聚类；
20.边缘点云提取模块，用于通过ransac平面检测算法从目标聚类中提取平面点云，并根据雷达回波点的深度信息不连续性，提取边缘点云，所述边缘点云为标定板上镂空圆的边缘点和标定板左右侧的边缘点；
21.球面拟合模块，用于剔除标定板左右侧的边缘点云后，采用ransac球面拟合算法，对镂空圆孔的边缘点云拟合出最佳候选球面，并计算出球心坐标；
22.角点坐标计算模块，用于根据标定板内圆心的三维坐标，利用已知的标定板物理尺寸信息，计算得到激光雷达坐标系下标定板四个角点的坐标；
23.坐标转换模块，用于计算与当前帧点云时间戳对应的imu坐标系下的绝对位姿，并根据绝对位姿将所有wgs-84控制点坐标转换到imu坐标系下；
24.获取控制点模块，用于设置激光雷达与imu的外参初始值，将标定板的四个角点坐标由激光雷达坐标系转换到imu坐标系下，基于knn最近邻匹配算法，查找标定板四个角点所对应的控制点，组成同名点对；
25.解算标定模块，用于获取一定数量的同名点对，并通过高斯牛顿法对多组同名点
对求解，得到激光雷达到imu的外参数。
26.在本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。
27.在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。
28.本发明实施例中，无需专门寻找带有明显规则建筑物角点的标定场，在gps/imu信号较好的区域即可完成标定板角点坐标测量，降低标定场景要求，能自动提取wgs-84控制点在激光雷达坐标系下同名点的坐标，完成激光雷达与imu的外参求解和标定，从而可以简化外参标定过程，实现自动化标定处理，提高标定效率，避免人为因素导致的误差，满足当前批量化车载传感器外参标定需求。
附图说明
29.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。
30.图1为本发明一个实施例提供的标定板设计示意图；
31.图2为本发明一个实施例提供的标定板底座设计示意图；
32.图3为本发明一个实施例提供的一种车载多线激光雷达与imu外参数自动标定方法的流程示意图；
33.图4为本发明一个实施例提供的标定板特征点云示意图；
34.图5为本发明一个实施例提供的一种车载多线激光雷达与imu外参数自动标定装置的结构示意图；
35.图6为本发明的一个实施例提供的一种电子设备的结构示意图。
具体实施方式
36.为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
37.应当理解，本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或系统、设备没有限定于已列出的步骤或单元。此外，“第一”“第二”用于区分不同对象，并非用于描述特定顺序。
38.可以理解的是，与传统标定方法不同的是，本发明实施例中无需专门寻找带有明显规则建筑物角点的标定场，在gps/imu信号较好的区域即可完成标定板的部署和全站仪
的角点坐标测量。标定时可以自动提取wgs-84控制点在激光雷达坐标系下同名点的坐标，能解决传统标定场控制点标定方法中激光束难以扫到房屋/窗户角点的问题，消除人工选取激光点云同名点坐标时产生的误差。
39.在进行点云数据采集标定前，需要制作标定板设备，包括标定板的底座支架，且需要对标定场进行部署。具体如下：
40.标定设备制作
41.方形镂空圆孔标定板制作：设计制作一块尺寸精确(如长160cm、宽160cm、厚度2cm)的正方形硬木板，在木板的两条对角线的半轴中心位置对称挖取四个半径相同的(如半径为20cm)镂空圆孔。标定板形状和尺寸参数如附图1所示。
42.底座支架制作：根据车载激光雷达的安装位置等先验信息，设计制作一个底座支架，将标定板固定在支架上。支架的设计高度需要保证单帧激光雷达点云有足够多的点落到标定板上。标定板底座设计如附图2所示。
43.标定场部署
44.选取一段地面相对平坦，周围空旷，gps信号良好的封闭/半封闭路段作为标定场。为了便于在标定时更容易从激光点云中分割标定板，标定场最好设置在没有茂密植被和交通标示牌等面状干扰物的路段。
45.设定标定场中车辆的行驶路线，并结合实际路况信息，合理安放多个标定板设备。安放的位置应当满足：在车辆行驶路线上，至少存在一帧激光点云数据，有超过两根及以上的激光束能扫描到每个镂空圆的边缘，即保证标定板平面的每个圆上至少有四个雷达反射点。标定板的位置部署可以通过点云可视化工具(比如cloudcompare,pcl_viewer等)来辅助判断。
46.其中，标定板完成部署后，用全站仪测定所有标定板四个角点对应的wgs-84坐标作为控制点坐标。
47.激光雷达到imu的外参自动标定过程，请参阅图3，为本发明实施例提供的一种车载多线激光雷达与imu外参数自动标定方法的流程示意图，包括：
48.s101、在标定场中以预定路线采集标定板的激光雷达原始点云数据和车辆绝对位姿；
49.采集车辆按设定的路线对放置于特定位置的标定板进行点云数据采集，并基于gps/imu的融合，实时记录车辆的绝对位姿。
50.示例性的，以5km/h的车速行驶车辆，采集激光雷达原始点云数据(每个回波点信息包括：雷达坐标系下的三维坐标x/y/z、反射强度intensity，线束编号ring)。
51.为保证有更多的激光点云落到标定板上，可以通过降低激光雷达扫描频率的方式(比如降至最低的5hz)来提升激光雷达的水平分辨率。
52.其中，所述标定板固定于支架上，标定板平面与地面垂直，所述标定板上挖有四个半径相同的镂空圆孔，同一条对角线上的两个圆心将标定板对角线四等分。
53.其中，安放一定数量的标定板，所述标定板安放在车辆行驶路线上，且至少存在一帧激光点云数据，有超过两根及以上的激光束能扫描到标定板每个镂空圆的边缘；标定板完成部署后，用全站仪测定所有标定板四个角点对应的wgs-84坐标作为控制点坐标。
54.进一步的，采用pps和gprmc的方式对点云数据授时。
55.s102、提取所述原始点云数据中感兴趣区域的点云数据，并基于欧氏距离聚类分离出感兴趣区域的点云数据中空间上相互独立的目标聚类；
56.所述感兴趣区域为存在标定板的区域点云数据，可以根据标定板特征信息进行提取，如非地面点云、安装高度等信息。
57.具体的，对单帧点云数据采用csf(cloth simulation filter，即布料滤波)算法分割地面点云和非地面点云；基于先验信息(标定板的安装距离、高度、海拔等)对非地面点云进行滤波，提取感兴趣区域的点云数据。
58.所述空间上相互独立的目标聚类是三维空间中独立的物体点云聚类，如标定板、路灯等。采用欧式距离的聚类方法可以直接、简单且快速进行特征点搜索，得到目标聚类的点云。
59.s103、通过ransac平面检测算法从目标聚类中提取平面点云，并根据雷达回波点的深度信息不连续性，提取边缘点云；
60.所述边缘点云为标定板上镂空圆的边缘点和标定板左右侧的边缘点。
61.所述ransac平面检测算法，是一种随机抽样一致算法，其在包含离群点在内的数据集里通过迭代估计模型参数。本实施例中，通过ransac算法进行平面检测，估算得到平面点云。
62.进一步的，结合标定板的尺寸和平面法向量等信息，准确获取位于标定板平面上的点云数据，如图4(a)所示。
63.对每个标定板平面点云数据，利用每条线束ring上雷达回波点的深度信息不连续性，提取符合条件的边缘点云。此边缘点云分为镂空圆的边缘点和标定板左右侧的边缘点，如附图4(b)所示。
64.s104、剔除标定板左右侧的边缘点云后，采用ransac球面拟合算法，对镂空圆孔的边缘点云拟合出最佳候选球面，并计算出球心坐标；
65.其中，对提取的边缘点云，通过ransac三维直线检测算法拟合出两条三维直线，并根据点到三维直线的距离信息，剔除标定板左右侧的边缘点云，保留内部镂空圆的边缘点云。如附图4c所示。
66.采用ransac球面拟合算法，对镂空圆孔的边缘点云拟合出四个最佳候选球面，并计算出四个球心坐标。根据先验信息(标定板四个镂空圆的半径20cm，四个圆心的相对距离)来判断球面拟合结果是否有效，若有效，则继续执行，否则，对其他帧点云进行点云提取，球面拟合和球心计算等操作。
67.s105、根据标定板内圆心的三维坐标，利用已知的标定板物理尺寸信息，计算得到激光雷达坐标系下标定板四个角点的坐标；
68.根据标定板内拟合球体圆心三维坐标，结合已知的标定板尺寸信息(长宽和高度信息)，计算激光雷达坐标系下标定板四个角点的坐标。
69.s106、计算与当前帧点云时间戳对应的imu坐标系下的绝对位姿，并根据绝对位姿将所有wgs-84控制点坐标转换到imu坐标系下；
70.具体的，通过线性插值方式计算与当前帧点云时间戳对应的imu坐标系下的绝对位姿，即确定当前帧点云对应的车辆位姿。
71.根据采集车辆绝对位姿，将wgs-84控制点坐标(地心坐标系)转换到imu(惯性测量
单元)坐标系下。所述wgs-84控制点是用全站仪测定标定板角点对应的wgs-84坐标。
72.s107、设置激光雷达与imu的外参初始值，将标定板的四个角点坐标由激光雷达坐标系转换到imu坐标系下，基于knn最近邻匹配算法，查找标定板四个角点所对应的控制点，组成同名点对；
73.合理设置激光雷达与imu的外参初始值，将标定板的角点坐标由激光雷达坐标系转换到imu坐标系下。
74.采用knn最近邻匹配算法，找到标定板四个角点所对应的控制点，组成同名点对(lidar_axis_xyz,imu_axis_xyz)(即同一点分别在lidar坐标系和imu坐标系的坐标值)。所述knn(k-nearestneighbor)最近邻匹配算法是一种分类算法，其每个样本都可以用它最接近的k个邻近值表示，通过knn可以确定控制点。
75.s108、获取一定数量的同名点对，并通过高斯牛顿法对多组同名点对求解，得到激光雷达到imu的外参数。
76.对于车辆采集路线上获取的所有帧点云数据，可计算得到相应的同名点对，获取多组同名点对。采用改进的高斯牛顿法对多组同名点对求解，得到激光雷达到imu的外参数，并进行外参标定。其中，改进的高斯牛顿法可参照《基于改进的高斯-牛顿法的非线性三维直角坐标转换方法研究》(罗长林等，武汉大学测绘学院)一文。
77.为了避免类似icp配准算法对外参初值有强依赖而出现迭代发散的问题，采用改进的高斯－牛顿法来解算激光雷达与imu的外参，可以不依赖外参初始值也能达到较高的标定精度。
78.本实施例中，设计一种圆孔标定板，即在标定板平面上挖取四个对称的圆孔作为激光雷达可见的明显特征，自动计算在激光雷达坐标系下标定板四个角点的坐标，结合车载gps/imu的绝对位姿信息，实现与标定板上wgs-84控制点的同名点配对，最后采用改进的高斯－牛顿法求解出激光雷达与imu的外参矩阵。可以实现激光雷达和imu外参的自动化标定，提高标定效率，降低对目标角点、场地的要求，简化标定过程，并保障标定精度。
79.应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
80.图5为本发明实施例提供的一种车载多线激光雷达与imu外参数自动标定装置的结构示意图，该装置包括：
81.数据采集模块510，用于在标定场中以预定路线采集标定板的激光雷达原始点云数据和车辆绝对位姿；
82.聚类分离模块520，用于提取所述原始点云数据中感兴趣区域的点云数据，并基于欧氏距离聚类分离出感兴趣区域的点云数据中空间上相互独立的目标聚类；
83.其中，所述聚类分离模块520包括：
84.区域点云提取模块，用于对单帧点云数据采用csf算法分割地面点云和非地面点云；基于先验信息对非地面点云进行滤波，提取感兴趣区域的点云数据。
85.边缘点云提取模块530，用于通过ransac平面检测算法从目标聚类中提取平面点云，并根据雷达回波点的深度信息不连续性，提取边缘点云，所述边缘点云为标定板上镂空圆的边缘点和标定板左右侧的边缘点；
86.球面拟合模块540，用于剔除标定板左右侧的边缘点云后，采用ransac球面拟合算
法，对镂空圆孔的边缘点云拟合出最佳候选球面，并计算出球心坐标；
87.其中，所述剔除标定板左右侧的边缘点云包括：
88.通过ransac三维直线检测算法对边缘点云拟合出三维直线，并根据点到三维直线的距离信息，剔除标定板左右侧的边缘点云，保留内部镂空圆的边缘点云。
89.角点坐标计算模块550，用于根据标定板内圆心的三维坐标，利用已知的标定板物理尺寸信息，计算得到激光雷达坐标系下标定板四个角点的坐标；
90.坐标转换模块560，用于计算与当前帧点云时间戳对应的imu坐标系下的绝对位姿，并根据绝对位姿将所有wgs-84控制点坐标转换到imu坐标系下；
91.其中，利用位姿线性插值，计算得到与当前帧点云时间戳对应的imu坐标系下的绝对位姿。
92.获取控制点模块570，用于设置激光雷达与imu的外参初始值，将标定板的四个角点坐标由激光雷达坐标系转换到imu坐标系下，基于knn最近邻匹配算法，查找标定板四个角点所对应的控制点，组成同名点对；
93.解算标定模块580，用于获取一定数量的同名点对，并通过高斯牛顿法对多组同名点对求解，得到激光雷达到imu的外参数。
94.所述领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程可以参考前述方法实施例中对应的过程，在此不再赘述。
95.图6是本发明一实施例提供的一种电子设备的结构示意图。所述电子设备用于车载多线激光雷达与imu外参数自动化标定。如图6所示，该实施例的电子设备6包括：存储器610、处理器420以及系统总线630，所述存储器610包括存储其上的可运行的程序6101，本领域技术人员可以理解，图6中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
96.下面结合图6对电子设备的各个构成部件进行具体的介绍：
97.存储器610可用于存储软件程序以及模块，处理器420通过运行存储在存储器610的软件程序以及模块，从而执行电子设备的各种功能应用以及数据处理。存储器610可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如缓存数据)等。此外，存储器610可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
98.在存储器610上包含网络请求方法的可运行程序6101，所述可运行程序6101可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器610中，并由处理器6420执行，以实现激光雷达和imu外参的自动标定等，所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序6101在所述电子设备6中的执行过程。例如，所述计算机程序6101可以被分割为数据采集模块、聚类分离模块、边缘点云提取模块、球面拟合模块等。
99.处理器620是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器610内的软件程序和/或模块，以及调用存储在存储器610内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体状态监
控。可选的，处理器620可包括一个或多个处理单元；优选的，处理器620可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器620中。
100.系统总线630是用来连接计算机内部各功能部件，可以传送数据信息、地址信息、控制信息，其种类可以是例如pci总线、isa总线、vesa总线等。处理器620的指令通过总线传递至存储器610，存储器610反馈数据给处理器620，系统总线630负责处理器620与存储器610之间的数据、指令交互。当然系统总线630还可以接入其他设备，例如网络接口、显示设备等。
101.在本发明实施例中，该电子设备所包括的处理620执行的可运行程序包括：
102.在标定场中以预定路线采集标定板的激光雷达原始点云数据和车辆绝对位姿；
103.提取所述原始点云数据中感兴趣区域的点云数据，并基于欧氏距离聚类分离出感兴趣区域的点云数据中空间上相互独立的目标聚类；
104.通过ransac平面检测算法从目标聚类中提取平面点云，并根据雷达回波点的深度信息不连续性，提取边缘点云，所述边缘点云为标定板上镂空圆的边缘点和标定板左右侧的边缘点；
105.剔除标定板左右侧的边缘点云后，采用ransac球面拟合算法，对镂空圆孔的边缘点云拟合出最佳候选球面，并计算出球心坐标；
106.根据标定板内圆心的三维坐标，利用已知的标定板物理尺寸信息，计算得到激光雷达坐标系下标定板四个角点的坐标；
107.计算与当前帧点云时间戳对应的imu坐标系下的绝对位姿，并根据绝对位姿将所有wgs-84控制点坐标转换到imu坐标系下；
108.设置激光雷达与imu的外参初始值，将标定板的四个角点坐标由激光雷达坐标系转换到imu坐标系下，基于knn最近邻匹配算法，查找标定板四个角点所对应的控制点，组成同名点对；
109.获取一定数量的同名点对，并通过高斯牛顿法对多组同名点对求解，得到激光雷达到imu的外参数。
110.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
111.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。