一种多激光雷达和多相机传感器空间位置自动标定方法与流程

1.本发明涉及多传感器标定领域，尤其涉及一种多激光雷达和多相机传感器空间位置自动标定方法。


背景技术：

2.信息融合是自动驾驶安全的关键技术，而多模态感知对无人驾驶实现鲁棒的环境感知有着关键作用，多模态融合是实现鲁棒感知的前提条件，单一的传感器难以应对全天候全场景的感知，存在硬件材料的固有缺陷；多传感器数据模态存在数据异构、模态差异、采样不均衡等问题，需要设计特殊的融合模型加以利用；而现在的主要车企的自动驾驶车辆传感器的配置方案中基本都会有激光雷达和摄像机，多模态融合是提升精度的重要途径，而激光雷达和相机传感器之间可靠的外部参数是多模态数据融合的前提条件。多传感器标定方法是无人驾驶领域的研究重点和难点之一，而目前绝大多数融合技术研究的研究内容是单相机与单激光雷达，但是自动驾驶车辆上搭载的往往是多个相机和多个激光雷达。在使用多组相机和激光雷达数据的实际应用场景中，单相机雷达融合技术就不能保障标定结果的可靠性。并且，在运行过程中，激光雷达和相机的空间位置关系会逐渐变化，因此需要一种可以监测多传感器之间的空间位置关系，并能及时纠正累计误差的自动标定方法。


技术实现要素：

3.本发明的目的在于提供一种多激光雷达和多相机传感器空间位置自动标定方法。
4.为了实现上述目的，本发明提出了一种多激光雷达和多相机传感器空间位置自动标定方法，所述方法包括：
5.步骤1)通过对每个激光雷达采集的点云数据和每个相机传感器采集的rgb图像分别提取直线特征，经投影计算灰度值得分，得到全部激光雷达点的总得分，采用自适应优化方法选择最高总得分进而得到每个激光雷达和某个相机传感器的位置关系；
6.步骤2)对每两个激光雷达的点云数据进行配准，得到激光雷达间的位置关系；
7.步骤3)利用多个相机的对极几何约束，根据相机传感图像数据得到相机传感器间的位置关系；
8.步骤4)根据步骤1)、步骤2)和步骤3)得到的位置关系，进行全局优化，完成多激光雷达和多相机传感器空间位置的标定。
9.作为上述方法的一种改进，所述步骤1)具体包括：
10.步骤1-1)从图像形式的点云数据中筛选出符合直线特征的数据；
11.步骤1-2)采用局部映射方法将符合直线特征的三帧点云数据合并为一帧，得到更密集的点云数据；
12.步骤1-3)将rgb图像转换为灰度图像，采用直线检测算法提取出符合直线特征的灰度图像；
13.步骤1-4)将步骤1-2)得到的点云数据通过逆距离变换映射到步骤1-3)得到的灰度图像上，计算投影后符合直线特征的一个激光雷达点的灰度值作为得分，累加全部激光雷达点的得分作为总得分，采用自适应优化方法选择最高总得分，得到一个激光雷达和某个相机传感器的位置关系。
14.作为上述方法的一种改进，所述步骤1-1)具体包括：
15.对于图像形式的点云数据，过滤去除离群值以及与地面对应的点云数据点，再采用点云聚类算法去除相邻点较少的点云数据点，从而筛选出符合直线特征的数据。
16.作为上述方法的一种改进，所述步骤1-3)具体包括：
17.将rgb图像转换为灰度图像，采用具有较宽图像线特征、较小灰度变化以及相对较大的步长进行粗略搜索，再采用较细图像线特征、较大灰度变化以及相对较小的步长进行细搜索，通过lsd直线检测算法提取出符合直线特征的灰度图像。
18.作为上述方法的一种改进，所述步骤2)具体包括：
19.将每个激光雷达采集的点云数据分割为栅格，用正态分布表示每一个栅格，并计算每一个栅格中数据点的均值和方差，通过对正态分布匹配点集，通过两组点云之间的配准，得到每两个激光雷达间的空间位置关系。
20.作为上述方法的一种改进，所述步骤3)具体包括：
21.利用多相机的对极几何约束，采用迭代算法得到相机传感器间的空间位置关系。
22.作为上述方法的一种改进，所述步骤4)具体包括：
23.以步骤1)得到的第i个激光雷达和第j个相机传感器的位置关系，第j个激光雷达和第i个相机传感器的位置关系，以及步骤2)得到的第i个激光雷达与第j个激光雷达的位置关系为顶点，以每个激光雷达与每个相机传感器形成边，由上述激光雷达的总得分、拟合程度以及上述相机传感器间极坐标约束为标定误差，通过全局优化降低标定误差，完成多激光雷达和多相机传感器空间位置的标定
24.与现有技术相比，本发明的优势在于：
25.1、本发明的方法能够自动完成特征提取，不需要手动设计标定板，也不依赖特定环境；避免了标定场景的限制，提升标定方法的适用性和便捷性；
26.2、本发明的方法为实时在线标定，可以自动纠正使用过程的误差，避免了使用过程中的累计误差对系统的影响；
27.3、本发明采用的点云直线特征和图像直线特征筛选方法可以过滤非直线特征，提升自动标定精度；
28.4、本发明的方法对多激光雷达和多相机进行优化，减小整体误差，精确标定结果，并且更加贴近现实的应用场景。
附图说明
29.图1是本发明的多激光雷达和多相机传感器空间位置自动标定方法的流程图；
30.图2为实施例1的车载传感器激光雷达和相机的位置示意图；
31.图3(a)为实施例1的两个相机某时刻采集的图像；
32.图3(b)为实时例1的两个激光雷达某时刻采集的点云数据；
33.图4为实施例1进行全局优化的步骤示意图。
具体实施方式
34.一种多激光雷达和多相机传感器空间位置自动标定方法，所述方法包括：
35.采用一系列预处理方法对图像和点云进行特征提取；分别从图像和点云中提取直线特征，并应用特征过滤进行细化；
36.从激光雷达点云数据中筛选出符合直线特征的数据；从相机传感器图像数据中筛选符合直线特征的数据；过滤特性，剩余的特征可以被识别为线特征；使用一种基于搜索法优化和图优化的自适应优化方法，得到最终优化的外部参数。
37.从多个总得分中，选择最高总得分对应的多个激光雷达和多个相机传感器的空间位置关系，作为标定后的多个激光雷达和多个相机传感器的位置关系。
38.对两个激光雷达进行点云配准，得到激光雷达1与激光雷达2的外部参数-。位置关系
39.利用多相机的对极几何约束，根据两相机的图像求出相机之间的外部参数。
40.利用各个传感器之间的外部参数进行全局优化，降低误差，得到更加精确的结果。
41.对图像的进一步线特征提取，具体包括：
42.在图像处理中，首先将rgb图像转换为灰度图像，然后采用直线检测算法提取出灰度图像中的直线特征。然后，对这些包含直线特征的图像应用距离变换模型。
43.首先：采用具有较宽图像线、较小灰度变化和相对较大步长的粗略搜索，使得快速发现可能包含最佳解的区域，防止搜索陷入局部最优。然后应用灰度变化较大的较细图像线特征以及较小的步长，以获得更精确的校准结果。
44.对雷达点云的进一步预处理和线特征提取，并投影到图像上，具体包括：
45.激光雷达处理的原理是利用距离不连续来获得更多的边界线特征。为了实现这一目标，采用局部映射方法将三帧点云合并为一帧，可以在一帧中呈现更多的点，使点云提取的线特征更加稠密。具体采用正态分布变换(ndt)方法计算当前帧与前两帧之间的变换矩阵。通过将三帧点云转换为一帧，得到了更加密集的点云，这可以提高提取线特征的性能，特别是在使用低波束激光雷达的情况下。
46.将密度较大的点云转化为图像形式，每个像素存储相应lidar点的距离信息。通过比较当前点与相邻点之间的距离，剔除离邻点太远的异常值，可以提取出更精确的线特征。需要注意的是，与单独考虑每个波束不同，我们考虑了多波束之间的距离信息。它允许所提方法提取水平特征，从而最小化使用线特征的水平和垂直误差。水平线特征和垂直线特征分别存储在两个不同的点云中。在这种情况下，忽略了平面交线这一很少出现的特征，有利于提高计算效率。
47.将激光雷达提取出的点云线特征通过逆距离变换将点云线特征映射到图像的灰度图上，使用两种过滤方法去除离群值和与地面对应的点，剩下线特征点云。
48.过滤后，采用点云聚类算法用于去除相邻点较少的线特征。以上两个过滤步骤可以提供更有条理的点云线特征，得到图像中更有组织的线特征，保证后续步骤有更好的优化结果。
49.所述对线特征点云映射到线特征图像上的自适应优化，具体为：
50.采用一种自适应优化方法，依次使用搜索法和图优化法。在搜索优化过程中，该方法兼顾了计算精度和效率。在优化之前，提出的方法将激光雷达点云线特征提取到图像上，
并计算激光雷达点云投影到灰度区域的比例。
51.采用两个搜索步骤来精确求解，为避免搜索陷入局部解，采用图像线宽、灰度变化小、步长相对较大的粗搜索，快速发现可能包含最佳解的区域。然后采用更细的图像线特征，灰度变化更大，步长更小，以获得更精确的标定结果。当激光雷达点投影到灰色区域的比例超过某个阈值时，在这两个步长和灰度变化之间进行切换。点云线特征落在白色线特征上灰度得分越高，校准结果越准确。
52.对于一个空间位置关系，从激光雷达点云数据中筛选出符合直线特征的数据；从相机传感器图像数据中筛选符合直线特征的数据；将符合直线特征的激光雷达数据投影到相机传感器的像素坐标系，计算投影后的符合直线特征的一个激光雷达点的灰度值作为得分，累加全部激光雷达点的得分作为总得分；遍历当前帧和过去两帧外参矩阵附近所有的空间位置关系，当在三帧数据都找到更优值时，停止当前外参矩阵附近的空间位置关系搜索，在更优值所在的位置重新搜索全部空间位置的得分，直至达到最优值；作为标定后的激光雷达和相机传感器的位置关系。
53.采用一种自适应优化方法，使优化朝着正确的方向进行。采用搜索法对代价函数进行优化，搜索对比周围灰度得分。再利用图优化方法对搜索优化方法得到的解进一步优化，其中优化顶点为相机和激光雷达的变换矩阵，边的误差为每个点云线特征点在图像上所对应的灰度，构建g2o图优化器，配置优化求解器和梯度下降方法，最后调用优化函数进行优化。
54.激光雷达—激光雷达和相机—相机的外参标定，具体包括：
55.使用激光雷达点云配准方法对激光雷达—激光雷达的标定：
56.首先对两组点云进行预处理，将空间划分为栅格，统计落在各栅格中的点；根据各栅格中的点，计算各栅格均值、协方差，构建高斯分布；根据预测姿态计算联合概率并求解r,t得到外参变换矩阵。统计两个点云线特征之间投影的适应性得分。
57.然后利用多相机的对极几何约束，采用迭代levenberg-marquardt算法(lm)算法进一步精确外部参数。
58.通过上述步骤，可以初步优化多雷达-多相机的外部参数，最后再对雷达-相机、雷达-雷达、相机-相机的外部参数进行全局优化，降低总体误差。
59.通过线特征标定的多组激光雷达与相机之间的外参和雷达与雷达之间的外参、对极约束求得的相机与相机之间的外参，构建全局优化使整体误差减小，提高精度。在全局优化中，优化顶点分别为雷达i-相机i，雷达j-相机j，雷达i-雷达j的外部参数变换矩阵，边为三元边，每两组激光雷达与两组相机间形成一条边，边的误差由四部分组成，为四个顶点的优化过程提供了优化梯度方向，并指导优化迭代。第一部分是相机i和激光雷达i之间点映射到图像上的各线特征点的灰度值的和，第二部分是相机j和激光雷达j之间点映射到图像上的各线特征点的灰度值的和，第三部分是ndt配准后激光雷达i和激光雷达j的拟合程度，第四部分是相机i和相机j之间极坐标约束的误差。最后通过全局优化降低标定误差，得到精度较高的结果。
60.下面结合附图和实施例对本发明的技术方案进行详细的说明。
61.实施例1
62.如图1所示，本发明的实施例1提出了一种多激光雷达和多相机传感器空间位置自
动标定方法，本实施例以两个激光雷达和两个相机传感器为例进行说明，如图2设置，但不限于以上的个数。所述方法包括：
63.获得雷达相对于相机传感器的空间位置、两相机之间的空间位置以及两激光雷达之间的空间位置，得到多组激光雷达和相机传感器的空间位置关系；
64.如图3(a)和图3(b)所示，分别为两个相机采集的图像以及两个激光雷达采集的点云数据。
65.对于激光雷达—相机的空间位置关系，从激光雷达点云数据中筛选出符合直线特征的数据；从相机传感器图像数据中筛选符合直线特征的数据；将符合直线特征的激光雷达数据投影到相机传感器的像素坐标系，计算投影后的符合直线特征的一个激光雷达点的灰度值作为得分，累加全部激光雷达点的得分作为总得分；遍历所有的空间位置关系，得到多个总得分；从多个总得分中，选择最高总得分对应的激光雷达和相机传感器的空间位置关系，作为标定后的激光雷达和相机传感器的位置关系。
66.对于两激光雷达之间的空间位置关系，对局部点的统计特性进行了表征，将点云分割为栅格，每一个栅格都可以用正态分布表示。并且计算每一个栅格中点的均值和方差，通过对正态分布的匹配来匹配点集。通过两组点云之间的配准，得到两激光雷达的空间位置关系。
67.对于两相机之间的空间位置关系，利用多相机的对极几何约束，采用迭代levenberg-marquardt算法(lm)算法进一步精确外部参数，得到两相机间的空间位置关系。
68.对激光雷达—相机之间的空间位置标定进行自适应优化，具体为：
69.对多帧激光雷达数据匹配求得多帧激光雷达数据间的转换矩阵，通过叠加多帧点云数据到一帧，求得更密集的点云数据。
70.采用搜索法优化得到附近位置点云投影到灰度图像的最高得分的结果；
71.采用图优化进一步精确外部参数结果。
72.对于整体传感器的空间位置关系，通过全局优化减小多传感器之间标定误差，具体为：
73.通过点云配准得到两激光雷达之间的外部参数；
74.通过两图像的对极几何约束得到两相机之间的外部参数；
75.以顶点分别为雷达i-相机i，雷达j-相机j，雷达i-雷达j的外部参数变换矩阵，边为三元边，由四部分组成边的误差，进行全局优化，如图4所示。p为图像点的位置，k为相机内参，r、t为外参相对位姿，为转换矩阵(i，j＝1，2，3
……
)，上标t为转置矩阵，fitnessscore为两点云拟合度。
76.本发明的方法可以实时判断当前激光雷达和相机的空间位置是否准确，并且在准确度低的情况下在线纠正激光雷达和相机的空间位置误差。该方法不需要人为设计标定物体，可以自动采集环境中的信息，标定多组激光雷达和相机空间位置。
77.最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。