一种基于特征匹配的激光雷达与相机联合标定方法及相关装置与流程

本技术涉及计算机视觉和多传感器融合标定，特别是涉及一种基于特征匹配的激光雷达与相机联合标定方法及相关装置。

背景技术：

1、现有技术主要是基于棋盘格、平面标定板、aruco/charuco标定板或特殊三维标定物的激光雷达与相机联合标定方法。该类方法通常通过相机图像和激光雷达点云共同观测同一标定目标，分别提取图像端和点云端特征，再根据特征对应关系求解两传感器之间的外参。然而，现有技术仍存在以下不足。

2、1）图像端与点云端特征难以直接统一，容易产生特征对应歧义。

3、普通棋盘格标定板虽然能够在图像端提取较高精度的角点，但其角点本身通常不具有唯一编号。当标定板发生旋转、倾斜、局部遮挡或仅部分出现在图像中时，角点排序容易出现歧义，进而导致图像端角点与点云端特征点之间的对应关系不稳定。对于激光雷达与相机联合标定而言，一旦同名特征匹配关系错误，将直接影响外参求解精度。

4、2）激光雷达无法识别标定板内部纹理，点云端内部角点难以直接获得。

5、相机能够识别标定板上的图案、编码和内部角点，但激光雷达获取的是三维点云数据，通常只能观测到标定板的平面、边缘或外轮廓，无法直接识别aruco编码、棋盘格纹理和charuco内部角点编号。因此，现有方法往往需要人工选点、额外反光标记、特殊结构标定物或复杂三维靶标来辅助建立图像与点云之间的特征对应关系，增加了标定操作难度和工程部署成本。

6、3）点云端特征提取易受点云稀疏、背景干扰和外轮廓不完整影响。

7、在实际车辆标定场景中，激光雷达点云具有稀疏性，尤其在3m至6m等较远标定距离下，标定板边界点可能不完整，标定板平面点也可能混入墙面、地面、支架或其他背景点。若现有方法直接依赖点云角点、边缘线或平面边界进行特征提取，容易出现外轮廓拟合不稳定、角点定位误差较大等问题，从而降低外参求解的可靠性。

8、4）单帧标定和缺少质量反馈机制会降低标定结果稳定性。

9、部分现有方法主要依赖单帧或少量标定数据求解外参，容易受到图像角点误检、点云外轮廓拟合误差、时间同步误差和标定板姿态单一等因素影响。同时，部分方法只给出最终外参结果，缺少系统的标定质量评估和反馈机制。当重投影误差较大或点云投影效果不佳时，难以判断问题来源于图像特征提取、点云特征提取、特征匹配、初始外参求解还是原始数据质量，导致后续修正和工程应用不便。

10、因此，如何解决针对现有激光雷达与相机联合标定方法中图像端与点云端特征难以统一、激光雷达无法直接识别标定板内部纹理、点云端外轮廓特征提取易受稀疏点云和背景干扰影响、单帧标定结果稳定性不足以及缺少质量反馈机制等问题，是目前亟需要解决的技术问题。

技术实现思路

1、本技术的目的是提供一种基于特征匹配的激光雷达与相机联合标定方法及相关装置，可提高激光雷达与相机外参标定的准确性、稳定性和工程适用性。

2、为实现上述目的，本技术提供了如下方案：

3、第一方面，本技术提供了一种基于特征匹配的激光雷达与相机联合标定方法，包括：

4、获取原始图像数据流和原始点云数据流；所述原始图像数据流包括若干图像帧，各所述图像帧分别匹配有对应的时间戳；所述原始点云数据流包括若干点云帧，各所述点云帧分别匹配有对应的时间戳。

5、选取任意一帧图像作为基准帧，在全部点云帧中查找时间戳与基准帧时间戳差值最小的目标点云帧，判断所述差值是否小于第一预设阈值，得到第一判断结果。

6、若第一判断结果为否，则舍弃所述基准帧和所述目标点云帧。

7、若第一判断结果为是，则将所述基准帧与所述目标点云帧构成一组同步数据对。

8、将各组同步数据对保存为联合标定数据集。

9、对所述联合标定数据集中的图像数据进行特征提取，得到图像端三维特征集合；所述图像端三维特征集合包括若干个图像端有效角点；每一图像端有效角点对应一个二维坐标与三维坐标。

10、对所述联合标定数据集中的点云数据进行特征提取，得到点云端三维特征集合；所述点云端三维特征集合包括若干个点云端虚拟三维角点。

11、将所述图像端三维特征集合和所述点云端三维特征集合进行特征匹配，得到全局同名特征匹配集合；所述全局同名特征匹配集合包括若干组一一对应的同名特征匹配对，每组匹配对包括一个图像端三维特征和一个点云端三维特征。

12、基于所述全局同名特征匹配集合中的任意一组同名特征匹配对，求解激光雷达坐标系到相机坐标系的初始外参。

13、在所述初始外参基础上，融合多组同名特征匹配对，对所述初始外参进行优化，得到最终外参；所述最终外参用于激光雷达点云与相机图像之间的空间融合。

14、第二方面，本技术提供了一种基于特征匹配的激光雷达与相机联合标定装置，所述基于特征匹配的激光雷达与相机联合标定装置用于实现第一方面所述的基于特征匹配的激光雷达与相机联合标定方法，所述装置包括：

15、数据采集模块，用于获取原始图像数据流和原始点云数据流；所述原始图像数据流包括若干图像帧，各所述图像帧分别匹配有对应的时间戳；所述原始点云数据流包括若干点云帧，各所述点云帧分别匹配有对应的时间戳。

16、特征提取模块，用于选取任意一帧图像作为基准帧，在全部点云帧中查找时间戳与基准帧时间戳差值最小的目标点云帧，判断所述差值是否小于第一预设阈值，得到第一判断结果；若第一判断结果为否，则舍弃所述基准帧和所述目标点云帧；若第一判断结果为是，将所述基准帧与所述目标点云帧构成一组同步数据对；将各组同步数据对保存为联合标定数据集；对所述联合标定数据集中的图像数据进行特征提取，得到图像端三维特征集合；所述图像端三维特征集合包括若干个图像端有效角点；每一图像端有效角点对应一个二维坐标与三维坐标；对所述联合标定数据集中的点云数据进行特征提取，得到点云端三维特征集合；所述点云端三维特征集合包括若干个点云端虚拟三维角点。

17、特征匹配模块，用于将所述图像端三维特征集合和所述点云端三维特征集合进行特征匹配，得到全局同名特征匹配集合；所述全局同名特征匹配集合包括若干组一一对应的同名特征匹配对，每组匹配对包括一个图像端三维特征和一个点云端三维特征。

18、初始外参求解模块，用于基于所述全局同名特征匹配集合中的任意一组同名特征匹配对，求解激光雷达坐标系到相机坐标系的初始外参。

19、多帧联合优化模块，在所述初始外参基础上，融合多组同名特征匹配对，对所述初始外参进行优化，得到最终外参；所述最终外参用于激光雷达点云与相机图像之间的空间融合。

20、第三方面，本技术提供了一种计算机设备，包括：存储器、处理器以存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现上述所述的基于特征匹配的激光雷达与相机联合标定方法。

21、第四方面，本技术提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述所述的基于特征匹配的激光雷达与相机联合标定方法。

22、第五方面，本技术提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述所述的基于特征匹配的激光雷达与相机联合标定方法。

23、根据本技术提供的具体实施例，本技术具有了以下技术效果：

24、本技术提供了一种基于特征匹配的激光雷达与相机联合标定方法及相关装置，通过获取原始图像数据流和原始点云数据流，解决了异构传感器数据在时间基准上的统一采集问题，实现了对连续图像帧和点云帧及其各自时间戳的完整记录与关联，为后续同步性筛选提供了原始数据基础；通过选取基准帧并查找时间戳差值最小的目标点云帧，结合阈值判断进行同步配对，解决了因传感器触发频率差异或传输延迟导致的数据时间错位问题，实现了对严格同步帧对的精准筛选，并通过舍弃不同步帧对有效剔除了可能引入标定误差的数据，保障了联合标定数据集在时间维度上的高质量与一致性；通过对联合标定数据集中的图像数据进行特征提取，得到含二维与三维坐标的图像端有效角，解决了从二维平面图像中恢复具有空间深度的三维几何特征这一难题，实现了将图像中的显著结构信息转化为可直接用于空间求解的数值化特征集合，而通过对联合标定数据集中的点云数据进行特征提取，得到点云端虚拟三维角点，则解决了点云稀疏、无序且缺乏语义信息的问题，实现了从海量三维点中抽象出与图像角点几何意义相对应的虚拟角点，为跨模态特征关联构建了统一的几何描述语言；通过将图像端三维特征集合和点云端三维特征集合进行特征匹配，得到全局同名特征匹配集合，解决了图像特征与点云特征因数据形态迥异而难以直接对应的问题，实现了异源特征在空间位置上的精准一一映射，为后续外参求解提供了充足且可靠的几何约束对；通过基于任意一组同名特征匹配对求解初始外参，解决了外参优化需要良好初值以避免陷入局部最优的问题，实现了快速且稳定的空间变换初步估计；通过融合多组同名特征匹配对，在初始外参基础上进行全局优化，得到最终外参，解决了仅依赖单组特征对导致外参估计精度不足和鲁棒性差的问题，实现了充分利用所有匹配对的约束信息对变换矩阵进行精细化调整，最终获得的最终外参能够有效支持激光雷达点云与相机图像之间的高精度空间融合，为多传感器联合感知提供精准的校准参数。