相机与激光雷达配准质量检测方法、装置、设备及介质与流程

本技术涉及智能驾驶，具体涉及一种相机与激光雷达配准质量检测方法、装置、设备及介质。

背景技术：

1、在智能驾驶研发领域，数据采集车采集的多模态数据是智驾模型训练的核心基础，高质量的标注数据直接决定智能驾驶模型的感知精度与鲁棒性。激光雷达与相机的空间配准作为跨模态数据融合的关键环节，其配准精度是数据质检的核心指标，直接影响图像-点云跨域训练数据的质量。

2、实际数据采集过程中，激光雷达与相机的配准精度易受车辆出厂静态标定固有误差、动态采集时硬件相对位移、缓震元件长期使用的结构形变、车辆行驶颠簸震动的误差放大等多重因素影响而下降，因此对配准质量的检测是智驾数据质检的必要环节。

3、现有技术中采用人工质检方式对激光雷达与相机的配准质量进行检测，质检人员针对数据采集车获取的单个数据片段（clip），仅对片段的第一帧图像与激光雷达点云的配准情况进行人工视觉检查，判断配准是否精准；若需对全片段质量进行把控，需人工逐帧查看数据片段中所有帧的配准情况。仅检查单数据片段第一帧的方式，无法覆盖全片段所有帧的配准质量，易遗漏因车辆动态行驶产生的配准误差帧，导致智驾训练数据存在质量隐患，根源在于未考虑动态驾驶场景中配准精度的实时变化特性；若对全片段逐帧人工检查，需消耗大量的人力与时间成本，检测效率极低，无法适配工程化中大规模智驾数据的质检需求，根源在于人工操作的效率远低于自动化算法，且无法实现大规模数据的快速处理。

4、因此，针对上述问题，为满足实际需求，现提出一种相机与激光雷达配准质量检测技术。

技术实现思路

1、针对现有技术中存在的缺陷，本技术的目的在于提供一种相机与激光雷达配准质量检测方法、装置、设备及介质，基于多模态深度数据几何一致性实现相机与激光雷达配准质量的自动化评估，通过提取图像与激光雷达深度图的几何深度跳变区域，量化两者的匹配一致性以计算配准误差，识别全数据片段中配准质量最差的帧，全流程实现自动化、高精度、工程化的配准质量检测。

2、为达到以上目的，本技术采取的技术方案是：

3、第一方面，本技术提供一种相机与激光雷达配准质量检测方法，所述方法包括以下步骤：

4、基于相机获取的彩色图像，结合深度估计模型，获得与像素对齐的稠密深度图；

5、对所述稠密深度图进行计算，获得所述彩色图像对应的深度跳变梯度；

6、基于激光雷达获得的稀疏深度图，计算获得所述稀疏深度图对应的深度跳变梯度；

7、基于所述彩色图像对应的深度跳变梯度以及所述稀疏深度图对应的深度跳变梯度，分别获得图像有效跳变区域以及激光雷达有效跳变区域；

8、基于所述激光雷达有效跳变区域中各激光雷达点，在所述图像有效跳变区域中搜索欧式距离最近的像素点，计算获得各所述激光雷达点的距离损失；

9、基于距离损失小于预设的距离损失阈值的各所述激光雷达点，获得单帧平均损失；

10、基于数据采集周期内获得的多个所述稀疏深度图对应的所述单帧平均损失，选定所述单帧平均损失最大的所述稀疏深度图，标记为重点审查帧。

11、在上述技术方案的基础上，所述对所述稠密深度图进行计算，获得所述彩色图像对应的深度跳变梯度，包括以下步骤：

12、对所述稠密深度图分别进行水平梯度计算以及垂直梯度计算，进而计算获得所述彩色图像对应的深度跳变梯度。

13、在上述技术方案的基础上，所述基于激光雷达获得的稀疏深度图，计算获得所述稀疏深度图对应的深度跳变梯度，包括以下步骤：

14、基于激光雷达获得的稀疏深度图，进行cuda算子并行计算，对所述稀疏深度图中每个像素在四方向邻域内搜索最近有效激光雷达深度值，计算获得所述稀疏深度图对应的深度跳变梯度。

15、在上述技术方案的基础上，所述基于数据采集周期内获得的多个所述稀疏深度图对应的所述单帧平均损失，选定所述单帧平均损失最大的所述稀疏深度图，标记为重点审查帧，包括以下步骤：

16、构建一滑动窗口，按照预设步长对基于数据采集周期内获得的多个所述稀疏深度图对应的所述单帧平均损失进行逐帧滑动；

17、识别所述单帧平均损失最大的所述稀疏深度图，标记为重点审查帧。

18、第二方面，本技术提供一种相机与激光雷达配准质量检测装置，所述装置包括：

19、稠密深度图获取模块，其用于基于相机获取的彩色图像，结合深度估计模型，获得与像素对齐的稠密深度图；

20、深度跳变梯度获取模块，其用于对所述稠密深度图进行计算，获得所述彩色图像对应的深度跳变梯度；

21、所述深度跳变梯度获取模块还用于基于激光雷达获得的稀疏深度图，计算获得所述稀疏深度图对应的深度跳变梯度；

22、有效跳变区域获取模块，其用于基于所述彩色图像对应的深度跳变梯度以及所述稀疏深度图对应的深度跳变梯度，分别获得图像有效跳变区域以及激光雷达有效跳变区域；

23、距离损失获取模块，其用于基于所述激光雷达有效跳变区域中各激光雷达点，在所述图像有效跳变区域中搜索欧式距离最近的像素点，计算获得各所述激光雷达点的距离损失；

24、单帧平均损失模块，其用于基于距离损失小于预设的距离损失阈值的各所述激光雷达点，获得单帧平均损失；

25、重点审查帧标记模块，其用于基于数据采集周期内获得的多个所述稀疏深度图对应的所述单帧平均损失，选定所述单帧平均损失最大的所述稀疏深度图，标记为重点审查帧。

26、在上述技术方案的基础上，所述深度跳变梯度获取模块还用于对所述稠密深度图分别进行水平梯度计算以及垂直梯度计算，进而计算获得所述彩色图像对应的深度跳变梯度。

27、在上述技术方案的基础上，所述深度跳变梯度获取模块还用于基于激光雷达获得的稀疏深度图，进行cuda算子并行计算，对所述稀疏深度图中每个像素在四方向邻域内搜索最近有效激光雷达深度值，计算获得所述稀疏深度图对应的深度跳变梯度。

28、在上述技术方案的基础上，所述重点审查帧标记模块还用于构建一滑动窗口，按照预设步长对基于数据采集周期内获得的多个所述稀疏深度图对应的所述单帧平均损失进行逐帧滑动；

29、所述重点审查帧标记模块还用于识别所述单帧平均损失最大的所述稀疏深度图，标记为重点审查帧。

30、第三方面，本技术提供一种设备，包括处理器和存储器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时使所述设备执行第一方面提及的方法的步骤。

31、第四方面，本技术提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现第一方面提及的方法的步骤。

32、与现有技术相比，本技术的优点在于：

33、本技术基于多模态深度数据几何一致性实现相机与激光雷达配准质量的自动化评估，通过提取图像与激光雷达深度图的几何深度跳变区域，量化两者的匹配一致性以计算配准误差，识别全数据片段中配准质量最差的帧，全流程实现自动化、高精度、工程化的配准质量检测。