一种跨相机外参全局校验方法、装置、设备及介质与流程

本发明涉及传感器标定，具体而言，涉及一种跨相机外参全局校验方法、装置、设备及介质。

背景技术：

1、本发明属于自动驾驶与高级辅助驾驶领域的传感器标定技术，具体涉及车载多相机外参标定技术。车载多相机系统是自动驾驶环境感知模块的核心硬件组成，需将各路相机的位姿统一标定至同一车体坐标系下，才能保障环视图像拼接、目标空间定位、行驶环境感知等上层功能的准确性与一致性。标定作业通常在布设编码靶标的专用标定间内开展，以全站仪测量得到的靶标三维坐标作为标定真值基准。

2、现有常规的车载多相机外参标定方法，采用如下流程实施：预先通过全站仪测定标定间内各编码靶标的中心三维坐标作为标定真值；将车辆停放至标定间指定位置并摆正，以标定间的基准方向近似作为车体坐标系的方向；由各相机采集包含靶标的标定图像，识别图像中的靶标角点像素坐标，结合靶标三维真值通过pnp算法解算相机在全站仪坐标系下的位姿，再通过坐标系转换得到相机在车体坐标系下的外参；以复投影误差作为标定质量的核心验收指标。

3、该技术方案存在的核心缺陷在于，复投影误差属于自洽性指标，采用与位姿解算同源的同一批靶标计算得到，原理上无法发现位姿解算之后链路中的系统性错误。当车体坐标系定义偏差、靶标真值整体偏移等问题导致所有相机外参同向整体偏移时，每台相机仍可完美匹配自身图像中的靶标，复投影误差数值仍保持在合格区间，无法被检出，最终造成标定结果存在隐性的系统性偏差，直接影响后续多相机感知功能的空间一致性。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种跨相机外参全局校验方法、装置、设备及介质，有效提升了标定结果的可靠性、可复现性与多相机空间一致性。

2、第一方面，本技术实施例提供了一种跨相机外参全局校验方法，所述方法包括：

3、获取测量数据，所述测量数据包括多个靶标的三维坐标以及多个车轮接地参考点的三维坐标；

4、根据所述多个车轮接地参考点的三维坐标，建立车体坐标系；

5、根据各相机采集的包含所述靶标的图像、所述靶标的三维坐标以及所述车体坐标系，标定各相机的相机外参；

6、对存在共视靶标的相机对，获取各相机针对同一共视靶标的检测结果；

7、根据所述相机外参，分别将各相机的所述检测结果变换至所述车体坐标系，得到各相机在所述车体坐标系下针对所述共视靶标的各自位置；

8、计算所述各自位置之间的偏差，根据所述偏差确定所述相机对的跨相机一致性校验结果。

9、可选地，所述多个车轮接地参考点包括左前轮参考点、右前轮参考点、左后轮参考点和右后轮参考点；

10、所述根据所述多个车轮接地参考点的三维坐标，建立车体坐标系，包括：

11、根据左后轮参考点与右后轮参考点的中点确定后轴中点，根据左前轮参考点与右前轮参考点的中点确定前轴中点，将所述后轴中点作为所述车体坐标系的原点；

12、根据所述前轴中点与所述后轴中点的连线方向确定所述车体坐标系的x轴方向；

13、根据左前轮参考点与左后轮参考点的连线方向与右前轮参考点与右后轮参考点的连线方向确定所述车体坐标系的y轴方向；

14、根据所述x轴方向与所述y轴方向的叉积确定所述车体坐标系的z轴方向。

15、可选地，所述计算所述各自位置之间的偏差，包括：

16、计算各相机针对所述共视靶标在所述车体坐标系下的多个位置相对于所述多个位置的均值的最大距离，得到spread指标；

17、计算各相机针对所述共视靶标在所述车体坐标系下的位置与所述共视靶标的测量中心之间的距离，得到vs_truth指标；

18、根据所述spread指标和/或所述vs_truth指标确定所述相机对的跨相机一致性校验结果。

19、可选地，所述将各相机的所述检测结果变换至所述车体坐标系，包括：

20、将各相机针对所述共视靶标的图像检测点按相机模型去畸变，得到相机坐标系下的射线方向；

21、将所述射线方向经所述相机外参变换至所述车体坐标系；

22、将变换后的射线与所述共视靶标所在的已测平面求交，得到各相机在所述车体坐标系下针对所述共视靶标的位置。

23、可选地，所述建立车体坐标系之后，还包括：

24、计算所述车体坐标系的z轴在测量坐标系的z轴方向上的分量，所述测量坐标系为获取所述测量数据时所使用的坐标系；

25、当所述分量偏离预设阈值时，判定所述多个车轮接地参考点的指派存在错误。

26、可选地，所述获取各相机针对同一共视靶标的检测结果，包括：

27、获取各相机针对所述共视靶标的图像检测点；

28、计算所述图像检测点在图像中的归一化边缘率，所述归一化边缘率用于表征所述图像检测点偏离图像中心的程度；

29、将所述归一化边缘率小于或等于预设门限的共视靶标所对应的图像检测点，作为所述检测结果。

30、可选地，还包括：

31、获取在所述相机外参的求解过程中根据预设准则被筛除的靶标的观测数据；

32、将所述被筛除的靶标标记为留出靶标，所述留出靶标为未参与所述相机外参求解的靶标；

33、对所述留出靶标执行所述跨相机一致性校验，将校验结果作为交叉验证结果。

34、第二方面，本技术实施例提供了一种跨相机外参全局校验装置，所述装置包括：

35、数据获取模块，用于获取测量数据，所述测量数据包括多个靶标的三维坐标以及多个车轮接地参考点的三维坐标；

36、车体系构建模块，用于根据所述多个车轮接地参考点的三维坐标，建立车体坐标系；

37、外参标定模块，用于根据各相机采集的包含所述靶标的图像、所述靶标的三维坐标以及所述车体坐标系，标定各相机的相机外参；

38、检测结果获取模块，用于对存在共视靶标的相机对，获取各相机针对同一共视靶标的检测结果；

39、校验模块，用于根据所述相机外参，分别将各相机的所述检测结果变换至所述车体坐标系，得到各相机在所述车体坐标系下针对所述共视靶标的各自位置，计算所述各自位置之间的偏差，根据所述偏差确定所述相机对的跨相机一致性校验结果。

40、可选地，所述多个车轮接地参考点包括左前轮参考点、右前轮参考点、左后轮参考点和右后轮参考点；

41、所述车体系构建模块具体用于：

42、根据左后轮参考点与右后轮参考点的中点确定后轴中点，根据左前轮参考点与右前轮参考点的中点确定前轴中点，将所述后轴中点作为所述车体坐标系的原点；

43、根据所述前轴中点与所述后轴中点的连线方向确定所述车体坐标系的x轴方向；

44、根据左前轮参考点与左后轮参考点的连线方向与右前轮参考点与右后轮参考点的连线方向确定所述车体坐标系的y轴方向；

45、根据所述x轴方向与所述y轴方向的叉积确定所述车体坐标系的z轴方向。

46、可选地，所述校验模块在计算所述各自位置之间的偏差时，具体用于：

47、计算各相机针对所述共视靶标在所述车体坐标系下的多个位置相对于所述多个位置的均值的最大距离，得到spread指标；

48、计算各相机针对所述共视靶标在所述车体坐标系下的位置与所述共视靶标的测量中心之间的距离，得到vs_truth指标；

49、根据所述spread指标和/或所述vs_truth指标确定所述相机对的跨相机一致性校验结果。

50、可选地，所述校验模块在将各相机的所述检测结果变换至所述车体坐标系时，具体用于：

51、将各相机针对所述共视靶标的图像检测点按相机模型去畸变，得到相机坐标系下的射线方向；

52、将所述射线方向经所述相机外参变换至所述车体坐标系；

53、将变换后的射线与所述共视靶标所在的已测平面求交，得到各相机在所述车体坐标系下针对所述共视靶标的位置。

54、可选地，所述装置还包括自检模块，用于：

55、计算所述车体坐标系的z轴在测量坐标系的z轴方向上的分量，所述测量坐标系为获取所述测量数据时所使用的坐标系；

56、当所述分量偏离预设阈值时，判定所述多个车轮接地参考点的指派存在错误。

57、可选地，所述检测结果获取模块具体用于：

58、获取各相机针对所述共视靶标的图像检测点；

59、计算所述图像检测点在图像中的归一化边缘率，所述归一化边缘率用于表征所述图像检测点偏离图像中心的程度；

60、将所述归一化边缘率小于或等于预设门限的共视靶标所对应的图像检测点，作为所述检测结果。

61、可选地，所述装置还包括交叉验证模块，用于：

62、获取在所述相机外参的求解过程中根据预设准则被筛除的靶标的观测数据；

63、将所述被筛除的靶标标记为留出靶标，所述留出靶标为未参与所述相机外参求解的靶标；

64、对所述留出靶标执行所述跨相机一致性校验，将校验结果作为交叉验证结果。

65、第三方面，本技术实施例提供了一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面中任一种可选地实施方式中所述的跨相机外参全局校验方法的步骤。

66、第四方面，本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面中任一种可选地实施方式中所述的跨相机外参全局校验方法的步骤。

67、本技术提供的技术方案包括但不限于以下有益效果：

68、获取测量数据，所述测量数据包括多个靶标的三维坐标以及多个车轮接地参考点的三维坐标。该步骤将靶标真值与车轮参考点纳入同一次测量作业中同步采集，两类数据同源同坐标系，避免了分次采集间车辆挪动带来的误差传导，同时无需额外增加测量工序与测量设备，即可为后续车体坐标系构建与相机外参标定提供统一的基准数据源。

69、根据所述多个车轮接地参考点的三维坐标，建立车体坐标系。该步骤仅基于已采集的车轮实测点的几何关系推导车体坐标系的原点与轴向，无需额外配置角度测量设备，也无需依赖车辆摆正的人为约定，消除了人为基准带来的批次误差与车型差异，坐标系定义完全由实测几何决定，可复现性强，不同车辆、不同批次的标定基准具备一致性。

70、根据各相机采集的包含所述靶标的图像、所述靶标的三维坐标以及所述车体坐标系，标定各相机的相机外参。该步骤直接以车体坐标系为统一基准完成相机外参解算与转换，标定输出的外参直接对应车辆自身坐标系，无需后续二次转换即可适配车载感知应用，同时基于统一的靶标真值与车体基准，保障了各路相机标定基准的统一性。

71、对存在共视靶标的相机对，获取各相机针对同一共视靶标的检测结果。该步骤以两台相机视场重叠区内的同一物理靶标作为校验样本，基于共同的实物参照生成不同相机的观测结果，为跨相机一致性校验提供了对等的对比基础，校验结果直接对应多相机的空间观测一致性。

72、根据所述相机外参，分别将各相机的所述检测结果变换至所述车体坐标系，得到各相机在所述车体坐标系下针对所述共视靶标的各自位置。该步骤将不同相机的二维像素检测结果统一映射到同一车体坐标系下的三维空间中，实现了图像观测到空间落点的转换，使不同相机的观测结果具备统一的空间参照，为跨相机偏差的定量计算提供了可比的空间基准。

73、计算所述各自位置之间的偏差，根据所述偏差确定所述相机对的跨相机一致性校验结果。该步骤以空间落点偏差作为跨相机一致性的量化指标，以毫米级单位输出可直接与工装公差对标，替代了传统目视拼接验收的主观判断；同时该偏差指标未参与外参求解的优化过程，能够检出复投影误差原理上无法发现的系统性整体偏移，填补了传统自洽性验收指标的原理性盲区。

74、综上，六个步骤形成了从数据采集、坐标系构建、外参标定到一致性校验的完整标定校验闭环，全程无需引入额外测量设备与人为约定基准，实现了车体坐标系的纯实测构建与跨相机外参一致性的定量校验，有效提升了标定结果的可靠性、可复现性与多相机空间一致性，弥补了现有标定技术的系统性缺陷。

75、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。