多相机系统的外参更新方法和装置、存储介质及电子装置与流程

本技术涉及传感器标定领域，具体而言，涉及一种多相机系统的外参更新方法和装置、存储介质及电子装置。

背景技术：

1、多相机系统通常安装在车辆、机器人或者其他移动设备上，用于从不同方位采集环境图像，以实现环境感知、定位或者导航等功能。为了对不同相机采集到的图像信息进行联合处理，通常需要确定各相机之间的外参。

2、相关技术中，通常通过布置标定板或者对具有重叠视场的图像进行特征匹配，来对各相机之间的外参进行标定。然而，多相机系统在运行过程中易受到设备振动、安装部件松动或者外部碰撞等因素的影响，导致相机之间的实际外参发生偏移。采用上述传统的标定方式，通常需要等待系统运行出现明显偏差时才能发现外参失效，同时，重新标定过程通常依赖特定的标定环境或特定的图像特征条件，导致多相机系统的外参更新及时性较低。

技术实现思路

1、本技术提供了一种多相机系统的外参更新方法和装置、存储介质及电子装置，以至少解决相关技术中，多相机系统的外参更新及时性较低等问题。

2、本技术提供了一种多相机系统的外参更新方法，包括：检测行驶设备的行驶状态，其中，多相机系统安装在行驶设备上，多相机系统包括目标相机和参考相机；在检测到行驶设备处于目标行驶状态的情况下，根据当前外参、参考地平面信息和参考运动信息预测目标对象在目标图像序列中的图像位置变化情况，得到预测移动信息，其中，当前外参为待更新的目标相机相对于参考相机的外参，参考地平面信息用于指示地平面在参考相机的相机坐标系中的法向方向以及地平面与参考相机之间的距离，参考运动信息用于指示参考相机在行驶设备的行驶过程中的运动情况，目标对象为目标图像序列所展示的位于地平面上的对象，目标图像序列用于通过目标相机记录行驶过程；根据预测移动信息与实际移动信息之间的差异更新当前外参，得到目标外参，其中，实际移动信息用于指示目标对象在目标图像序列中实际的图像位置变化情况。

3、可选地，根据当前外参、参考地平面信息和参考运动信息预测目标对象在目标图像序列中的图像位置变化情况，得到预测移动信息，包括：根据当前外参、参考地平面信息和参考运动信息生成候选映射信息，其中，候选映射信息用于指示基于当前外参预测得到的位于地平面上的同一对象在目标图像序列所包括的不同图像帧中的图像位置之间的映射关系；根据候选映射信息预测目标对象在不同图像帧中的图像位置，得到预测移动信息。

4、可选地，根据当前外参、参考地平面信息和参考运动信息生成候选映射信息，包括：根据当前外参和参考地平面信息生成目标地平面信息，并根据当前外参和参考运动信息生成目标运动信息，其中，目标地平面信息用于指示基于当前外参预测得到的地平面在目标相机的相机坐标系中的法向方向以及地平面与目标相机之间的距离，目标运动信息用于指示基于当前外参和参考运动信息预测得到的目标相机在行驶过程中的运动情况；根据目标地平面信息和目标运动信息生成候选映射信息。

5、可选地，根据预测移动信息与实际移动信息之间的差异更新当前外参，得到目标外参，包括：根据多个预测图像位置与多个实际图像位置之间的差异生成多个位置差异信息，其中，预测移动信息包括多个预测图像位置，实际移动信息包括多个实际图像位置，多个预测图像位置用于指示基于当前外参预测得到的目标对象在目标图像序列所包括的多个图像帧中的图像位置，多个实际图像位置用于指示目标对象在多个图像帧中实际的图像位置，多个预测图像位置与多个实际图像位置一一对应；根据多个位置差异信息中各个位置差异信息对应的不确定性信息确定各个位置差异信息的更新权重，得到具有对应关系的位置差异信息和更新权重，其中，不确定性信息用于指示生成对应的位置差异信息的过程中存在的估计误差程度，不确定性信息所指示的估计误差程度与更新权重负相关；根据具有对应关系的位置差异信息和更新权重更新当前外参，得到目标外参。

6、可选地，根据多个位置差异信息中各个位置差异信息对应的不确定性信息确定各个位置差异信息的更新权重，得到具有对应关系的位置差异信息和更新权重，包括：计算多个位置差异信息的离散度；根据离散度确定衰减参数，其中，离散度与衰减参数正相关；根据各个位置差异信息、各个位置差异信息对应的不确定性信息和衰减参数确定各个位置差异信息的更新权重，得到具有对应关系的位置差异信息和更新权重，其中，在不确定性信息所指示的估计误差程度相同的情况下，位置差异信息所指示的差异程度越大，更新权重越小，在不确定性信息所指示的估计误差程度相同且位置差异信息所指示的差异程度也相同的情况下，衰减参数越大，更新权重越大。

7、可选地，根据具有对应关系的位置差异信息和更新权重更新当前外参，得到目标外参，包括：使用具有对应关系的位置差异信息和更新权重构建以目标相机相对于参考相机的外参为优化变量的目标函数，其中，当前外参为优化变量的初始值；调整优化变量，直至目标函数满足目标优化条件，得到目标外参。

8、可选地，根据预测移动信息与实际移动信息之间的差异更新当前外参，得到目标外参，包括：根据预测移动信息与实际移动信息之间的差异更新当前外参，得到候选外参；根据候选外参与多个历史外参检测候选外参的变化状态，其中，多个历史外参是在本次外参更新之前的多次外参更新过程中得到的目标相机相对于参考相机的外参，多个历史外参包括当前外参；在检测到候选外参处于第一变化状态的情况下，对候选外参与当前外参进行加权融合，得到目标外参，其中，第一变化状态用于指示外参序列中相邻外参之间的多个外参变化量满足预设一致性条件，且候选外参相对于当前外参的变化程度未达到变化阈值，外参序列包括按照更新时间排列的多个历史外参与候选外参；在检测到候选外参处于第二变化状态的情况下，将当前外参确定为目标外参，其中，第二变化状态用于指示外参序列中相邻外参之间的多个外参变化量不满足预设一致性条件，且候选外参相对于当前外参的变化程度未达到变化阈值；在检测到候选外参处于第三变化状态的情况下，将候选外参确定为目标外参，其中，第三变化状态用于指示候选外参相对于当前外参的变化程度达到变化阈值。

9、本技术还提供了一种多相机系统的外参更新装置，包括：检测模块，用于检测行驶设备的行驶状态，其中，多相机系统安装在行驶设备上，多相机系统包括目标相机和参考相机；预测模块，用于在检测到行驶设备处于目标行驶状态的情况下，根据当前外参、参考地平面信息和参考运动信息预测目标对象在目标图像序列中的图像位置变化情况，得到预测移动信息，其中，当前外参为待更新的目标相机相对于参考相机的外参，参考地平面信息用于指示地平面在参考相机的相机坐标系中的法向方向以及地平面与参考相机之间的距离，参考运动信息用于指示参考相机在行驶设备的行驶过程中的运动情况，目标对象为目标图像序列所展示的位于地平面上的对象，目标图像序列用于通过目标相机记录行驶过程；更新模块，用于根据预测移动信息与实际移动信息之间的差异更新当前外参，得到目标外参，其中，实际移动信息用于指示目标对象在目标图像序列中实际的图像位置变化情况。

10、本技术还提供了一种计算机可读的存储介质，计算机可读的存储介质包括存储的程序，其中，程序运行时执行上述任一种多相机系统的外参更新方法的步骤。

11、本技术还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述任一种多相机系统的外参更新方法的步骤。

12、本技术还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述任一种多相机系统的外参更新方法的步骤。

13、在本技术实施例中，通过检测行驶设备的行驶状态，并在检测到行驶设备处于目标行驶状态的情况下，根据当前外参、参考地平面信息和参考运动信息预测目标对象在目标图像序列中的图像位置变化情况，得到预测移动信息，使得预测移动信息能够指示基于当前外参预测得到的、位于地平面上的目标对象在目标图像序列中的图像位置变化情况。进一步地，根据预测移动信息与实际移动信息之间的差异更新当前外参，得到目标外参，使得能够在行驶设备的行驶过程中，根据目标对象的预测图像位置变化情况与实际图像位置变化情况之间的差异更新目标相机相对于参考相机的外参，从而无需等待多相机系统运行出现明显偏差后再对外参进行更新，避免了相关技术中因依赖特定标定环境或者特定图像特征条件重新执行外参标定而难以及时完成外参更新的缺陷，解决了相关技术中，多相机系统的外参更新及时性较低等问题，实现了提高多相机系统的外参更新及时性的技术效果。