相机外参标定方法、装置、设备、介质及程序产品与流程

本技术涉及机器人视觉标定，具体关于一种相机外参标定方法、装置、设备、介质及程序产品。

背景技术：

1、在多相机机器人系统中，通常在不同可动部件以及机器人躯干或基座上设置多个相机，以分别获取不同作业区域的视觉信息。各相机与机器人坐标系之间的外参关系直接影响目标定位、双臂协同操作及运动控制的准确性。

2、相关技术通常借助外部标定板，分别对各相机进行手眼标定，再根据各次标定结果建立不同相机之间的空间转换关系。这种方式对环境条件和人工操作要求高，并且不同相机的外参容易产生累积误差或空间关系不一致。

技术实现思路

1、本技术实施例提供一种相机外参标定方法、装置、设备、介质及程序产品，可以一定程度上简化人工操作并提升机器人多相机外参标定的一致性。

2、第一方面，本技术实施例提供一种相机外参标定方法，应用于机器人，机器人包括第一可动部件、第二可动部件、基准部件、设置于所述第一可动部件的第一相机、设置于所述第二可动部件的第二相机、以及设置于所述基准部件的第三相机；所述第一可动部件还设置有第一视觉标记，所述第二可动部件还设置有第二视觉标记；所述方法包括：

3、接收多个采集时刻对应的标定观测数据及机器人状态信息；所述标定观测数据包括：所述第一相机对所述第二视觉标记的第一观测结果、所述第二相机对所述第一视觉标记的第二观测结果、以及所述第三相机对所述第一视觉标记和所述第二视觉标记的第三观测结果；

4、基于所述机器人状态信息，确定所述第一相机、所述第二相机、所述第三相机、所述第一视觉标记以及所述第二视觉标记在各所述采集时刻相对于机器人参考坐标系的位姿信息；

5、基于所述标定观测数据和所述位姿信息，构建联合标定约束；所述联合标定约束包括：所述第一相机与第二视觉标记间的第一交叉观测约束、所述第二相机与第一视觉标记间的第二交叉观测约束、以及所述第三相机分别与所述第一视觉标记和所述第二视觉标记之间的全局观测约束；

6、对所述联合标定约束进行联合求解，确定所述第一相机、所述第二相机和所述第三相机的相机外参。

7、在一些实施例中，所述接收多个采集时刻对应的标定观测数据及机器人状态信息，包括：

8、控制所述第一可动部件和所述第二可动部件中的至少一者运动，使所述第一相机与所述第二视觉标记、所述第二相机与所述第一视觉标记、以及所述第三相机与所述第一视觉标记和所述第二视觉标记，分别处于多个不同的相对位姿；

9、在所述多个不同的相对位姿下进行同步采样，得到各所述采集时刻下的所述第一观测结果、所述第二观测结果、所述第三观测结果以及所述机器人状态信息。

10、在一些实施例中，所述机器人状态信息包括所述第一可动部件和所述第二可动部件的关节状态信息；

11、所述基于所述机器人状态信息，确定所述第一相机、所述第二相机、所述第三相机、所述第一视觉标记以及所述第二视觉标记在各所述采集时刻相对于机器人参考坐标系的位姿信息，包括：

12、将同一采集时刻下的所述标定观测数据与机器人状态信息进行关联；

13、基于所述第一可动部件的关节状态信息和运动学模型，确定所述第一相机和所述第一视觉标记相对于所述机器人参考坐标系的位姿信息；

14、基于所述第二可动部件的关节状态信息和运动学模型，确定所述第二相机和所述第二视觉标记相对于所述机器人参考坐标系的位姿信息；

15、基于所述基准部件在所述机器人的本体中的安装关系，确定所述第三相机相对于所述机器人参考坐标系的位姿信息。

16、在一些实施例中，所述基于所述标定观测数据和所述位姿信息，构建联合标定约束，包括：

17、基于所述第一相机的位姿信息、所述第二可动部件的位姿信息以及所述第一观测结果，构建包含所述第一相机的外参变量、所述第二视觉标记的安装位姿参数的空间位姿变换链，得到所述第一交叉观测约束；

18、基于所述第二相机的位姿信息、所述第一可动部件的位姿信息以及所述第二观测结果，构建包含所述第二相机的外参变量、所述第一视觉标记的安装位姿参数的空间位姿变换链，得到所述第二交叉观测约束；

19、基于所述第三相机的位姿信息、所述第一可动部件的位姿信息、所述第二可动部件的位姿信息以及所述第三观测结果，构建包含所述第三相机的外参变量、所述第一视觉标记的安装位姿参数及第二视觉标记的安装位姿参数的空间位姿变换链，得到所述全局观测约束。

20、在一些实施例中，所述对所述联合标定约束进行联合求解，包括：

21、接收所述第一视觉标记和所述第二视觉标记相对于对应可动部件的初始安装位姿信息；

22、分别设置所述第一视觉标记和所述第二视觉标记对应的安装位姿偏差变量，并基于所述第一视觉标记和所述第二视觉标记对应的初始安装位姿信息和安装位姿偏差变量，确定所述空间位姿变换链中的安装位姿参数；

23、将所述第一相机、所述第二相机和所述第三相机的相机外参变量，以及所述第一视觉标记和所述第二视觉标记对应的安装位姿偏差变量，作为所述联合标定约束的待优化变量；

24、对所述待优化变量进行联合优化，得到所述相机外参以及所述第一视觉标记和所述第二视觉标记的安装位姿信息。

25、在一些实施例中，所述对所述待优化变量进行联合优化，包括：

26、基于所述第一可动部件、所述第二可动部件和所述基准部件的位姿信息、所述待优化变量，以及所述第一视觉标记和所述第二视觉标记中的标记特征点的空间位置信息，确定各所述标记特征点在对应相机标定图像中的预测投影位置；

27、基于各所述标记特征点的预测投影位置与所述标定观测数据中的实际观测位置，确定所述联合标定约束对应的重投影误差；

28、基于多个所述采集时刻对应的重投影误差分布，从所述标定观测数据中确定满足一致性条件的有效标定观测数据；

29、基于所述有效标定观测数据，对所述相机外参变量和所述安装位姿偏差变量进行迭代优化，直至优化后的重投影误差统计值满足预设的标定质量条件，得到所述相机外参。

30、在一些实施例中，所述方法还包括：

31、在所述机器人执行主任务的过程中，基于当前启用的相机外参、视觉标记的安装位姿信息、所述机器人的运动学模型以及相机对对应视觉标记的观测结果，确定所述当前启用的相机外参对应的重投影误差统计值；

32、在所述重投影误差统计值不满足外参有效性条件的情况下，触发相机外参重标定请求；

33、响应于所述相机外参重标定请求，在所述第一可动部件和所述第二可动部件均满足空闲条件的情况下，确定目标标定位姿序列；所述目标标定位姿序列用于重新获取所述第一观测结果、所述第二观测结果和所述第三观测结果；

34、控制所述第一可动部件和所述第二可动部件按照所述目标标定位姿序列运动，并基于重新获取的第一观测结果、第二观测结果和第三观测结果，重新确定更新的相机外参；

35、在所述更新的相机外参满足标定质量条件的情况下，将所述更新的相机外参设置为当前启用的相机外参，并控制所述机器人恢复执行所述主任务。

36、第二方面，本技术实施例提供一种相机外参标定装置，应用于机器人，所述机器人包括第一可动部件、第二可动部件、基准部件、设置于所述第一可动部件的第一相机、设置于所述第二可动部件的第二相机、以及设置于所述基准部件的第三相机；所述第一可动部件还设置有第一视觉标记，所述第二可动部件还设置有第二视觉标记，所述装置包括：

37、接收模块，用于接收多个采集时刻对应的标定观测数据及机器人状态信息；所述标定观测数据包括：所述第一相机对所述第二视觉标记的第一观测结果、所述第二相机对所述第一视觉标记的第二观测结果、以及所述第三相机对所述第一视觉标记和所述第二视觉标记的第三观测结果；

38、确定模块，用于基于所述机器人状态信息，确定所述第一相机、所述第二相机、所述第三相机、所述第一视觉标记以及所述第二视觉标记在各所述采集时刻相对于机器人参考坐标系的位姿信息；

39、构建模块，用于基于所述标定观测数据和所述位姿信息，构建联合标定约束；所述联合标定约束包括：所述第一相机与第二视觉标记间的第一交叉观测约束、所述第二相机与第一视觉标记间的第二交叉观测约束、以及所述第三相机分别与所述第一视觉标记和所述第二视觉标记之间的全局观测约束；

40、求解模块，用于对所述联合标定约束进行联合求解，确定所述第一相机、所述第二相机和所述第三相机的相机外参。

41、第三方面，本技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种相机外参标定方法。

42、第四方面，非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种相机外参标定方法。

43、第五方面，本技术实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种相机外参标定方法。

44、本技术实施例提供的相机外参标定方法、装置、设备、介质及程序产品，通过接收多个采集时刻对应的标定观测数据及机器人状态信息，确定第一相机、第二相机、第三相机、第一视觉标记和第二视觉标记相对于机器人参考坐标系的位姿信息，并结合第一相机与第二视觉标记之间的第一交叉观测约束、第二相机与第一视觉标记之间的第二交叉观测约束以及第三相机与两个视觉标记之间的全局观测约束进行联合求解，实现了对设置于机器人不同部件的多个相机的外参联合标定，达到了简化人工操作并提升机器人多相机外参标定一致性的效果。