自动化起重机吊具上多相机的统一标定方法与流程

技术特征：
1.自动化起重机吊具上多相机的统一标定方法，其特征在于：包括如下步骤：s1：在起重机吊具的锁头附近分别对应安装一个吊具相机，使得各吊具相机的取景方向竖直朝下且分别对准集装箱远离地面一端的锁孔，四个吊具相机分别获取同一集装箱端面四个不同锁孔对应的图像；s2：构建各吊具相机坐标系，并构建集装箱世界坐标系；分别对四个吊具相机获取的锁孔图像进行畸变矫正，获得各吊具相机的内参矩阵；s3：分别对吊具相机获取的四个锁孔图像进行锁孔检测，并进行锁孔定位；s4：在锁孔定位后的图形采用椭圆拟合算法提取锁孔边缘，获取锁孔椭圆的虚拟外接矩形，在各吊具相机对应的图像坐标系中提取虚拟外接矩形的四个顶点的图像坐标；s5：根据步骤s2获得的吊具相机的内参矩阵、步骤s4获取的图像坐标系中提取虚拟外接矩形的各顶点的图像坐标，解算各吊具相机相对于集装箱世界坐标系的外参矩阵；s6：根据坐标变换理论，求取以吊具相机构建的各吊具相机坐标系的相对位姿的解算。2.根据权利要求1所述的自动化起重机吊具上多相机的统一标定方法，其特征在于：步骤s2中所述获得各吊具相机的内参矩阵，是分别建立各吊具相机的相机坐标系，令四个吊具相机为a、b、c和d，对应的相机坐标系分别为、、与；各相机坐标系的z轴方向为吊具相机光轴指向集装箱远离地面一端的锁孔的方向，各相机坐标系的x轴和y轴分别与z轴方向垂直；以集装箱上表面的几何中心为原点，以集装箱的长度延伸方向、宽度延伸方向和竖直向下方向作为坐标轴，构建集装箱世界坐标系；采用张正友标定法分别对四个吊具相机获取的锁孔图像进行畸变矫正：通过各吊具相机将集装箱世界坐标系中的锁孔图像变换为各吊具相机的像素坐标系中的点，令各吊具相机内参矩阵，其中，，与表示在图像坐标系中二维坐标两个轴向上单位距离的像素个数；为各吊具相机的焦距，与为焦距与像素纵横比的融合；为径向畸变参数，指示了图像坐标系中拍摄的标定法采用的棋盘标定板边缘的夹角大小；与为吊具相机感光板的中心在像素坐标系中的坐标；分别对各吊具相机a、b、c和d求取对应的内参矩阵。3.根据权利要求2所述的自动化起重机吊具上多相机的统一标定方法，其特征在于：步骤s3中所述对吊具相机获取的四个锁孔图像进行锁孔检测，是采用目标检测算法yolo v5进行锁孔所在区域的检测和识别。4.根据权利要求3所述的自动化起重机吊具上多相机的统一标定方法，其特征在于：所述提取虚拟外接矩形的四个顶点的图像坐标，是选择位于锁孔区域边缘的点在图像坐标系的图像坐标，通过二项式拟合方式构建椭圆，求取椭圆的中心位置、长轴和短轴；以椭圆中
心为基准，分别将长轴与短轴向图像坐标系轴向方向偏移半短轴和半长轴的距离，偏移后合围成的虚拟外接矩形的四个顶点在图像坐标系下的坐标即为待提取的顶点的图像坐标。5.根据权利要求4所述的自动化起重机吊具上多相机的统一标定方法，其特征在于：所述解算各吊具相机相对于集装箱世界坐标系的外参矩阵，步骤s4中令提取的各锁孔虚拟外接矩形顶点的图像坐标为、、和共16组坐标；上述16组图像坐标对应在集装箱世界坐标系的三维坐标定义为、、和；根据吊具相机针孔模型，对吊具相机a存在如下关系：
ꢀꢀꢀꢀ
公式1；
ꢀꢀꢀꢀ
公式2；
ꢀꢀꢀꢀ
公式3；
ꢀꢀꢀꢀ
公式4；由于步骤s2中已经求取了各吊具相机的内参矩阵，故上述公式1、2、3与4右边第一项中、、、和均为已知，与分别代表吊具相机a对应的锁孔虚拟外接矩形顶点的二维图像坐标，、与分别代表吊具相机a对应的锁孔虚拟外接矩形顶点在集装箱世界坐标系下的三维坐标，；为集装箱世
界坐标系到吊具相机的尺度因子；联立上述公式，采用pnp算法求解上述方程组，得到吊具相机a相对于集装箱的位姿和；采用同样的方法，分别对吊具相机b、c和d，求取相对于集装箱的位姿和、和以及和，是零矩阵的转置。6.根据权利要求5所述的自动化起重机吊具上多相机的统一标定方法，其特征在于：所述采用pnp算法求解上述方程组，是采用p3p算法，即从各个锁孔虚拟外接矩形顶点的图像坐标中选取3个，选择该三个点对应的锁孔虚拟外接矩形顶点在集装箱世界坐标系下的三维坐标，形成三组对应的图像坐标与三维坐标作为计算用的特征点求解吊具相机相对于集装箱的位姿的结果，剩余的1个锁孔虚拟外接矩形顶点以及该顶点在对应的集装箱世界坐标系下的三维坐标作为验证点；通过计算得到的各位姿的结果分别计算验证点重投影误差，选择对应的重投影误差最小的位姿的结果作为该吊具相机相对于集装箱的位姿。7.根据权利要求5所述的自动化起重机吊具上多相机的统一标定方法，其特征在于：步骤s6中所述各吊具相机坐标系的相对位姿的解算，采用如下方法：根据坐标变换理论，令集装箱世界坐标系中存在一点，则该点在吊具相机a中的坐标变换关系为：，和为吊具相机a相对于集装箱的位姿，同理可得到点在吊具相机b、c和d中的坐标变换关系为，，；、、与为点在吊具相机a、b、c和d对应的坐标系中的三维坐标；联立上述方程，吊具相机b对应的吊具相机坐标系与吊具相机a对应的吊具相机坐标系之间的转换关系为：，则吊具相机b相对于吊具相机a的外参矩阵为：旋转矩阵，平移向量，其中为的逆矩阵；同样的，吊具相机c相对于吊具相机b的吊具相机坐标系之间的转换关系为：，是的逆矩阵；吊具相机d相对于吊具相机c的吊具相机坐标系之间的转换关系为：，是的逆矩阵。

技术总结
本发明提供了一种自动化起重机吊具上多相机的统一标定方法，包括如下步骤：S1：在起重机吊具的锁头附近分别对应安装吊具相机，使得各吊具相机的取景方向竖直朝下且分别对准集装箱远离地面一端的锁孔；S2：构建各吊具相机坐标系和集装箱世界坐标系；分别对四个吊具相机获取的锁孔图像进行畸变矫正，获得各吊具相机的内参矩阵；S3：分别对吊具相机获取的四个锁孔图像进行锁孔检测，并进行锁孔定位；S4：采用椭圆拟合算法提取锁孔边缘，获取锁孔椭圆的虚拟外接矩形提取虚拟外接矩形的四个顶点的图像坐标；S5：解算各吊具相机相对于集装箱世界坐标系的外参矩阵；S6：求取以吊具相机构建的各吊具相机坐标系的相对位姿的解算。的各吊具相机坐标系的相对位姿的解算。的各吊具相机坐标系的相对位姿的解算。


技术研发人员：石先城 万金建 李恒 曹志俊 张涛
受保护的技术使用者：武汉港迪智能技术有限公司
技术研发日：2021.12.07
技术公布日：2022/1/6