自动化起重机吊具上多相机的统一标定方法与流程

1.本发明涉及港口智能化吊装设备技术领域，尤其涉及一种自动化起重机吊具上多相机的统一标定方法。


背景技术：

2.随着港口智能化的快速发展，港口对自动叠箱需求日趋迫切。然而在自动化叠箱中，首层开箱、自动抓箱、自动叠箱等子系统需要估计吊具相机之间的相对位姿关系，进而实抓箱放箱。吊具上各个针孔相机之间外参标定的重要性不言而喻，如何快速而准确估计出吊具相之间的位姿关系，直接关系到自动化叠箱的效率和效果。传统标定方法主要通过标定板、地面放置明显的标志物等方式标定吊具上针孔各个相机之间的外参数。这种方法比较繁琐。
3.针对传统多相机标定方法，有必要简化标定流程，提高相机标定效率与吊机的自动化叠箱的效率。


技术实现要素：

4.有鉴于此，本发明提出了一种用于自动化起重机吊具上的多相机外参数的统一标定方法。
5.本发明的技术方案是这样实现的：本发明提供了一种自动化起重机吊具上多相机的统一标定方法，包括如下步骤：s1：在起重机吊具的锁头附近分别对应安装一个吊具相机，使得各吊具相机的取景方向竖直朝下且分别对准集装箱远离地面一端的锁孔，四个吊具相机分别获取同一集装箱端面四个不同锁孔对应的图像；s2：构建各吊具相机坐标系，并构建集装箱世界坐标系；分别对四个吊具相机获取的锁孔图像进行畸变矫正，获得各吊具相机的内参矩阵；s3：分别对吊具相机获取的四个锁孔图像进行锁孔检测，并进行锁孔定位；s4：在锁孔定位后的图形采用椭圆拟合算法提取锁孔边缘，获取锁孔椭圆的虚拟外接矩形，在各吊具相机对应的图像坐标系中提取虚拟外接矩形的四个顶点的图像坐标；s5：根据步骤s2获得的吊具相机的内参矩阵、步骤s4获取的图像坐标系中提取虚拟外接矩形的各顶点的图像坐标，解算各吊具相机相对于集装箱世界坐标系的外参矩阵；s6：根据坐标变换理论，求取以吊具相机构建的各吊具相机坐标系的相对位姿的解算。
6.在以上技术方案的基础上，优选的，所述步骤s2中获得各吊具相机的内参矩阵，是分别建立各吊具相机的相机坐标系，令四个吊具相机为a、b、c和d，对应的相机坐标系分别为、、与；各相机坐标系的z轴方向为吊具相机光轴指向集装箱远离地面一端的锁孔的方向，各相机坐标系的x轴和y轴分别与z轴方向垂直；以集装箱上表面的几何中心为原点，以集装箱的长度延伸方向、宽度
延伸方向和竖直向下方向作为坐标轴，构建集装箱世界坐标系；采用张正友标定法分别对四个吊具相机获取的锁孔图像进行畸变矫正：通过各吊具相机将集装箱世界坐标系中的锁孔图像变换为各吊具相机的像素坐标系中的点，令各吊具相机内参矩阵，其中，，，与表示在图像坐标系中二维坐标两个轴向上单位距离的像素个数；为各吊具相机的焦距，与为焦距与像素纵横比的融合；为径向畸变参数，指示了图像坐标系中拍摄的标定法采用的棋盘标定板边缘的夹角大小；与为吊具相机感光板的中心在像素坐标系中的坐标；分别对各吊具相机a、b、c和d求取对应的内参矩阵。
7.优选的，所述步骤s3中对吊具相机获取的四个锁孔图像进行锁孔检测，是采用目标检测算法yolo v5进行锁孔所在区域的检测和识别。
8.优选的，所述提取虚拟外接矩形的四个顶点的图像坐标，是选择位于锁孔区域边缘的点在图像坐标系的图像坐标，通过二项式拟合方式构建椭圆，求取椭圆的中心位置、长轴和短轴；以椭圆中心为基准，分别将长轴与短轴向图像坐标系轴向方向偏移半短轴和半长轴的距离，偏移后合围成的虚拟外接矩形的四个顶点在图像坐标系下的坐标即为待提取的顶点的图像坐标。
9.优选的，所述解算各吊具相机相对于集装箱世界坐标系的外参矩阵，令提取的各锁孔虚拟外接矩形顶点的图像坐标为、、和共16组坐标；上述16组图像坐标对应在集装箱世界坐标系的三维坐标定义为、、和；根据吊具相机针孔模型，对吊具相机a存在如下关系：
ꢀꢀꢀꢀꢀ
公式1；
ꢀꢀꢀꢀꢀꢀ
公式2；
ꢀꢀꢀꢀꢀꢀ
公式3；
ꢀꢀꢀꢀꢀ
公式4；由于步骤s2中已经求取了各吊具相机的内参矩阵，故上述公式1、2、3与4右边第一项中、、、和均为已知，与分别代表吊具相机a对应的锁孔虚拟外接矩形顶点的二维图像坐标，、与分别代表吊具相机a对应的锁孔虚拟外接矩形顶点在集装箱世界坐标系下的三维坐标，；为集装箱世界坐标系到吊具相机的尺度因子；联立上述公式，采用pnp算法求解上述方程组，得到吊具相机a相对于集装箱的位姿和；采用同样的方法，分别对吊具相机b、c和d，求取相对于集装箱的位姿和、和以及和，是零矩阵的转置。
10.进一步优选的，所述采用pnp算法求解方程组，是采用p3p算法，即从各个锁孔虚拟外接矩形顶点的图像坐标中选取3个，选择该三个点对应的锁孔虚拟外接矩形顶点在集装箱世界坐标系下的三维坐标，形成三组对应的图像坐标与三维坐标作为计算用的特征点求解吊具相机相对于集装箱的四组位姿的结果，剩余的1个锁孔虚拟外接矩形顶点以及该顶点在对应的集装箱世界坐标系下的三维坐标作为验证点；通过计算得到的各位姿的结果分别计算验证点重投影误差，选择对应的重投影误差最小的位姿的结果作为该吊具相机相对于集装箱的位姿。
11.进一步优选的，步骤s6中所述各吊具相机坐标系的相对位姿的解算，采用如下方法：根据坐标变换理论，令集装箱世界坐标系中存在一点，则该点在吊具相机a中的坐标变换关系为：，和为吊具相机a相对于集装箱的位姿，同理可得到点在吊具相机b、c和d中的坐标变换关系为，，；、、与为点在吊具相机a、b、c和d对应的坐标系中的三维坐标；联立上述方程，吊具相机b对应的吊具相机坐标系与吊具相机a对应的吊具相机坐标系之间的转换关系为：，则吊具相机b相对于吊
具相机a的外参矩阵为：旋转矩阵，平移向量，其中为的逆矩阵；同样的，吊具相机c相对于吊具相机b的吊具相机坐标系之间的转换关系为：，是的逆矩阵；吊具相机d相对于吊具相机c的吊具相机坐标系之间的转换关系为：，是的逆矩阵。
12.本发明提供的自动化起重机吊具上多相机的统一标定方法，相对于现有技术具有以下有益效果：（1）本方案通过在吊具锁头位置对应设置吊具相机，获取集装箱各锁孔的图像，通过深度学习算法对锁孔实现目标检测；然后通过椭圆拟合精确提取锁孔边界点，构造椭圆虚拟外接矩形及其顶点，通过锁孔实际尺寸，求解各吊具相机相对于集装箱的位姿，并进一步获取各吊具相机的相对位姿，简化了多相机外参的标定流程，无需在地面布置辅助标志，可提升集装箱自动化叠箱的效率；（2）先求解各吊具相机的内参矩阵，再结合图像坐标系下的锁孔虚拟外接矩形顶点坐标和集装箱世界坐标系下的坐标之间的投影关系，解算最合理、误差最小的吊具相机相对于集装箱的位姿；（3）采用了图像畸变校正、锁孔椭圆轮廓拟合以及pnp算法等求解手段相结合的方法，使得解算过程兼顾较好的效率与精度。
附图说明
13.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
14.图1为本发明自动化起重机吊具上多相机的统一标定方法的流程图；图2为本发明自动化起重机吊具上多相机的统一标定方法的吊具相机在吊具上的布置俯视图；图3为本发明自动化起重机吊具上多相机的统一标定方法的吊具相机获取锁孔图像的示意图；图4为本发明自动化起重机吊具上多相机的统一标定方法的各相机坐标系的示意图图5为本发明自动化起重机吊具上多相机的统一标定方法的集装箱世界坐标系、锁孔以及各锁孔外接虚拟矩形的示意图；图6为本发明自动化起重机吊具上多相机的统一标定方法以20尺柜做标定的示意图；图7为本发明自动化起重机吊具上多相机的统一标定方法以40尺柜做标定验证的示意图。
具体实施方式
15.下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
16.如图1—图5所示，本发明提供了一种自动化起重机吊具上多相机的统一标定方法，包括如下步骤：s1：在起重机吊具的锁头附近分别对应安装一个吊具相机，使得各吊具相机的取景方向竖直朝下且分别对准集装箱远离地面一端的锁孔，四个吊具相机分别获取同一集装箱端面四个不同锁孔对应的图像；s2：构建各吊具相机坐标系，并构建集装箱世界坐标系；分别对四个吊具相机获取的锁孔图像进行畸变矫正，获得各吊具相机的内参矩阵；具体方法是：如图4所示，分别建立各吊具相机的相机坐标系，令四个吊具相机为a、b、c和d，对应的相机坐标系分别为、、与；各相机坐标系的z轴方向为吊具相机光轴指向集装箱远离地面一端的锁孔的方向，各相机坐标系的x轴和y轴分别与z轴方向垂直；如图5所示，以集装箱上表面的几何中心为原点，以集装箱的长度延伸方向、宽度延伸方向和竖直向下方向作为坐标轴，构建集装箱世界坐标系；采用张正友标定法分别对四个吊具相机获取的锁孔图像进行畸变矫正：通过各吊具相机将集装箱世界坐标系中的锁孔图像变换为各吊具相机的像素坐标系中的点，令各吊具相机内参矩阵，其中，，，与表示在图像坐标系中二维坐标两个轴向上单位距离的像素个数；为各吊具相机的焦距，与为焦距与像素纵横比的融合；为径向畸变参数，指示了图像坐标系中拍摄的标定法采用的棋盘标定板边缘的夹角大小；与为吊具相机感光板的中心在像素坐标系中的坐标；分别对各吊具相机a、b、c和d求取对应的内参矩阵。如、、、和分别表示吊具相机a的内参矩阵的内参数，采用不同脚标区分不同相机，吊具相机b、c和d的内参数标记方法类似。采用张正友标定法进行畸变矫正，属于本领域技术人员公知的技术手段。
17.s3：分别对吊具相机获取的四个锁孔图像进行锁孔检测，并进行锁孔定位；本实施方式中，对吊具相机获取的四个锁孔图像进行锁孔检测，是采用目标检测算法yolo v5进行锁孔所在区域的检测和识别。目标检测算法yolo即you only look once的缩写，其核心思想是预测出检测目标的位置及类别，将图像分为若干网格，每个网格负责在该网格内的目标检测，一次性预测所有网格所含目标的定位置信度、类别概率向量来将目标的检测与识
别一次性完成。目标检测算法yolo v5是开源算法，可以在github等网站获取代码，属于本领域技术人员知晓的现有技术，在此不再赘述。
18.s4：在锁孔定位后的图形采用椭圆拟合算法提取锁孔边缘，获取锁孔椭圆的虚拟外接矩形，在各吊具相机对应的图像坐标系中提取虚拟外接矩形的四个顶点的图像坐标；具体方法是，在识别锁孔区域后，选择位于锁孔区域边缘的点在图像坐标系的图像坐标，通过二项式拟合方式构建椭圆，可根据已知的图像坐标拟合椭圆曲线，在matlab中选用nlinfit函数拟合；求取椭圆的中心位置、长轴和短轴；以椭圆中心为基准，分别将长轴与短轴向图像坐标系轴向方向对称的偏移半短轴和半长轴的距离，偏移后合围成的虚拟外接矩形的四个顶点在图像坐标系下的坐标即为待提取的顶点的图像坐标。
19.s5：根据步骤s2获得的吊具相机的内参矩阵、步骤s4获取的图像坐标系中提取虚拟外接矩形的各顶点的图像坐标，解算各吊具相机相对于集装箱世界坐标系的外参矩阵；具体方法是：步骤s4中令提取的各锁孔虚拟外接矩形顶点的图像坐标为、、和共16组坐标；上述16组图像坐标对应在集装箱世界坐标系的三维坐标定义为、、和；根据吊具相机针孔模型，对吊具相机a存在如下关系：
ꢀꢀꢀꢀꢀ
公式1；
ꢀꢀꢀꢀꢀ
公式2；
ꢀꢀꢀꢀꢀ
公式3；
ꢀꢀꢀꢀ
公式4；
由于步骤s2中已经求取了各吊具相机的内参矩阵，故上述公式1、2、3与4右边第一项中、、、和均为已知，与分别代表吊具相机a对应的锁孔虚拟外接矩形顶点的二维图像坐标，、与分别代表吊具相机a对应的锁孔虚拟外接矩形顶点在集装箱世界坐标系下的三维坐标，；为集装箱世界坐标系到吊具相机的尺度因子；联立上述公式，采用pnp算法求解上述方程组，得到吊具相机a相对于集装箱的位姿和；采用同样的方法，分别对吊具相机b、c和d，求取相对于集装箱的位姿和、和以及和，得到各吊具相机的外参矩阵，是零矩阵的转置。
20.作为一种优选方式，本发明采用pnp算法为p3p算法，即从各个锁孔虚拟外接矩形顶点的图像坐标中选取3个，选择该三个点对应的锁孔虚拟外接矩形顶点在集装箱世界坐标系下的三维坐标，形成三组对应的图像坐标与三维坐标作为计算用的特征点求解吊具相机相对于集装箱的四组位姿的结果，剩余的1个锁孔虚拟外接矩形顶点以及该顶点在对应的集装箱世界坐标系下的三维坐标作为验证点；通过计算得到的各位姿的结果分别计算验证点重投影误差，选择对应的重投影误差最小的位姿的结果作为该吊具相机相对于集装箱的位姿。
21.s6：根据坐标变换理论，求取以吊具相机构建的各吊具相机坐标系的相对位姿的解算；具体采用如下方法：令集装箱世界坐标系中存在一点，则该点在吊具相机a中的坐标变换关系为：，和为吊具相机a相对于集装箱的位姿，同理可得到点在吊具相机b、c和d中的坐标变换关系为，，；、、与为点在吊具相机a、b、c和d对应的坐标系中的三维坐标；联立上述方程，吊具相机b对应的吊具相机坐标系与吊具相机a对应的吊具相机坐标系之间的转换关系为：，则吊具相机b相对于吊具相机a的外参矩阵为：旋转矩阵，平移向量，其中为的逆矩阵；同样的，吊具相机c相对于吊具相机b的吊具相机坐标系之间的转换关系为：，为旋转向量，为平移向量，是的逆矩阵；吊具相机d相对于吊具相机c的吊具相机坐标系之间的转换关系为：，为旋转矩阵，
为平移向量，是的逆矩阵。
22.如图6—7所示，现在对本方案的多相机统一标定方法进行验证，首先利用20尺集装箱完成上述标定过程，将20尺集装箱放置在集装箱世界坐标系中心位置， 令吊具相机b相对于吊具相机a的外参数为：旋转矩阵、平移向量； 令吊具相机c相对于吊具相机b的外参数为：旋转矩阵、平移向量；令吊具相机d相对于吊具相机c的外参数为：旋转矩阵、平移向量；然后再用40尺集装箱做标定验证，在集装箱世界坐标系中心位置设置40尺集装箱：吊具伸缩两翼的宽度去匹配集装箱的长度，在当前40尺集装箱标定验证时，令吊具相机b相对于吊具相机a的外参数为：旋转矩阵、平移向量； 令吊具相机c相对于吊具相机b的外参数为：旋转矩阵、平移向量；令吊具相机d相对于吊具相机c的外参数为：旋转矩阵、平移向量；四个吊具相机a、b、c和d只发生水平位移，不会发生吊具相机间的相对旋转，吊具水平方向一端的吊具相机a或者c相对于另一端的吊具相机b或者d只在集装箱世界坐标系的xw轴方向平移；外参数中的旋转矩阵基本不变；吊具相机a或者c相对于吊具相机b或者d的平移向量在集装箱世界坐标系的xw方向与20尺集装箱标定时的平移向量的两倍，而其他轴向的平移量不变；故存在如下关系：；；；；；；；；；
；其中各平移向量后缀的、与分别表示该平移向量在集装箱世界坐标系三个坐标轴方向的分量。同时满足上述关系，则表示标定验证成功，否则表示验证失败，需要重新从步骤s2—s6，然后再次20尺集装箱与40尺集装箱做验证。上述关系式中约等号两边偏差不超过5%，即可认为满足要求。
23.以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。