用于校准卸船机的可视区域的方法和设备以及计算机装置与流程

摘要: 本申请涉及数据校准领域,并且具体地涉及用于校准卸船机的可视区域的方法和设备、计算机装置以及存储介质。背景技术:1、可以使用抓斗卸船机(gsu)的抓斗位置和舱口边...
用于校准卸船机的可视区域的方法和设备以及计算机装置与流程

本申请涉及数据校准领域,并且具体地涉及用于校准卸船机的可视区域的方法和设备、计算机装置以及存储介质。

背景技术:

1、可以使用抓斗卸船机(gsu)的抓斗位置和舱口边缘来引导操作员从停靠的货船上装载和卸载货物。多模态信号可以为前述目标场景带来丰富的信息,并可以适应各种天气和光照条件。对于基于感知的自动货物搬运系统,多模态处理器依赖于精确校准的光探测与测距(lidar)传感器和红绿蓝(rgb)相机。然而,由于特定的工作场景和起重机摆动,通常需要进行非交互校准。否则,校准失败将限制后续感知算法的性能以及卸船机的操作和使用。

技术实现思路

1、本公开的内容部分以简化形式提供以介绍一些所选概念,这些概念将在以下具体实施方案中进一步描述。本公开的内容部分不旨在标识所要求保护的主题的任何关键或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。

2、基于此,本申请公开了一种用于校准卸船机的可视区域的方法,所述方法包括:

3、获取所述卸船机的所述可视区域的三维点云数据,并从所述三维点云数据中获取抓斗的铰链的三维中心点;

4、获取所述卸船机的所述可视区域的二维图像数据,并从所述二维图像数据中获取所述抓斗的所述铰链的二维中心点;

5、将所述铰链在多个不同空间位置处的所述三维中心点与所述铰链的所述二维中心点进行匹配,以计算变换矩阵;以及

6、根据所述变换矩阵将所述卸船机的所述可视区域的所述三维点云数据拟合到所述二维图像数据中。

7、根据以上方法,可以在无靶标激光传感器与rgb相机之间进行位置校准。校准之后,可以将所述卸船机的所述可视区域的所述三维点云数据拟合到所述二维图像数据中,由此促进不同维度的信息的融合并补充信息量,并显著促进对所述卸船机的区域信息的分析和自动操作。

8、进一步地,所述获取所述卸船机的所述可视区域的三维点云数据,并从所述三维点云数据中获取抓斗的铰链的三维中心点包括:

9、根据通过对象检测器分割得到的抓斗位置的所述三维点云数据以及所述铰链与所述抓斗之间的位置关系来计算铰链位置区域;以及

10、根据所述铰链位置区域内的所述三维点云数据来计算所述铰链的所述三维中心点。

11、通过上述方法,可以准确地确定所述铰链的所述三维中心点,并且可以方便地将所述三维中心点与后续二维数据中的对应中心点进行匹配。

12、进一步地,所述获取所述卸船机的所述可视区域的二维图像数据,并从所述二维图像数据中获取所述抓斗的所述铰链的二维中心点包括:

13、在俯视视角下获取所述卸船机的所述可视区域的二维图像数据,并在所述俯视视角下从所述二维图像数据中获得所述抓斗的最小外接矩形区域;以及

14、在所述最小外接矩形区域内,通过扫描窗口模板匹配获得所述铰链的所述二维中心点。

15、通过上述方法,可以方便地获取所述抓斗和所述铰链的所述二维图像数据,以确定所述铰链的所述二维中心点,由此促进后续与所述三维中心点的匹配和校准。

16、进一步地,所述将所述铰链在多个不同空间位置处的所述三维中心点与所述铰链的所述二维中心点进行匹配,以计算变换矩阵包括:

17、将所述抓斗移动到不同位置,并获取所述铰链在所述不同位置处的对应三维中心点和二维中心点;以及

18、将多个三维中心点与多个二维中心点进行匹配,以计算所述变换矩阵。

19、通过上述方法,通过收集所述铰链在所述多个不同位置处的所述三维中心点和所述二维中心点,变换矩阵的计算更准确。

20、进一步地,本申请公开了一种用于校准卸船机的可视区域的设备,所述设备包括:

21、三维数据模块,所述三维数据模块被配置成获取所述卸船机的所述可视区域的三维点云数据,并从所述三维点云数据中获取抓斗的铰链的三维中心点;

22、二维数据模块,所述二维数据模块被配置成获取所述卸船机的所述可视区域的二维图像数据,并从所述二维图像数据中获取所述抓斗的所述铰链的二维中心点;

23、变换矩阵模块,所述变换矩阵模块被配置成将所述铰链在多个不同空间位置处的所述三维中心点与所述铰链的所述二维中心点进行匹配,以计算变换矩阵;以及

24、数据转换模块,所述数据转换模块被配置成根据所述变换矩阵将所述卸船机的所述可视区域的所述三维点云数据拟合到所述二维图像数据中。

25、本申请进一步提供了一种计算机装置,其包括存储器和处理器,其中所述存储器中存储有计算机程序,并且在所述处理器执行所述计算机程序时,实施上述方法。

26、本申请进一步提供了一种计算机可读存储介质,其中存储有计算机程序,其中所述计算机程序在由处理器执行时实施上述方法。

27、本申请进一步提供了一种计算机程序产品,所述计算机程序产品有形地存储在计算机可读介质上并且包括计算机可执行指令,其中所述计算机可执行指令在被执行时使至少一个处理器实施上述方法。

1.一种用于校准卸船机的可视区域的方法,所述方法包含:

2.根据权利要求1所述的方法,其中所述获取所述卸船机的所述可视区域的三维点云数据,并从所述三维点云数据中获取抓斗的铰链的三维中心点包含:

3.根据权利要求1所述的方法,其中所述获取所述卸船机的所述可视区域的二维图像数据,并从所述二维图像数据中获取所述抓斗的所述铰链的二维中心点包含:

4.根据权利要求1所述的方法,其中所述将所述铰链在多个不同空间位置处的所述三维中心点与所述铰链的所述二维中心点进行匹配,以计算变换矩阵包含:

5.一种用于校准卸船机的可视区域的设备(200),所述设备包含:

6.根据权利要求5所述的设备(200),其中所述三维数据模块(201)被配置成:

7.根据权利要求5所述的设备(200),其中所述二维数据模块(202)被配置成:

8.根据权利要求5所述的设备(200),其中所述变换矩阵模块(203)被配置成:

9.一种计算机装置,其包含存储器和处理器,其中所述存储器中存储有计算机程序,并且在所述处理器执行所述计算机程序时,实施根据权利要求1至4中任一项所述的方法的步骤。

10.一种计算机可读存储介质,其中存储有计算机程序,其中所述计算机程序在由处理器执行时实施根据权利要求1至4中任一项所述的方法的步骤。

11.一种计算机程序产品,其有形地存储在计算机可读介质上并且包含计算机可执行指令,其中所述计算机可执行指令在被执行时使至少一个处理器执行根据权利要求1至4中任一项所述的方法。