控制方法、装置、工程机械车辆及计算机可读存储介质与流程

摘要: 本公开涉及车辆控制,特别涉及一种控制方法、控制装置、工程机械车辆、计算机可读存储介质及计算机程序产品。背景技术:1、近年来,全球港口集装箱吞吐量以年均5%以上的...
控制方法、装置、工程机械车辆及计算机可读存储介质与流程

本公开涉及车辆控制,特别涉及一种控制方法、控制装置、工程机械车辆、计算机可读存储介质及计算机程序产品。

背景技术:

1、近年来,全球港口集装箱吞吐量以年均5%以上的速度持续增长。自动化码头作为提升装卸效率、降低人力成本的关键路径,正加速向“无人化、零干预”目标迈进。在这一进程中,自动堆高机作为连接水平运输与堆垛作业的核心装备,其智能化水平直接决定了码头整体运营效率。

2、在相关技术中,驾驶员需依据目测判断和操作经验,确定工程机械车辆的位姿信息以实现对集装箱的抓取与堆放。

技术实现思路

1、本公开的发明人发现上述相关技术中存在如下问题:依赖驾驶员经验的调整方式,难以保证位姿精度,导致工程机械车辆的控制精度差。

2、鉴于此,本公开提出了一种控制技术方案,能够提高工程机械车辆的控制精度。

3、根据本公开的一些实施例,提供了一种控制方法,包括:根据集装箱的点云数据和图像数据,确定集装箱的空间位置信息;根据空间位置信息,确定集装箱所在作业场景中的工程机械车辆的位姿信息,位姿信息包括工程机械车辆的目标车身位姿和工程机械车辆的作业部件的目标作业位姿;响应于控制工程机械车辆的当前车身位姿达到目标车身位姿,控制作业部件按照目标作业位姿进行作业。

4、在一些实施例中,空间位置信息包括集装箱的中心信息,中心信息包括集装箱的几何中心位置和集装箱的前平面的法向量,前平面为集装箱朝向工程机械车辆的表面。

5、在一些实施例中,根据集装箱的点云数据和图像数据,确定集装箱的空间位置信息包括:根据点云数据,确定前平面的法向量;根据点云数据在参考方向上的极值位置,确定几何中心位置,参考方向根据点云数据所在的第一坐标系的坐标轴确定。

6、在一些实施例中,根据点云数据,确定前平面的法向量包括:根据点云数据的质心,构建点云数据的协方差矩阵;根据协方差矩阵中的最小特征值对应的特征向量,确定前平面的法向量。

7、在一些实施例中,集装箱的点云数据通过对作业场景中的点云数据进行区域生长分割获得。

8、在一些实施例中,空间位置信息包括集装箱的中心信息和集装箱的吊装部件的部件位姿信息,目标车身位姿根据中心信息确定,目标作业位姿至少根据部件位姿信息确定。

9、在一些实施例中,根据集装箱的点云数据和图像数据,确定集装箱的空间位置信息包括:根据点云数据,确定吊装部件的第一特征信息;根据图像数据与点云数据的对应关系,利用图像数据,调整吊装部件的第一特征信息,以得到第二特征信息;根据第二特征信息,确定部件位姿信息。

10、在一些实施例中,根据图像数据与点云数据的对应关系,利用图像数据,调整吊装部件的第一特征信息包括:利用图像数据,确定吊装部件在图像数据中的边缘信息;根据边缘信息以及对应关系,调整第一特征信息。

11、在一些实施例中,根据第二特征信息,确定部件位姿信息包括:根据第二特征信息和吊装部件对应的模板点云数据,确定部件位姿信息。

12、在一些实施例中,空间位置信息还包括集装箱的高度信息,用于确定目标作业位姿,根据集装箱的点云数据和图像数据,确定集装箱的空间位置信息包括:根据点云数据,确定集装箱的顶点位置;根据顶点位置,确定集装箱的高度信息。

13、在一些实施例中,根据点云数据,确定集装箱的顶点位置包括:根据集装箱的点云数据,拟合集装箱的前平面的平面方程,前平面为集装箱朝向工程机械车辆的表面;根据前平面的平面方程,确定前平面的顶点位置。

14、根据本公开的另一些实施例,提供一种控制装置,包括:第一确定模块,用于根据集装箱的点云数据和图像数据,确定集装箱的空间位置信息;第二确定模块,用于根据空间位置信息,确定集装箱所在作业场景中的工程机械车辆的位姿信息,位姿信息包括工程机械车辆的目标车身位姿和工程机械车辆的作业部件的目标作业位姿;控制模块,用于响应于控制工程机械车辆的当前车身位姿达到目标车身位姿,控制作业部件按照目标作业位姿进行作业。

15、在一些实施例中,空间位置信息包括集装箱的中心信息,中心信息包括集装箱的几何中心位置和集装箱的前平面的法向量,前平面为集装箱朝向工程机械车辆的表面。

16、在一些实施例中,第一确定模块根据点云数据,确定前平面的法向量;根据点云数据在参考方向上的极值位置,确定几何中心位置,参考方向根据点云数据所在的第一坐标系的坐标轴确定。

17、在一些实施例中,第一确定模块根据点云数据的质心,构建点云数据的协方差矩阵;根据协方差矩阵中的最小特征值对应的特征向量,确定前平面的法向量。

18、在一些实施例中,集装箱的点云数据通过对作业场景中的点云数据进行区域生长分割获得。

19、在一些实施例中,空间位置信息包括集装箱的中心信息和集装箱的吊装部件的部件位姿信息,目标车身位姿根据中心信息确定,目标作业位姿至少根据部件位姿信息确定。

20、在一些实施例中,第一确定模块根据点云数据,确定吊装部件的第一特征信息;根据图像数据与点云数据的对应关系,利用图像数据,调整吊装部件的第一特征信息,以得到第二特征信息;根据第二特征信息,确定部件位姿信息。

21、在一些实施例中,第一确定模块利用图像数据,确定吊装部件在图像数据中的边缘信息;根据边缘信息以及对应关系,调整第一特征信息。

22、在一些实施例中,第一确定模块根据第二特征信息和吊装部件对应的模板点云数据,确定部件位姿信息。

23、在一些实施例中,空间位置信息还包括集装箱的高度信息,用于确定目标作业位姿,第一确定模块根据点云数据,确定集装箱的顶点位置;根据顶点位置,确定集装箱的高度信息。

24、在一些实施例中,第一确定模块根据集装箱的点云数据,拟合集装箱的前平面的平面方程,前平面为集装箱朝向工程机械车辆的表面;根据前平面的平面方程,确定前平面的顶点位置。

25、根据本公开的又一些实施例,提供一种控制装置,包括:存储器;和耦接至存储器的处理器,处理器被配置为基于存储在存储器装置中的指令,执行上述任一个实施例中的控制方法。

26、根据本公开的又一些实施例,提供一种工程机械车辆,包括上述任意一个实施例中的控制装置。

27、根据本公开的再一些实施例,提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述任一个实施例中的控制方法。

28、根据本公开的再一些实施例,还提供了一种计算机程序产品,包括指令,指令当由处理器执行时使处理器执行根据上述任一个实施例中的控制方法。

29、在上述实施例中,相对于依赖人工经验同时调整车身位姿与作业位姿的方式,通过将工程机械车辆的位姿划分为车身位姿和作业部件的作业位姿,在车身位姿调整至目标车身位姿后,再对作业部件进行调整。这样,能够避免因车身位姿与集装箱未对齐而导致作业部件的控制偏差。并且,基于点云、图像等多模态的集装箱数据分别确定目标车身位姿和目标作业位姿,提高了位姿确定的准确性,从而进一步提高了工程机械车辆的控制精度。