多模态感知与人工智能语义分割的卸船机抓斗系统及方法与流程

本发明涉及港口工程机械自动化，尤其涉及一种卸船机抓斗姿态精准定位与智能控制的系统及方法。

背景技术：

1、卸船机抓斗作为大型港口散货装卸作业的核心执行部件，广泛应用于煤矿、粮食等大宗商品的转运工作。典型的抓斗式卸船机通过钢丝绳卷筒驱动抓斗在船舱与目标容器之间往复运动，利用颚板的开闭来实现物料的抓取与释放。

2、然而，传统的卸船机作业通常依赖人工在驾驶室进行近距离操作。为了保证视野，重达数十吨的驾驶室往往需要跟随抓斗进行同步移动。例如，抓斗本身自重约16吨，额定载荷约40吨，但为了操作这一抓斗，系统往往需要驱动总重超过50吨的小车及驾驶室机构进行频繁的加减速运动。这种模式不仅导致了无效行程能耗，而且巨大的运动惯性也显著增加了系统的机械磨损，影响了系统精度。同时，抓斗在运动过程中受海风、船体晃动、货物偏载以及启制动惯性等多重因素影响，抓斗极易产生非线性的无序摆动。现有的开环控制或简单的pid闭环控制难以对这种复杂的摆动进行精准预测和抑制，导致抓斗在进入船舱口时经常发生碰撞，或者在抓取点定位时产生较大偏差。据统计，现有系统的定位精度普遍低于30mm，因此业界亟需一种更高精度的卸船机抓斗系统。

3、卸船作业环境极其恶劣，特别是抓取干燥的煤炭或矿粉时，瞬间腾起的粉尘浓度极高，能见度往往不足1米。业界出现有基于工业相机的视觉定位系统，但是由于在浓尘环境下会因光线散射而遮挡，无法提取抓斗轮廓。而单一的激光雷达虽然具有一定的穿透性，但在高浓度悬浮颗粒物中会产生大量噪点，导致点云数据严重失真，无法正确拟合出抓斗的位姿。

4、综上所述，如何在复杂工况下，实现卸船机抓斗的毫米级精准定位和控制，已成为制约港口自动化的技术瓶颈。因此，迫切需要一种融合多模态感知技术与人工智能算法的卸船机抓斗系统，以解决上述问题。

技术实现思路

1、本发明提供了一种多模态感知与人工智能语义分割的卸船机抓斗系统及方法，目的是解决现有卸船机抓斗系统的定位精度低、抗干扰能力差等问题。

2、本发明一方面提供了一种多模态感知与人工智能语义分割的卸船机抓斗系统，包括多模态数据采集装置、数据处理装置及执行装置，该数据处理装置接收多模态数据采集装置采集的数据，输出控制指令至执行装置，以控制抓斗运动；该多模态数据采集装置同步采集包含卸船机抓斗的作业场景的三维点云数据及rgb图像数据；该数据处理装置包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序以实现以下模块的功能：图像融合模块，将三维点云数据与rgb图像数据在特征层面进行融合；人工智能语义分割模块，包括人工智能语义分割网络，接收融合后的特征，并在作业场景中对抓斗进行语义分割，输出抓斗的边界信息；该人工智能语义分割模块还包括注意力门控模块；该注意力门控模块被配置为采用双通路权重分配机制，分别通过空间注意力通路生成空间权重图以抑制环境中的粉尘或悬浮颗粒特征，以及通过通道注意力通路动态调整特征通道的重要性，从而在人工智能语义分割网络中提升对抓斗进行语义分割的精度；位姿估计模块，根据抓斗的边界信息，计算得到作业场景中识别抓斗在作业场景中的位姿信息；路径规划模块，根据确定的位姿信息，利用强化学习与模型预测控制（rl-mpc）相结合的算法，生成运动轨迹指令；补偿模块，根据确定的位姿信息与运动轨迹指令之间的偏差进行实时误差修正，以生成修正后的运动控制指令；该执行装置接收来自补偿模块的修正后的运动控制指令，并据此驱动抓斗运动。

3、优选的，图像融合模块配置为：采用交叉模态关联机制，将经过体素化处理的点云特征与经过特征提取的图像特征进行动态加权融合；并且，图像融合模块还包括局部特征增强单元，用于对抓斗的铰链区域进行高斯加权采样，将该区域的点云密度提升至全局均值的预设倍数，以强化机械结构特征，从而提升抓斗关键机械结构（如铰链区）的可辨识性并提高融合度。

4、优选的，人工智能语义分割网络采用3d-unet++网络架构，该架构包括编码器、嵌套解码器及跳跃连接路径，其中跳跃连接路径引入密集连接块以融合几何细节与语义特征；人工智能语义分割网络配置为输出多尺度信息，该多尺度信息包括：语义分割头输出的概率图，该概率图构成抓斗的边界信息；关键点头输出的回归坐标，用于表征抓斗的铰链点或关节点的三维坐标；以及位姿头输出的预测结果，用于提供抓斗的旋转及平移的初值。

5、优选的，人工智能语义分割网络的多尺度信息输出具体配置为：语义分割头通过softmax输出抓斗、物料及背景的概率图；关键点头用于回归抓斗的6个关键铰链点的三维坐标；位姿头直接预测抓斗的旋转四元数和平移向量。

6、优选的，位姿估计模块被配置为：基于边界信息提取属于抓斗的点云子集，并计算其加权质心以确定位置信息；基于人工智能语义分割网络输出的铰链点特征，建立铰链点与抓斗主梁之间的几何刚性约束关系，并通过最小化投影误差的目标函数迭代优化，以确定抓斗的姿态信息。

7、优选的，路径规划模块配置为构建包含抓斗位姿、速度及障碍物距离的状态空间；强化学习与模型预测控制（rl-mpc）相结合的算法采用奖励函数，该奖励函数包含平滑性奖励项、目标接近奖励项以及姿态误差惩罚项；路径规划模块利用该算法在预设的预测时域内进行滚动优化，输出最优加速度指令序列作为运动轨迹指令。

8、优选的，路径规划模块在进行滚动优化时，设定预设的预测时域为多个控制步长，以预设时间间隔执行一次优化求解，并基于抓斗的动力学模型预测未来控制步长内的运动轨迹，求解出使得总代价函数最小的最优加速度指令序列，并仅执行该序列中的第一个指令以实现闭环控制。

9、优选的，补偿模块配置为通过惯性测量单元及视觉算法检测位姿偏差，并执行分级补偿策略：当位置误差超过第一预设阈值时，激活位置补偿控制器；当姿态误差超过第二预设阈值时，触发姿态校准流程。

10、优选的，多模态数据采集装置配置为根据抓斗的运动速度自适应调整滤波窗口大小：当抓斗处于低速状态时采用第一尺寸窗口，当抓斗处于高速状态时采用大于第一尺寸的第二尺寸窗口，以对采集的数据进行动态滤波，从而在精细作业与快速运动阶段之间兼顾精度与实时性。

11、本发明还提供一种多模态感知与人工智能语义分割的卸船机抓斗控制方法，包括：同步采集包含卸船机抓斗的作业场景的三维点云数据及rgb图像数据；将三维点云数据与rgb图像数据在特征层面进行融合；利用注意力门控模块对输入的特征进行处理；该处理步骤包括采用双通路权重分配机制：通过空间注意力通路生成空间权重图，以抑制环境中的粉尘或悬浮颗粒特征的梯度反向传播；以及通过通道注意力通路动态调整特征通道的重要性，以降低粉尘主导频段的权重；利用人工智能语义分割网络接收融合且处理后的特征，并在作业场景中对抓斗进行语义分割，输出抓斗的边界信息；根据抓斗的边界信息，计算得到作业场景中识别抓斗在作业场景中的位姿信息；根据确定的位姿信息，利用强化学习与模型预测控制（rl-mpc）相结合的算法，生成运动轨迹指令；根据确定的位姿信息与运动轨迹指令之间的偏差进行实时误差修正，以生成修正后的运动控制指令；接收来自补偿模块的修正后的运动控制指令，并据此驱动抓斗运动。

12、本发明通过将多模态采集与人工智能语义分割结合应用在卸船机领域，使得卸船机抓斗系统在复杂背景下的定位和控制更加精准，解决了现有卸船机抓斗系统的定位精度低、抗干扰能力差等问题。