基于视觉引导的机器人装卸货控制方法、装置和机器人与流程

本发明涉及智能仓储物流及机器人控制，尤其涉及一种基于视觉引导的机器人装卸货控制方法、装置和机器人。

背景技术：

1、在仓储物流中，月台装卸与拆码垛作为物流核心环节，复合机器人被引入该环节以替代人工完成装卸作业。

2、复合机器人将机械臂搭载于自主移动平台上，平台带动机械臂在月台与货车之间灵活移动，从而将机械臂的工作空间扩展至整个装卸区域。针对复合机器人的视觉引导，通常采用多相机视觉引导的堆垛姿态规划方法，通过布置于装卸区域不同位置的多台相机获取货物堆垛的多视角图像，融合生成货物的三维位姿信息，据此规划货物的放置顺序和放置位姿。

3、然而，上述现有技术方案仍存在以下不足：

4、其一，现有方案主要侧重于解决货物放置阶段的位姿规划问题，而对于如何从随机堆叠的货物中有效抓取货物的动态规划与精准控制覆盖不足；

5、其二，现有复合机器人的视觉引导，移动平台首先行驶至目标区域并完全停止，随后启动视觉系统进行扫描识别，待完成全部感知和规划后机械臂才开始执行抓取，导致作业周期延长，影响整体效率。

技术实现思路

1、本发明实施例提供了一种基于视觉引导的机器人装卸货控制方法、装置和机器人，以解决现有技术中机器人在装卸货作业时，因采用先停再抓的作业模式导致作业周期长，以及侧重于放置位姿规划而缺乏对随机堆叠工况下抓取端动态规划与精准控制的问题。

2、第一方面，本发明实施例提供了一种基于视觉引导的机器人装卸货控制方法，应用于机器人，所述机器人包括移动平台、全局视觉传感器、设置于所述移动平台上的机械臂以及设置于所述机械臂末端的末端视觉传感器，所述控制方法包括：

3、获取所述全局视觉传感器采集的装卸区域的三维信息，根据所述三维信息识别各货物及其位姿；

4、根据各所述货物的位姿进行抓取决策，确定目标货物及理论抓取位姿；

5、在所述移动平台向所述目标货物行进的过程中，根据所述移动平台的实时位姿与所述目标货物的位姿，更新所述目标货物相对于所述机械臂的相对位姿，并根据所述相对位姿调整所述机械臂的姿态；

6、当所述移动平台到达目标区域时，控制所述末端视觉传感器对所述目标货物进行局部成像，根据局部成像数据对所述理论抓取位姿进行补偿，生成最终抓取位姿；

7、根据所述最终抓取位姿控制所述机械臂抓取所述目标货物。

8、第二方面，本发明实施例提供了一种基于视觉引导的机器人装卸货控制装置，应用于机器人，所述机器人包括移动平台、全局视觉传感器、设置于所述移动平台上的机械臂以及设置于所述机械臂末端的末端视觉传感器，包括：

9、货物识别模块，用于获取所述全局视觉传感器采集的装卸区域的三维信息，根据所述三维信息识别各货物及其位姿；

10、理论抓取位姿确定模块，用于根据各所述货物的位姿进行抓取决策，确定目标货物及理论抓取位姿；

11、机械臂姿态调整模块，用于在所述移动平台向所述目标货物行进的过程中，根据所述移动平台的实时位姿与所述目标货物的位姿，更新所述目标货物相对于所述机械臂的相对位姿，并根据所述相对位姿调整所述机械臂的姿态；

12、最终抓取位姿生成模块，用于当所述移动平台到达目标区域时，控制所述末端视觉传感器对所述目标货物进行局部成像，根据局部成像数据对所述理论抓取位姿进行补偿，生成最终抓取位姿；

13、抓取控制模块，用于根据所述最终抓取位姿控制所述机械臂抓取所述目标货物。

14、第三方面，本发明实施例提供了一种料箱机器人，所述料箱机器人包括：

15、移动平台；

16、设置于所述移动平台上的机械臂以及设置于所述机械臂末端的末端视觉传感器；

17、全局视觉传感器；

18、一个或多个控制器；

19、存储装置，用于存储一个或多个程序；

20、所述移动平台、全局视觉传感器以及末端视觉传感器均与所述控制器通信；

21、当所述一个或多个程序被所述一个或多个控制器执行，使得所述一个或多个控制器实现第一方面所述的基于视觉引导的机器人装卸货控制方法。

22、本发明实施例通过获取全局视觉传感器采集的装卸区域的三维信息识别各货物及其位姿，进行抓取决策确定目标货物及理论抓取位姿，在移动平台行进过程中持续更新目标货物相对于机械臂的相对位姿并实时调整机械臂姿态，实现了边移动边规划的并行作业模式，充分利用了移动平台的行驶时间窗口，显著缩短了单个货物的抓取作业周期；同时，通过全局视觉进行大范围感知与抓取规划、末端视觉进行局部精确成像与位姿补偿，既保证了抓取决策的全局最优性，又保障了最终抓取位姿的局部精度，使机器人能够在移动过程中完成从目标识别到姿态预调整的全流程，到达目标区域后仅需局部补偿即可执行抓取，大幅提升了装卸作业的整体效率。此外，通过在行进过程中根据移动平台的实时位姿与目标货物的位姿持续更新相对位姿，消除了平台运动对目标定位精度的影响，克服了传统方案中必须在静止状态下才能准确获取目标位姿的技术偏见。

1.一种基于视觉引导的机器人装卸货控制方法，其特征在于，应用于机器人，所述机器人包括移动平台、全局视觉传感器、设置于所述移动平台上的机械臂以及设置于所述机械臂末端的末端视觉传感器，所述控制方法包括：

2.根据权利要求1所述的控制方法，其特征在于，获取所述全局视觉传感器采集的装卸区域的三维信息，根据所述三维信息识别各货物及其位姿，包括：

3.根据权利要求2所述的控制方法，其特征在于，根据各所述货物的位姿进行抓取决策，确定目标货物及理论抓取位姿，包括：

4.根据权利要求1所述的控制方法，其特征在于，在所述移动平台向所述目标货物行进的过程中，根据所述移动平台的实时位姿与所述目标货物的位姿，更新所述目标货物相对于所述机械臂的相对位姿，包括：

5.根据权利要求1所述的控制方法，其特征在于，根据所述相对位姿调整所述机械臂的姿态，包括：

6.根据权利要求1所述的控制方法，其特征在于，根据局部成像数据对所述理论抓取位姿进行补偿，生成最终抓取位姿，包括：

7.根据权利要求6所述的控制方法，其特征在于，根据所述实际表面法向量与预设的理想抓取法向量之间的偏差角度，计算抓取姿态旋转补偿量，以及根据所述实际抓取面几何特征的质心偏移量，计算抓取位置平移补偿量，包括：

8.根据权利要求1-7任一项所述的控制方法，其特征在于，还包括：

9.一种基于视觉引导的机器人装卸货控制装置，其特征在于，应用于机器人，所述机器人包括移动平台、全局视觉传感器、设置于所述移动平台上的机械臂以及设置于所述机械臂末端的末端视觉传感器，包括：

10.一种机器人，其特征在于，所述机器人包括：