基于多模态感知的异构机器人协同处理方法、装置和设备与流程

本技术涉及机械臂控制，具体涉及一种基于多模态感知的异构机器人协同处理方法、装置和设备。

背景技术：

1、在物流仓储及生产线转运场景中，部分待搬运物料因尺寸较大或质量分布不均，超出单台机械臂的承载能力，需要两台机械臂同时作用于同一物料实施协同搬运。实际产线中常部署承载能力存在显著差异的异构机械臂组合，例如一台重载工业机械臂与一台轻型协作机械臂共同执行搬运任务。

2、现有多机械臂协同搬运方案主要采用几何轨迹同步方式，即为各台机械臂规划空间上相互匹配的末端运动轨迹，使其按相同时间序列完成搬运动作。该方案隐含的前提假设是各机械臂在执行相同形式的轨迹指令时，实际载荷将自然趋于均衡。

3、然而，异构机械臂由于机械本体设计差异，其结构刚度存在显著量级差别。重载机械臂通常采用大截面连杆和高刚度减速器，整体结构刚度高，承载状态下弹性变形较小；轻型机械臂为追求轻量化，采用薄壁连杆和柔顺关节模组，结构刚度显著低于重载机械臂，在相同外力下产生的弹性变形远大于重载机械臂。在几何轨迹同步控制下，即使两台机械臂的指令末端位姿在数学上严格匹配，但由于各自承载后产生的弹性变形方向和幅度不同，实际末端位姿将出现差异性偏离。当两台机械臂同时刚性约束于同一物料时，这种差异性变形无法自行消解，而是转化为通过物料传递的不可控内力，造成载荷分布偏离预期、物料姿态漂移的风险。

技术实现思路

1、本技术提供了一种基于多模态感知的异构机器人协同处理方法、装置和设备，能够在协同搬运同一物料时，实现载荷分配可控，避免物料姿态漂移。

2、本技术实施例的技术方案如下：

3、第一方面，本技术实施例提供了一种基于多模态感知的异构机器人协同处理方法，应用于包括重载机械臂和轻载机械臂的异构机器人系统，以对同一待搬运物料进行搬运，所述重载机械臂的第一承载能力大于所述轻载机械臂的第二承载能力，所述方法包括：

4、获取所述待搬运物料的视觉空间位姿，并将所述视觉空间位姿分别映射至所述重载机械臂的基坐标系和所述轻载机械臂的基坐标系，以确定协同接触位姿；

5、根据所述第一承载能力和所述第二承载能力的比例关系，确定所述重载机械臂对应的第一目标载荷和所述轻载机械臂对应的第二目标载荷；

6、将所述重载机械臂和所述轻载机械臂移动至所述协同接触位姿，共同接触并搬运所述待搬运物料，并计算所述待搬运物料的当前姿态与目标姿态之间的姿态偏差，其中，所述重载机械臂按照预先规划的主运动轨迹运动，所述轻载机械臂跟随所述重载机械臂运动，以辅助所述重载机械臂搬运；

7、获取所述重载机械臂沿承载方向的第一实际载荷和所述轻载机械臂沿承载方向的第二实际载荷，利用所述第二实际载荷和所述第二目标载荷计算所述轻载机械臂的载荷偏差；

8、根据所述载荷偏差和所述姿态偏差，生成所述轻载机械臂的位姿修正量和接触力修正量，控制所述轻载机械臂在辅助所述重载机械臂搬运的同时，根据所述位姿修正量和所述接触力修正量进行实时补偿。

9、在上述技术方案中，首先视觉位姿的坐标映射为两台异构机械臂提供了统一的空间目标基准；基于承载能力比例的目标载荷分配为力觉反馈建立了明确的偏差判据，使系统能够区分正常承载与刚度差异导致的寄生内力；主从架构使重载机械臂凭借其高结构刚度主导运动基准，同时赋予结构刚度较低的轻载机械臂独立于主运动的修正自由度；力觉感知获取的实际载荷与目标载荷之间的偏差直接驱动轻载机械臂进行位姿或接触力修正，使两臂刚度差异产生的差异性变形被轻载机械臂在每个控制周期内主动吸收，而非被动累积为不可控内力。通过建立基于承载能力比例的目标载荷分配并赋予轻载机械臂独立的力觉补偿能力，使异构机械臂因结构刚度差异产生的差异性弹性变形能够被实时感知和主动补偿，将两臂间的寄生内力维持在可控区间内，保障搬运过程中载荷分布的合理性和物料姿态的稳定性。

10、第二方面，本技术实施例提供了一种基于多模态感知的异构机器人协同处理装置，应用于包括重载机械臂和轻载机械臂的异构机器人系统，以对同一待搬运物料进行搬运，所述重载机械臂的第一承载能力大于所述轻载机械臂的第二承载能力，所述装置包括：

11、数据获取模块，用于获取所述待搬运物料的视觉空间位姿，并将所述视觉空间位姿分别映射至所述重载机械臂的基坐标系和所述轻载机械臂的基坐标系，以确定协同接触位姿；

12、载荷划分模块，用于根据所述第一承载能力和所述第二承载能力的比例关系，确定所述重载机械臂对应的第一目标载荷和所述轻载机械臂对应的第二目标载荷；

13、姿态偏差计算模块，用于将所述重载机械臂和所述轻载机械臂移动至所述协同接触位姿，共同接触并搬运所述待搬运物料，并计算所述待搬运物料的当前姿态与目标姿态之间的姿态偏差，其中，所述重载机械臂按照预先规划的主运动轨迹运动，所述轻载机械臂跟随所述重载机械臂运动，以辅助所述重载机械臂搬运；

14、载荷偏差计算模块，用于获取所述重载机械臂沿承载方向的第一实际载荷和所述轻载机械臂沿承载方向的第二实际载荷，利用所述第二实际载荷和所述第二目标载荷计算所述轻载机械臂的载荷偏差；

15、协助补偿模块，用于根据所述载荷偏差和所述姿态偏差，生成所述轻载机械臂的位姿修正量和接触力修正量，控制所述轻载机械臂在辅助所述重载机械臂搬运的同时，根据所述位姿修正量和所述接触力修正量进行实时补偿。

16、第三方面，本技术实施例提供了一种电子设备，包括处理器、存储器、用户接口、通信总线及网络接口，所述处理器、所述存储器、所述用户接口及所述网络接口分别与所述通信总线连接，所述存储器用于存储指令，所述用户接口和网络接口用于与其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述电子设备执行如第一方面提供的任意一项所述的方法。

17、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，执行上述第一方面提供的任意一项所述的方法。

18、综上所述，本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

19、1、由于采用了首先视觉位姿的坐标映射为两台异构机械臂提供了统一的空间目标基准；基于承载能力比例的目标载荷分配为力觉反馈建立了明确的偏差判据，使系统能够区分正常承载与刚度差异导致的寄生内力；主从架构使重载机械臂凭借其高结构刚度主导运动基准，同时赋予结构刚度较低的轻载机械臂独立于主运动的修正自由度；力觉感知获取的实际载荷与目标载荷之间的偏差直接驱动轻载机械臂进行位姿或接触力修正，使两臂刚度差异产生的差异性变形被轻载机械臂在每个控制周期内主动吸收，而非被动累积为不可控内力。通过建立基于承载能力比例的目标载荷分配并赋予轻载机械臂独立的力觉补偿能力，使异构机械臂因结构刚度差异产生的差异性弹性变形能够被实时感知和主动补偿，将两臂间的寄生内力维持在可控区间内，保障搬运过程中载荷分布的合理性和物料姿态的稳定性。所以，有效解决了相关技术中承载能力和结构刚度不同的异构机械臂在协同搬运同一物料时，因几何轨迹同步无法补偿各臂差异性弹性变形而导致的载荷分配不可控和物料姿态漂移的问题。

20、2、在异常状态下先由轻载机械臂调整支撑力或末端位姿；若未恢复，再控制两台机械臂协同停止、保持物料或安全放置，从而形成可执行的异常闭环。