一种多模态感知融合的具身机器人控制系统

本发明涉及机器人智能控制，具体为一种多模态感知融合的具身机器人控制系统。

背景技术：

1、随着工业仓储分拣、物料搬运和柔性制造作业中自动化程度不断提高，具身机器人逐渐被用于完成目标物识别、抓取、转移和放置等作业。现有具身机器人通常通过工业相机、深度相机、机械臂编码器、力传感器和触觉阵列等设备获取环境信息与自身状态信息，并根据采集结果生成机械臂运动轨迹和夹爪控制动作。

2、在工业仓储分拣作业区域内，目标物常处于堆叠、遮挡、相互贴靠或包装反光状态，单纯依赖视觉图像难以准确确定目标物的可抓取区域；单纯依赖深度点云又容易受到边界缺失、点云空洞和邻近物干涉的影响，导致抓取点定位不稳定。现有机器人在末端执行器由目标对位阶段进入接触阶段时，通常仍沿用固定的视觉或深度控制依据，缺少根据实际接触力和触觉接触面积变化进行控制主导关系切换的机制，容易出现夹爪闭合时机提前、末端贴合误判或目标物被推移的问题。

3、在抓取和搬运过程中，目标物可能发生微小滑移、偏夹、夹持力波动、接触面积不足或挤压变形。现有控制方式往往在抓取失败后才重新规划，缺少对抓取异常先兆的提前评估，难以及时进行微动补偿。不同传感数据具有采样频率、空间坐标和物理量纲差异，若直接进行融合，容易造成多模态数据不同步、控制依据不一致和策略触发冲突。

技术实现思路

1、本发明的目的在于提供一种多模态感知融合的具身机器人控制系统，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种多模态感知融合的具身机器人控制系统，包括：

4、多模态数据采集模块，用于采集工业仓储分拣作业区域内的目标视觉状态数据、深度空间状态数据、末端位姿状态数据、末端接近距离数据和力触觉接触状态数据，并进行数据预处理，建立多模态同步融合数据集；

5、可抓取可信域评估模块，用于基于多模态同步融合数据集中的目标视觉状态数据、深度空间状态数据和末端位姿状态数据，计算目标可抓取可信域系数，并进行可执行抓取控制条件评估，获取目标物抓取状态评估结果；

6、接触主导切换模块，用于基于多模态同步融合数据集中的末端接近距离数据和力触觉接触状态数据，计算接触模态主导切换系数，进行接触控制接管条件评估，获取接触主导状态评估结果，并触发抓取异常先兆评估机制；

7、抓取异常先兆评估模块，用于启动抓取异常先兆评估流程，并基于多模态同步融合数据集中的目标视觉状态数据、末端位姿状态数据和力触觉接触状态数据，计算抓取异常先兆指数，进行抓取保持条件评估，获取抓取异常状态评估结果；

8、综合控制策略模块，用于基于目标物抓取状态评估结果、接触主导状态评估结果和抓取异常状态评估结果进行控制仲裁，确定具身机器人综合控制模式，生成对应的运动控制指令、夹爪控制指令和采集复核指令。

9、进一步地，所述多模态数据采集模块包括目标视觉状态采集单元、深度空间状态采集单元、末端位姿采集单元、末端距离采集单元、力触觉接触采集单元和多模态同步融合单元；

10、所述目标视觉状态采集单元用于对工业仓储分拣作业区域内目标物的视觉可见状态进行实时监测，采集目标视觉状态数据，包括目标物视觉图像、目标物可见区域面积、目标物遮挡区域面积和目标物微位移值；

11、所述深度空间状态采集单元用于对目标物、邻近物以及末端执行器之间的空间位置关系进行实时监测，采集深度空间状态数据，包括深度轮廓完整度和邻近物干涉值；

12、所述末端位姿采集单元用于对机械臂末端执行器的运动位置和姿态变化进行实时监测，采集末端位姿状态数据，包括末端实时位置数据、末端可达姿态匹配值和末端姿态偏差值；

13、所述末端距离采集单元用于对末端执行器与目标物之间的接近距离进行实时监测，采集末端接近距离数据，包括目标物抓取点位置数据、末端目标空间距离数据和末端与目标物之间的距离；

14、所述力触觉接触采集单元用于对夹爪与目标物之间的接触受力状态和接触面积变化进行实时监测，采集力触觉接触状态数据，包括夹爪接触力、夹爪压力波动值和触觉接触面积。

15、进一步地，所述多模态同步融合单元用于对采集的目标视觉状态数据、深度空间状态数据、末端位姿状态数据、末端接近距离数据和力触觉接触状态数据进行时间同步处理、空间坐标统一处理和量纲归一化处理，获取取值范围统一的无量纲归一化数据，包括：目标物可见区域面积归一值、目标物遮挡区域面积归一值、深度轮廓完整度归一值、末端可达姿态匹配归一值、邻近物干涉归一值、末端与目标物之间的归一化距离、夹爪接触力归一值、触觉接触面积归一值、目标物微位移归一值、末端姿态偏差归一值和夹爪压力波动归一值，建立同一作业时刻下的多模态同步融合数据集。

16、进一步地，所述可抓取可信域评估模块包括可信域计算单元和可信域分析单元；

17、所述可信域计算单元用于基于多模态同步融合数据集，提取目标物可见区域面积归一值、目标物遮挡区域面积归一值、深度轮廓完整度归一值、末端可达姿态匹配归一值和邻近物干涉归一值，计算获取目标可抓取可信域系数。

18、进一步地，所述可信域分析单元用于通过预设可抓取可信阈值，并与目标可抓取可信域系数进行对比分析，获取目标物抓取状态评估结果包括：

19、当目标可抓取可信域系数≥可抓取可信阈值时，判定目标物处于抓取控制就绪状态；

20、当目标可抓取可信域系数＜可抓取可信阈值时，判定目标物处于抓取控制待确认状态。

21、进一步地，所述接触主导切换模块包括切换系数计算单元和切换状态分析单元；

22、所述切换系数计算单元用于基于多模态同步融合数据集，提取末端与目标物之间的归一化距离、夹爪接触力归一值和触觉接触面积归一值，计算获取接触模态主导切换系数。

23、进一步地，所述切换状态分析单元用于通过预设接触切换阈值，并与接触模态主导切换系数进行对比分析，获取接触主导状态评估结果包括：

24、当接触模态主导切换系数≥接触切换阈值时，判定机械臂处于力触觉主导接触状态，并触发抓取异常先兆评估机制；

25、当接触模态主导切换系数<接触切换阈值时，判定机械臂处于视觉深度引导对位状态。

26、进一步地，所述抓取异常先兆评估模块包括异常指数计算单元和异常状态分析单元；

27、所述异常指数计算单元用于启动抓取异常先兆评估流程，并基于多模态同步融合数据集，提取目标物微位移归一值、末端姿态偏差归一值、夹爪压力波动归一值和触觉接触面积归一值，计算获取抓取异常先兆指数。

28、进一步地，所述异常状态分析单元用于通过预设异常先兆阈值，并与抓取异常先兆指数进行对比分析，获取抓取异常状态评估结果包括：

29、当抓取异常先兆指数＜异常先兆阈值时，判定机器人处于抓取保持稳定状态；

30、当抓取异常先兆指数≥异常先兆阈值时，判定机器人处于抓取异常先兆状态。

31、进一步地，所述综合控制策略模块包括综合状态匹配单元和控制策略输出单元；

32、所述综合状态匹配单元用于基于目标物抓取状态评估结果、接触主导状态评估结果和抓取异常状态评估结果，进行控制仲裁，获取具身机器人综合控制模式，包括：

33、当目标物处于抓取控制待确认状态时，确定具身机器人为抓取条件重构模式；

34、当目标物处于抓取控制就绪状态，并且机械臂处于视觉深度引导对位状态时，确定具身机器人为视觉深度对位控制模式；

35、当目标物处于抓取控制就绪状态、机械臂处于力触觉主导接触状态，并且机器人处于抓取保持稳定状态时，确定具身机器人为力触觉微动抓取控制模式；

36、当机器人处于抓取异常先兆状态时，触发有限状态机中的异常互斥锁定规则，确定具身机器人为抓取异常补偿模式，并将视觉深度对位控制模式和力触觉微动抓取控制模式置为不可匹配状态；

37、所述控制策略输出单元用于基于确定的具身机器人综合控制模式，并根据具身机器人综合控制模式生成对应的运动控制指令、夹爪控制指令和采集复核指令，包括：

38、当具身机器人被确定为抓取条件重构模式时，生成抓取条件重构策略：控制机器人执行视角重采集、目标物抓取点位置重新定位、抓取顺序调整和邻近物避让动作，并将重新采集的数据返回至多模态同步融合单元；

39、当具身机器人被确定为视觉深度对位控制模式时，生成视觉深度对位策略：控制机器人依据目标视觉状态数据和深度空间状态数据生成末端对位轨迹、抓取入口位置和夹爪预闭合区域，并控制机械臂进入目标物抓取点位置；

40、当具身机器人被确定为力触觉微动抓取控制模式时，生成力触觉微动抓取策略：控制机器人依据力触觉接触状态数据执行末端微位移调整、夹爪分段闭合和接触贴合保持动作；

41、当具身机器人被确定为抓取异常补偿模式时，生成抓取异常补偿策略：控制机器人执行夹爪收紧、末端姿态调整、二次贴合、暂停复核和重新抓取动作。

42、与现有技术相比，本发明的有益效果是：

43、本发明通过对目标视觉状态数据、深度空间状态数据、末端位姿状态数据和末端接近距离数据进行时间同步、空间坐标统一和量纲归一化处理，建立同一作业时刻下的多模态同步融合数据集，并基于目标可抓取可信域系数判断目标物是否具备可执行抓取控制条件。相比单独依赖视觉图像或深度点云的方式，能够降低遮挡、轮廓缺失、邻近物干涉和末端姿态不匹配对抓取入口确定的影响，提高抓取控制就绪状态判定的可靠性。

44、本发明在机械臂由视觉深度引导对位进入夹爪接触操作时，通过接触模态主导切换系数综合表征末端距离、夹爪接触力和触觉接触面积，使机器人能够在接触控制接管条件达标后切换至力触觉主导接触状态。由此避免在接触信号不足时提前闭合夹爪，也避免在目标物已进入有效接触作用范围后仍依赖远端视觉深度信息，从而减少末端贴合误判、目标物推移碰撞和夹爪闭合时机不准确的问题。

45、本发明通过抓取异常先兆指数对目标物微位移、末端姿态偏差、夹爪压力波动和触觉接触面积不足进行综合评估，并结合综合状态匹配单元进行控制仲裁，使机器人能够在抓取异常先兆状态下及时进入抓取异常补偿模式。相比抓取失败后再重新规划的方式，本发明能够提前识别目标物脱离夹持、滑移跌落、挤压变形和搬运扰动碰撞风险，并通过夹爪微收紧、末端姿态微调、二次贴合、暂停复核和重新抓取等策略提高连续作业安全性。