一种基于多模态感知与自适应学习的具身智能机器人控制方法及系统与流程

本发明属于机器人控制，具体涉及一种基于多模态感知与自适应学习的具身智能机器人控制方法及系统。

背景技术：

1、具身智能机器人在执行精密装配、柔性物体抓取等接触密集型任务时，依赖多模态感知信息对环境进行理解并做出决策。现有技术普遍采用多模态融合与强化学习结合的方式构建控制策略。然而，此类方案通常将多模态融合视为一个独立的信息编码过程，将决策控制视为另一个独立的策略映射过程，两者之间缺乏深层的信号交互。

2、首先，多模态融合所产生的不确定性信息未被充分利用。当部分传感器因遮挡、噪声或故障而产生低质量数据时，融合网络通常只能输出一个“最佳猜测”的环境状态表征向量，但这一表征的可靠性有多高，以及哪条感知数据流不可靠，这些信息并未传递给下游的决策和学习模块。这导致策略网络在不可靠的感知基础上做出错误决策，而在线学习算法则可能将感知噪声错误地归因于环境动力学变化，从而污染内部世界模型，造成策略震荡。

3、其次，任务规划层面的重规划触发条件过于单一，通常仅依赖策略网络输出的动作概率置信度。这种置信度反映的是策略对当前状态-动作空间的认知不确定性，无法感知因传感器漂移或物理接触异常（如滑落、卡滞）带来的危险。当发生接触异常时，单纯的置信度阈值可能无法及时触发恢复动作，导致任务失败甚至硬件损坏。

4、因此，需要一种将多模态不确定性从感知层贯通至学习层和规划层的控制架构，使得系统能够将感知质量作为全局信号，自适应地调控学习过程和规划逻辑，从而在复杂物理交互中实现稳定、安全的在线自适应。

技术实现思路

1、本发明的目的是提供一种基于多模态感知与自适应学习的具身智能机器人控制方法及系统，本发明主要在多模态感知存在不确定性和突发物理交互异常的情况下，实现具身智能机器人在线学习的稳定性与任务规划的安全性。

2、本发明采取的技术方案具体如下：

3、一种基于多模态感知与自适应学习的具身智能机器人控制方法及系统，将多模态融合模块生成的不确定性估计值定义为一个“跨层共享的可靠性度量信号”，使该信号同时作用于三个层面：

4、调节自适应学习控制模块中经验数据的置信权重，实现感知质量对学习速率的闭环调控；

5、与策略输出的原始动作置信度聚合生成综合动作置信度，实现感知质量对规划决策的闭环调控；

6、当触觉/力觉检测到物理接触异常时，不仅强制触发重规划，更将异常数据标记后注入经验回放缓冲区，建立物理安全事件对学习过程的直接保护。

7、具体地，所述方法包括：建立多模态感知与状态表征模块，该模块被配置为接收视觉数据流、触觉数据流、力觉数据流和音频数据流，并通过基于跨模态注意力机制与不确定性估计的多模态融合网络，输出环境状态表征向量以及对应于各感知数据流的不确定性估计值，所述不确定性估计值作为跨层共享的可靠性度量信号。构建自适应学习控制模块，该模块内部维护基于元梯度在线更新的世界模型与策略网络，并维护一个内循环经验回放缓冲区。所述自适应学习控制模块被配置为：接收由环境状态表征向量与机器人当前关节状态向量拼接形成的完整状态输入；接收所述不确定性估计值，并依据所述不确定性估计值调整所述内循环经验回放缓冲区中对应交互数据片段的置信权重，以在元梯度计算中抑制高不确定性估计值对应的交互数据片段的贡献；通过所述世界模型根据完整状态输入和当前执行动作预测隐状态与奖励，并通过所述策略网络以隐状态为条件输出动作参数。构建动态任务规划器，该动态任务规划器被配置为：根据任务目标描述和环境状态表征向量生成子目标序列；接收策略网络输出的原始动作置信度，并将该原始动作置信度与所述不确定性估计值进行聚合，生成综合动作置信度；在所述综合动作置信度低于预设重规划阈值时，触发子目标序列的重生成；利用所述触觉数据流与力觉数据流构建接触稳定性评估指标，并在该接触稳定性评估指标的变化超过预设突变阈值时，强制触发子目标序列的重生成，同时生成异常标记信号；响应于所述异常标记信号，将触发时刻的交互数据片段标记为异常片段并注入所述内循环经验回放缓冲区，以阻止所述异常片段主导所述世界模型与所述策略网络的元梯度方向。通过执行机构执行动作参数，并形成从执行结果到多模态感知与状态表征模块的感知闭环。

8、相应地，本发明提供一种控制系统，该系统包括：多模态感知模块，多模态融合与状态表征模块，自适应学习控制模块，动态任务规划器，以及执行接口。关键在于，所述多模态融合与状态表征模块的“不确定性估计值”输出端，分别连接至自适应学习控制模块的置信权重调节输入端和动态任务规划器的置信度聚合输入端；所述动态任务规划器的异常标记信号输出端，连接至自适应学习控制模块的异常注入输入端。由此，不确定性信号和物理异常标记信号形成了跨模块的闭环调控网络。

9、本发明取得的技术效果为：

10、本发明通过将多模态感知融合产生的不确定性估计值，明确定义为一个贯穿感知、学习与规划三层的“跨层共享的可靠性度量信号”，构建了现有技术所不具备的闭环协同控制架构，并由此带来以下有益效果：

11、显著提升在线学习的稳定性。通过将不确定性估计值用于调节内循环经验回放缓冲区中交互数据片段的置信权重，使高噪声、低质量数据对元梯度更新的贡献被自动抑制，避免了感知噪声污染世界模型。实验数据表明，本发明方案将世界模型预测误差从0.320降至0.140，高噪声段的元梯度方差降低超过70%，从根本上保障了学习过程的平稳收敛。

12、大幅增强复杂接触任务的成功率与安全性。通过将不确定性估计值与原始动作置信度聚合生成综合动作置信度，使任务规划器能够预见感知质量恶化并提前重规划；同时，基于触觉与力觉的接触稳定性评估指标在检测到物理异常时，不仅强制重规划，更将异常交互数据片段标记并以极低权重注入经验缓冲区，防止突发异常破坏模型的长期知识。实验显示，本发明方案将任务成功率从80.1%提升至95.7%，遭遇卡滞后的平均恢复步数从29.5步锐减至11.8步，策略收敛所需交互片段数缩短近一半。这些多维度的跨越式提升，来自感知-学习-规划闭环协同调控所产生的非显而易见的技术效果。

1.一种基于多模态感知与自适应学习的具身智能机器人控制方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于跨模态注意力机制与不确定性估计的多模态融合网络包括为各模态独立设置的特征编码器、跨模态注意力计算层以及不确定性估计子网络；所述不确定性估计子网络输出各模态特征对应的方差参数，所述多模态融合与状态表征模块以所述方差参数的倒数作为可靠性系数，对各模态的注意力增强特征进行加权融合，得到所述环境状态表征向量；所述方差参数被直接用作所述不确定性估计值。

3.根据权利要求1所述的方法，其特征在于，所述依据不确定性估计值调整所述内循环经验回放缓冲区中对应交互数据片段的置信权重，包括：对于每一条存入所述内循环经验回放缓冲区的交互数据片段，使用其采集时刻的多条感知数据流的不确定性估计值的平均值或最大值，通过递减映射函数计算得到该交互数据片段的置信权重；在从所述内循环经验回放缓冲区采样以执行内循环梯度下降时，使用所述置信权重对损失进行加权。

4.根据权利要求1所述的方法，其特征在于，所述将所述原始动作置信度与所述不确定性估计值进行聚合，包括：将所述策略网络输出的最大动作概率作为所述原始动作置信度，将当前时刻所有感知数据流的不确定性估计值的平均值作为感知不确定度，计算所述综合动作置信度为所述原始动作置信度与一减去所述感知不确定度的乘积。

5.根据权利要求1所述的方法，其特征在于，所述接触稳定性评估指标为触觉接触面积变化率与力觉力矩波动的加权和；所述预设突变阈值为历史正常接触状态下所述接触稳定性评估指标的三个标准差；当所述接触稳定性评估指标超过所述预设突变阈值时，判定为发生异常接触。

6.一种基于多模态感知与自适应学习的具身智能机器人控制系统，其特征在于，包括：

7.根据权利要求6所述的系统，其特征在于，所述基于跨模态注意力机制与不确定性估计的多模态融合网络包括为各模态独立设置的特征编码器、跨模态注意力计算层以及不确定性估计子网络；所述不确定性估计子网络输出各模态特征对应的方差参数，所述多模态融合与状态表征模块以所述方差参数的倒数作为可靠性系数进行加权融合，并将所述方差参数作为所述不确定性估计值输出。

8.根据权利要求6所述的系统，其特征在于，所述自适应学习控制模块通过从所述内循环经验回放缓冲区采样并执行内循环梯度下降，计算出用于更新所述基于元梯度在线更新的世界模型和所述策略网络主干参数的元梯度；在计算梯度时，使用所述置信权重对采样到的交互数据片段的损失进行加权。

9.根据权利要求6所述的系统，其特征在于，所述动态任务规划器通过将所述策略网络输出的最大动作概率作为所述原始动作置信度，将当前时刻所有感知数据流的不确定性估计值的平均值作为感知不确定度，计算所述综合动作置信度为所述原始动作置信度与一减去所述感知不确定度的乘积。