一种机器人操作控制方法、装置、机器人及存储介质与流程

本公开实施例涉及机器人操作控制，更具体地，涉及一种机器人操作控制方法、一种机器人操作控制装置、一种机器人、及一种计算机可读存储介质。

背景技术：

1、近年来，视觉—语言—动作模型（vision-language-action，vla）与视觉世界模型已成为机器人操作控制的主流技术路线。现有方法通常以视觉信息为核心，通过视觉编码器获取环境的外观、位置和姿态信息，并据此生成机器人动作。在此基础上，视觉世界模型进一步引入动作条件，对动作执行后的未来视觉状态进行预测，以辅助机器人规划与控制。

2、然而，真实机器人与物理环境的交互过程不仅涉及可见的位姿变化，还伴随接触、压力、摩擦、物体形变及机器人本体状态变化等物理过程，上述信息通常无法由视觉信号直接、及时地表征，导致现有方法在接触状态感知、抓取稳定性判断和施力精度控制等方面存在不足。

技术实现思路

1、本公开实施例的一个目的是提供一种机器人操作控制的技术方案，以解决现有机器人操作控制方法以视觉信息为中心进行世界状态建模，缺乏对触觉、力觉及机器人本体状态等多模态物理信息的统一建模能力，导致机器人在接触状态感知、抓取稳定性判断和施力精度控制等方面存在不足的技术问题。

2、根据本公开的第一方面，提供了一种机器人操作控制方法，所述方法包括：

3、获取所述机器人执行目标任务过程中第一统计时段内的多模态任务数据，所述多模态任务数据包括所述目标任务的文本数据、所述机器人的视觉数据、触觉数据、力觉数据、动作数据；

4、对每个模态的任务数据分别进行编码处理，得到对应模态的第一特征向量；

5、将每个模态的第一特征向量映射至统一维度，得到各模态的第二特征向量；

6、对各模态的第二特征向量进行联合建模推理，得到所述机器人在第二统计时段内的目标动作特征向量；

7、根据所述目标动作特征向量得到所述机器人在所述第二统计时段内的目标动作数据；

8、在所述第二统计时段内执行所述目标动作数据。

9、可选地，所述对各模态的第二特征向量进行联合建模推理，得到所述机器人在第二统计时段内的目标动作特征向量，包括：对各模态的第二特征向量进行联合建模推理，得到所述机器人在第二统计时段内的多模态预测估计结果，所述多模态预测估计结果包括所述目标动作特征向量。

10、可选地，所述对各模态的第二特征向量进行联合建模推理，得到所述机器人在第二统计时段内的多模态预测估计结果，包括：获取从高斯分布中随机采样的多模态噪声向量；根据各模态的第二特征向量对所述多模态噪声向量进行n轮扩散去噪迭代处理，得到所述目标动作特征向量；其中，n为正整数。

11、可选地，根据各模态的第二特征向量对所述多模态噪声向量进行第i轮扩散去噪迭代处理，包括：获取第i轮迭代过程中的多模态噪声向量；其中，i为小于或者等于n的正整数；当i等于1时，所述多模态噪声向量分别为所述从高斯分布中随机采样的噪声向量；当i大于1时，所述多模态噪声向量分别为第i-1轮迭代更新后得到的对应模态的噪声向量；通过混合注意力网络，对各模态的第二特征向量和第i轮迭代过程中的多模态噪声向量进行联合建模，得到所述机器人在第i轮迭代过程中的世界隐状态；根据所述机器人在第i轮迭代过程中的世界隐状态，得到第i轮迭代过程中的多模态预测特征向量；根据第i轮迭代过程中的多模态预测特征向量对第i轮迭代过程中的多模态噪声向量进行更新；在i等于n的情况下，根据第n轮迭代过程中更新后的多模态噪声向量得到所述目标动作特征向量；在i小于n的情况下，继续进行下一轮迭代。

12、可选地，所述根据第i轮迭代过程中的多模态预测特征向量对第i轮迭代过程中的多模态噪声向量进行更新，包括：获取第i轮迭代过程中的扩散时间步；根据第i轮迭代过程中的扩散时间步，对第i轮迭代过程中的多模态噪声向量和第i轮迭代过程中的对应模态的预测特征向量进行融合，得到第i轮迭代过程中更新后的多模态噪声向量。

13、可选地，对各模态的第二特征向量和第i轮迭代过程中的多模态噪声向量进行联合建模，得到所述机器人在第i轮迭代过程中的世界隐状态，包括：获取第i轮迭代过程中的扩散时间步；将第i轮迭代过程中的扩散时间步编码为第i轮迭代过程中的扩散时间向量；将第i轮迭代过程中的扩散时间向量通过自适应层归一化机制注入所述混合注意力网络中，通过注入第i轮迭代过程中的扩散时间向量的混合注意力网络，对各模态的第二特征向量和第i轮迭代过程中的多模态噪声向量进行联合建模，得到所述机器人在第i轮迭代过程中的世界隐状态。

14、可选地，所述混合注意力网络包括l层混合注意力层；所述通过混合注意力网络，对各模态的第二特征向量和第i轮迭代过程中的多模态噪声向量进行联合建模，得到所述机器人在第i轮迭代过程中的世界隐状态，包括：获取第j层混合注意力层各模态的输入向量和第i轮迭代过程中的多模态噪声向量；其中，j为小于或者等于l的正整数；当j等于1时，各模态的输入向量为对应模态的第二特征向量；当j大于1时，各模态的输入向量为第j-1层对应模态的输出向量；将各模态的输入向量和第i轮迭代过程中的多模态噪声向量分别经线性变换生成对应的查询向量、键向量和值向量；将各查询向量拼接为全局查询矩阵，将各键向量拼接为全局键矩阵，将各值向量拼接为全局值矩阵；根据所述全局查询矩阵、所述全局键矩阵、所述全局值矩阵计算第j层的全局注意力输出；将第j层的全局注意力输出按照各模态对应的序列区间重新拆分，分别送入第j层各模态专属的非线性变换模块进行非线性变换，得到第j层各模态的输出向量；在j小于l的情况下，将第j层各模态的输出向量作为第j+1层对应模态的输入向量；在j等于l的情况下，将第j层各模态的输出向量作为所述机器人在第i轮迭代过程中的世界隐状态。

15、可选地，所述对各模态的第二特征向量进行联合建模推理，得到所述机器人在第二统计时段内的目标动作特征向量，包括：获取从高斯分布中随机采样的动作噪声向量；根据各模态的第二特征向量对所述动作噪声向量进行n轮扩散去噪迭代处理，得到所述目标动作特征向量；其中，n为正整数。

16、可选地，根据各模态的第二特征向量对所述动作噪声向量进行第i轮扩散去噪迭代处理，包括：获取第i轮迭代过程中的动作噪声向量；其中，i为小于或者等于n的正整数；当i等于1时，所述动作噪声向量为所述从高斯分布中随机采样的动作噪声向量；当i大于1时，所述动作噪声向量为第i-1轮迭代更新后得到的噪声向量；通过混合注意力网络，对各模态的第二特征向量和第i轮迭代过程中的动作噪声向量进行联合建模，得到所述机器人在第i轮迭代过程中的世界隐状态；根据所述机器人在第i轮迭代过程中的世界隐状态，得到第i轮迭代过程中的预测动作特征向量；根据第i轮迭代过程中的预测动作特征向量对第i轮迭代过程中的动作噪声向量进行更新；在i等于n的情况下，将第n轮迭代过程中更新后的动作噪声向量作为所述目标动作特征向量；在i小于n的情况下，继续进行下一轮迭代。

17、可选地，所述根据第i轮迭代过程中的预测动作特征向量对第i轮迭代过程中的动作噪声向量进行更新，包括：获取第i轮迭代过程中的扩散时间步；根据第i轮迭代过程中的扩散时间步，对第i轮迭代过程中的动作噪声向量和第i轮迭代过程中的预测动作特征向量进行融合，得到第i轮迭代过程中更新后的动作噪声向量。

18、可选地，所述通过混合注意力网络，对各模态的第二特征向量和第i轮迭代过程中的动作噪声向量进行联合建模，得到所述机器人在第i轮迭代过程中的世界隐状态，包括：获取第i轮迭代过程中的扩散时间步；将第i轮迭代过程中的扩散时间步编码为第i轮迭代过程中的扩散时间向量；将第i轮迭代过程中的扩散时间向量通过自适应层归一化机制注入所述混合注意力网络中，通过注入第i轮迭代过程中的扩散时间向量的混合注意力网络，对各模态的第二特征向量和第i轮迭代过程中的动作噪声向量进行联合建模，得到所述机器人在第i轮迭代过程中的世界隐状态。

19、可选地，所述混合注意力网络包括l层混合注意力层；所述通过混合注意力网络，对各模态的第二特征向量和第i轮迭代过程中的动作噪声向量进行联合建模，得到所述机器人在第i轮迭代过程中的世界隐状态，包括：获取第j层混合注意力层各模态的输入向量和第i轮迭代过程中的动作噪声向量；其中，j为小于或者等于l的正整数；当j等于1时，各模态的输入向量为对应模态的第二特征向量；当j大于1时，各模态的输入向量为第j-1层对应模态的输出向量；将各模态的输入向量和第i轮迭代过程中的动作噪声向量分别经线性变换生成对应的查询向量、键向量和值向量；将各查询向量拼接为全局查询矩阵，将各键向量拼接为全局键矩阵，将各值向量拼接为全局值矩阵；根据所述全局查询矩阵、所述全局键矩阵、所述全局值矩阵计算第j层的全局注意力输出；将第j层的全局注意力输出按照各模态对应的序列区间重新拆分，分别送入第j层各模态专属的非线性变换模块进行非线性变换，得到第j层各模态的输出向量；在j小于l的情况下，将第j层各模态的输出向量作为第j+1层对应模态的输入向量；在j等于l的情况下，将第j层各模态的输出向量作为所述机器人在第i轮迭代过程中的世界隐状态。

20、可选地，所述根据所述全局查询矩阵、所述全局键矩阵、所述全局值矩阵计算第j层的全局注意力输出，包括：在统一注意力掩码下，根据所述全局查询矩阵、所述全局键矩阵、所述全局值矩阵计算第j层的全局注意力输出；所述统一注意力掩码包括：角色掩码，用于限制不同角色的特征向量的可见范围；时间掩码，用于控制物理时间维度的可见范围；有效性掩码，用于屏蔽无效或缺失数据对应的注意力权重；局部窗口掩码，用于高分辨率数据下的局部注意力约束。

21、可选地，所述根据所述机器人在第i轮迭代过程中的世界隐状态，得到第i轮迭代过程中的预测动作特征向量，包括：获取所述机器人对所述第一统计时段内的多模态任务数据进行联合建模前的当前世界隐状态；获取文本模态的第二特征向量；获取所述机器人执行目标任务过程中的历史统计时段的动作模态的同一维度特征向量所构成的历史动作特征向量序列；根据所述机器人在第i轮迭代过程中的世界隐状态、所述当前世界隐状态、文本模态的第二特征向量、所述历史动作特征向量序列得到所述预测动作特征向量。

22、可选地，所述方法还包括：获取基于所述第一统计时段之前的历史数据推理得到的所述机器人的当前世界隐状态；获取对所述第一统计时段内的多模态任务数据进行联合建模后得到的所述机器人的预测世界隐状态；根据所述当前世界隐状态和所述预测世界隐状态，确定引起状态变化的动作估计值；根据所述动作估计值与预设物理约束进行比对，判断所述目标动作特征向量是否具有可执行性；在判定所述目标动作特征向量具有可执行性的情况下，根据所述目标动作特征向量得到所述目标动作数据；在判定所述目标动作特征向量不具有可执行性的情况下，重新确定所述目标动作特征向量。

23、可选地，所述方法还包括：为每个模态的第一特征向量拼接对应的标识嵌入，所述标识嵌入包括模态嵌入、时间嵌入、视角嵌入、部位嵌入、角色嵌入和有效性嵌入中的至少一种；其中，所述模态嵌入用于表示对应的模态类型，所述时间嵌入表示对应的物理时间，所述角色嵌入表示在推理过程中所承担的角色，所述有效性嵌入表示数据是否存在缺失或无效状态。

24、可选地，对目标模态的任务数据进行编码处理，得到对应模态的第一特征向量，包括：将所述目标模态的任务数据按时间和空间维度划分得到多个三维时空数据块；其中，所述目标模态为视觉或者触觉；对每个三维时空数据块分别进行独立编码，得到对应三维时空数据块的特征向量；将每个三维时空数据块的特征向量按时间和空间顺序进行拼接，得到所述目标模态的第一特征向量。

25、可选地，所述方法还包括：获取对所述第一统计时段内的多模态任务数据进行联合建模后得到的所述机器人的预测世界隐状态；根据所述预测世界隐状态，得到所述机器人在第二统计时段内的预测任务进度、所述目标任务的完成概率或预期累计回报。

26、可选地，所述多模态任务数据包括所述目标任务的文本数据、所述机器人的视觉数据、触觉数据、力觉数据、动作数据。

27、根据本公开的第二方面，提供了一种机器人操作控制装置，包括：

28、数据获取模块，用于获取所述机器人执行目标任务过程中第一统计时段内的多模态任务数据；

29、数据编码模块，用于对每个模态的任务数据分别进行编码处理，得到对应模态的第一特征向量；

30、向量映射模块，用于将每个模态的第一特征向量映射至统一维度，得到各模态的第二特征向量；

31、建模推理模块，用于对各模态的第二特征向量进行联合建模推理，得到所述机器人在第二统计时段内的目标动作特征向量；

32、数据转换模块，用于根据所述目标动作特征向量得到所述机器人在所述第二统计时段内的目标动作数据；

33、动作执行模块，用于在所述第二统计时段内执行所述目标动作数据。

34、根据本公开的第三方面，还提供了一种机器人，包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现根据本公开第一方面所述的方法。

35、根据本公开的第四方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现根据本公开第一方面所述的方法。

36、本实施例通过同步采集多模态任务数据并分模态独立编码得到各模态第一特征向量，再经维度统一映射得到维度一致的第二特征向量，完成多模态特征联合建模推理，精准输出未来时段的目标动作特征向量，最终解码生成可执行目标动作数据并驱动机器人作业；该方案依托单次前向推理实现高效决策，兼顾多模态异构信息的充分融合与推理实时性，能够有效结合任务语义约束、环境感知信息与机器人运动状态，规避单一模态建模的局限性，减少动作预测偏差与物理不可执行问题，保障机器人动作输出的合理性、连续性与安全性，显著提升机器人在抓取、装配、柔性交互等各类作业场景下的任务完成精度与环境自适应能力，实现多模态感知、智能推理、精准执行的全流程闭环控制。

37、通过以下参照附图对本公开的示例性实施例的详细描述，本公开实施例的其它特征及其优点将会变得清楚。