基于力学重建约束的机器人触觉表征训练方法及相关产品与流程

本发明涉及机器人训练，尤其涉及一种基于力学重建约束的机器人触觉表征训练方法及相关产品。

背景技术：

1、在接触密集型机器人操作任务中，触觉感知是视觉信息无法替代的关键信息来源。现有技术将触觉传感器的原始像素输出或简单的二值接触状态直接作为模型输入，而未对触觉信号所蕴含的局部力场分布、表面形变动态与整体接触力学之间的内在物理关联进行有效建模，导致所学触觉表征缺乏真实的力学语义。

2、现有技术在训练触觉隐状态时，以外观重建损失或对比学习损失作为唯一监督信号，所得隐状态仅反映传感表面的纹理外观信息，既不承载接触表面的稠密力分布，也不包含夹爪整体受力的宏观信息，无法为后续的接触力学预测提供有效的特征基础。此外，现有方法中的触觉编码器多采用含历史状态的序列结构，致使由编码器处理观测序列所得的触觉隐状态与预测模块逐时刻输出的预测触觉隐状态处于不同的表征空间，二者无法直接比较与监督，进而阻碍了触觉未来预测能力的有效学习。

技术实现思路

1、本发明提供一种基于力学重建约束的机器人触觉表征训练方法及相关产品，解决了现有技术将触觉信号简化处理、丢失局部接触物理信息的技术问题。

2、第一方面，本技术实施例提供了一种基于力学重建约束的机器人触觉表征训练方法，包括：

3、根据机器人夹爪两侧触觉传感器采集到的第一触觉图像、第一稠密局部力场和第一网格形变流，对第一触觉编码器和第一触觉重建器进行参数优化和参数冻结，得到第二触觉编码器和第二触觉重建器；

4、通过所述第二触觉编码器和所述第二触觉重建器对示教数据进行编码和解码，计算视觉预测损失值、触觉隐向量预测损失值和动作块预测损失值并对第一多模态生成骨干网络进行联合训练，得到第二多模态生成骨干网络；

5、将实时采集的第二触觉图像、第二稠密局部力场和第二网格形变流与当前视觉观测、本体感知状态和任务语言条件共同输入所述第二多模态生成骨干网络，解码得到动作块序列，循环推理直至任务完成。

6、可选的，在本发明第一方面的第一种实现方式中，所述根据机器人夹爪两侧触觉传感器采集到的第一触觉图像、第一稠密局部力场和第一网格形变流，对第一触觉编码器和第一触觉重建器进行参数优化和参数冻结，得到第二触觉编码器和第二触觉重建器，包括：

7、根据机器人夹爪两侧触觉传感器采集第一触觉图像、第一稠密局部力场和第一网格形变流；

8、将所述第一触觉图像、所述第一稠密局部力场和所述第一网格形变流输入第一触觉编码器进行特征提取和跨模态交叉注意力计算，分别得到夹爪两侧的单侧模态交互特征图；

9、对夹爪两侧分别得到的所述单侧模态交互特征图进行通道拼接和特征压缩，得到历史触觉隐向量；

10、将所述历史触觉隐向量输入第一触觉重建器，计算重建损失并对所述第一触觉编码器和所述第一触觉重建器进行参数联合优化和参数冻结，得到第二触觉编码器和第二触觉重建器。

11、可选的，在本发明第一方面的第二种实现方式中，所述将所述历史触觉隐向量输入第一触觉重建器，计算重建损失并对所述第一触觉编码器和所述第一触觉重建器进行参数联合优化和参数冻结，得到第二触觉编码器和第二触觉重建器，包括：

12、将所述历史触觉隐向量输入第一触觉重建器进行并行解码，得到重建稠密局部力场、重建网格形变流和重建双侧接触合力；

13、根据所述重建稠密局部力场与真实稠密局部力场计算力场重建误差，根据所述重建网格形变流与真实网格形变流计算形变流重建误差，根据所述重建双侧接触合力与真实双侧接触合力计算接触合力重建误差，并对所述力场重建误差、所述形变流重建误差和所述接触合力重建误差进行加权求和，得到重建损失；

14、基于所述重建损失对所述第一触觉编码器和所述第一触觉重建器进行联合反向传播优化直至收敛，在收敛之后冻结对应的参数，得到第二触觉编码器和第二触觉重建器。

15、可选的，在本发明第一方面的第三种实现方式中，所述通过所述第二触觉编码器和所述第二触觉重建器对示教数据进行编码和解码，计算视觉预测损失值、触觉隐向量预测损失值和动作块预测损失值并对第一多模态生成骨干网络进行联合训练，得到第二多模态生成骨干网络，包括：

16、将示教数据逐帧输入所述第二触觉编码器进行编码，得到与示教帧一一对应的真实未来触觉隐向量序列，并将所述真实未来触觉隐向量序列作为触觉监督标签；

17、将所述第一多模态生成骨干网络中触觉专家预测输出的预测未来触觉隐向量序列输入所述第二触觉重建器进行解码，得到预测稠密局部力场序列、预测网格形变流序列和预测双侧接触合力序列，分别与所述示教数据中对应帧的真实稠密局部力场、真实网格形变流和真实双侧接触合力计算语义一致性正则项；

18、将所述语义一致性正则项与触觉隐向量预测损失值、视觉预测损失值和动作块预测损失值加权求和，得到总训练损失，并基于所述总训练损失对所述第一多模态生成骨干网络进行反向传播优化，梯度经所述第二触觉重建器穿透至所述未来触觉隐向量序列但不更新所述第二触觉重建器的参数，直至收敛，得到第二多模态生成骨干网络。

19、可选的，在本发明第一方面的第四种实现方式中，所述将所述语义一致性正则项与触觉隐向量预测损失值、视觉预测损失值和动作块预测损失值加权求和，得到总训练损失，以所述总训练损失对所述第一多模态生成骨干网络进行反向传播优化，梯度经所述第二触觉重建器穿透至所述未来触觉隐向量序列但不更新所述第二触觉重建器的参数，直至收敛，得到第二多模态生成骨干网络，包括：

20、将所述语义一致性正则项、触觉隐向量预测损失值、视觉预测损失值和动作块预测损失值进行加权求和，得到总训练损失；

21、基于所述总训练损失对所述第一多模态生成骨干网络执行反向传播，语义一致性正则项的梯度经所述第二触觉重建器的计算图向前穿透至触觉专家预测输出的未来触觉隐向量序列，所述第二触觉重建器的参数在此过程中不接收任何梯度更新，得到各专家网络的参数梯度；

22、将视觉词元、触觉词元和动作词元输入带掩码的混合自注意力层进行前向计算，通过掩码矩阵约束各类词元之间的可见范围，使所述视觉词元和所述触觉词元基于当前观测信息及彼此可见的信息进行注意力交互，同时禁止所述动作词元读取未来视觉预测词元和未来触觉预测词元；由于所述带掩码的混合自注意力层的输出同时依赖可见范围内的视觉词元、触觉词元和动作词元，所述视觉预测损失值、所述触觉隐向量预测损失值、所述动作块预测损失值以及所述语义一致性正则项各自产生的梯度经所述带掩码的混合自注意力层的共享计算图，分别传播至其他可见模态对应的输入投影参数和注意力参数，形成跨模态梯度协同；对所述第一多模态生成骨干网络的可训练参数执行梯度范数裁剪后，由优化器更新所述视觉专家、所述触觉专家、所述动作专家以及所述带掩码的混合自注意力层的参数，并重复执行前向计算、总训练损失计算、反向传播和参数更新，直至所述总训练损失收敛，得到第二多模态生成骨干网络。

23、可选的，在本发明第一方面的第五种实现方式中，所述将实时采集的第二触觉图像、第二稠密局部力场和第二网格形变流与当前视觉观测、本体感知状态和任务语言条件共同输入所述第二多模态生成骨干网络，解码得到动作块序列，循环推理直至任务完成，包括：

24、将实时采集的第二触觉图像、第二稠密局部力场和第二网格形变流输入所述第二触觉编码器进行单帧前向推理，得到实时触觉隐向量，并将所述实时触觉隐向量与当前视觉观测、本体感知状态和任务语言条件共同输入所述第二多模态生成骨干网络进行解码，得到长度为h帧的动作块序列；

25、将所述动作块序列中每个动作词元作为目标关节位置状态，按帧顺序逐步下发至关节控制器执行，完成h步动作；

26、在所述h步动作执行完毕后，采集新一帧的第三触觉图像、第三稠密局部力场和第三网格形变流输入所述第二触觉编码器进行单帧前向推理，得到新一帧的触觉隐向量，并以所述新一帧的触觉隐向量更新所述实时触觉隐向量触发下一轮解码，循环执行直至任务完成。

27、第二方面，本技术实施例提供了一种基于力学重建约束的机器人触觉表征训练装置，包括：

28、参数优化单元，用于根据机器人夹爪两侧触觉传感器采集到的第一触觉图像、第一稠密局部力场和第一网格形变流，对第一触觉编码器和第一触觉重建器进行参数优化和参数冻结，得到第二触觉编码器和第二触觉重建器；

29、联合训练单元，用于通过所述第二触觉编码器和所述第二触觉重建器对示教数据进行编码和解码，计算视觉预测损失值、触觉隐向量预测损失值和动作块预测损失值并对第一多模态生成骨干网络进行联合训练，得到第二多模态生成骨干网络；

30、任务执行单元，用于将实时采集的第二触觉图像、第二稠密局部力场和第二网格形变流与当前视觉观测、本体感知状态和任务语言条件共同输入所述第二多模态生成骨干网络，解码得到动作块序列，循环推理直至任务完成。

31、第三方面，本技术实施例提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于力学重建约束的机器人触觉表征训练方法的步骤。

32、第四方面，本技术实施例提供了一种可读存储介质，该可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述基于力学重建约束的机器人触觉表征训练方法的步骤。

33、第五方面，本技术实施例提供了一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序在被处理器执行时实现上述基于力学重建约束的机器人触觉表征训练方法的步骤。

34、上述基于力学重建约束的机器人触觉表征训练方法及相关产品所提供的一个方案中，通过将第一触觉图像、第一稠密局部力场和第一网格形变流三路信号在接触表面坐标系下进行像素级空间配准，并分别经外观特征提取网络、力特征提取网络和形变流特征提取网络提取空间分辨率一致的特征图后，经模态交互块的跨模态交叉注意力融合与双侧融合池化，得到同时包含局部接触外观、接触压力分布与切向形变动态三类物理信息的历史触觉隐向量，解决了现有技术将触觉信号简化处理、丢失局部接触物理信息的技术问题。本发明将历史触觉隐向量送入第一触觉重建器，对第一稠密局部力场、第一网格形变流和双侧接触合力同时进行重建，并以三路重建误差的加权和作为重建损失对第一触觉编码器与第一触觉重建器进行联合优化，其中双侧接触合力仅作为全局力学监督项参与重建损失计算而不进入编码器输入通道，从而在不增加任何编码器输入维度的前提下，将夹爪整体受力的宏观接触力学信息通过重建约束压入触觉隐向量，使所得历史触觉隐向量同时承载微观局部接触模式与宏观整体受力两个层次的力学信息，解决了现有技术触觉隐状态缺乏全局力学约束、不具备真实力学语义的技术问题。本发明的第一触觉编码器采用单帧无状态结构，使观测帧经编码器所得的触觉隐向量与预测模块逐时刻输出的预测触觉隐向量天然落于同一隐空间，从而以第二触觉编码器对示教数据逐帧编码直接得到未来触觉隐向量序列作为触觉监督标签，无需任何额外的对齐模块。本发明将参数冻结但计算图保持可微分的第二触觉重建器作为语义一致性正则的施加工具，对第一多模态生成骨干网络预测输出的未来触觉隐向量序列进行前向解码，以解码所得力学量与真实力学量之间的重建误差构成语义一致性正则项，该正则项的梯度经第二触觉重建器的计算图穿透回传至预测的未来触觉隐向量序列，在整个第二阶段联合训练过程中持续约束预测隐状态的力学语义，确保预测的触觉隐向量序列在力学物理意义上与真实接触力学演化保持一致，而非仅在欧氏距离意义上拟合监督标签，从根本上解决了现有技术触觉未来预测缺乏物理约束、预测结果不具备力学可解释性的问题。在推理阶段，实时触觉隐向量与视觉观测、本体感知状态和任务语言条件共同驱动第二多模态生成骨干网络解码动作块序列，触觉信息以承载真实接触力学语义的紧凑隐向量形式全程参与动作生成，使机器人在抓取精细易碎物体、持续接触力控制等对力学感知高度依赖的操作任务中具备可靠的触觉引导能力。