动作信息生成方法、电子设备以及存储介质与流程

本申请实施例涉及计算机，尤其涉及一种动作信息生成方法、电子设备以及存储介质。

背景技术：

1、随着视觉-语言-动作模型与机器人基础模型技术的快速发展，多模态融合的通用机器人操作已成为智能机器人领域的重要发展方向。目前，以rgb图像、语言指令和机器人本体状态为输入，经多模态编码生成低频动作块，由机械臂、夹爪等执行机构完成操作，在抓取、移动、放置等接触较少的任务中表现良好。但是，面对插入、装配、擦拭等接触丰富的场景中，任务成败取决于碰撞、打滑、卡滞、孔槽对准偏差等局部、瞬时的细粒度物理交互状态。这类状态多处于局部接触区域，易被遮挡，单纯依赖视觉难以及时可靠感知。

2、相关技术中采用触觉或力觉反馈对机器人动作进行反应式修正，前述方式为被动引入触觉信号，其生成的动作信息会出现触觉语义理解不足，无法及时响应交互状态变化，存在动作调整精度低的问题。

技术实现思路

1、本申请实施例提供了一种动作信息生成方法、电子设备以及存储介质，解决相关技术中生成的动作信息会出现触觉语义理解不足，无法及时响应交互状态变化，存在动作调整精度低的问题，能够实现触觉信号与多模态上下文的统一编码，将触觉信号从被动观测变为可被主动理解、预测并用于控制的动态交互信号，提升了接触丰富场景下针对机器人交互状态变化的响应速度，也提高了机器人的动作调整精度。

2、第一方面，本申请实施例提供了一种动作信息生成方法，该方法包括：

3、将预先生成的多模态信息和目标触觉查询信息输入至训练完成的目标多模态主干模型得到统一触觉潜变量和条件特征信息；

4、将所述统一触觉潜变量输入至训练完成的目标粗触觉预测器得到粗预测触觉潜变量，将所述粗预测触觉潜变量输入至训练完成的目标细触觉预测器得到细预测触觉潜变量，并将所述条件特征信息输入至训练完成的目标动作预测模型得到预测动作信息；

5、将所述细预测触觉潜变量、所述预测动作信息以及获取到的机器人状态信息和高频触觉图像信息输入至训练完成的目标动作触觉控制器得到残差动作信息，将所述预测动作信息和所述残差动作信息进行融合得到目标动作信息。

6、第二方面，本申请实施例还提供了一种动作信息生成装置，包括：

7、多模态处理模块，配置为将预先生成的多模态信息和目标触觉查询信息输入至训练完成的目标多模态主干模型得到统一触觉潜变量和条件特征信息；

8、第一动作预测模块，配置为将所述统一触觉潜变量输入至训练完成的目标粗触觉预测器得到粗预测触觉潜变量，将所述粗预测触觉潜变量输入至训练完成的目标细触觉预测器得到细预测触觉潜变量，并将所述条件特征信息输入至训练完成的目标动作预测模型得到预测动作信息；

9、第二动作预测模块，配置为将所述细预测触觉潜变量、所述预测动作信息以及获取到的机器人状态信息和高频触觉图像信息输入至训练完成的目标动作触觉控制器得到残差动作信息；

10、融合模块，配置为将所述预测动作信息和所述残差动作信息进行融合得到目标动作信息。

11、第三方面，本申请实施例还提供了一种电子设备，该设备包括：

12、一个或多个处理器；

13、存储器，用于存储一个或多个计算机程序；

14、当一个或多个计算机程序被一个或多个处理器执行，使得电子设备实现如第一方面任一的动作信息生成方法。

15、第四方面，本申请实施例还提供了计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面任一的动作信息生成方法。

16、上述，通过设置目标触觉查询信息可以主动构建多模态对齐的触觉潜空间，将触觉从被动辅助输入转变为主动交互先验，实现触觉语义理解与动作生成的深度融合；通过由粗到细的两级触觉预测机制，可以实现高精度的未来接触状态预判，为前馈控制提供可靠的先验依据；通过目标动作触觉控制器实现低频动作规划与高频残差修正的协同，兼顾任务规划与瞬时接触响应。上述方案能够实现触觉信号与多模态上下文的统一编码，将触觉信号从被动观测变为可被主动理解、预测并用于控制的动态交互信号，提升了接触丰富场景下针对机器人交互状态变化的响应速度，也提高了机器人的动作调整精度。

1.动作信息生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的动作信息生成方法，其特征在于，所述多模态信息包括视觉词元序列、文本词元序列和触觉词元序列；

3.根据权利要求2所述的动作信息生成方法，其特征在于，所述目标触觉编码器的训练过程如下：

4.根据权利要求2所述的动作信息生成方法，其特征在于，所述目标触觉查询信息、目标视觉编码器、目标文本编码器、目标多模态主干模型、目标粗触觉预测器、目标细触觉预测器和目标动作预测模型的联合训练过程如下：

5.根据权利要求4所述的动作信息生成方法，其特征在于，所述基于所述第二触觉潜变量和设置的语言解码器确定第一损失值，包括：

6.根据权利要求4所述的动作信息生成方法，其特征在于，所述基于所述第一条件特征信息和原始动作预测模型确定第二损失值，包括：

7.根据权利要求4所述的动作信息生成方法，其特征在于，所述基于所述第二触觉潜变量、所述原始粗触觉预测器和所述原始细触觉预测器确定第三损失值和第四损失值，包括：

8.根据权利要求4所述的动作信息生成方法，其特征在于，所述目标动作触觉控制器的训练过程如下：

9.电子设备，其特征在于，包括：

10.计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-8任一所述的动作信息生成方法。