基于未来潜变量对齐与流匹配的策略网络训练方法及系统与流程

本发明涉及机器人控制，更具体地说，是涉及基于未来潜变量对齐与流匹配的策略网络训练方法及系统。

背景技术：

1、基于学习的机器人操作策略是具身智能领域的核心技术之一。在现有技术中，机器人操作策略的学习方法主要包括两类。

2、第一类是基于模仿学习的策略网络方法。行为克隆通过建立从当前观测到动作的直接映射来实现机器人控制，但受限于训练数据的多模态分布特性，该方法容易陷入局部最优。近年来出现的扩散策略和流匹配策略利用生成模型对数据分布进行拟合，在一定程度上提升了多模态任务的表现。然而，该类方法本质上是反应式的，即仅依赖当前时刻的观测输入来生成动作，缺乏对环境状态未来变化的显式推理能力。在面对需要多步骤决策的长时域任务时，该类方法因缺乏前瞻性规划而导致任务成功率较低。

3、第二类是基于世界模型的控制方法。该类方法尝试将视频生成模型与策略网络相结合，通过生成未来图像序列来“想象”动作执行后的结果，从而辅助决策。然而，该类方法需要在像素级进行高保真重建，生成高分辨率未来图像序列的算力需求巨大，推理耗时通常达数百毫秒甚至秒级，难以满足机器人高频实时控制的需求。同时，视觉生成模型的优化目标在于提升图像感知质量，而机器人控制的核心关注点在于物体位置及几何状态，二者的优化目标存在本质错位。

4、因此，亟需提供一种方案解决上述问题。

技术实现思路

1、为了克服现有机器人策略学习方法要么因缺乏对未来状态的推理能力而难以应对长时域任务，要么因依赖像素级未来图像生成而导致计算开销过大且优化目标与机器人控制需求错位的问题，本发明提供了一种基于未来潜变量对齐与流匹配的策略网络训练方法及系统。

2、本发明技术方案如下所述：

3、一种基于未来潜变量对齐与流匹配的策略网络训练方法，包括以下步骤：

4、获取包含当前时刻观测图像、未来时刻观测图像及真实动作序列的训练数据，基于预训练的动作感知嵌入模型分别对所述当前时刻观测图像、未来时刻观测图像进行映射处理，得到当前观测嵌入和目标未来特征，对所述真实动作序列进行加噪处理生成加噪动作序列，并对所述加噪动作序列进行嵌入处理获得加噪动作嵌入；

5、基于transformer架构构建流匹配策略网络，并在所述策略网络中增设可学习的未来token，将所述当前观测嵌入、所述加噪动作嵌入和所述未来token拼接为输入序列，输入所述策略网络进行前向传播，得到预测动作序列，并在所述策略网络的中间层提取所述未来token对应的输出特征，得到预测未来特征；

6、计算所述预测未来特征与所述目标未来特征之间的相似度损失，基于所述真实动作序列与所述预测动作序列之间的误差，计算动作流匹配损失，基于所述相似度损失和所述动作流匹配损失构建混合损失函数，基于所述混合损失函数更新所述策略网络的参数。

7、优选的，所述动作感知嵌入模型的预训练过程，包括：

8、将所述样本图像输入视觉编码器进行编码处理，得到视觉特征；将所述视觉特征输入特征压缩模块进行压缩处理，得到紧凑嵌入向量；

9、将所述紧凑嵌入向量输入流匹配解码器进行动作预测，得到预测动作序列；

10、基于所述预测动作序列与所述样本动作序列之间的误差计算预训练损失，并基于所述预训练损失更新所述视觉编码器和所述特征压缩模块的参数。

11、优选的，所述特征压缩模块包含m个可学习的query token，将所述视觉特征输入特征压缩模块进行压缩处理，得到紧凑嵌入向量的过程中，包括：

12、将所述视觉特征与所述m个query token输入所述特征压缩模块，基于所述querytoken与所述视觉特征之间的交叉注意力计算，将所述视觉特征压缩为m个嵌入向量，得到所述紧凑嵌入向量。

13、优选的，对所述真实动作序列进行加噪处理生成加噪动作序列的过程中，包括：

14、获取预设的扩散步数和噪声调度函数，基于所述噪声调度函数确定当前步的噪声强度；基于所述噪声强度向所述真实动作序列中添加高斯噪声，生成加噪动作序列。

15、优选的，在所述策略网络的中间层提取所述未来token对应的输出特征，得到预测未来特征的过程中，包括：

16、获取所述策略网络的总层数l，在所述策略网络的前向传播过程中，于第l/2层处提取所述未来token对应的输出特征，得到所述预测未来特征。

17、优选的，计算所述预测未来特征与所述目标未来特征之间的相似度损失的过程中，包括：

18、计算所述预测未来特征与所述目标未来特征之间的余弦相似度，得到余弦相似度值；基于所述余弦相似度值计算相似度损失，所述相似度损失与所述余弦相似度值呈负相关关系。

19、优选的，所述混合损失函数表达式为：

20、；

21、其中，为混合损失，为所述动作流匹配损失，为所述相似度损失，为预设的权重系数，所述权重系数用于调节所述相似度损失在所述混合损失函数中的贡献比例。

22、本发明的第二方面还提供了一种基于未来潜变量对齐与流匹配的策略网络训练系统，包括数据预处理模块、策略网络前向传播模块、策略网络参数更新模块，其中：

23、数据预处理模块，用于获取包含当前时刻观测图像、未来时刻观测图像及真实动作序列的训练数据，基于预训练的动作感知嵌入模型分别对所述当前时刻观测图像、未来时刻观测图像进行映射处理，得到当前观测嵌入和目标未来特征，对所述真实动作序列进行加噪处理生成加噪动作序列，并对所述加噪动作序列进行嵌入处理获得加噪动作嵌入；

24、策略网络前向传播模块，用于基于transformer架构构建流匹配策略网络，并在所述策略网络中增设可学习的未来token，将所述当前观测嵌入、所述加噪动作嵌入和所述未来token拼接为输入序列，输入所述策略网络进行前向传播，得到预测动作序列，并在所述策略网络的中间层提取所述未来token对应的输出特征，得到预测未来特征；

25、策略网络参数更新模块，用于计算所述预测未来特征与所述目标未来特征之间的相似度损失，基于所述真实动作序列与所述预测动作序列之间的误差，计算动作流匹配损失，基于所述相似度损失和所述动作流匹配损失构建混合损失函数，基于所述混合损失函数更新所述策略网络的参数。

26、本发明的第三方面还提供了一种电子设备，所述电子设备包括：

27、至少一个处理器；以及，

28、与所述至少一个处理器通信连接的存储器；其中，

29、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的一种基于未来潜变量对齐与流匹配的策略网络训练方法。

30、本发明的第四方面还提供了一种计算机可读存储介质，包括存储数据区和存储程序区，存储数据区存储创建的数据，存储程序区存储有计算机程序；其中，所述计算机程序被处理器执行时实现如上所述的一种基于未来潜变量对齐与流匹配的策略网络训练方法。

31、根据上述方案的一种基于未来潜变量对齐与流匹配的策略网络训练方法及系统，其有益效果在于：

32、1、本发明通过在流匹配策略网络中增设可学习的未来token，并在网络中间层将其输出特征与真实未来观测嵌入进行对齐，使策略网络能够将未来状态信息编码于未来token之中，在动作生成时隐式地感知当前动作将导致的未来状态变化，从而在长时域任务中能够基于对未来状态的预判进行前瞻性决策，克服了传统反应式策略因缺乏规划能力而导致的累积误差问题；

33、2、本发明的策略网络直接输出嵌入形式的预测未来特征，并与嵌入形式的真实未来特征进行相似度计算，无需在像素级重建未来观测图像，避免了高分辨率图像生成带来的巨大算力消耗和推理延迟，能够满足机器人高频实时控制的需求；

34、3、现有视频生成模型以图像感知质量为优化目标，与机器人控制对物体位置及几何状态的核心关注点存在错位，本发明以特征空间中未来状态预测的准确性作为对齐目标，使模型学习到的表征直接服务于动作生成任务，避免了因优化目标错位导致的学习效率下降和性能损失。