多模态生成模型的注意力可见性隔离训练方法及相关产品与流程

本发明涉及模型训练，尤其涉及一种多模态生成模型的注意力可见性隔离训练方法及相关产品。

背景技术：

1、世界动作模型将未来状态预测与动作生成合并到同一生成骨干框架中，通过对视觉等多模态观测的未来预测与动作的联合学习，增强控制所需的表征能力。随着触觉等第二观测模态被引入联合训练，模型在同一骨干内同时承载视觉流、第二观测模态流与动作流三条信息流，多模态联合训练的潜力进一步扩大。

2、然而，上述框架中存在一个此前未被系统解决的核心矛盾：未来观测的真值在训练阶段可得，在部署阶段却不可得。若不对三条流的注意力读取关系施加约束，动作词元在训练中可直接读取由未来真值导出的预测变量，从而学到一条依赖未来真值信息的隐式捷径；而部署时该捷径失效，训练与部署的信息条件产生系统性失配，直接拖累实际操作性能。现有方法或完全舍弃未来观测预测、失去联合训练的表征收益，或采用全连接注意力使未来预测目标向动作分支的信息泄漏不受任何约束，尚无针对"未来预测目标向动作分支泄漏这一具体机制的系统性隔离方案。

技术实现思路

1、本发明提供一种多模态生成模型的注意力可见性隔离训练方法及相关产品，本发明避免两路加噪预测变量互为注意力条件所导致的梯度估计噪声累积与训练失稳，保证视觉未来预测分支与第二观测模态未来预测分支在联合训练中各自收敛。

2、第一方面，本技术实施例提供了一种多模态生成模型的注意力可见性隔离训练方法，包括：

3、将视觉模态的观测序列与第二观测模态的观测序列进行编码，构建三流词元序列；

4、对所述三流词元序列进行流匹配加噪处理，保持视觉锚点词元和第二模态锚点词元不参与加噪，得到加噪训练序列；

5、基于所述加噪训练序列中各类词元在部署阶段的可得性，对键值词元的注意力读取许可为约束单元，构建所述三流词元序列对应的注意力可见性隔离掩码矩阵；

6、将所述注意力可见性隔离掩码矩阵叠加至多模态生成骨干网络的混合自注意力层，基于所述加噪训练序列进行联合流匹配训练，得到训练后的多模态生成模型。

7、可选的，在本发明第一方面的第一种实现方式中，所述将视觉模态的观测序列与第二观测模态的观测序列进行编码，构建三流词元序列，包括：

8、将视觉模态的观测序列与第二观测模态的观测序列分别输入预训练视觉编码器与参数冻结的第二模态编码器进行编码和预测，得到当前帧的视觉锚点词元与第二模态锚点词元、视觉模态的未来帧预测词元与第二观测模态的未来帧预测词元；

9、构造与当前动作块内各控制步分别对应的动作查询词元，各所述动作查询词元由动作查询向量与对应控制步的位置编码构成且不写入真实目标关节位置数值，将各所述动作查询词元置于动作流分组，得到三流词元序列。

10、可选的，在本发明第一方面的第二种实现方式中，所述对所述三流词元序列进行流匹配加噪处理，保持视觉锚点词元和第二模态锚点词元不参与加噪，得到加噪训练序列，包括：

11、从流匹配噪声调度器中采样时间步参数，对所述视觉模态的未来帧预测词元中每一时间步词元与标准高斯噪声向量进行线性插值，得到加噪视觉未来帧词元；

12、基于所述时间步参数，对所述第二观测模态的未来帧预测词元中每一时间步词元与所述标准高斯噪声向量进行线性插值，得到加噪第二模态未来帧词元；

13、将所述三流词元序列中视觉模态的未来帧预测词元与第二观测模态的未来帧预测词元分别替换为所述加噪视觉未来帧词元与所述加噪第二模态未来帧词元，保持所述视觉锚点词元与所述第二模态锚点词元的干净编码形态不变，得到加噪训练序列。

14、可选的，在本发明第一方面的第三种实现方式中，所述基于所述加噪训练序列中各类词元在部署阶段的可得性，对键值词元的注意力读取许可为约束单元，构建所述三流词元序列对应的注意力可见性隔离掩码矩阵，包括：

15、基于所述加噪训练序列中各类词元在部署阶段的可得性，对动作词元查询行中对应所述视觉模态的未来帧预测词元与所述第二观测模态的未来帧预测词元的键值列、所述视觉模态的未来帧预测词元查询行中对应所述第二观测模态的未来帧预测词元的键值列、所述第二观测模态的未来帧预测词元查询行中对应所述动作词元的键值列分别赋负无穷值，其余许可读取位置赋零值，得到跨流隔离掩码；

16、分别以所述视觉锚点词元和所述第二模态锚点词元为各自流内的全局基准位置，对所述视觉模态的未来帧预测词元和所述第二观测模态的未来帧预测词元在各自流内按时序构造因果遮蔽，得到流内首帧因果掩码；

17、将所述跨流隔离掩码与所述流内首帧因果掩码叠加，构建注意力可见性隔离掩码矩阵。

18、可选的，在本发明第一方面的第四种实现方式中，所述将所述注意力可见性隔离掩码矩阵叠加至多模态生成骨干网络的混合自注意力层，基于所述加噪训练序列进行联合流匹配训练，得到训练后的多模态生成模型，包括：

19、将所述注意力可见性隔离掩码矩阵叠加至所述多模态生成骨干网络混合自注意力层的注意力逻辑值矩阵，对所述加噪训练序列执行前向传播，在视觉流、第二观测模态流与动作流的输出端分别计算视觉模态未来帧预测损失、第二观测模态未来帧预测损失与动作生成损失；

20、将所述视觉模态未来帧预测损失、所述第二观测模态未来帧预测损失与所述动作生成损失合并为联合训练损失，对所述多模态生成骨干网络执行反向传播并更新参数，重复迭代直至满足训练终止条件，得到训练后的多模态生成模型。

21、可选的，在本发明第一方面的第五种实现方式中，仅将视觉锚点词元、第二模态锚点词元和动作词元输入输入所述训练后的多模态生成模型，在去除所述视觉模态的未来帧预测词元与所述第二观测模态的未来帧预测词元对应行列后的推理掩码约束下，由动作流输出动作序列。

22、第二方面，本技术实施例提供了一种多模态生成模型的注意力可见性隔离训练装置，包括：

23、编码单元，用于将视觉模态的观测序列与第二观测模态的观测序列进行编码，构建三流词元序列；

24、加噪单元，用于对所述三流词元序列进行流匹配加噪处理，保持视觉锚点词元和第二模态锚点词元不参与加噪，得到加噪训练序列；

25、构建单元，用于基于所述加噪训练序列中各类词元在部署阶段的可得性，对键值词元的注意力读取许可为约束单元，构建所述三流词元序列对应的注意力可见性隔离掩码矩阵；

26、训练单元，用于将所述注意力可见性隔离掩码矩阵叠加至多模态生成骨干网络的混合自注意力层，基于所述加噪训练序列进行联合流匹配训练，得到训练后的多模态生成模型。

27、第三方面，本技术实施例提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述多模态生成模型的注意力可见性隔离训练方法的步骤。

28、第四方面，本技术实施例提供了一种可读存储介质，该可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述多模态生成模型的注意力可见性隔离训练方法的步骤。

29、第五方面，本技术实施例提供了一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序在被处理器执行时实现上述多模态生成模型的注意力可见性隔离训练方法的步骤。

30、上述多模态生成模型的注意力可见性隔离训练方法及相关产品所提供的一个方案中，将动作词元的注意力读取范围严格限定为视觉锚点词元、第二模态锚点词元及动作词元自身，使动作流在训练阶段从未建立对视觉模态的未来帧预测词元或第二观测模态的未来帧预测词元的注意力依赖。由于当前帧锚点词元在训练阶段与部署阶段均以相同干净编码形态存在，动作流所依赖的全部信息在部署时均真实可得，训练与部署的信息条件严格一致，彻底关闭了未来真值信息向动作分支传递的注意力通路，不依赖任何额外正则项或训练技巧。本发明通过屏蔽视觉模态的未来帧预测词元对第二观测模态的未来帧预测词元的读取权限，以及屏蔽第二观测模态的未来帧预测词元对动作词元的读取权限，切断两条加噪预测流之间的双向耦合路径，避免两路加噪预测变量互为注意力条件所导致的梯度估计噪声累积与训练失稳，保证视觉未来预测分支与第二观测模态未来预测分支在联合训练中各自收敛。本发明在视觉流与第二观测模态流内部分别叠加以对应当前帧锚点词元为全局基准位置的首帧因果掩码，使当前帧锚点词元对各自流内全部未来帧预测词元始终可见，同时保证未来帧预测词元之间按时序因果顺序生成，锚点的条件化作用在流内任意位置均不受遮蔽。本发明的全部约束仅体现为自注意力逻辑值矩阵上的一次常数张量加法，掩码矩阵在训练开始前一次性构造并缓存，训练全程不重新计算，不引入任何额外参数、额外模块或额外的前向与反向传播计算，可作为掩码配置项接入任意支持自定义注意力掩码的多模态生成骨干，不需要修改网络结构。本发明将词元划分为当前帧锚点词元、未来帧预测词元与动作词元三类角色，隔离规则对任意在视觉之外引入第二观测模态未来预测的多模态生成模型均成立，第二观测模态不限于触觉，亦可扩展至力/力矩、温度或其他可编码为潜在序列的观测模态，各条约束的必要性均可通过逐级放宽隔离约束的对照实验独立量化验证。