模型训练方法、动作序列确定方法、设备及存储介质与流程

摘要: 本技术涉及人工智能模型训练领域,尤其涉及一种模型训练方法、动作序列确定方法、设备及存储介质。背景技术:1、视觉-语言-动作(vision-language-ac...
模型训练方法、动作序列确定方法、设备及存储介质与流程

本技术涉及人工智能模型训练领域,尤其涉及一种模型训练方法、动作序列确定方法、设备及存储介质。

背景技术:

1、视觉-语言-动作(vision-language-action,vla)模型训练中,通常采用基于transformer的多模态融合架构,并结合flow matching等生成式方法对连续动作序列进行建模。

2、然而,现有方案多以统一损失权重优化动作生成过程,主要关注最终动作输出,对训练样本及时间步间的难度差异缺乏有效区分,同时对模型中间特征与目标动作分布之间的关联约束不足,致使复杂多模态任务下的训练效率、动作预测精度以及对分布漂移的适应性受到限制。

3、因此,如何在vla模型训练过程中兼顾样本难度差异与中间表征对齐,以提高动作预测精度、训练效率和鲁棒性,成为需要解决的技术问题。

技术实现思路

1、本技术实施例提供一种模型训练方法、动作序列确定方法、设备及存储介质,以解决上述技术问题。该方法面向视觉语言动作模型的训练过程,综合考虑训练样本在动作生成任务中的分布差异以及模型中间表征与目标动作之间的匹配关系,对训练优化过程进行自适应调节,从而在模型学习过程中兼顾样本难度差异与表征对齐需求,提高动作序列建模的针对性和有效性。

2、第一方面,本技术实施例提供一种模型训练方法,包括:

3、将训练样本输入预设模型进行前向传播,获取预设模型的隐藏状态张量,预设模型为视觉语言动作模型;

4、确定隐藏状态张量与真实动作序列之间的分布距离;

5、根据分布距离确定目标损失函数,其中,分布距离越大,目标损失函数中与训练样本对应的损失权重越大;

6、根据目标损失函数更新预设模型的参数,得到目标模型,目标模型用于确定目标设备的动作序列。

7、在一种可能的实施方式中,确定隐藏状态张量与真实动作序列之间的分布距离,包括:

8、将隐藏状态张量投影至真实动作序列的维度空间,得到投影后隐藏状态;

9、计算投影后隐藏状态与真实动作序列之间的分布差异,得到分布距离。

10、在一种可能的实施方式中,计算投影后隐藏状态与真实动作序列之间的分布差异,包括:通过核函数计算投影后隐藏状态与真实动作序列之间的最大均值差异,将最大均值差异作为分布差异。

11、在一种可能的实施方式中,计算投影后隐藏状态与真实动作序列之间的分布差异,包括:

12、在时序上将投影后隐藏状态和真实动作序列分别拟合为高斯分布;

13、将两个高斯分布之间的kl散度确定为分布差异。

14、在一种可能的实施方式中,计算投影后隐藏状态与真实动作序列之间的分布差异,包括:计算将投影后隐藏状态的分布搬移到真实动作序列的分布所需的最小搬移代价,将最小搬移代价作为分布差异。

15、在一种可能的实施方式中,根据分布距离确定目标损失函数,包括:

16、根据分布距离确定损失权重;

17、根据损失权重和初始损失函数,确定目标损失函数。

18、在一种可能的实施方式中,根据分布距离确定损失权重,包括:

19、将分布距离乘以预设的第一超参数,得到第一乘积结果;

20、将第一乘积结果与预设数值相加,得到损失权重。

21、在一种可能的实施方式中,根据分布距离确定损失权重,包括:

22、将分布距离乘以预设的第二超参数,得到第二乘积结果;

23、计算以自然常数为底数、以第二乘积结果为指数的函数值,得到损失权重。

24、在一种可能的实施方式中,根据分布距离确定损失权重,包括:

25、通过至少一个分档阈值将分布距离的取值范围划分为至少两个区间;

26、确定分布距离所属的目标区间;

27、根据目标区间对应的预设权重值,确定损失权重。

28、在一种可能的实施方式中,确定目标损失函数,包括:

29、计算损失权重与初始损失函数的乘积,得到损失项;

30、根据分布距离确定正则项,正则项与分布距离正相关;

31、将损失项和正则项的和确定为目标损失函数。

32、在一种可能的实施方式中,根据目标损失函数更新预设模型的参数,包括:

33、根据目标损失函数进行反向传播,得到预设模型的至少一个参数的梯度信息;

34、根据梯度信息和预设的学习率,更新预设模型的参数。

35、在一种可能的实施方式中,将隐藏状态张量投影至真实动作序列的维度空间,包括:

36、确定线性投影矩阵,线性投影矩阵的行数由隐藏状态张量的总特征数量确定、列数由真实动作序列的总特征数量确定;

37、将隐藏状态张量展平后与线性投影矩阵的转置相乘,得到投影后隐藏状态。

38、在一种可能的实施方式中,方法还包括:

39、构建预设模型,预设模型包括视觉编码器、语言编码器、多模态融合模块、动作解码器;

40、获取训练样本,训练样本包括图像数据、语言指令数据和对应的真实动作序列。

41、在一种可能的实施方式中,获取预设模型的隐藏状态张量,包括:

42、通过视觉编码器对图像数据进行处理,得到视觉特征;

43、通过语言编码器对语言指令数据进行处理,得到语言特征;

44、通过多模态融合模块对视觉特征和语言特征进行处理,得到融合特征;

45、通过动作解码器对融合特征进行处理,在动作解码器中的目标层之后,提取隐藏状态张量。

46、第二方面,本技术实施例提供一种动作序列确定方法,包括:

47、获取待处理数据,待处理数据包括图像数据和语言指令数据;

48、通过目标模型对待处理数据进行处理,得到动作序列,其中,目标模型为通过第一方面的模型训练方法对预设模型训练得到的,动作序列用于控制目标设备执行目标动作。

49、第三方面,本技术实施例提供一种模型训练装置,包括:

50、第一获取模块,用于将训练样本输入预设模型进行前向传播,获取预设模型的隐藏状态张量,预设模型为视觉语言动作模型;

51、第一确定模块,用于确定隐藏状态张量与真实动作序列之间的分布距离;

52、第二确定模块,用于根据分布距离确定目标损失函数,其中,分布距离越大,目标损失函数中与训练样本对应的损失权重越大;

53、第一处理模块,用于根据目标损失函数更新预设模型的参数,得到目标模型,目标模型用于确定目标设备的动作序列。

54、第四方面,本技术实施例提供一种动作序列确定装置,包括:

55、第二获取模块,用于获取待处理数据,待处理数据包括图像数据和语言指令数据;

56、第二处理模块,用于通过目标模型对待处理数据进行处理,得到动作序列,其中,目标模型为通过模型训练方法对预设模型训练得到的,动作序列用于控制目标设备执行目标动作。

57、第五方面,本技术实施例提供一种电子设备,包括:存储器,处理器;

58、存储器存储计算机执行指令;

59、处理器执行存储器存储的计算机执行指令,使得处理器执行如上第一方面和/或第一方面各种可能的实施方式,或者使得处理器执行如上第二方面和/或第二方面各种可能的实施方式。

60、第六方面,本技术实施例提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现如上第一方面和/或第一方面各种可能的实施方式,或者计算机执行指令被处理器执行时用于实现如上第二方面和/或第二方面各种可能的实施方式。

61、第七方面,本技术实施例提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上第一方面和/或第一方面各种可能的实施方式,或者该计算机程序被处理器执行时实现如上第二方面和/或第二方面各种可能的实施方式。

62、本技术实施例提供的模型训练方法、动作序列确定方法、设备及存储介质,通过将训练样本输入预设模型进行前向传播以获取隐藏状态张量,并基于隐藏状态张量与真实动作序列之间的分布距离确定目标损失函数,且使分布距离越大的训练样本对应越大的损失权重,能够使模型在参数更新过程中更加关注中间表征与目标动作分布偏差较大的样本,进而提升视觉语言动作模型的训练效率、动作预测精度以及对分布漂移的适应能力。