模型训练方法、存储介质、电子设备及程序产品与流程

摘要: 本申请涉及机器学习,特别涉及一种模型训练方法、存储介质、电子设备及程序产品。背景技术:1、在智能体设备操作技能学习领域,利用预训练的vla(vision-lan...
模型训练方法、存储介质、电子设备及程序产品与流程

本申请涉及机器学习,特别涉及一种模型训练方法、存储介质、电子设备及程序产品。

背景技术:

1、在智能体设备操作技能学习领域,利用预训练的vla(vision-language-actionmodel,视觉-语言-动作模型)的先验知识来提升操作技能,并结合环境反馈进行持续改进,是一个普遍的技术需求。

2、相关技术中,通常采用端到端微调大模型、纯行为克隆或简单的冻结大模型加外挂小策略等方式。然而,这些方法面临计算与显存开销巨大、缺乏环境反馈纠错能力,或因训练阶段与部署阶段的数据分布不一致导致冻结模型输出特征失效的固有瓶颈,使得在低资源下同时保留大模型先验并实现技能持续改进难以达成。

技术实现思路

1、为了解决上述技术问题,提供了一种模型训练方法、存储介质、电子设备及程序产品。

2、第一方面,本申请提供了一种模型训练方法,包括:基于示教数据,训练vla模型,以使vla模型输出与目标任务相关的参考动作;冻结vla模型的参数,并以vla模型提取的图像特征为输入、以视觉重建为目标训练目标编码器,以使目标编码器输出视觉表征向量;冻结目标编码器的参数,并利用视觉表征向量和参考动作训练目标策略模型,以使目标策略模型输出动作修正量;以便在模型部署阶段,基于目标策略模型输出的动作修正量和vla模型输出的参考动作,生成智能体设备的最终执行动作。

3、在一实施例中,利用视觉表征向量和参考动作训练目标策略模型,包括:在与参考动作一致的归一化动作空间中,通过强化学习的方式,利用视觉表征向量和参考动作训练目标策略模型;其中,归一化动作空间基于vla模型训练时所采用的归一化参数构建,归一化参数包括均值和/或标准差。

4、在一实施例中,利用视觉表征向量和参考动作训练目标策略模型,包括:利用视觉表征向量和参考动作,由目标策略模型输出动作修正量,并将动作修正量与参考动作叠加,得到目标动作;基于目标动作,计算训练损失;基于训练损失,更新目标策略模型的参数,以完成对目标策略模型的训练。

5、在一实施例中,该方法还包括:由采集侧将视觉表征向量和参考动作存储至特征缓冲区;其中,利用视觉表征向量和参考动作,由目标策略模型输出动作修正量,包括:由训练侧从特征缓冲区读取视觉表征向量和参考动作;基于读取的视觉表征向量和参考动作,由目标策略模型输出动作修正量。

6、在一实施例中,训练损失包括主体训练损失;基于目标动作,计算训练损失,包括:将在多个连续时间步上采集的、包括目标动作及目标动作对应的奖励在内的经验数据,构建为一个动作块;在动作块内,基于折扣因子对动作块内各时间步的奖励进行加权求和,得到动作块的累计奖励;由目标策略模型基于动作块的末状态输出动作修正量,并将该动作修正量与参考动作叠加,得到末状态动作;由目标价值网络基于动作块的末状态和末状态动作,输出动作块的价值估计;将动作块的累计奖励与动作块的价值估计相加,得到时序差分目标;基于时序差分目标,计算主体训练损失。

7、在一实施例中,将动作修正量与参考动作叠加,得到目标动作,包括:将动作修正量与参考动作叠加,得到候选动作;将候选动作限制在参考动作的信任域内,得到目标动作。

8、在一实施例中,基于目标动作,计算训练损失,包括:基于目标动作,计算主体训练损失;基于候选动作与参考动作的差异,计算动作差异惩罚项;将动作差异惩罚项加入主体训练损失,得到训练损失。

9、在一实施例中,目标价值网络是价值网络的副本,且目标价值网络的输入与价值网络的输入相同;其中,价值网络的输入由视觉表征向量构成。

10、在一实施例中,在利用视觉表征向量和参考动作训练目标策略模型之前,还包括:将目标策略模型中用于输出动作修正量的网络参数初始化为零,以使目标策略模型初始输出的动作修正量为零。

11、在一实施例中,训练目标策略模型所采用的配置项,与训练vla模型所采用的配置项相同;其中,配置项包括图像裁剪参数、增量动作掩码、任务提示词以及归一化统计量中的至少一种。

12、在一实施例中,冻结vla模型的参数后,利用vla模型提取图像特征时对输入数据执行的变换操作,与训练vla模型时对输入数据执行的变换操作相同;其中,变换相同操作通过以下步骤实现:将训练vla模型时对输入数据执行的变换操作封装为独立的软件包;利用冻结后的vla模型提取图像特征时,通过包依赖的方式调用软件包中的变换操作。

13、在一实施例中,该方法还包括:训练vla模型时,将vla模型的参数保存至预设格式的参数文件;训练目标编码器时,将目标编码器的参数保存至预设格式的参数文件;其中,冻结所述vla模型的参数,以及冻结目标编码器的参数,包括:基于vla模型和目标编码器各自对应的键前缀,从预设格式的参数文件中加载各自的参数并冻结。

14、第二方面,本申请一实施例提供了一种模型训练装置,包括:第一训练模块,用于基于示教数据,训练vla模型,以使vla模型输出与目标任务相关的参考动作;第二训练模块,用于冻结vla模型的参数,并以vla模型提取的图像特征为输入、以视觉重建为目标训练目标编码器,以使目标编码器输出视觉表征向量;第三训练模块,用于冻结目标编码器的参数,并利用视觉表征向量和参考动作训练目标策略模型,以使目标策略模型输出动作修正量;以便在模型部署阶段,基于目标策略模型输出的动作修正量和vla模型输出的参考动作,生成智能体设备的最终执行动作。

15、第三方面,本申请一实施例提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序用于执行第一方面提及的方法。

16、第四方面,本申请一实施例提供了一种电子设备,该电子设备包括:处理器;用于存储处理器可执行指令的存储器;该处理器用于执行第一方面提及的方法。

17、第五方面,本申请一实施例提供了一种计算机程序产品,该计算机程序产品包括指令,该指令在电子设备上执行时使电子设备实现第一方面提及的方法。

18、上述方案通过将模型训练过程解耦为vla模型训练、目标编码器训练和目标策略模型训练三个阶段,并在后两个阶段中冻结已有的vla模型和编码器的参数,仅训练一个输出动作修正量的小型目标策略模型,使得目标策略模型的训练能够在完全保留大模型预训练先验的前提下,降低训练的计算与显存开销,从而在极低的计算代价下实现对智能体设备操作技能的持续改进。

1.一种模型训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述利用所述视觉表征向量和所述参考动作训练目标策略模型,包括:

3.根据权利要求1或2所述的方法,其特征在于,所述利用所述视觉表征向量和所述参考动作训练目标策略模型,包括:

4.根据权利要求3所述的方法,其特征在于,还包括:

5.根据权利要求3所述的方法,其特征在于,所述训练损失包括主体训练损失;所述基于所述目标动作,计算训练损失,包括:

6.根据权利要求3所述的方法,其特征在于,所述将所述动作修正量与所述参考动作叠加,得到目标动作,包括:

7.根据权利要求6所述的方法,其特征在于,所述基于所述目标动作,计算训练损失,包括:

8.根据权利要求5所述的方法,其特征在于,所述目标价值网络是价值网络的副本,且所述目标价值网络的输入与所述价值网络的输入相同;

9.根据权利要求1或2所述的方法,其特征在于,在所述利用所述视觉表征向量和所述参考动作训练目标策略模型之前,还包括:

10.根据权利要求1或2所述的方法,其特征在于,训练所述目标策略模型所采用的配置项,与训练所述vla模型所采用的配置项相同;

11.根据权利要求1或2所述的方法,其特征在于,冻结所述vla模型的参数后,利用所述vla模型提取所述图像特征时对输入数据执行的变换操作,与训练所述vla模型时对输入数据执行的变换操作相同;

12.根据权利要求1或2所述的方法,其特征在于,还包括:

13.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1至12任一项所述的方法。

14.一种电子设备,其特征在于,包括:

15.一种计算机程序产品,其特征在于,所述计算机程序产品包括指令,所述指令在电子设备上执行时使所述电子设备实现权利要求1至12任一项所述的方法。