模型的训练方法、电子设备、存储介质、程序产品及芯片与流程

摘要: 本技术涉及模型训练,尤其涉及一种模型的训练方法、电子设备、存储介质、程序产品及芯片。背景技术:1、视觉语言模型在图像理解、视觉推理等任务中展现出优异性能。目前行...
模型的训练方法、电子设备、存储介质、程序产品及芯片与流程

本技术涉及模型训练,尤其涉及一种模型的训练方法、电子设备、存储介质、程序产品及芯片。

背景技术:

1、视觉语言模型在图像理解、视觉推理等任务中展现出优异性能。目前行业普遍采用组相对策略优化(group relative policy optimization,grpo)等强化学习后训练方式对视觉语言模型进行微调优化,该类训练方式以视觉语言模型最终输出答案的正误作为唯一监督与奖励依据,仅对推理结果进行整体约束。

2、然而,现有的训练方式无法区分是由于感知失败还是推理失败导致模型错误输出。其中,感知失败指模型未能有效捕捉、参考图像视觉信息,依赖文本先验捷径输出结果;推理失败指模型已准确感知视觉内容,但后续逻辑推导、语言梳理过程出现偏差。

3、如此,当模型视觉感知不可靠、未有效利用视觉证据时,现有训练机制无法及时约束模型行为,仍会驱动模型进行冗长、无效的深度推理,产生大量无意义的推理内容。当模型已充分完成视觉感知、获取有效图像信息时,模型易出现过度思考、冗余推导的问题。

技术实现思路

1、为解决现有的训练方式无法区分是由于感知失败还是推理失败导致模型错误输出的问题,本技术实施例提供一种模型的训练方法、电子设备、存储介质、程序产品及芯片,包括:

2、第一方面,本技术实施例提供一种模型的训练方法,应用于第一电子设备,包括:获取训练样本,训练样本包括至少一个模态信息、对应的推理任务以及用于评判推理结果的期望标签;将至少一个模态信息和推理任务输入待训练的模型,生成多条不同的推理轨迹;针对每条推理轨迹,计算推理轨迹中模型对各模态信息的相对参与度,其中,相对参与度表征推理轨迹下模型对对应模态信息的处理程度的高低;将每条推理轨迹中模型对各模态信息的相对参与度、推理任务的任务难度等级、每条推理轨迹的推理答案以及期望标签作为综合结构化奖励;基于综合结构化奖励对模型的模型参数进行更新。

3、本技术实施例中,通过根据模型对各模态信息的相对参与度、任务难度、答案正确性构建综合结构化奖励来对模型进行训练,而不是仅依靠最终答案正确与否来对模型进行训练,能够区分模型输出错误源于感知失败或是推理失败,并且可以提升模型的训练效果。

4、在第一方面的一些实现方式中,将至少一个模态信息和推理任务输入待训练的模型,生成多条不同的推理轨迹,包括:将至少一个模态信息和推理任务输入待训练的模型,获取模型输出的多条不同的推理轨迹、每条推理轨迹的推理答案以及在生成每条推理轨迹的过程中每一层输出的自注意力矩阵。

5、可以理解,在生成每个推理轨迹中的每个词元的过程中,数据经过模型的每一层都可以输出一个自注意力矩阵,该自注意力矩阵中的参数可以表示生成当前词元时模型对各个图像词元、文本词元的关注程度。

6、在第一方面的一些实现方式中,针对每条推理轨迹,计算推理轨迹中模型对各模态信息的相对参与度,包括:根据多条不同的推理轨迹,构建训练样本组;根据在生成每条推理轨迹的过程中每一层输出的自注意力矩阵,确定每条推理轨迹的预设阶段的计算窗口内模型对各模态信息的聚合注意力分数;根据每条推理轨迹的预设阶段的计算窗口内模型对各模态信息的聚合注意力分数,确定每条推理轨迹对应的平均模态注意力比率;基于训练样本组内全部推理轨迹对应的平均模态注意力比率和预设的组级阈值,确定每条推理轨迹中模型对各模态信息的相对参与度。

7、可以理解,预设阶段可以为早期阶段。该早期阶段可以是指:在生成推理轨迹的过程中整个推理轨迹未完全生成的前期阶段。

8、示例性地,在至少一个模态信息为图像信息的情况下,第一电子设备可以采用如下公式(1)确定每条推理轨迹的预设阶段的计算窗口内模型对各模态信息的聚合注意力分数:

9、  (1);

10、其中,可以表示第层中第个文本词元对应的聚合注意力分数,即,某条推理轨迹的预设阶段的计算窗口内模型对图像信息的聚合注意力分数,可以表示全部图像词元构成的集合,可以表示第层输出的自注意力矩阵中第个文本词元指向第个图像词元的注意力权重。

11、本技术实施例中,通过直接复用模型推理过程中产生的自注意力矩阵,确定模型对各模态信息的聚合注意力分数,无需额外标注、辅助模型或者前向传播,可以降低外推理成本。

12、在第一方面的一些实现方式中,根据在生成每条推理轨迹的过程中每一层输出的自注意力矩阵,确定每条推理轨迹的预设阶段的计算窗口内模型对各模态信息的聚合注意力分数,包括:针对每条推理轨迹,选取预设的中间层子集;基于中间层子集内每一层输出的自注意力矩阵,确定每条推理轨迹的预设阶段的计算窗口内模型对各模态信息的聚合注意力分数。

13、本技术实施例中,通过采用中间层子集输出的自注意力矩阵来计算聚合注意力分数,而非全部层输出的自注意力矩阵来计算聚合注意力分数,可以避免浅层特征对齐噪声和深层语言主导推理干扰。

14、在另一些确定每条推理轨迹的预设阶段的计算窗口内模型对各模态信息的聚合注意力分数的实现方式中,针对每条推理轨迹,第一电子设备可以基于全部层内每一层输出的子注意力矩阵,确定每条推理轨迹的预设阶段的计算窗口内模型对各模态信息的聚合注意力分数。

15、本技术实施例对确定每条推理轨迹的预设阶段的计算窗口内模型对各模态信息的聚合注意力分数的具体实现方式不作限定。

16、在第一方面的一些实现方式中,根据每条推理轨迹的预设阶段的计算窗口内模型对各模态信息的聚合注意力分数,确定每条推理轨迹对应的平均模态注意力比率,包括:根据推理轨迹的预设阶段的计算窗口内,中间层子集输出的模型对各模态信息的聚合注意力分数的平均值,得到每条推理轨迹对应的平均模态注意力比率。

17、示例性地,第一电子设备可以采用如下公式(2)确定推理轨迹对应的平均模态注意力比率:

18、 (2);

19、其中,可以表示推理轨迹对应的平均模态注意力比率,可以表示推理轨迹,可以表示中间层子集,可以表示预设阶段的计算窗口。

20、在第一方面的一些实现方式中,基于训练样本组内全部推理轨迹对应的平均模态注意力比率和预设的组级阈值,确定每条推理轨迹中模型对各模态信息的相对参与度,包括:基于训练样本组内全部推理轨迹对应的平均模态注意力比率,得到训练样本组内平均模态注意力比率的最大值和最小值;利用最大值与最小值,分别对训练样本组内每一条推理轨迹对应的平均模态注意力比率以及预设的组级阈值进行归一化处理,得到归一化处理后的平均模态注意力比率和归一化后的组级阈值;根据归一化后的平均模态注意力比率和归一化后的组级阈值,确定每条推理轨迹中模型对各模态信息的相对参与度。

21、示例性地,第一电子设备可以采用如下公式(3)确定归一化后的平均模态注意力比率:

22、 (3);

23、其中,可以表示归一化后的平均模态注意力比率,可以表示归一化前地平均模态注意力比率,可以表示训练样本组内平均模态注意力比率的最大值,可以表示训练样本组内平均模态注意力比率的最小值。

24、如此,通过对训练样本组内平均模态注意力比率的最大值和最小值进行归一化,可以使得相对参与度判定自动适应不同任务类型对模态信息的差异化依赖。

25、示例性地,第一电子设备可以采用如下公式(4)确定归一化后的组级阈值:

26、 (4);

27、其中,可以表示归一化后的组级阈值,可以表示归一化前的组级阈值,可以表示训练样本组内平均模态注意力比率的最大值,可以表示训练样本组内平均模态注意力比率的最小值。

28、如此,通过对组级阈值进行归一化处理,可以使得归一化后的组级阈值在不同任务分布下均有效,可以改善固定阈值在高相对参与度依赖的计数任务与低相对参与度的常识推理任务间泛化性。

29、在一些实现方式中,在确定归一化后的平均模态注意力比率和归一化后的组级阈值的情况下,第一电子设备可以将归一化后的平均模态注意力比率和归一化后的组级阈值进行比较,从而确定推理轨迹中模型对各模态信息的相对参与度。

30、示例性地,第一电子设备可以采用如下函数(5)确定推理轨迹中模型对相应模态信息的相对参数度:

31、 (5);

32、其中,可以表示推理轨迹中模型对相应模态信息的相对参数度,1可以表示推理轨迹中模型对相应模态信息的相对参数度高,0可以表示推理轨迹中模型对相应模态信息的相对参数度低,可以表示归一化后的平均模态注意力比率,可以表示归一化后的组级阈值。

33、由函数(5)可知,在归一化后的平均模态注意力比率大于或者等于归一化后的组级阈值的情况下,第一电子设备可以确定推理轨迹中模型对相应模态信息的相对参与度高,即对相应模态信息的处理程度高,也即是对相应模态信息的感知充分。在归一化后的平均模态注意力比率小于归一化后的组级阈值的情况下,第一电子设备可以确定推理轨迹中模型对相应模态信息的相对参与度低,即对相应模态信息的处理程度低,也即是对相应模态信息的感知不足。

34、在第一方面的一些实现方式中,将每条推理轨迹中模型对各模态信息的相对参与度、推理任务的任务难度等级、每条推理轨迹的推理答案以及期望标签作为综合结构化奖励,包括:根据期望标签和每条推理轨迹的推理答案,确定每条推理轨迹的答案奖励和推理任务的任务难度等级;根据每条推理轨迹中模型对各模态信息的相对参与度、推理任务的任务难度等级和每条推理轨迹的答案奖励,确定每条推理轨迹对应的轨迹长度奖励和感知奖励;将每条推理轨迹的答案奖励、轨迹长度奖励和感知奖励作为综合结构化奖励。

35、在一些实现方式中,在确定每条推理轨迹的推理答案的情况下,第一电子设备可以将期望标签与推理轨迹的推理答案进行比较,从而确定推理轨迹的答案奖励。

36、示例性地,第一电子设备可以采用如下函数(6)确定每条推理轨迹的答案奖励:

37、 (6);

38、其中,可以表示推理轨迹的答案奖励,1可以表示该条推理轨迹的推理答案正确的情况下的答案奖励,0可以表示该条推理轨迹的推理答案错误的情况下的答案奖励。

39、由函数(6)可知,在某条推理轨迹的推理答案与期望标签相同的情况下,第一电子设备可以确定该条推理轨迹的推理答案正确,并确定该条推理轨迹的答案奖励为1。在另一条推理轨迹的推理答案与期望标签不同的情况下,第一电子设备可以确定该推理轨迹的推理答案错误,并确定该条推理轨迹的答案奖励为0。

40、如此,通过推理轨迹的答案奖励提供基础正确性监督,推理轨迹对应的轨迹长度奖励依据感知与难度条件自适应调节推理深度,实现效率维度的约束,推理轨迹对应的感知奖励保障正确答案依托可靠的视觉证据,实现可靠性维度的约束。

41、在第一方面的一些实现方式中,根据每条推理轨迹中模型对各模态信息的相对参与度、推理任务的任务难度等级和每条推理轨迹的答案奖励,确定每条推理轨迹对应的轨迹长度奖励和感知奖励,包括:根据每条推理轨迹中模型对各模态信息的相对参与度和推理任务的任务难度等级,确定每条推理轨迹对应的轨迹长度奖励;根据每条推理轨迹中模型对各模态信息的相对参与度和每条推理轨迹的答案奖励,确定每条推理轨迹对应的感知奖励。

42、示例性地,第一电子设备采用如下公式(7)确定推理轨迹的轨迹长度奖励:

43、 (7);

44、其中,可以表示推理轨迹对应的轨迹长度奖励,可以表示感知-难度联合调节系数,可以表示推理轨迹中模型对相应模态信息的相对参数度,可以表示推理任务的任务难度等级,可以表示基于轨迹长度的惩罚函数。

45、如此,通过以每条推理轨迹中模型对各模态信息的相对参与度和推理任务的任务难度等级,确定每条推理轨迹对应的轨迹长度奖励作为轨迹长度奖励,可以在视觉感知不可靠且任务简单时,强惩罚冗长推理,避免模型在错误感知基础上进行无效深度推理。并且,可以在视觉感知不可靠但任务困难时,适度放松惩罚,避免过早截断可能有价值的推理链。

46、示例性地,第一电子设备可以采用公式(8)确定每条推理轨迹对应的感知奖励:

47、 (8);

48、其中,可以表示推理轨迹对应的感知奖励,可以表示归一化后的平均模态注意力比率,可以表示归一化后的组级阈值,和可以表示系数,其中,可以为正,以表示模型充分感知模态信息,从而鼓励模型基于模态信息得到正确答案。可以为负,也可以为小于的正值,以表示模型几乎没有感知模态信息,基本靠推理任务蒙对答案,不给高奖励,甚至施加惩罚,以抑制不感知模态信息猜答案的捷径行为。

49、由函数(8)可知,在某条推理轨迹中模型对相应模态信息的相对参与度高,并且该条推理轨迹的推理答案正确的情况下,第一电子设备可以根据归一化后的平均模态注意力比率确定该条推理轨迹对应的感知奖励。例如,将确定为该条推理轨迹对应的感知奖励。在另一条推理轨迹中模型对相应模态信息的相对参与度低,但是该条推理轨迹的推理答案正确的情况下,第一电子设备可以根据归一化后的组级阈值确定该条推理轨迹对应的感知奖励。例如,将确定为该条推理轨迹对应的感知奖励。在另一条推理轨迹的推理答案错误的情况下,第一电子设备可以确定该条推理轨迹对应的感知奖励为0。

50、示例性地,第一电子设备可以采用如下公式(9)确定综合结构化奖励:

51、 (9);

52、其中,可以表示推理轨迹的综合结构化奖励,可以表示推理轨迹的答案奖励,可以表示推理轨迹对应的轨迹长度奖励,可以表示推理轨迹对应的感知奖励。

53、第二方面,本技术实施例提供一种数据处理方法,应用于第二电子设备,包括:获取用户输入数据;将输入数据输入模型,获取待执行操作;其中,模型是基于上述第一方面及第一方面的任意一种可能实现提供的模型的训练方法训练得到的;执行待执行操作。

54、第三方面,本技术实施例提供一种电子设备,包括:存储器,用于存储电子设备的一个或多个处理器执行的指令,以及处理器,是电子设备的一个或多个处理器之一,用于执行第一方面及第一方面的任意一种可能实现提供的模型的训练方法,或者用于执行第二方面提供的模型的训练方法。

55、第四方面,本技术实施例提供一种可读存储介质,可读存储介质上存储有指令,指令在电子设备上执行时使得电子设备执行第一方面及第一方面的任意一种可能实现提供的模型的训练方法,或者执行第二方面提供的数据处理方法。

56、第五方面,本技术实施例提供一种计算机程序产品,计算机程序产品包括计算机指令,在被电子设备执行时,电子设备执行如第一方面及第一方面的任意一种可能实现提供的模型的训练方法,或者执行第二方面提供的数据处理方法。

57、第六方面,本技术实施例提供一种芯片,包括处理器,处理器与存储器耦合,用于执行存储器中存储的计算机程序或指令,使得芯片实现第一方面及第一方面的任意一种可能实现提供的模型的训练方法,或者实现第二方面提供的数据处理方法。

58、可以理解的是,上述第二方面至第六方面的具体实现方式和有益效果可以参见上述第一方面或第一方面所提供的各种实现方式中的任一项模型的训练方法的相关描述,在此不再赘述。