一种目标多模态大语言模型的训练方法、装置、设备及介质与流程

摘要: 本说明书实施例涉及模型训练,特别涉及一种目标多模态大语言模型的训练方法、装置、设备及介质。背景技术:1、多模态大语言模型(multimodallargelang...
一种目标多模态大语言模型的训练方法、装置、设备及介质与流程

本说明书实施例涉及模型训练,特别涉及一种目标多模态大语言模型的训练方法、装置、设备及介质。

背景技术:

1、多模态大语言模型(multimodal large language model, mllm)通过将视觉编码器与大语言模型解码器联合训练,使模型能够同时处理图像与文本输入并生成自然语言输出,在视觉问答、图像理解等任务上取得了显著进展。然而,让模型对图像进行细粒度的区域级视觉理解与推理,仍然是当前实际部署中的核心挑战。

2、当前,多模态大语言模型在处理高分辨率图像中的细节问答、内容审核中的精细违规识别等任务时,由于图像token数量受限,模型的注意力容易被背景区域稀释,难以准确识别仅占图像极小局部的关键信息。研究表明,模型在推理早期若关注了错误的视觉区域,这一偏差在后续推理过程中极少被纠正,错误的视觉假设会沿着推理链传播,最终导致系统性推理失败。

3、有鉴于此,如何提供一种多模态大语言模型的训练方法,使多模态大模型在推理过程中具备自主生成视觉关注信号的能力,从而在回答前即锁定图像关键区域,成为亟需解决的技术问题。

技术实现思路

1、本说明书实施例提供了一种目标多模态大语言模型的训练方法。本说明书一个或者多个实施例同时涉及一种基于目标多模态大语言模型的推理方法、一种目标多模态大语言模型的训练装置,一种基于目标多模态大语言模型的推理装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序产品,以解决现有技术中存在的技术缺陷。

2、根据本说明书实施例的第一方面,提供了一种目标多模态大语言模型的训练方法,所述目标多模态大语言模型的词表中包含有与离散视觉标识符对应的词元;所述训练方法包括:

3、获取训练样本,所述训练样本包含样本图像、样本问题、参考注意力分布以及样本答案,所述参考注意力分布用于反映所述样本图像中不同区域对回答所述样本问题的重要程度;

4、将所述参考注意力分布映射为至少一个离散视觉标识符,其中,所述离散视觉标识符为从视觉特征码本中选取的索引值;

5、构建训练序列,所述训练序列包括所述样本图像、所述样本问题以及目标输出结果;所述目标输出结果包括所述离散视觉标识符以及所述样本答案;所述离散视觉标识符设置于所述样本答案之前;

6、将所述训练序列输入所述目标多模态大语言模型,得到所述目标多模态大语言模型针对目标输出结果的预测结果;

7、计算所述预测结果与所述目标输出结果之间的目标损失;

8、基于所述目标损失更新所述目标多模态大语言模型的模型参数。

9、根据本说明书实施例的第二方面,提供了一种基于目标多模态大语言模型的推理方法,所述目标多模态大语言模型的词表中包含有与离散视觉标识符对应的词元;所述推理方法包括:

10、获取待处理图像数据以及与所述待处理图像数据关联的文本查询指令;

11、将所述待处理图像数据和所述文本查询指令输入至已训练的目标多模态大语言模型,控制所述目标多模态大语言模型执行第一阶段的自回归生成,得到所述目标多模态大语言模型输出的至少一个离散视觉标识符;其中,所述离散视觉标识符为从视觉特征码本中选取的索引值;

12、基于所述离散视觉标识符,构建与所述待处理图像数据对应的注意力分布;

13、根据所述注意力分布确定注意力偏置序列;

14、将所述注意力偏置序列叠加至所述目标多模态大语言模型自注意力计算的注意力掩码中与所述待处理图像数据的图像特征对应的位置;

15、控制所述目标多模态大语言模型执行第二阶段的自回归生成,得到针对所述文本查询指令的回答文本。

16、根据本说明书实施例的第三方面,提供了一种目标多模态大语言模型的训练装置,所述目标多模态大语言模型的词表中包含有与离散视觉标识符对应的词元;所述训练装置包括:

17、获取模块,被配置为获取训练样本,所述训练样本包含样本图像、样本问题、参考注意力分布以及样本答案,所述参考注意力分布用于反映所述样本图像中不同区域对回答所述样本问题的重要程度;

18、映射模块,被配置为将所述参考注意力分布映射为至少一个离散视觉标识符,其中,所述离散视觉标识符为从视觉特征码本中选取的索引值;

19、序列构建模块,被配置为构建训练序列,所述训练序列包括所述样本图像、所述样本问题以及目标输出结果;所述目标输出结果包括所述离散视觉标识符以及所述样本答案;所述离散视觉标识符设置于所述样本答案之前;

20、输入模块,被配置为将所述训练序列输入所述目标多模态大语言模型,得到所述目标多模态大语言模型针对目标输出结果的预测结果;

21、损失计算模块,被配置为计算所述预测结果与所述目标输出结果之间的目标损失;

22、参数更新模块,被配置为基于所述目标损失更新所述目标多模态大语言模型的模型参数。

23、根据本说明书实施例的第四方面,提供了一种基于目标多模态大语言模型的推理装置,所述目标多模态大语言模型的词表中包含有与离散视觉标识符对应的词元;所述推理装置包括:

24、获取模块,被配置为获取待处理图像数据以及与所述待处理图像数据关联的文本查询指令;

25、输入模块,被配置为将所述待处理图像数据和所述文本查询指令输入至已训练的目标多模态大语言模型,控制所述目标多模态大语言模型执行第一阶段的自回归生成,得到所述目标多模态大语言模型输出的至少一个离散视觉标识符;其中,所述离散视觉标识符对应于预定义的视觉特征码本中的索引值;

26、注意力分布构建模块,被配置为基于所述离散视觉标识符,构建与所述待处理图像数据对应的注意力分布;

27、注意力偏置确定模块,被配置为根据所述注意力分布确定注意力偏置序列;

28、参数叠加模块,被配置为将所述注意力偏置序列叠加至所述目标多模态大语言模型的自注意力计算注意力掩码中与所述待处理图像数据的图像特征对应的位置;

29、控制模块,被配置为控制所述目标多模态大语言模型执行第二阶段的自回归生成,得到针对所述文本查询指令的回答文本。

30、根据本说明书实施例的第五方面,提供了一种计算设备,包括:

31、存储器和处理器;

32、所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述目标多模态大语言模型的训练方法,或基于目标多模态大语言模型的推理方法的步骤。

33、根据本说明书实施例的第六方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述目标多模态大语言模型的训练方法,或基于目标多模态大语言模型的推理方法的步骤。

34、根据本说明书实施例的第七方面,提供了一种计算机程序产品,包括计算机程序或指令,该计算机程序或指令被处理器执行时实现上述目标多模态大语言模型的训练方法,或基于目标多模态大语言模型的推理方法的步骤。

35、本说明书实施例提供的目标多模态大语言模型的训练方法,通过获取包含样本图像、样本问题、参考注意力分布以及样本答案的训练样本,其中,参考注意力分布用于反映样本图像中不同区域对回答样本问题的重要程度。然后将参考注意力分布映射为离散视觉标识符;以构建包括样本图像、样本问题以及目标输出结果的训练序列;目标输出结果中包括离散视觉标识符以及样本答案,离散视觉标识符设置于所述样本答案之前。将训练序列输入目标多模态大语言模型,得到目标多模态大语言模型针对目标输出结果的预测结果;从而根据预测结果与目标输出结果之间的目标损失更新目标多模态大语言模型的模型参数。

36、通过将参考注意力分布映射为离散视觉标识符(即码本索引值),模型的预测目标由高维连续向量转化为有限离散视觉标识符,输出空间从无限连续缩减为有限候选集合,模型只需学习输入图像与离散视觉标识符之间的映射关系,显著降低了模型的学习难度和训练复杂度;另外,离散视觉标识符以标准离散词元形式存在于词表中,模型可直接利用已有的自回归分类框架进行优化,无需引入额外的回归损失或连续空间约束,提高了训练效率与稳定性。

37、另外,通过将离散视觉标识符设置于样本答案之前构建训练序列,使标识符的生成成为答案生成的前置条件,即模型需正确产出离散视觉标识符后才可继续生成答案,在训练过程中建立起从图像内容到离散视觉标识符再到最终答案的完整推理链条,强化了模型对视觉注意力信息与最终答案输出之间的因果逻辑关联,进一步提高了模型对图像内容与离散视觉标识符之间映射关系的建模能力。