多模态大模型的训练方法、上下文理解方法、装置、设备、介质和产品与流程

本技术涉及计算机，特别是涉及一种多模态大模型的训练方法、上下文理解方法、装置、设备、介质和产品。

背景技术：

1、多模态大模型可以应用于对文件内容的识别和理解，目前对于单页文档内容的理解能力较为突出，但是，对于多页文档的跨页理解能力还比较弱。其中，文档中可能包括文本、图片、表格、公式、签名等多种模态的内容。

2、传统地，在训练多模态大模型时，通常将文档的每一页图片进行视觉标记和压缩后输入多模态大模型进行特征学习，从而有效处理上下文。

3、然而，传统的对于多模态大模型的训练方式，对于长文档上下文的理解能力还是不高。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高对于长文档上下文的理解能力，进而提高对长文档上下文理解效果的多模态大模型的训练方法、上下文理解方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种多模态大模型的训练方法，包括：

3、获取样本文档对应的文档页图片和文档页文本；文档页图片是通过对样本文档的文档页进行图片转换得到的，文档页文本是通过对文档页图片进行识别得到的；

4、对文档页图片和文档页文本进行交替排序，得到训练序列；

5、基于训练序列对多模态大模型进行训练，其中，多模态大模型用于对多页文档进行上下文理解。

6、在其中一个实施例中，获取样本文档对应的文档页图片和文档页文本，包括：

7、获取样本文档，样本文档包括多个文档页；

8、将各文档页转换为图片，得到多个文档页图片；

9、从多个文档页图片中确定至少一个第一文档页图片，对各第一文档页图片进行识别处理，得到各第一文档页图片对应的文档页文本。

10、在其中一个实施例中，对文档页图片和文档页文本进行交替排序，得到训练序列，包括：

11、按照样本文档中各文档页的排列顺序，对各第二文档页图片和各文档页文本进行排序，得到训练序列；第二文档页图片为多个文档页图片中除第一文档页图片以外的文档页图片。

12、在其中一个实施例中，从多个文档页图片中确定至少一个第一文档页图片，包括：

13、确定各文档页对应的预测模式，预测模式包括单页预测模式和多页预测模式，单页预测模式为利用一个文档页对应的文档页图片预测下一文档页的文本的模式，多页预测模式为利用多个文档页对应的文档页图片预测下一文档页的文本的模式；

14、根据各文档页对应的预测模式，从多个文档页图片中确定至少一个第一文档页图片。

15、在其中一个实施例中，根据各文档页对应的预测模式，从多个文档页图片中确定至少一个第一文档页图片，包括：

16、对于预测模式为单页预测模式的文档页，将文档页的下一文档页对应的文档页图片确定为第一文档页图片；

17、对于预测模式为多页预测模式的文档页，将文档页之后的第k+1个文档页对应的文档页图片确定为第一文档页图片，其中，k为与文档页对应的预设跳过数量。

18、在其中一个实施例中，该方法还包括：

19、对于预测模式为多页预测模式的文档页，基于预设概率分布进行采样，确定采样概率，根据采样概率和文档页之后的剩余文档页数量，确定文档页对应的预设跳过数量k。

20、在其中一个实施例中，该方法还包括：

21、若第一文档页图片识别失败，则确定第一文档页图片对应的文档页的下一文档页，并将下一文档页对应的文档页图片确定为第一文档页图片。

22、在其中一个实施例中，基于训练序列对多模态大模型进行训练，包括：

23、对于训练序列中的各文档页文本，将文档页文本之前的至少一个文档页图片输入多模态大模型，得到文档页文本对应的训练文本；

24、根据各文档页文本和各文档页文本对应的训练文本，确定多模态大模型的损失值；

25、基于损失值对多模态大模型进行训练。

26、第二方面，本技术还提供了一种上下文理解方法，该方法包括：

27、获取待理解的目标文档；目标文档包括多个目标文档页；

28、将各目标文档页转换为目标文档页图片，并将各目标文档页图片输入至预设多模态大模型中进行上下文理解，得到上下文理解结果；预设多模态大模型采用如第一方面中的多模态大模型的训练方法训练得到。

29、第三方面，本技术还提供了一种多模态大模型的训练装置，包括：

30、获取模块，用于获取样本文档对应的文档页图片和文档页文本；文档页图片是通过对样本文档的文档页进行图片转换得到的，文档页文本是通过对文档页图片进行识别得到的；

31、序列构建模块，用于对文档页图片和文档页文本进行交替排序，得到训练序列；

32、模型训练模块，用于基于训练序列对多模态大模型进行训练，其中，多模态大模型用于对多页文档进行上下文理解。

33、第四方面，本技术还提供了一种上下文理解装置，包括：

34、获取模块，用于获取待理解的目标文档；目标文档包括多个目标文档页；

35、上下文理解模块，用于将各目标文档页转换为目标文档页图片，并将各目标文档页图片输入至预设多模态大模型中进行上下文理解，得到上下文理解结果；预设多模态大模型采用如第三方面中的多模态大模型的训练装置训练得到。

36、第五方面，本技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中的多模态大模型的训练方法和/或第二方面中的上下文理解方法的步骤。

37、第六方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中的多模态大模型的训练方法和/或第二方面中的上下文理解方法的步骤。

38、第七方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面中的多模态大模型的训练方法和/或第二方面中的上下文理解方法的步骤。

39、上述多模态大模型的训练方法、上下文理解方法、装置、计算机设备、存储介质和计算机程序产品，通过获取样本文档对应的文档页图片和文档页文本，并对文档页图片和文档页文本进行交替排序，得到训练序列；其中，文档页图片是通过对样本文档的文档页进行图片转换得到的，文档页文本是通过对文档页图片进行识别得到的；接着，基于训练序列对多模态大模型进行训练，其中，多模态大模型用于对多页文档进行上下文理解。由此可见，本技术实施例中通过对多模态大模型的训练数据进行预处理，从而得到由图片和文本交替组成的训练序列，并基于该图文交替的训练序列对多模态大模型进行训练；一方面，图文交替的训练序列是以文档页为单位形成的训练数据，与模型推理时的数据结构保持一致，在训练时能够保留文档页面的基本布局信息，保证文档的页面结构完整性，相较于传统的将文档中所有模态内容按顺序拼接的方式而言，采用与模型推理相同的数据结构，能够提高模型训练与推理应用的一致性，从而提高模型训练的准确性；另一方面，基于图文交替的训练序列，在训练过程中，采用图片预测下一页文本的方式，能够增强对文档中上下文之间的理解能力，相较于传统的视觉压缩方式，采用本技术实施例提出的训练序列，无需对现有的模型结构进行改进，也无需在模型训练过程中对训练序列进行压缩处理，因此，能够保留原始数据的所有有效信息，以进一步提高模型训练的准确性；最终提高多模态大模型对于长文档上下文之间的理解能力。