问答模型训练方法、装置、电子设备、计算机可读存储介质及计算机程序产品与流程

本申请涉及计算机技术，尤其涉及一种问答模型训练方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术：

1、如今，大语言模型在各个领域中被广泛应用。大语言模型在执行数学推理任务时，既需要复杂的数学相关语义理解，也需要多步推理能力，因此，数学推理任务对于大语言模型依然具有较大的挑战性。其中，在数学推理任务中，大量且高质量的数学训练数据是数学推理的基本燃料。然而，由于数学问题的多样性和复杂性，导致高质量的自然数学数据是比较稀缺的。所以，相关技术中在训练大语言模型的数学推理能力时，仍然严重缺乏高质量的数学训练数据。

技术实现思路

1、本申请实施例提供一种问答模型训练方法、装置、计算机可读存储介质及计算机程序产品，能够在多次训练迭代中循环生成多个训练数据集，从而提高问答模型的训练效率，以及训练好的问答模型的问答准确性。

2、本申请实施例的技术方案是这样实现的：

3、本申请实施例提供一种问答模型训练方法，所述方法包括：

4、确定所述问答模型的当前训练迭代过程所需的样本问题集，基于所述样本问题集生成当前训练迭代过程的第一训练数据集，所述第一训练数据集包括多个合成问题和每一所述合成问题对应的问题答案；

5、基于所述第一训练数据集，对上一训练迭代过程得到的问答模型进行当前训练迭代，得到当前训练迭代后的问答模型；

6、基于所述当前训练迭代后的问答模型，在所述样本问题集和所述多个合成问题中确定第一目标问题，所述第一目标问题为当前训练迭代后的问答模型解答失败的问题；

7、基于所述第一目标问题，确定下一训练迭代过程的第二训练数据集，并利用所述第二训练数据集对当前训练迭代后的问答模型进行训练，直至达到训练结束条件，得到训练好的问答模型。

8、本申请实施例提供一种问答模型训练装置，包括：

9、确定模块，用于确定所述问答模型的当前训练迭代过程所需的样本问题集，基于所述样本问题集生成当前训练迭代过程的第一训练数据集，所述第一训练数据集包括多个合成问题和每一所述合成问题对应的问题答案；

10、训练模块，用于基于所述第一训练数据集，对上一训练迭代过程得到的问答模型进行当前训练迭代，得到当前训练迭代后的问答模型；

11、所述确定模块，还用于基于所述当前训练迭代后的问答模型，在所述样本问题集和所述多个合成问题中确定第一目标问题，所述第一目标问题为当前训练迭代后的问答模型解答失败的问题；

12、所述确定模块，还用于基于所述第一目标问题，确定下一训练迭代过程的第二训练数据集，并利用所述第二训练数据集对当前训练迭代后的问答模型进行训练，直至达到训练结束条件，得到训练好的问答模型。

13、本申请实施例提供一种电子设备，所述电子设备包括：

14、存储器，用于存储计算机可执行指令或者计算机程序；

15、处理器，用于执行所述存储器中存储的计算机可执行指令或者计算机程序时，实现本申请实施例提供的问答模型训练方法。

16、本申请实施例提供一种计算机可读存储介质，存储有计算机程序或计算机可执行指令，用于被处理器执行时实现本申请实施例提供的问答模型训练方法。

17、本申请实施例提供一种计算机程序产品，包括计算机程序或计算机可执行指令，所述计算机程序或计算机可执行指令被处理器执行时，实现本申请实施例提供的问答模型训练方法。

18、本申请实施例具有以下有益效果：

19、在本申请实施例中，确定问答模型的当前训练迭代过程所需的样本问题集，基于样本问题集生成当前训练迭代过程的第一训练数据集，第一训练数据集包括多个合成问题和每一合成问题对应的问题答案；基于第一训练数据集，对上一训练迭代过程得到的问答模型进行当前训练迭代，得到当前训练迭代后的问答模型。这样，在每一次训练迭代过程中，都可以生成多个合成问题和问题答案来对上一训练迭代过程得到的问答模型进行当前训练迭代，从而保证在多次训练迭代中可以循环生成多个训练数据集，提高训练数据的质量和丰富性，提高模型训练的准确性。之后，基于当前训练迭代后的问答模型，在样本问题集和多个合成问题中确定第一目标问题，第一目标问题为当前训练迭代后的问答模型解答失败的问题；基于第一目标问题，确定下一训练迭代过程的第二训练数据集，并利用第二训练数据集对当前训练迭代后的问答模型进行训练。这样，可以保证每一次训练迭代过程对应的训练数据集中，均包括模型在上一次训练迭代过程中解答失败的问题，从而可以保证每一次对模型进行训练时，都能够充分利用模型之前无法解决的难题来对模型进行针对性训练，进一步提高问答模型的问答准确性。最后，直至达到训练结束条件，得到训练好的问答模型，从而提高训练好的问答模型的问答准确性和模型性能。

1.一种问答模型训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述确定当前训练迭代过程所需的样本问题集，包括：

3.根据权利要求2所述的方法，其特征在于，所述确定当前训练迭代过程所需的样本问题集，包括：

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

5.根据权利要求2所述的方法，其特征在于，所述从每一所述问题簇中确定出第一个数的第一目标样本，包括：

6.根据权利要求1所述的方法，其特征在于，所述样本问题集中包括每个问题簇对应的多个样本问题，所述基于所述样本问题集生成当前训练迭代过程的第一训练数据集，包括：

7.根据权利要求6所述的方法，其特征在于，所述基于每个所述问题簇对应的多个样本问题生成多个合成问题，包括：

8.根据权利要求6所述的方法，其特征在于，所述确定每一所述合成问题对应的问题答案，包括：

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

10.根据权利要求9所述的方法，其特征在于，所述确定与所述合成问题相关的参考问题，包括：

11.根据权利要求9所述的方法，其特征在于，所述方法还包括：

12.根据权利要求1至11任一项所述的方法，其特征在于，所述基于所述当前训练迭代后的问答模型，在所述样本问题集和所述多个合成问题中确定第一目标问题，包括：

13.根据权利要求1至11任一项所述的方法，其特征在于，所述利用所述第二训练数据集对当前训练迭代后的问答模型进行训练，直至达到训练结束条件，得到训练好的问答模型，包括：

14.根据权利要求13所述的方法，其特征在于，所述方法还包括：

15.根据权利要求2至11任一项所述的方法，其特征在于，所述方法还包括：

16.一种问答模型训练装置，其特征在于，所述装置包括：

17.一种电子设备，其特征在于，所述电子设备包括：

18.一种计算机可读存储介质，存储有计算机可执行指令或者计算机程序，其特征在于，所述计算机可执行指令或者计算机程序被处理器执行时实现权利要求1至15任一项所述的方法。

19.一种计算机程序产品，包括计算机可执行指令或计算机程序，其特征在于，所述计算机可执行指令或计算机程序被处理器执行时实现权利要求1至15任一项所述的方法。