基于难度分组的面向数学推理大语言模型训练方法及装置

本发明属于人工智能、机器学习以及大语言模型交叉领域，涉及一种基于难度分组的面向数学推理大语言模型训练方法及装置。

背景技术：

1、近年来，大语言模型在数学题求解、数学证明生成、公式推导、科学计算辅助以及智能教育等领域取得了显著进展。特别是在数学推理任务中，大语言模型通过生成多步推理过程逐步得到最终答案，已经成为当前人工智能研究和产业应用的重要方向。为了进一步提升模型的推理能力，仅依靠监督微调往往难以充分挖掘模型潜力。因此，强化学习训练逐渐成为数学推理大语言模型后训练阶段的重要技术手段。通过对模型生成结果进行自动验证并给予奖励信号，可以引导模型学习更加有效的推理策略，从而提高数学问题求解准确率。

2、目前，在数学推理模型强化学习训练过程中，组相对策略优化（group relativepolicy optimization，grpo）是一种广泛采用的训练方法。该方法通过针对同一数学问题生成多个候选解答，并利用候选解答之间的奖励统计信息构造优势函数，从而完成策略更新。由于无需额外训练价值网络，grpo具有实现简单、训练稳定等优点，因此被广泛应用于数学推理大语言模型训练。然而，在实际数学推理任务中，不同数学问题之间往往存在显著的难度差异。例如，对于基础代数运算问题，模型通常具有较高的正确率；而对于复杂证明题、多步组合推理题以及竞赛数学题，模型正确率则明显降低。因此，不同问题对应的真实奖励概率通常分布于不同区间。现有grpo方法在训练过程中通常对所有问题采用统一的优势函数估计方式，未充分利用问题之间的难度差异信息。当每个问题的采样数量较小时，组内奖励统计量容易受到随机采样噪声影响，从而导致优势函数估计误差增大。特别是在数学推理训练中，由于模型生成过程开销较大，实际训练往往采用较小的采样数量，因此上述问题更加突出。

3、因此，如何利用数学问题的难度特征构建更加准确的优势函数估计方法，在有限采样条件下降低优势估计误差，提高面向数学推理大语言模型的强化学习训练效率和最终性能，成为本领域亟待解决的技术问题。

技术实现思路

1、本发明的目的在于克服上述现有技术的缺点，提供一种基于难度分组的面向数学推理大语言模型训练方法及装置。

2、为达到上述目的，本发明采用以下技术方案予以实现：

3、本发明第一方面，提供一种基于难度分组的面向数学推理大语言模型训练方法，将待训练的面向数学推理大语言模型作为待训练模型，包括：获取若干数学问题并根据问题难度划分为若干难度子集；获取待训练模型在各难度子集上的平均准确率；根据若干数学问题和各平均准确率，采用改进grpo方法进行待训练模型训练，得到训练完成的面向数学推理大语言模型；其中，改进grpo方法通过将grpo方法的优势值替换为分组化优势估计值得到，所述分组化优势估计值根据数学问题基于待训练模型的回答的奖励值与数学问题所属难度子集对应的平均准确率得到。

4、可选的，所述获取若干数学问题并根据问题难度划分为若干难度子集包括：采用待训练模型获取各数学问题的若干回答并计算平均准确率，得到各数学问题基于待训练模型的平均准确率并作为难度指标；根据预设的若干难度指标区间，将若干数学问题划分为若干难度子集；其中，若干难度指标区间连续，且各难度指标区间等长。

5、可选的，所述获取待训练模型在各难度子集上的平均准确率包括：通过下式得到待训练模型在各难度子集上的平均准确率：

6、

7、其中，为待训练模型在第i个难度子集上的平均准确率，为从第i个难度子集中独立采样若干数学问题构成的同分布验证集，为中的数学问题数量，为第j个数学问题，为第j个数学问题基于待训练模型的平均准确率。

8、可选的，所述同分布验证集的数学问题数量通过下式确定：

9、

10、其中，n为同分布验证集预设的数学问题数量上界超参数，为总数学问题的数量，为总数学问题构成的集合。

11、可选的，所述分组化优势估计值通过下式得到：

12、

13、其中，为第j个数学问题的第m个回答的分组化优势估计值，为第j个数学问题的第m个回答的奖励值，为第j个数学问题所属第i个难度子集对应的平均准确率。

14、可选的，所述奖励值通过下述方式得到：获取数学问题的回答与数学问题的标准解答的比对结果；当所述比对结果为正确时，数学问题的回答的奖励值为第一预设值；当所述比对结果为错误时，数学问题的回答的奖励值为第二预设值；其中，第一预设值大于第二预设值。

15、可选的，所述根据若干数学问题和各平均准确率，采用改进grpo方法进行待训练模型训练，得到训练完成的面向数学推理大语言模型包括：当采用改进grpo方法进行待训练模型训练的训练迭代次数达到预设周期迭代次数时，获取当前待训练模型在各难度子集上的平均准确率；根据当前待训练模型在各难度子集上的平均准确率，更新各平均准确率。

16、本发明第二方面，提供一种基于难度分组的面向数学推理大语言模型训练系统，将待训练的面向数学推理大语言模型作为待训练模型，包括：分组模块，用于获取若干数学问题并根据问题难度划分为若干难度子集；计算模块，用于获取待训练模型在各难度子集上的平均准确率；训练模块，用于根据若干数学问题和各平均准确率，采用改进grpo方法进行待训练模型训练，得到训练完成的面向数学推理大语言模型；其中，改进grpo方法通过将grpo方法的优势值替换为分组化优势估计值得到，所述分组化优势估计值根据数学问题基于待训练模型的回答的奖励值与数学问题所属难度子集对应的平均准确率得到。

17、本发明第三方面，提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于难度分组的面向数学推理大语言模型训练方法的步骤。

18、本发明第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述基于难度分组的面向数学推理大语言模型训练方法的步骤。

19、与现有技术相比，本发明具有以下有益效果：

20、本发明基于难度分组的面向数学推理大语言模型训练方法，根据问题难度将其划分为若干难度子集，能够将难度相近的数学问题归并为同一组，从而为后续的精细化优势函数估计奠定数据基础；通过获取待训练模型在各难度子集上的平均准确率，利用同一难度子集内多个数学问题的统计信息获得更加稳定和可靠的奖励概率估计，有效缓解单个数学问题在有限采样条件下奖励统计量波动较大的问题，提高优势估计稳定性；通过根据若干数学问题和各平均准确率，采用改进grpo方法进行待训练模型训练，其中，改进grpo方法通过将grpo方法的优势值替换为分组化优势估计值得到，所述分组化优势估计值根据数学问题基于待训练模型的回答的奖励值与数学问题所属难度子集对应的平均准确率得到，能够充分利用数学问题之间的难度关联信息构造更加准确的优势函数，能够更加准确地反映不同难度数学问题的奖励特征，在无需增加每个问题采样数量的条件下降低优势函数估计误差，提高了强化学习训练稳定性和样本利用效率，从而提升了数学推理模型的训练效果和最终推理性能，无需增加每个数学问题的回答数量即可获得更优的训练效果，能够减少训练阶段的推理开销和计算资源消耗，适用于资源受限的训练环境。同时，本发明训练方法与现有grpo训练方法及其他基于策略梯度的强化学习训练方法兼容，无需修改训练框架结构即可实现部署。