大模型训练系统及训练方法与流程

本公开涉及人工智能，尤其涉及一种大模型训练系统及训练方法。

背景技术：

1、大模型的能力演进训练通常涉及监督微调与强化学习等多种训练方式的协同。相关技术中，大模型的训练数据和训练方式通常依赖人工经验配置完成，这种人工经验驱动的方式无法根据模型实际学习状态准确配置训练策略，导致大模型的训练效率较低，进而造成计算资源的浪费。

技术实现思路

1、为克服相关技术中存在的问题，本公开提供了一种大模型训练系统及训练方法。

2、根据本公开实施例的第一方面，提供一种大模型训练系统，包括：

3、数据构造模块，用于维护训练数据集合，并从所述训练数据集合中的多个数据子集中分别抽取评估样本集；

4、训练执行模块，用于基于每个数据子集对应的评估样本集，分别对待训练模型执行第一训练操作，得到每个所述数据子集对应的性能变化信息；其中，所述性能变化信息用于表征所述待训练模型经对应数据子集训练后的预估性能变化趋势；

5、决策模块，用于根据各所述性能变化信息，在多个数据子集中确定目标数据子集，并确定所述目标数据子集对应的目标训练模式，生成训练控制指令；

6、其中，所述训练控制指令用于指示所述训练执行模块基于所述目标训练模式和所述目标数据子集中的训练样本，对所述待训练模型执行第二训练操作；所述第二训练操作的训练规模大于所述第一训练操作的训练规模。

7、在一些实施例中，所述数据构造模块具体用于：

8、采用分层抽样方式，从每个所述数据子集中抽取评估样本集；其中，所述评估样本集的样本规模小于所述数据子集的样本规模。

9、在一些实施例中，所述训练执行模块具体用于：

10、针对每个数据子集对应的评估样本集分别执行以下步骤：

11、基于所述待训练模型的当前模型参数和该评估样本集，对所述待训练模型执行所述第一训练操作；其中，所述第一训练操作包括预设次数的参数更新操作；

12、获取所述第一训练操作执行前所述待训练模型在该评估样本集上的第一性能指标，以及所述第一训练操作执行后所述待训练模型在该评估样本集上的第二性能指标；

13、根据所述第一性能指标和所述第二性能指标，确定该数据子集对应的性能变化信息。

14、在一些实施例中，所述性能变化信息包括性能评估参数和学习速率参数；

15、所述性能评估参数根据所述第二性能指标确定，用于表征所述待训练模型对对应数据子集中训练样本的当前处理能力；

16、所述学习速率参数根据所述第一性能指标和所述第二性能指标之间的变化量确定，用于表征所述待训练模型基于对应评估样本集进行训练后的性能提升速度；

17、其中，所述第一性能指标和所述第二性能指标包括所述待训练模型在对应评估样本集上的预测准确率和/或奖励函数取值。

18、在一些实施例中，所述决策模块具体用于：

19、针对每个数据子集，执行以下处理：

20、根据该数据子集对应的性能评估参数，确定该数据子集的能力缺口指标；其中，所述能力缺口指标与所述性能评估参数负相关，用于表征所述待训练模型在对应数据子集上的能力欠缺程度；

21、根据该数据子集对应的学习速率参数，确定该数据子集的训练收益指标；其中，所述训练收益指标与所述学习速率参数正相关，用于表征基于对应数据子集对所述待训练模型执行训练所能带来的性能提升收益；

22、根据所述能力缺口指标和所述训练收益指标，确定该数据子集的优先级评分，并将所述优先级评分确定为该数据子集的训练优先级；

23、将训练优先级满足预设选择条件的数据子集确定为所述目标数据子集；

24、其中，所述预设选择条件包括以下至少一种：训练优先级高于预设优先级阈值；训练优先级为所述多个数据子集中排序最高的预设数量个。

25、在一些实施例中，所述决策模块具体用于：

26、根据所述目标数据子集对应的性能评估参数和学习速率参数，确定所述目标数据子集的学习状态类型；所述学习状态类型包括初始学习状态、中间学习状态、自主学习状态和稳定学习状态；

27、根据所述学习状态类型，确定所述目标训练模式和训练策略参数；其中，所述目标训练模式包括监督训练模式和强化训练模式；所述训练策略参数用于指示所述目标训练模式的计算资源分配比例和训练频率。

28、在一些实施例中，所述决策模块具体用于：

29、在所述性能评估参数低于第一能力阈值的情况下，将所述学习状态类型确定为所述初始学习状态；

30、在所述性能评估参数不低于所述第一能力阈值且低于第二能力阈值、且所述学习速率参数低于第一速率阈值的情况下，将所述学习状态类型确定为所述中间学习状态；

31、在所述性能评估参数不低于所述第一能力阈值、且所述学习速率参数不低于所述第一速率阈值的情况下，将所述学习状态类型确定为所述自主学习状态；

32、在所述性能评估参数不低于所述第二能力阈值、且所述学习速率参数低于所述第一速率阈值的情况下，将所述学习状态类型确定为所述稳定学习状态；其中，所述第二能力阈值高于所述第一能力阈值。

33、在一些实施例中，所述决策模块具体用于：

34、在所述学习状态类型为所述初始学习状态或所述中间学习状态的情况下，将所述目标训练模式确定为所述监督训练模式，并提高所述监督训练模式对应的计算资源分配比例；

35、在所述学习状态类型为所述自主学习状态的情况下，将所述目标训练模式确定为所述强化训练模式，并提高所述强化训练模式对应的计算资源分配比例；

36、在所述学习状态类型为所述稳定学习状态的情况下，降低所述目标数据子集对应的训练频率。

37、在一些实施例中，所述训练执行模块具体用于：

38、在所述目标训练模式为所述监督训练模式的情况下，基于所述目标数据子集中的训练样本，对所述待训练模型执行参数更新，以使所述待训练模型的输出结果向所述训练样本对应的目标结果收敛；

39、在所述目标训练模式为所述强化训练模式的情况下，基于在线采样方式生成所述待训练模型的输出结果，根据预设奖励函数对所述输出结果进行评价，并根据评价结果执行策略梯度更新。

40、在一些实施例中，所述大模型训练系统还包括候选训练数据生成模块；

41、所述训练执行模块还用于将所述第二训练操作对应的训练结果反馈至所述数据构造模块；其中，所述训练结果包括各训练样本的性能评价结果；

42、所述数据构造模块还用于根据所述训练结果，配置所述训练数据集合中训练样本的样本状态信息；其中，所述样本状态信息用于表征训练样本的训练评价状态；

43、所述候选训练数据生成模块用于在所述样本状态信息满足数据生成条件的情况下，将对应的训练样本确定为目标训练样本，并调用能力高于所述待训练模型的专家模型，基于所述目标训练样本生成候选训练数据，对所述候选训练数据执行校验操作，并将满足预设校验条件的候选训练数据写入所述训练数据集合。

44、在一些实施例中，所述数据构造模块具体用于：

45、在训练样本的性能评价结果满足预设的低性能样本条件的情况下，将该训练样本的样本状态信息更新为低性能状态标识；

46、所述候选训练数据生成模块具体用于：

47、针对每个具有所述低性能状态标识的训练样本生成多个候选输出，以及与所述候选输出对应的过程标注信息；

48、对多个候选输出执行校验操作，并将满足预设校验条件的候选输出和对应过程标注信息写入所述训练数据集合；

49、在所述多个候选输出均未满足所述预设校验条件的情况下，将对应的训练样本确定为不可学习样本，并向所述决策模块反馈所述不可学习样本的样本状态信息。

50、在一些实施例中，所述数据构造模块具体用于：

51、在训练样本的性能评价结果满足预设的训练完成条件的情况下，将该训练样本的样本状态信息更新为已完成状态标识，并将该训练样本从所述训练数据集合中移除，或降低该训练样本在执行所述第二训练操作时的采样权重。

52、根据本公开实施例的第二方面，提供一种大模型训练方法，包括：

53、获取训练数据集合；所述训练数据集合包括多个数据子集；

54、从所述多个数据子集中分别抽取评估样本集；

55、基于每个数据子集对应的评估样本集，分别对待训练模型执行第一训练操作，得到每个数据子集对应的性能变化信息；其中，所述性能变化信息用于表征所述待训练模型经对应数据子集训练后的预估性能变化趋势；

56、根据各所述性能变化信息，在所述多个数据子集中确定目标数据子集，并确定所述目标数据子集对应的目标训练模式，生成训练控制指令；

57、根据所述训练控制指令，基于所述目标训练模式和所述目标数据子集中的训练样本，对所述待训练模型执行第二训练操作；其中，所述第二训练操作的训练规模大于所述第一训练操作的训练规模。

58、本公开实施例提供的大模型训练系统，通过数据构造模块维护训练数据集合并抽取评估样本集，通过训练执行模块基于评估样本集对待训练模型执行第一训练操作以获得性能变化信息，再由决策模块根据性能变化信息确定目标数据子集及其目标训练模式并生成训练控制指令，从而以训练规模更大的第二训练操作对待训练模型执行正式训练。本公开实施例通过低成本、细粒度的探测式评估，实现了对模型在不同能力维度上学习状态的量化感知，并据此动态调度模型的训练方式，使训练流程能够依据模型性能变化自动调整训练策略，降低了对人工经验的依赖，提升了训练效率、训练稳定性以及计算资源的利用率。