用于大模型训练的自进化方法、装置、设备及介质与流程

摘要: 本发明涉及人工智能,尤其涉及一种用于大模型训练的自进化方法、装置、设备及介质。背景技术:1、大模型(largemodel)的训练通常是一个复杂的多阶段迭代过程,...
用于大模型训练的自进化方法、装置、设备及介质与流程

本发明涉及人工智能,尤其涉及一种用于大模型训练的自进化方法、装置、设备及介质。

背景技术:

1、大模型(large model)的训练通常是一个复杂的多阶段迭代过程,典型流程包括监督微调(supervised fine-tuning, sft)、强化学习(reinforcement learning, rl)、偏好优化(preference optimization)以及下游任务适配等环节。在此过程中,每一轮训练实验均涉及训练数据、配置文件、代码版本、模型检查点、运行环境及评估指标等多种因素的协同变化。为管理复杂的多阶段迭代过程,现有技术已发展出多种机器学习运维平台、实验管理系统及训练监控工具。然而,随着大模型训练规模与流程复杂度的指数级增长,现有系统在实现高效、可靠的训练过程管理时,技术缺陷日益凸显,表现为系统缺乏基于历史训练经验进行自我进化的能力。例如,现有系统通常只能被动记录训练结果,但无法自动分析导致该结果的根本原因,更无法将该失败经验自动转化为下一轮训练前可执行的校验或预防规则。当训练过程中暴露出新的问题模式,如模型输出格式错误或工具调用参数缺失时,同类数据质量问题在后续训练迭代中反复出现,训练过程的优化高度依赖人工介入。部分系统引入了智能体以辅助训练决策或回答问题,但这类系统通常面临两难困境:若完全禁止智能体修改系统逻辑,则无法实现从失败经验到系统改进的闭环;若允许智能体直接修改校验规则或分析逻辑,则可能带来不可审计、不可回滚的安全风险。

技术实现思路

1、本发明提供一种用于大模型训练的自进化方法、装置、设备及介质,用以解决现有模型缺乏从历史训练经验中自动学习并将失败模式转化为可复用规则的进化能力的缺陷。

2、本发明提供一种用于大模型训练的自进化方法,包括:

3、采集第一训练任务的训练过程证据;

4、根据所述训练过程证据中当前训练实验与已有实验之间的父子关系、阶段关系、目标关系和关键证据变化,判断所述第一训练任务的语义迭代归属;

5、若所述语义迭代归属为新的语义迭代,则收集多类变更信息以生成多维变更证据链,基于所述多维变更证据链识别失败模式,生成失败模式标签;

6、基于所述多维变更证据链和所述失败模式标签,生成下一轮建议;

7、判断所述失败模式是否具备训练前可检测性,若是,则生成候选校验规则;

8、将所述候选校验规则添加至校验规则库中,并应用于第二训练任务发起前的数据校验;以及,将所述下一轮建议作为所述第二训练任务的决策参考;

9、其中,所述第二训练任务为所述第一训练任务之后执行的训练任务。

10、根据本发明提供的用于大模型训练的自进化方法,所述根据所述训练过程证据中当前训练实验与已有实验之间的父子关系、阶段关系、目标关系和关键证据变化,判断所述第一训练任务的语义迭代归属,包括:

11、获取当前训练实验与已有实验之间的父子关系信息;

12、获取当前训练实验与已有实验之间的阶段关系信息;

13、获取当前训练实验与已有实验之间的目标关系信息;

14、获取当前训练实验与已有实验之间的关键证据变化信息,所述关键证据变化包括配置变化、代码变化、数据变化、检查点变化、运行环境变化中的至少一种;

15、根据所述父子关系、阶段关系、目标关系和关键证据变化信息,按照以下判断规则确定语义迭代归属:

16、若当前训练实验与最近一次同阶段实验属于同一目标,且前一实验为失败或取消状态,并且关键证据无实质变化,则判定为重试尝试;

17、若当前训练实验与最近一次可比实验之间存在配置、代码、数据、检查点、运行环境或训练目标的实质变化,则判定为新的语义迭代。

18、根据本发明提供的用于大模型训练的自进化方法,若所述语义迭代归属为重试尝试,则继承对应语义迭代的历史多维变更证据链和失败模式标签。

19、根据本发明提供的用于大模型训练的自进化方法,所述生成失败模式标签,包括:

20、从所述多维变更证据链中提取训练日志、评估输出、失败样本和工具响应;

21、对所述训练日志进行解析,提取错误信息、异常堆栈和警告记录,将符合预设错误特征的信息识别为失败模式;

22、对所述评估输出进行解析,提取标记为失败的样本及其对应的模型输出,将输出不符合预期格式或内容要求的情形识别为失败模式;

23、对所述失败样本进行逐项分析,提取样本中的模型响应与标准答案之间的差异,将差异超过预设阈值的情形识别为失败模式;

24、对所述工具响应进行解析,提取工具调用过程中的返回状态、错误码和异常信息,将工具调用失败或返回结果异常的情形识别为失败模式;

25、将识别出的失败模式分类为模型行为异常标签和任务执行错误标签,其中所述模型行为异常标签用于描述模型输出层面的异常,所述任务执行错误标签用于描述任务层面的执行失败。

26、根据本发明提供的用于大模型训练的自进化方法,还包括:

27、对所述多维变更证据链进行规范化序列化处理;

28、对所述规范化序列化处理后的数据进行哈希计算,生成证据指纹;

29、将所述证据指纹与基于所述多维变更证据链生成的分析结果关联保存,所述分析结果包括关键变化列表、训练意图、训练假设、实际结果、结论和下一轮建议中至少一种;

30、当所述多维变更证据链发生变化时,重新计算新的证据指纹;

31、若所述新的证据指纹与原证据指纹不一致,则将所述分析结果标记为过期状态。

32、根据本发明提供的用于大模型训练的自进化方法,所述基于所述多维变更证据链和所述失败模式标签,生成下一轮建议,包括:

33、将所述多维变更证据链与上一语义迭代的多维变更证据链进行逐项差异比较,提取存在差异的变更项,生成关键变化列表;

34、根据所述关键变化列表中变更项的类型和影响程度,推断本轮训练的训练意图;

35、根据所述训练意图与所述关键变化列表之间的关联关系,生成训练假设;

36、从所述多维变更证据链中提取训练结果相关的指标和样本评估数据,与上一迭代结果进行对比,生成实际结果;

37、将所述训练假设与所述实际结果进行比对,若实际结果符合训练假设则标记为假设成立,若不符合则标记为假设不成立,生成结论;

38、根据所述关键变化列表、训练意图、训练假设、实际结果和结论,生成以下至少一种建议:是否推进到下一训练阶段、是否重跑当前阶段、是否更换检查点、是否修改训练数据、是否调整训练参数、是否新增或启用数据校验规则、是否记录为已知问题、是否生成自我改进提案。

39、根据本发明提供的用于大模型训练的自进化方法,所述判断所述失败模式是否具备训练前可检测性,若是,则生成候选校验规则,包括:

40、统计一个或多个训练实验中的失败模式分布;

41、判断所述失败模式分布是否与训练数据的关键因素有关,所述关键因素包括样本结构、工具调用格式、字段完整性、样本长度、样本分布中的至少一种;

42、若所述失败模式分布与所述因素有关,则判定所述失败模式具备训练前可检测性;

43、获取具备训练前可检测性的失败模式,生成对应的候选校验规则,所述候选校验规则包括规则名称、触发条件、适用数据类型、检测逻辑、严重级别、样例、对应失败模式、来源实验中的至少一种。

44、本发明还提供一种用于大模型训练的自进化装置,包括:

45、采集模块,用于采集第一训练任务的训练过程证据;

46、判断模块,用于根据所述训练过程证据中当前训练实验与已有实验之间的父子关系、阶段关系、目标关系和关键证据变化,判断所述第一训练任务的语义迭代归属;

47、第一生成模块,用于若所述语义迭代归属为新的语义迭代,则收集多类变更信息以生成多维变更证据链,基于所述多维变更证据链识别失败模式,生成失败模式标签;

48、第二生成模块,用于基于所述多维变更证据链和所述失败模式标签,生成下一轮建议;

49、第三生成模块,用于判断所述失败模式是否具备训练前可检测性,若是,则生成候选校验规则;

50、应用模块,用于将所述候选校验规则添加至校验规则库中,并应用于第二训练任务发起前的数据校验;以及,将所述下一轮建议作为所述第二训练任务的决策参考;

51、其中,所述第二训练任务为所述第一训练任务之后执行的训练任务。

52、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述的用于大模型训练的自进化方法。

53、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述的用于大模型训练的自进化方法。

54、本发明提供的用于大模型训练的自进化方法、装置、设备及介质,通过采集第一训练任务的训练过程证据;根据所述训练过程证据中当前训练实验与已有实验之间的父子关系、阶段关系、目标关系和关键证据变化,判断所述第一训练任务的语义迭代归属;若所述语义迭代归属为新的语义迭代,则收集多类变更信息以生成多维变更证据链,基于所述多维变更证据链识别失败模式,生成失败模式标签;基于所述多维变更证据链和所述失败模式标签,生成下一轮建议;判断所述失败模式是否具备训练前可检测性,若是,则生成候选校验规则;将所述候选校验规则添加至校验规则库中,并应用于第二训练任务发起前的数据校验;以及,将所述下一轮建议作为所述第二训练任务的决策参考;其中,所述第二训练任务为所述第一训练任务之后执行的训练任务,本发明通过判断语义迭代归属并构建多维变更证据链,实现训练实验的精准归因与可追溯分析;进而将识别出的失败模式自动转化为候选校验规则并应用于后续训练前的数据校验,有效降低同类问题重复出现的概率,提升大模型训练过程的自动化水平与数据质量。