大模型自动化训练方法、装置和设备与流程

摘要: 本说明书一个或多个实施例涉及人工智能,特别涉及大模型自动化训练方法。本说明书一个或多个实施例同时涉及大模型自动化训练装置,一种计算设备。背景技术:1、随着人工智...
大模型自动化训练方法、装置和设备与流程

本说明书一个或多个实施例涉及人工智能,特别涉及大模型自动化训练方法。本说明书一个或多个实施例同时涉及大模型自动化训练装置,一种计算设备。

背景技术:

1、随着人工智能技术的快速发展,大语言模型在代码生成、结构化数据合成等领域的应用日益广泛。为了提升模型在特定垂直领域的生成质量与鲁棒性,通常需要对预训练的大语言模型进行持续的微调或增量训练。这一过程往往涉及海量训练数据的筛选、清洗、构造以及多轮次的模型训练与评测,旨在通过不断优化数据分布与训练策略,使模型性能逐步逼近或达到预设的目标指标。

2、在现有的自动化机器学习流程中,模型的迭代优化通常依赖于固定的数据流水线或基于简单规则超参数搜索机制。然而,面对复杂结构化数据生成任务中多样化的错误模式及动态变化的数据需求,传统的静态数据处理方式难以灵活适应模型在不同训练阶段的特性变化。随着模型训练规模的扩大及精度要求的提升,如何提供更高效、更具针对性的模型自动化训练方案,成为当前技术领域亟待解决的问题。

技术实现思路

1、有鉴于此,本说明书一个或多个实施例提供了大模型自动化训练方法、装置、设备,以提供更高效、更具针对性的模型自动化训练方案。

2、根据本说明书一个或多个实施例的第一方面,提供了一种大模型自动化训练方法,包括:

3、获取全局状态信息;所述全局状态信息包括历史数据构造策略和历史评测数据;所述历史评测数据为先前轮次中待训练大语言模型在目标评测集上评测得到的结果;

4、调用大语言模型推理引擎,根据所述全局状态信息生成当前轮次的数据构造策略;

5、根据所述数据构造策略确定训练数据集;

6、利用所述训练数据集对所述待训练大语言模型进行增量训练,得到更新后的大语言模型;

7、对所述更新后的大语言模型在所述目标评测集上进行评测,得到当前评测数据;

8、将所述当前评测数据更新至所述全局状态信息;

9、若所述当前评测数据满足停止条件则输出所述更新后的大语言模型作为训练完成模型,否则基于更新后的全局状态信息继续迭代训练。

10、根据本说明书一个或多个实施例的第二方面,提供了一种大模型自动化训练装置,包括:

11、状态信息获取模块,用于获取全局状态信息;所述全局状态信息包括历史数据构造策略和历史评测数据;所述历史评测数据为先前轮次中待训练大语言模型在目标评测集上评测得到的结果;

12、数据构造策略生成模块,用于调用大语言模型推理引擎,根据所述全局状态信息生成当前轮次的数据构造策略;

13、训练数据集构建模块,用于根据所述数据构造策略确定训练数据集;

14、模型训练模块,用于利用所述训练数据集对所述待训练大语言模型进行增量训练,得到更新后的大语言模型;

15、评测模块,用于对所述更新后的大语言模型在所述目标评测集上进行评测,得到当前评测数据;

16、状态信息更新模块,用于将所述当前评测数据更新至所述全局状态信息;

17、迭代控制模块,用于若所述当前评测数据满足停止条件则输出所述更新后的大语言模型作为训练完成模型,否则基于更新后的全局状态信息继续迭代训练。

18、根据本说明书一个或多个实施例的第三方面,提供了一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述计算机指令时实现所述大模型自动化训练方法的步骤。

19、本说明书一个实施例至少能够达到以下有益效果:通过首先获取包含历史数据构造策略与历史评测数据的全局状态信息,再调用大语言模型推理引擎根据该状态信息生成当前轮次的数据构造策略,随后依据该策略确定训练数据集并进行增量训练,接着对更新后模型在目标评测集上评测得到当前评测数据,并将评测数据回写至全局状态信息,最后根据是否满足停止条件决定输出模型或继续迭代,由此,由于将历史评测数据作为策略生成的直接依据,使得大语言模型推理引擎能够基于模型过去在目标评测集上的评测结果自动调整数据构造方向,从而避免了依赖静态规则或人工经验带来的盲目性;同时,通过将当前评测数据持续更新至全局状态并与策略关联存储,形成“评测-评测结果分析-策略生成-数据构造-训练-再评测”的闭环,使得每一轮迭代都能够在前一轮的基础上针对性地弥补模型短板,从而逐步提升目标评测集上的性能指标;此外,该闭环机制允许系统自动积累有效策略、淘汰无效策略,在不显著增加人工干预的情况下提高了训练资源的利用效率和模型优化的可复现性。综上所述,该方法能够实现面向目标评测指标的自动化数据优化与模型迭代,提升训练效率和最终模型性能。

1.一种大模型自动化训练方法,包括:

2.如权利要求1所述的方法,所述历史数据构造策略包括已保留的有效策略和已淘汰的无效策略;其中,所述有效策略为在所述目标评测集上对目标评测指标产生正向收益的策略,所述无效策略为在所述目标评测集上对目标评测指标产生负向收益的策略。

3.如权利要求1所述的方法,所述历史评测数据包括性能指标历史记录和问题诊断历史记录;所述当前评测数据包括当前性能指标及当前问题诊断信息。

4.如权利要求3所述的方法,所述问题诊断历史记录包括所述待训练大语言模型在所述目标评测集上的能力缺口信息。

5.如权利要求1所述的方法,所述全局状态信息还包括历史训练参数配置;所述调用大语言模型推理引擎还基于所述历史训练参数配置生成当前轮次的训练参数配置;所述增量训练时,基于所述当前轮次的所述训练参数配置进行训练。

6.如权利要求1所述的方法,所述调用大语言模型推理引擎之前,还获取预定义的规则库;所述调用大语言模型推理引擎时,所述大语言模型推理引擎基于所述全局状态信息和所述规则库生成当前轮次的所述数据构造策略。

7.如权利要求1所述的方法,所述根据所述数据构造策略确定训练数据集,包括:

8.如权利要求7所述的方法,所述根据所述数据构造策略确定训练数据集,还包括:

9.如权利要求1所述的方法,所述当前评测数据还包括当前问题诊断信息;所述对所述更新后的大语言模型在所述目标评测集上进行评测,包括:

10.如权利要求9所述的方法,所述当前问题诊断信息还包括能力缺口的优先级排序信息;所述优先级排序基于以下至少一种因素计算得到:

11.如权利要求3所述的方法,所述将所述当前评测数据更新至所述全局状态信息,具体包括:

12.如权利要求3所述的方法,所述历史评测数据还包括历史峰值性能指标;所述将所述当前评测数据更新至所述全局状态信息,具体包括:

13.如权利要求12所述的方法,还包括:

14.如权利要求3所述的方法,还包括:

15.如权利要求1所述的方法,所述基于更新后的全局状态信息继续迭代训练,具体包括:

16.一种大模型自动化训练装置,包括:

17.一种计算设备,包括: