模型训练方法以及系统、任务处理方法以及系统与流程

摘要: 本说明书实施例涉及人工智能,特别涉及模型训练方法以及系统、任务处理方法以及系统。背景技术:1、随着人工智能技术的快速发展,大语言模型驱动的智能体在工具调用、多轮...
模型训练方法以及系统、任务处理方法以及系统与流程

本说明书实施例涉及人工智能,特别涉及模型训练方法以及系统、任务处理方法以及系统。

背景技术:

1、随着人工智能技术的快速发展,大语言模型驱动的智能体在工具调用、多轮交互和自主决策等任务中的应用日益广泛,其训练依赖于可交互、可验证且具备足够决策难度的训练环境。

2、目前,针对智能体模型的训练,其训练环境的获得方式通常包括:依托真实任务系统或网页接口开展智能体交互与轨迹采集;利用大语言模型模拟工具返回和环境反馈以构造训练场景;由人工设计环境状态、工具接口和任务规则后,通过自动化流程生成可执行训练环境;以及通过大语言模型和程序化流程自动生成环境描述、状态结构、工具规范和任务样本等方式。

3、然而,上述各技术方案在实际应用中均存在一些缺陷。真实环境调用成本高、难以规模化;大语言模型模拟环境存在反馈不一致和跨轮状态漂移的问题;人工合成环境扩展缓慢、难以覆盖多样化的规则组合;自动化合成环境的任务规则复杂度普遍偏低,任务难度多体现为步骤数量而非规则判断,且验证机制偏向终态单点检查,难以提供细粒度的训练反馈信号。综合上述分析,目前针对模型的训练仍存在训练效果差、训练效率低的问题。因此,亟须一种训练效果更好、训练效率更高的模型训练方法。

技术实现思路

1、有鉴于此,本说明书实施例提供了一种模型训练方法。本说明书一个或者多个实施例同时涉及一种任务处理方法,一种模型训练系统,一种任务处理系统,一种计算设备,一种计算机可读存储介质以及一种计算机程序产品,以解决上述技术问题。

2、根据本说明书实施例的第一方面,提供了一种模型训练方法,包括:

3、获取多个模型应用环境的环境关键词库与多个模型应用环境的规则模式库;

4、基于环境关键词库和规则模式库,构建环境关键词与规则模式之间的排列组合;

5、基于排列组合,生成多个模型应用环境的初始任务集,其中,初始任务集中任一初始任务基于环境关键词与规则模式定义;

6、基于初始任务集进行执行路径生成和验证,获得有效任务集,其中,有效任务集中任一有效任务基于有效执行路径定义;

7、基于有效任务集对基座模型进行训练,以获得目标智能模型。

8、根据本说明书实施例的第二方面,提供了一种任务处理方法,包括:

9、获取目标模型应用环境下的目标任务集;

10、利用目标智能模型,执行目标任务集,获得目标执行结果,其中,目标智能模型根据如上述的模型训练方法训练获得。

11、根据本说明书实施例的第三方面,提供了一种模型训练系统,包括:

12、第一获取模块,用于获取多个模型应用环境的环境关键词库与多个模型应用环境的规则模式库;

13、环境生成模块,用于基于环境关键词库和规则模式库,构建环境关键词与规则模式之间的排列组合;基于排列组合,生成多个模型应用环境的初始任务集,其中,初始任务集中任一初始任务基于环境关键词与规则模式定义;

14、任务构建模块,用于基于初始任务集进行执行路径生成和验证,获得有效任务集,其中,有效任务集中任一有效任务基于有效执行路径定义;

15、训练模块,用于基于有效任务集对基座模型进行训练,以获得目标智能模型。

16、根据本说明书实施例的第四方面,提供了一种任务训练系统,包括:

17、第二获取模块,用于获取目标模型应用环境下的目标任务集;

18、任务执行模块,用于利用目标智能模型,执行目标任务集,获得目标执行结果,其中,目标智能模型根据如上述的模型训练方法训练获得。

19、根据本说明书实施例的第五方面,提供了一种计算设备,包括:

20、存储器和处理器;

21、存储器用于存储计算机可执行指令,处理器用于执行计算机可执行指令,该计算机可执行指令被处理器执行时实现上述模型训练方法的步骤。

22、根据本说明书实施例的第六方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该可执行指令被处理器执行时实现上述模型训练方法的步骤。

23、根据本说明书实施例的第七方面,提供了一种计算机程序产品,包括计算机可执行指令,该计算机可执行指令被处理器执行时实现上述模型训练方法的步骤。

24、本说明书一个实施例实现了一种模型训练方法,包括:获取多个模型应用环境的环境关键词库与多个模型应用环境的规则模式库;基于环境关键词库和规则模式库,构建环境关键词与规则模式之间的排列组合;基于排列组合,生成多个模型应用环境的初始任务集,其中,初始任务集中任一初始任务基于环境关键词与规则模式定义;基于初始任务集进行执行路径生成和验证,获得有效任务集,其中,有效任务集中任一有效任务基于有效执行路径定义;基于有效任务集对基座模型进行训练,以获得目标智能模型。

25、通过获取环境关键词库与规则模式库,并基于二者生成结构化的排列组合,使训练环境的复杂度可以围绕规则模式的结构进行设计,而非仅依赖场景名称扩展,从而在规模化生成环境关键词和规则模式之间排列组合的同时,保持环境规则的系统性覆盖;通过基于排列组合生成携带规则约束的初始任务集,使任务与环境之间建立了规则关联,为后续的任务迭代生成提供了受规则约束的任务目标参考,降低了输入数据的噪声;通过基于初始任务集进行执行路径生成和验证,确定有效任务集,使有效任务集中各有效任务基于有效执行路径定义,将任务筛选建立在真实执行路径的可解性判定上,提升了训练样本的质量和推理密度;通过基于有效任务集对基座模型进行训练,使训练数据源自经执行路径验证的有效任务,使训练过程获得来自有效执行路径的高质量训练信号,提升了模型的训练效果和训练效率,从而使得模型在复杂规则场景下具有更高的任务处理能力和准确性。

1.一种模型训练方法,包括:

2.根据权利要求1所述的方法,在所述获取环境关键词库与规则模式库之前,还包括:

3.根据权利要求1所述的方法,所述基于所述环境关键词库和规则模式库,构建环境关键词与规则模式之间的排列组合,包括:

4.根据权利要求3所述的方法,在所述构建该环境关键词与规则模式之间的排列组合之后,还包括:

5.根据权利要求3所述的方法,所述基于所述排列组合,生成所述多个模型应用环境的初始任务集,包括:

6.根据权利要求1-5任意一项所述的方法,所述基于所述初始任务集进行执行路径生成和验证,获得有效任务集,包括:

7.根据权利要求6所述的方法,在所述以所述初始任务集为起点,基于预设任务类型进行迭代生成,获得候选任务集之前,还包括:

8.根据权利要求7所述的方法,所述预设任务类型包括查询类任务、修改类任务和分支类任务;

9.根据权利要求7所述的方法,在所述基于所述多组初始化环境对应的多组候选任务子集,确定候选任务集之后,还包括:

10.根据权利要求7所述的方法,对所述候选任务集中各候选任务进行执行路径验证,确定有效任务集,包括:

11.根据权利要求10所述的方法,所述对该候选任务对应的候选执行路径执行路径验证,获得验证通过的候选执行路径对应的候选任务,包括:

12.根据权利要求1所述的方法,所述基于所述有效任务集对基座模型进行训练,以获得目标智能模型,包括:

13.根据权利要求12所述的方法,所述有效任务集包括各有效任务对应的有效执行路径;

14.根据权利要求12所述的方法,所述有效任务集包括各有效任务对应的有效执行路径;

15.一种任务处理方法,包括:

16.一种模型训练系统,包括:

17.一种任务处理系统,包括:

18.一种计算设备,包括:

19.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至15任意一项所述方法的步骤。

20.一种计算机程序产品,包括计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至15任意一项所述方法的步骤。