大语言模型的训练方法与相关方法、装置、设备及介质与流程
本公开涉及自然语言处理,更具体地,涉及一种大语言模型的训练方法与相关方法、装置、设备及介质。
背景技术:
1、有向无环图(directed acyclic graph,dag)指的是一种通过图节点和有向边组成的无环图结构。由于有向无环图具备的有向性和无环性,能够准确地表征任务依赖、资源调度和知识关联等结构信息,所以,在大语言模型的推理场景中,有向无环图通常被用于对复杂的结构化信息的表征与处理,以帮助模型的理解和推理具体任务。
2、节点串作为有向无环图的序列化描述,能够将有向无环图中的图节点按拓扑顺序线性排列,转化为符合大语言模型输入格式的序列,便于大语言模型理解和学习图中蕴含的结构信息,并基于这些结构信息捕捉图节点所表征的数据处理任务(如图像生成或词库调用)间的处理逻辑关系,从而实现任务处理结果的推理分析。
3、由于图节点所表征的数据处理任务之间大多处于关系模糊的状态。例如,广告投放场景中的创意设计、投放计划和预算调整之间的处理逻辑关系并不直观,这就需要模型将数据处理任务对应的图节点转化为可理解的节点串。然而,有关技术在节点串的转化方法上存在冗余性和局限性,容易导致大语言模型无法准确理解数据处理任务之间的处理逻辑关系,从而出现推理错误。
技术实现思路
1、本公开实施例提供一种大语言模型的训练方法与相关方法、装置、设备及介质,可以提高大语言模型对有向无环图的序列化描述的准确性,从而提升节点串的生成质量。
2、根据本公开的一方面,提供了一种大语言模型的训练方法,该方法包括:获取样本有向无环图,并对所述样本有向无环图进行层次遍历处理,得到所述样本有向无环图中每个图节点对应的图层次,所述图节点表征相应的数据处理任务;根据图层次的升序顺序,对所述样本有向无环图中每个图层次对应的图节点进行层描述处理,得到每个图层次对应的层描述内容,并根据图层次的升序顺序连接每个层描述内容,得到所述样本有向无环图对应的标签节点串;对所述样本有向无环图进行节点拆分处理,并基于拆分得到的初始节点集进行节点重构处理,得到样本节点集;将所述样本节点集输入至预设大语言模型进行节点串生成处理,得到预测节点串;根据所述预测节点串与所述标签节点串之间的差异确定目标损失值,并通过所述目标损失值对所述预设大语言模型进行训练,得到训练后的目标大语言模型。
3、根据本公开的另一方面,提供了一种任务处理方法,该方法包括:获取待组织节点集,所述待组织节点集中的每个待组织图节点表征训练后的目标大语言模型对应的数据处理任务;将所述待组织节点集输入至训练后的目标大语言模型进行节点串生成处理,得到所述待组织节点集对应的目标节点串;基于所述目标节点串,依序执行所述待组织节点集中的每个待组织节点所表征的数据处理任务,得到任务处理结果;所述训练后的目标大语言模型为根据上述大语言模型的训练方法得到。
4、根据本公开的另一方面,提供了一种大语言模型的训练装置,该装置包括:层次确定模块、标签确定模块、节点拆分模块、模型预测模块以及模型训练模块。
5、层次确定模块,用于获取样本有向无环图,并对所述样本有向无环图进行层次遍历处理,得到所述样本有向无环图中每个图节点对应的图层次,所述图节点表征相应的数据处理任务;
6、标签确定模块,用于根据图层次的升序顺序,对所述样本有向无环图中每个图层次对应的图节点进行层描述处理,得到每个图层次对应的层描述内容,并根据图层次的升序顺序连接每个层描述内容,得到所述样本有向无环图对应的标签节点串;
7、节点拆分模块,用于对所述样本有向无环图进行节点拆分处理,并基于拆分得到的初始节点集进行节点重构处理,得到样本节点集;
8、模型预测模块,用于将所述样本节点集输入至预设大语言模型进行节点串生成处理,得到预测节点串;
9、模型训练模块,用于根据所述预测节点串与所述标签节点串之间的差异确定目标损失值,并通过所述目标损失值对所述预设大语言模型进行训练,得到训练后的目标大语言模型。
10、可选地,标签确定模块可以包括:层次确定子模块、内容确定子模块以及内容输出子模块。层次确定子模块,用于根据所述样本有向无环图中每个图节点对应的图层次,确定所述样本有向无环图对应的初始图层次和末尾图层次,并将所述初始图层次确定为目标图层次;内容确定子模块,用于针对所述目标图层次中的每个目标图节点,对所述目标图节点和所述目标图节点对应的子节点进行层描述处理,得到所述目标图层次对应的层描述内容,并关联存储所述目标图层次和所述目标图层次对应的层描述内容;内容输出子模块,用于当检测到所述目标图层次小于所述末尾图层次时,将所述目标图层次在升序顺序上的下一图层次确定为新的目标图层次,并返回执行针对所述目标图层次中的每个目标图节点,对所述目标图节点和所述目标图节点对应的子节点进行层描述处理,以存储新的层描述内容,直至所述目标图层次等于所述末尾图层次,输出存储的所述样本有向无环图对应每个图层次的层描述内容。
11、可选地,内容确定子模块可以包括:节点检测单元以及内容生成单元。节点检测单元,用于针对所述目标图层次中的每个图节点进行子节点检测,将具有至少一个子节点的图节点确定为目标图节点,并跳过不具有子节点的图节点;内容生成单元,用于针对所述目标图层次中的每个目标图节点,对所述目标图节点和所述目标图节点对应的子节点集合进行层描述处理,得到所述目标图层次对应的层描述内容。
12、可选地,内容生成单元可以包括:集合获取子单元、分析处理子单元、关系处理子单元以及描述处理子单元。集合获取子单元,用于获取所述目标图节点对应的子节点集合;分析处理子单元,用于对所述子节点集合进行关系分析处理,得到所述子节点集合中每个子节点与其他子节点之间的节点关系;关系处理子单元,用于基于所述每个子节点与其他子节点之间的节点关系,对所述子节点集合中的每个子节点进行子节点描述处理,得到子节点描述内容;描述处理子单元,用于通过层描述字符对所述目标图节点和所述子节点描述内容进行层描述处理,得到所述目标图层次对应的层描述内容。
13、可选地,所述节点关系至少包括层级分类关系,关系处理子单元可以具体用于:基于所述每个子节点与其他子节点之间的层级分类关系,从所述子节点集合中分别选取每个层级分类下的分类子节点;通过层级合并字符,基于每个层级分类下的分类子节点进行子节点描述处理,得到子节点描述内容。
14、可选地,所述节点关系至少包括同级分类关系,关系处理子单元还可以具体用于:基于所述每个子节点与其他子节点之间的同级分类关系,从所述子节点集合中分别选取参考分类子节点和非参考分类子节点;根据所述参考分类子节点对所述非参考分类子节点进行表述更新处理,得到所述非参考分类子节点对应的概括表述子节点;通过表述更新字符,对所述概括表述子节点和对应的所述非参考分类子节点,以及所述参考分类子节点进行子节点描述处理,得到子节点描述内容。
15、可选地,所述节点关系至少包括上下文关系,关系处理子单元还可以具体用于:基于所述每个子节点与其他子节点之间的上下文关系,生成扩展子节点;通过节点扩展字符,对所述扩展子节点和每个子节点进行子节点描述处理,得到子节点描述内容。
16、可选地,层次确定模块可以包括:初始处理子模块、起始获取子模块以及层次遍历子模块。初始处理子模块,用于对所述样本有向无环图中的每个图节点进行层次初始化处理,以将每个图节点对应的图层次赋值为预设值;起始获取子模块,用于获取所述样本有向无环图中的每个入度为零的起始图节点,将每个起始图节点对应的图层次赋值为初始值;层次遍历子模块,用于基于赋值为初始值的每个起始图节点对应的图层次,对所述样本有向无环图进行层次遍历处理,得到所述样本有向无环图中每个图节点对应的图层次。
17、可选地,节点拆分模块可以包括:节点拆分子模块、删除处理子模块以及添加处理子模块。节点拆分子模块,用于对所述样本有向无环图进行节点拆分处理,得到初始节点集;删除处理子模块,用于对所述初始节点集中的初始图节点进行部分删除处理,得到部分节点集;添加处理子模块,用于对所述部分节点集进行噪声添加处理,以插入噪声图节点,得到样本节点集。
18、可选地,节点拆分子模块可以具体用于:获取所述样本有向无环图对应样本任务的关键信息;对所述样本有向无环图进行节点拆分处理,得到拆分节点集;将所述关键信息分别与所述拆分节点集中的每个样本图节点进行关联性计算,得到每个样本图节点对应的信息关联度;基于所述关键信息,对所述拆分节点集中最大信息关联度对应的关联样本图节点进行节点注释处理,得到初始节点集。
19、可选地,大语言模型的训练装置还可以包括更新标签模块,具体用于:对所述噪声图节点进行噪声描述处理,得到噪声描述内容;对所述关键信息对应的所述关联样本图节点进行节点注释处理,得到注释描述内容;将所述噪声描述内容和注释描述内容添加至所述标签节点串,得到更新后的标签节点串。
20、根据本公开的另一方面,提供了一种任务处理装置,该装置包括:节点获取模块、目标生成模块以及任务处理模块。
21、节点获取模块,用于获取待组织节点集,所述待组织节点集中的每个待组织节点表征训练后的目标大语言模型对应的数据处理任务;
22、目标生成模块,用于将所述待组织节点集输入至训练后的目标大语言模型进行节点串生成处理,得到所述待组织节点集对应的目标节点串;
23、任务处理模块,用于基于所述目标节点串,执行所述待组织节点集中的每个待组织节点所表征的数据处理任务,得到任务处理结果。
24、其中,所述训练后的目标大语言模型为根据上述实施例所述的大语言模型的训练方法得到。
25、可选地,目标生成模块可以具体用于:将所述待组织节点集输入至训练后的目标大语言模型进行节点串生成处理,得到所述待组织节点集对应的初始节点串;获取所述待组织节点集对应的任务描述信息;将所述任务描述信息添加至所述初始节点串的头部位置,得到目标节点串。
26、可选地,将所述任务描述信息添加至所述初始节点串的头部位置,得到目标节点串,包括:根据所述任务描述信息对所述初始节点串中的每个目标层描述内容进行描述权重计算,得到每个目标层描述内容对应的描述权重;基于描述权重的降序顺序重新连接每个目标层描述内容,得到权重连接节点串;将所述任务描述信息添加至所述权重连接节点串的头部位置,得到目标节点串。
27、根据本公开的另一方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,其中,在该计算机程序被处理器运行时执行上述的大语言模型的训练方法与相关方法。
28、根据本公开的另一方面,提供了一种计算机设备,该计算机设备包括处理器以及存储器,存储器存储有计算机程序,该计算机程序被处理器调用时执行上述的大语言模型的训练方法与相关方法。
29、根据本公开的另一方面,提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在存储介质中;计算机设备的处理器从存储介质读取该计算机程序,处理器执行该计算机程序,使得计算机设备执行上述大语言模型的训练方法与相关方法。
30、节点串作为有向无环图的序列化描述,能够将有向无环图中的图节点按拓扑顺序线性排列,转化为符合大语言模型输入格式的序列描述文本,进而大语言模型可以基于输入的节点串理解和学习有向无环图中蕴含的结构信息,捕捉图节点所表征的数据处理任务(如图像生成或词库调用等)间的处理逻辑关系,实现任务处理的推理分析。然而实际应用场中,图节点所表示的数据处理任务往往处于逻辑关系模糊、结构不明确的状态,为此本公开实施例提出一种训练大语言模型学会将散乱的图节点组织成符合有向无环图结构的有规律的节点串的监督训练方法,所以,需要构建监督训练所用的训练数据,也即给定输入和标签数据。
31、训练数据的构建过程可以包括:获取样本有向无环图,并对样本有向无环图进行层次遍历处理,得到样本有向无环图中每个图节点对应的图层次,该图层次是指根据节点间的依赖关系(也即,边的方向),从入度为零的起始图节点出发到该图节点的“拓扑深度”。进而根据图层次的升序顺序,对样本有向无环图中每个图层次对应的图节点进行层描述处理,得到每个图层次对应的层描述内容,并根据图层次的升序顺序连接每个层描述内容,得到样本有向无环图对应的标签节点串,该标签节点串即为训练数据中的标签数据,可以作为后续训练过程中告诉模型学习的“正确答案”。进一步地,对样本有向无环图进行节点拆分处理,并基于拆分得到的初始节点集进行节点重构处理,得到样本节点集,该样本节点集即为训练数据中的给定输入。进而将样本节点集输入至预设大语言模型进行节点串生成处理,得到预测节点串,并根据预测节点串与标签节点串之间的差异确定目标损失值,这样,通过目标损失值就可以衡量模型输出的预测节点串与标签节点串之间的差距,从而评判模型的学习情况,接着,利用目标损失值对预设大语言模型进行训练,可以得到训练后的目标大语言模型。上述构建训练数据的标签节点串所使用的图结构描述方法是本公开实施例提出的对样本有向图无环图进行的层描述方法。
32、相比于有关技术的单路径序列描述方法和前序序列路径序列描述方法,这些序列描述方法具有的冗余性和局限性容易导致描述出的节点串存在大量冗余信息且丢失节点间的局部结构关系。而本公开实施例的层描述方法,由于仅描述出样本有向无环图中每一图层次上的父节点与子节点之间的路径。这样,能够避免单路径序列描述出现的共享路径,从而减少冗余信息。同时,由于每一图层次的层描述内容都描述出了前置节点(父节点)与后续节点(子节点),所以显式地表达了每一图层次对应的父节点和子节点之间的依赖关系,这样,能够保留前序序列路径序列描述所丢失的样本有向无环图中的局部结构关系。因此,这种层描述方法能够有效提高对样本有向无环图进行图结构描述的准确性,从而提高标签节点串的质量,基于此,通过高质量的标签节点串训练大语言模型,能够提升大语言模型生成节点串的准确性,从而在大语言模型场景中,能够提升大语言模型基于节点串理解数据处理任务之间的处理逻辑关系的准确性,以提高大语言模型生成式推理的质量。
33、此外,由于本公开实施例对有向图无环图进行的层描述方法,是按层描述的,也即每个图层次对应的层描述内容相对独立,因此模型在基于节点串的推理过程中,如果局部出现推理错误时,不会对其他图层次的推理产生影响,从而提高整体推理计算的鲁棒性和稳定性,并且相比于有关技术的前序序列路径序列描述方法,得到的是一条包含有向无环图中所有图节点的图结构描述,计算机设备在基于相对独立的层描述内容进行推理计算时,能够有效节省计算资源,提升计算效率。
34、本公开的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本公开而了解。本公开的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com