基于图约束规划空间与过程奖励的工作流生成方法及装置

摘要: 本发明涉及计算机,尤其涉及一种基于图约束规划空间与过程奖励的工作流生成方法及装置。背景技术:1、随着大语言模型智能体技术的发展,智能体逐渐具备了根据用户自然语言...
基于图约束规划空间与过程奖励的工作流生成方法及装置

本发明涉及计算机,尤其涉及一种基于图约束规划空间与过程奖励的工作流生成方法及装置。

背景技术:

1、随着大语言模型智能体技术的发展,智能体逐渐具备了根据用户自然语言请求自动理解任务意图、选择外部工具或 api,并组织形成工作流的能力。工作流是指智能体为完成用户请求,将多个具有特定功能的工具、接口或功能模块按照一定顺序和依赖关系进行组合所形成的执行流程。该类工作流在复杂任务处理过程中具有重要意义,它能够将分散的工具能力进行有序整合,使智能体不仅能够理解用户需求,还能够通过调用外部工具完成音频处理、图像处理、文本生成、语音识别、问答推理等实际操作。例如,当用户请求“增强音频、转写语音并回答关于某一主题的问题”时,智能体需要依次调用音频增强工具、语音识别工具和问答工具,并保证前一工具的输出能够作为后一工具的输入,从而形成可执行的工作流。

2、当前用于大语言模型智能体规划的方式主要依赖大语言模型直接生成任务步骤和工具路径,或者通过提示工程、少样本示例、模型微调等方式提升其规划能力。这类方法能够在一定程度上利用大语言模型的自然语言理解和推理能力,将用户请求转换为初步的工作流。然而,在实际复杂任务中,仅依赖大语言模型生成工作流仍然存在较多问题。大语言模型可能生成工具库中并不存在的工具名称,导致后续执行失败;也可能虽然生成了合理的自然语言步骤,但步骤对应的工具选择并不准确。此外,相邻工具之间可能不存在合法的输入输出依赖关系,例如前一工具输出图像,而后一工具只能接收文本,从而导致工作流不可执行。

3、进一步地,大语言模型生成的工作流还可能存在中间工具缺失和步骤欠分解等问题。具体而言,两个工具在语义上看似相关,但二者之间缺少必要的桥接工具,导致工作流无法真正执行;或者大语言模型将多个操作压缩为一个步骤,使得后续按步骤逐一替换工具的方法难以恢复完整的执行路径。对于这些问题,若仅采用局部修复方式,对单个步骤进行工具替换,虽然可能提高某一步的语义匹配度,但也可能破坏整条工作流的依赖结构,造成局部优化与全局可执行性之间的不一致。

4、大语言模型是基于海量文本数据训练的深度学习模型,在自然语言理解、任务分解、文本生成和上下文推理等方面展现出了较强能力。它能够接收自然语言形式的用户需求,并尝试生成相应的任务步骤、工具选择结果以及执行顺序。因此,在面向智能体的规划任务中,大语言模型可以作为初始规划器,为工作流生成提供较好的语义基础。

5、但是,大语言模型也面临工具幻觉、工具错配和结构依赖错误等问题。由于大语言模型主要基于语言模式进行生成,其输出结果并不一定严格受到工具库范围、工具输入输出类型以及工具间依赖关系的约束。因此,在生成工作流时,可能出现不存在的工具、错误的工具选择、非法的依赖连接、缺失的中间工具以及不可执行的执行路径。这些问题会直接影响智能体生成工作流的可靠性和可执行性。

6、已有研究和实践表明,将外部知识与大语言模型的内部推理能力相结合,可以有效提升复杂任务生成结果的可靠性。在工作流生成场景中,工具库、工具输入输出属性、工具之间的依赖关系以及已有工作流实例均可作为外部结构化知识。特别地,工具之间天然存在图结构关系,不同工具可视为图中的节点,工具间可执行的输入输出依赖可视为图中的边。利用这些图结构知识,可以对大语言模型生成的初始工作流进行约束、校准和修复,使生成结果不仅满足用户请求的语义需求,还满足工作流的结构合法性和执行可行性。

7、因此,针对现有大语言模型规划方法中存在的工具幻觉、工具错配、依赖非法、中间工具缺失、步骤欠分解以及局部修复不稳定等问题,需要一种能够在保留大语言模型初始规划能力的基础上,对其生成的工作流进行结构化校准、依赖修复和安全合并的方法。该方法应当不仅关注步骤与工具之间的语义匹配关系,还应当关注工具与工具之间的图结构依赖关系,并在必要时触发反事实修复或反馈再规划,从而生成语义一致、结构合法且可执行的工作流。

技术实现思路

1、针对现有大语言模型在工作流生成过程中容易出现工具幻觉、工具错配、依赖非法以及局部替换不稳定等问题,本发明提出了一种基于图约束规划空间与过程奖励的工作流生成方法及装置。该方法面向已构建候选规划空间下的工作流选择场景,将工作流生成过程由无约束文本生成转化为固定候选空间上的结构化路径选择问题,通过对步骤-工具匹配关系和相邻工具转移关系进行联合评分,得到语义一致、结构合理且更稳定的工作流路径。

2、为实现上述目的,本发明的技术方案包括以下内容。

3、一种基于图约束规划空间与过程奖励的工作流生成方法,所述方法包括:

4、构建工具图,所述工具图用于表示工具节点之间的可执行依赖关系,所述工具节点基于工具、api 或功能模块构建,每一工具节点的属性包括工具描述、工具输入类型和工具输出类型;

5、基于用户的自然语言请求,利用大语言模型生成初始规划结果,所述初始规划结果包括任务步骤序列、每一任务步骤对应的工具、初始工具路径和初始依赖边集合;

6、依据初始规划结果与工具图,构建每一任务步骤的候选工具集合,并根据候选工具集合构建图约束规划空间;

7、在图约束规划空间求解全局最优工作流路径;

8、将初始工具路径或满足保守接受准则的最优工作流路径,作为最终工作流。

9、进一步地,依据初始规划结果与工具图,构建每一任务步骤的候选工具集合,包括:

10、根据工具描述生成各工具节点的工具语义向量,并基于该工具语义向量进行工具图的图传播,生成各工具节点的图增强工具表示;

11、分别根据任务步骤语义向量与工具语义向量、图增强工具表示的相似度,得到语义相似工具集合与增强语义相似工具集合;

12、获取初始工具路径中前一工具的后继邻域与后一工具的前驱邻域,并结合初始规划结果中的各任务步骤对应的工具以及语义相似工具集合、增强语义相似工具集合,构建每一任务步骤对应的候选工具集合。

13、进一步地,在图约束规划空间求解全局最优工作流路径,包括:

14、构造过程奖励模型,所述过程奖励模型包括节点评分函数和边评分函数,所述节点评分函数用于评价任务步骤与候选工具之间的语义匹配程度,所述边评分函数用于评价候选关系的依赖合理性;

15、对相邻任务步骤进行候选工具的枚举,生成候选转移集合;

16、抽取所有任务步骤对应的一候选工具及相邻任务步骤对应的一候选转移,生成候选路径;

17、基于过程奖励模型计算该候选工具的候选工具评分与该候选转移的候选转移评分,并结合候选路径中的非法依赖数量与重复工具数据,得到该候选路径的全局过程奖励;

18、选取全局过程奖励最高的候选路径,作为全局最优工作流路径。

19、进一步地,所述候选工具评分;其中,表示节点评分函数,表示工具节点的入度,表示工具节点的出度,表示任务步骤文本与工具描述之间的词面重合度。

20、进一步地,所述候选关系评分;其中,工具节点与工具节点分别为任务步骤与任务步骤对应的工具节点,与分别表示任务步骤与任务步骤对应的任务步骤文本,依赖特征,表示工具图中是否存在从工具节点到工具节点的直接依赖边,表示工具图中工具节点到工具节点的最短路径距离,表示工具节点到工具节点在跳范围内是否可达,表示历史转移次数或预设转移权重,表示工具节点与工具节点之间的输出输入类型兼容性;表示由初始工具路径、任务步骤语义向量与工具语义向量的相似度、任务步骤语义向量与图增强工具表示的相似度以及工具节点与工具节点在工具图中的拓扑关系得到的转移先验。

21、进一步地,所述过程奖励模型的训练过程,包括:

22、计算真实工作流路径与候选路径样本之间的线性链条件随机场损失;

23、基于真实工作流路径中各任务步骤使用的工具节点与候选路径样本中各任务步骤使用的工具节点,计算节点评分交叉熵损失;

24、基于真实工作流路径中任务步骤间的关系与候选路径样本中任务步骤间的关系,计算边评分交叉熵损失;

25、根据线性链条件随机场损失、节点评分交叉熵损失与边评分交叉熵损失,得到总体损失函数;

26、基于总体损失函数进行反向传播,以调整过程奖励模型的参数。

27、进一步地,所述保守接受准则,包括:

28、最优工作流路径与初始工具路径存在变化;

29、和,

30、相对于初始工具路径,最优工作流路径不得增加非法依赖边数量;其中,所述初始工具路径的非法依赖边数量基于初始依赖边集合生成;

31、和,

32、相对于初始工具路径,最优工作流路径发生变化的位置上不能降低任务步骤与工具节点之间的语义匹配;

33、和,

34、最优工作流路径的保守接受分数不低于接受阈值;其中,所述保守接受分数,表示最优工作流路径,表示初始工具路径,为不确定度惩罚权重,为编辑比例惩罚权重,表示最优工作流路径与初始工具路径之间的归一化全局过程奖励分差,表示最优工作流路径的不确定度,表示最优工作流路径相对于初始工具路径发生工具变化的位置集合,表示任务步骤序列中的任务数量。

35、进一步地,将初始工具路径或满足保守接受准则的最优工作流路径,作为最终工作流,包括:

36、判断最优工作流路径是否满足保守接受准则;

37、在最优工作流路径满足保守接受准则的情况下,将最优工作流路径作为最终工作流;

38、在最优工作流路径不满足保守接受准则的情况下,将初始工具路径作为最终工作流。

39、进一步地,求解全局最优工作流路径的算法包括动态规划算法、维特比算法或束搜索算法。

40、一种基于图约束规划空间与过程奖励的工作流生成装置,所述装置包括:

41、工具图获取模块,用于构建工具图,所述工具图用于表示工具节点之间的可执行依赖关系,所述工具节点基于工具、api 或功能模块构建,每一工具节点的属性包括工具描述、工具输入类型和工具输出类型;

42、初始规划模块,用于基于用户的自然语言请求,利用大语言模型生成初始规划结果,所述初始规划结果包括任务步骤序列、每一任务步骤对应的工具、初始工具路径和初始依赖边集合;

43、约束规划模块,用于依据初始规划结果与工具图,构建每一任务步骤的候选工具集合,并根据候选工具集合构建图约束规划空间;

44、结构化解码模块,用于在图约束规划空间求解全局最优工作流路径;

45、工作流输出模块,用于将初始工具路径或满足保守接受准则的最优工作流路径,作为最终工作流。

46、与现有技术相比,本发明具有以下有益效果:

47、第一,本发明通过一元奖励和二元奖励同时建模步骤-工具匹配关系和工具-工具依赖关系,使工作流生成从逐步骤局部选择转化为全局结构化路径选择。

48、第二,本发明采用线性链条件随机场损失训练过程奖励模型,使模型学习完整路径、单步工具选择和相邻依赖边三个层次的信息。

49、第三,本发明在推理阶段采用束搜索,能够在有限候选空间内高效选择得分最高的完整路径。

50、第四,本发明设置语义验证、不确定度惩罚和非法依赖不增加约束,避免结构化选择器对初始规划进行不可靠修改。