一种分布式推理任务的多节点容错处理方法及系统与流程

摘要: 本发明涉及人工智能推理容错,具体是一种分布式推理任务的多节点容错处理方法及系统。背景技术:1、随着大模型推理服务的发展,分布式推理通常采用多个推理节点共同承载推...
一种分布式推理任务的多节点容错处理方法及系统与流程

本发明涉及人工智能推理容错,具体是一种分布式推理任务的多节点容错处理方法及系统。

背景技术:

1、随着大模型推理服务的发展,分布式推理通常采用多个推理节点共同承载推理任务,并根据推理节点的计算资源状态、运行状态和任务负载进行任务分配。当执行任务的推理节点发生异常时,现有方法通常根据请求信息、已生成输出内容或节点运行状态,将推理任务迁移至其他可用推理节点继续执行。

2、在结构化工具调用的分布式推理场景中,工具参数输出需要持续满足字段类型、取值范围、嵌套关系及分支关系等结构约束。推理任务在输出过程中发生节点异常时,不同输出位置对应的剩余结构约束不同,不同推理节点对结构约束的支持能力也存在差异。现有任务迁移方法主要关注计算资源和运行状态,难以保证迁移前后的结构约束连续一致,容易出现续接输出不满足剩余约束、结构中断或恢复失败的问题。

技术实现思路

1、本发明的目的在于提供一种分布式推理任务的多节点容错处理方法及系统,以解决结构化工具调用推理任务在节点异常迁移过程中结构约束难以连续保持的问题。

2、为实现上述目的,一方面,本发明提供了一种分布式推理任务的多节点容错处理方法,所述方法包括:

3、获取结构化工具调用推理任务、工具参数约束描述及多个推理节点的节点能力信息;将所述工具参数约束描述解析为约束语法图;根据所述节点能力信息确定兼容推理节点集合,并从中选取源推理节点执行所述结构化工具调用推理任务。

4、接收源推理节点产生的工具参数流式输出;由迁移控制节点按照约束语法图对工具参数流式输出进行增量匹配,更新反映工具参数输出约束推进情况的约束镜像状态。

5、根据约束镜像状态和约束语法图提取当前输出位置后的续接约束特征;将续接约束特征与除源推理节点外的兼容推理节点的节点能力信息进行匹配,得到可承接推理节点集合;当约束镜像状态满足预设恢复条件且可承接推理节点集合满足预设容错数量条件时,将所述当前输出位置确定为可迁移约束边界,并记录可迁移约束边界对应的约束镜像状态和可承接推理节点集合。

6、检测到源推理节点异常后,读取最近可迁移约束边界对应的约束镜像状态;根据约束镜像状态和约束语法图生成续接约束描述。

7、从最近可迁移约束边界关联的可承接推理节点集合中选取当前处于可用状态的目标推理节点;将结构化工具调用推理任务、最近可迁移约束边界前的工具参数输出和续接约束描述发送至目标推理节点。

8、所述目标推理节点按照续接约束描述继续生成最近可迁移约束边界后的工具参数输出;所述迁移控制节点根据新增工具参数输出更新约束镜像状态。

9、优选地,所述节点能力信息的获取方法包括:

10、读取各推理节点的模型标识和分词器标识;向各推理节点下发预设约束测试集合,所述预设约束测试集合中的各项约束测试记录结构约束类型以及结构约束类型之间的后继关系、嵌套关系和分支关系。

11、按照对应的预设结构校验规则对各推理节点完成各项约束测试的生成结果进行校验;将通过校验的约束测试对应的结构约束类型、后继关系、嵌套关系和分支关系组成结构约束能力单元;汇集各推理节点对应的结构约束能力单元得到结构约束能力信息;根据模型标识、分词器标识和结构约束能力信息组成节点能力信息。

12、优选地,所述由迁移控制节点按照约束语法图对工具参数流式输出进行增量匹配,更新反映工具参数输出约束推进情况的约束镜像状态的方法包括:

13、以所述约束语法图的根节点建立初始匹配节点集合;建立与初始匹配节点集合对应的初始节点内匹配进度集合、结构层级路径集合和未完成约束集合,得到初始约束镜像状态。

14、根据工具参数流式输出的接收顺序读取新增工具参数输出;从上一约束镜像状态中的当前匹配节点集合和对应的节点内匹配进度集合开始,按照约束语法图的后继关系和约束节点对应的约束内容匹配所述新增工具参数输出,得到更新后的当前匹配节点集合。

15、记录所述新增工具参数输出结束位置在更新后的当前匹配节点集合对应约束内容中的匹配位置,得到更新后的节点内匹配进度集合。

16、根据匹配经过的约束节点更新所述结构层级路径集合和所述未完成约束集合;根据更新后的当前匹配节点集合、更新后的节点内匹配进度集合、更新后的结构层级路径集合和更新后的未完成约束集合组成更新后的约束镜像状态。

17、优选地,所述根据约束镜像状态和约束语法图提取当前输出位置后的续接约束特征的方法包括:

18、以约束镜像状态中的当前匹配节点集合为起点,根据约束语法图的后继关系从未完成约束集合中确定当前结构层级中的未完成约束节点;按照所述结构层级路径集合逐层确定各上层结构中的未完成约束节点,汇集所述未完成约束节点得到续接约束节点集合。

19、提取续接约束节点集合中各续接约束节点对应的结构约束特征,并合并重复的结构约束特征,得到续接约束特征。

20、优选地,所述提取续接约束节点集合中各续接约束节点对应的结构约束特征,并合并重复的结构约束特征,得到续接约束特征的方法包括:

21、根据续接约束节点集合中各续接约束节点在约束语法图中的连接关系,确定各续接约束节点对应的结构约束类型以及续接约束节点之间的后继关系、嵌套关系和分支关系。

22、将具有连接关系的结构约束类型与对应的后继关系、嵌套关系和分支关系组成续接约束特征单元;合并结构约束类型、后继关系、嵌套关系和分支关系均相同的续接约束特征单元,得到续接约束特征。

23、优选地,所述将续接约束特征与除源推理节点外的兼容推理节点的节点能力信息进行匹配,得到可承接推理节点集合的方法包括:

24、从兼容推理节点集合中剔除源推理节点,得到候选推理节点集合。

25、从各候选推理节点的节点能力信息中提取支持的结构约束类型以及结构约束类型之间的后继关系、嵌套关系和分支关系,组合得到各候选推理节点对应的结构约束能力特征。

26、按照结构约束类型以及对应的后继关系、嵌套关系和分支关系一致的条件,将续接约束特征中的各续接约束特征单元分别与各候选推理节点对应的结构约束能力特征进行匹配。

27、将结构约束能力特征能够匹配全部续接约束特征单元的候选推理节点确定为可承接推理节点;汇集所述可承接推理节点得到可承接推理节点集合。

28、优选地,所述约束镜像状态满足预设恢复条件以及所述可承接推理节点集合满足预设容错数量条件的判定方法包括:

29、将约束语法图中的完整参数值结束节点和结构闭合节点标记为可恢复约束节点。

30、获取可承接推理节点集合中各推理节点的最近心跳时刻和结构约束解码服务状态;将当前时刻与最近心跳时刻之间的时间间隔不大于预设心跳超时阈值且结构约束解码服务状态为运行状态的推理节点确定为可用推理节点。

31、当约束镜像状态中的当前匹配节点集合内各当前匹配节点均属于可恢复约束节点时,确定所述约束镜像状态满足预设恢复条件;当可用推理节点数量不小于预设容错数量时,确定所述可承接推理节点集合满足预设容错数量条件。

32、优选地,所述根据约束镜像状态和约束语法图生成续接约束描述的方法包括:

33、以最近可迁移约束边界对应的约束镜像状态中的当前匹配节点集合为起点,根据约束语法图的后继关系从未完成约束集合中确定当前结构层级中的未完成约束节点;根据结构层级路径集合由内向外逐层确定各上层结构中的未完成约束节点和结构闭合节点。

34、从约束语法图中提取所述未完成约束节点、结构闭合节点、各约束节点对应的结构约束类型和约束内容以及节点之间的后继关系、嵌套关系和分支关系,得到续接约束子图。

35、根据结构约束类型与文法符号之间的预设映射关系,将续接约束子图中各约束节点对应的结构约束类型和约束内容转换为包含对应约束内容的文法表达。

36、按照续接约束子图中的后继关系、嵌套关系和分支关系组合文法表达,得到续接约束描述。

37、基于同一发明构思,另一方面,本发明还提供了一种分布式推理任务的多节点容错处理系统,应用于结构化工具调用的分布式推理场景,包括迁移控制节点和多个推理节点,所述迁移控制节点包括任务配置模块、状态跟踪模块、边界确定模块和故障续接模块。

38、所述任务配置模块,获取结构化工具调用推理任务、工具参数约束描述及多个推理节点的节点能力信息;将所述工具参数约束描述解析为约束语法图;根据所述节点能力信息确定兼容推理节点集合,并从中选取源推理节点执行所述结构化工具调用推理任务。

39、所述状态跟踪模块,接收源推理节点产生的工具参数流式输出;按照约束语法图对工具参数流式输出进行增量匹配,更新反映工具参数输出约束推进情况的约束镜像状态。

40、所述边界确定模块,根据约束镜像状态和约束语法图提取当前输出位置后的续接约束特征;将续接约束特征与除源推理节点外的兼容推理节点的节点能力信息进行匹配,得到可承接推理节点集合;当约束镜像状态满足预设恢复条件且可承接推理节点集合满足预设容错数量条件时,将所述当前输出位置确定为可迁移约束边界,并记录可迁移约束边界对应的约束镜像状态和可承接推理节点集合。

41、所述故障续接模块,检测到源推理节点异常后,读取最近可迁移约束边界对应的约束镜像状态;根据约束镜像状态和约束语法图生成续接约束描述;从最近可迁移约束边界关联的可承接推理节点集合中选取当前处于可用状态的目标推理节点;将结构化工具调用推理任务、最近可迁移约束边界前的工具参数输出和续接约束描述发送至目标推理节点。

42、所述目标推理节点按照续接约束描述继续生成最近可迁移约束边界后的工具参数输出;所述状态跟踪模块根据新增工具参数输出更新约束镜像状态。

43、与现有技术相比,本发明的有益效果是:

44、1.通过对工具参数流式输出的约束推进情况进行持续记录,并结合当前输出位置后的续接约束特征与其他推理节点的结构约束能力确定可迁移位置,使故障恢复建立在当前剩余约束和节点实际承接能力基础上,能够降低结构化工具调用任务迁移后出现约束不一致和续接失败的概率,提高分布式推理任务的容错连续性。

45、2.通过预设约束测试获取各推理节点对不同结构约束类型及结构关系的支持情况,并按照续接约束特征进行匹配,使可承接推理节点能够随工具参数输出位置和剩余约束变化动态确定,能够减少仅依据资源状态选择节点造成的结构约束能力不匹配。

46、3.通过在完整参数值结束位置和结构闭合位置建立可恢复条件,并在故障后依据最近可迁移约束边界生成续接约束描述,使目标推理节点能够从明确的结构恢复位置继续生成剩余工具参数,减少未完整参数片段对恢复过程的干扰,提高故障恢复后的工具参数结构完整性。