基于状态驱动的大语言模型动态工作流构建与执行方法及系统与流程

摘要: 本申请涉及大语言模型推理,尤其涉及基于状态驱动的大语言模型动态工作流构建与执行方法及系统。背景技术:1、在智能外呼、在线客服等会话系统中,大语言模型可根据当前会...
基于状态驱动的大语言模型动态工作流构建与执行方法及系统与流程

本申请涉及大语言模型推理,尤其涉及基于状态驱动的大语言模型动态工作流构建与执行方法及系统。

背景技术:

1、在智能外呼、在线客服等会话系统中,大语言模型可根据当前会话内容选择能力组件,由工作流执行引擎调用组件生成话术、查询信息并推进流程;为限定可调用范围,一类实现预先将流程编排为状态图,在各节点登记候选动作,模型在节点对应的候选动作中规划后续处理,执行前再按照身份条件、动作次序和链路约束检查工作流片段。

2、以同一会话从账单告知转入异议处理为例,会话意图、已确认事实及链路时延可能在若干轮次内发生变化,而节点预先登记的候选动作范围及对应推理资源配置并未随这些变化同步调整;不适用的候选动作仍可能进入模型规划,占用规划上下文及推理资源,随后才在约束检查中被剔除。

3、因此,上述实现的主要缺陷在于,候选动作规模及其推理资源配置与会话状态变化缺少联动调整关系,使执行引擎难以按当前状态的实际变化组织模型规划与资源分配。

技术实现思路

1、本申请提供基于状态驱动的大语言模型动态工作流构建与执行方法及系统,用于为候选动作规模处理与推理资源分配建立共同的状态驱动依据。

2、第一方面,本申请提供如下方法:基于状态驱动的大语言模型动态工作流构建与执行方法,应用于工作流执行引擎,包括:

3、获取会话采集模块提供的多维业务状态量及能力组件注册中心提供的候选动作集合;

4、根据多维业务状态量进行归一化与拼接,得到状态指纹向量;

5、根据状态指纹向量相对上一评估时刻的逐维差异进行跨轮次累加,得到累计变化量;

6、根据累计变化量确定非等间隔评估周期,未到达时保持代价场不变并继续采集,到达时生成候选动作代价偏置量及其累积幅值对应的轴向高度;

7、根据候选动作代价偏置量对候选动作集合的代价场进行叠加,得到偏置代价场;

8、根据偏置代价场保留的代价基数排序及业务约束集合中的动作合法性限定,分别确定第一数量与第二数量;

9、根据第一数量、第二数量的加权和与轴向高度的平方项形成合成量,将合成量与轴向高度相乘并缩放,得到可用动作容量值,任一数量为零时置零;

10、在可用动作容量值大于零且不超过容量上限时,根据可用动作容量值筛选可复用能力组件、分配大语言模型推理资源并生成工作流片段;

11、根据工作流片段进行业务约束判定,通过后执行,得到执行反馈;

12、根据执行反馈更新多维业务状态量,供下一轮次获取。

13、第二方面,基于状态驱动的大语言模型动态工作流构建与执行系统,包括依序传递数据并由末端反馈首端的以下单元:

14、状态采集单元获取候选动作集合及多维业务状态量,将多维业务状态量归一化拼接为状态指纹向量,累加相对上一评估时刻的逐维差异得到累计变化量;

15、时机判定单元按累计变化量确定非等间隔评估周期,未到达时保持代价场并采集,到达时生成候选动作代价偏置量及轴向高度;

16、容量确定单元将候选动作代价偏置量叠加至候选动作集合的代价场得偏置代价场,按其代价基数排序及动作合法性限定得第一数量和第二数量,将两者加权和与轴向高度平方项相加,再乘轴向高度并缩放得可用动作容量值,任一数量为零时置零;

17、组件编排单元在可用动作容量值大于零且不超过容量上限时筛选可复用能力组件、分配推理资源并生成工作流片段;执行判定单元对工作流片段进行业务约束判定,通过后执行得到执行反馈;

18、状态回写单元按执行反馈更新多维业务状态量并送回状态采集单元。

19、有益效果具体如下:

20、本申请将多维业务状态量归一化为状态指纹向量,并将相对上一评估时刻的逐维差异跨轮次累加,形成用于确定非等间隔评估周期的累计变化量;由于评估时机取决于状态变化,周期到达时更新候选动作代价偏置量,未到达时保持代价场不变,执行引擎能够在会话推进过程中有条件地更新规划依据,减少不必要的代价场重算。

21、本申请根据偏置代价场保存的代价基数排序及动作合法性限定取得第一数量和第二数量,并由状态变化得到的轴向高度与这两个数量共同形成可用动作容量值;可用动作容量值在允许自动编排的范围内同时用于组件规模处理与推理资源查询,使二者采用同一次状态评估的结果,代价偏置的叠加记录不单独作为减少候选动作数量或降低资源消耗的依据。

22、本申请对形成的工作流片段进行业务约束判定,在通过后执行并将执行反馈回写为后续轮次的多维业务状态量;由于容量确定、执行前约束检查和执行后状态更新依次衔接,规划范围的调整仍受实际动作执行条件约束,并能够以执行产生的状态继续驱动下一轮评估,形成动态工作流构建与执行的反馈闭环。

1.基于状态驱动的大语言模型动态工作流构建与执行方法,应用于工作流执行引擎,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,根据多维业务状态量进行归一化与拼接,得到状态指纹向量,包括:

3.根据权利要求2所述的方法,其特征在于,根据状态指纹向量相对上一评估时刻的逐维差异进行跨轮次累加,得到累计变化量,包括:

4.根据权利要求3所述的方法,其特征在于,根据累计变化量确定非等间隔评估周期,未到达时保持代价场不变并继续采集,到达时生成候选动作代价偏置量及其累积幅值对应的轴向高度,包括:

5.根据权利要求4所述的方法,其特征在于,根据偏置代价场保留的代价基数排序及业务约束集合中的动作合法性限定,分别确定第一数量与第二数量,包括:

6.根据权利要求5所述的方法,其特征在于,在可用动作容量值大于零且不超过容量上限时,根据可用动作容量值筛选可复用能力组件、分配大语言模型推理资源并生成工作流片段,包括:

7.根据权利要求6所述的方法,其特征在于,根据可用动作容量值及容量边界约束限定候选能力组件子集的规模,分配显存块数量与并行解码路数,再由大语言模型参与按流程位置编排,生成工作流片段,包括:

8.根据权利要求7所述的方法,其特征在于,根据工作流片段进行业务约束判定,通过后执行,得到执行反馈,包括:

9.根据权利要求8所述的方法,其特征在于,根据执行反馈更新多维业务状态量,供下一轮次获取,包括:

10.基于状态驱动的大语言模型动态工作流构建与执行系统,其特征在于,包括执行权利要求1至9任一项方法的单元: