一种基于回放归因的智能体发布控制方法与流程
本发明涉及人工智能,具体涉及一种基于回放归因的智能体发布控制方法。
背景技术:
1、近年来,大语言模型智能体技术取得显著进展,已被广泛应用于智能客服、知识问答、业务办理、研发辅助和自动化运维等场景。智能体的一次生产执行通常涉及提示词、基础模型及推理参数、工作流拓扑、知识库索引、检索配置、外部工具、权限策略、租户数据及外部服务等多个组件。上述组件共同决定智能体的执行路径和最终输出。当提示词、模型、工作流、知识库索引、工具或策略中的任意一项发生变更时,智能体的输出质量均可能随之发生变化。因此,在候选版本发布前或生产问题发生后,通常需要利用生产环境中产生的执行轨迹进行离线回放和效果评测。
2、然而,相关方案至少存在以下问题:仅保存输入输出和少量追踪字段,未保存完整执行上下文,生产版本更新后原始运行条件不可重建;外部依赖例如工具调用结果、检索召回结果、业务数据等持续变化,即使输入相同,重放结果也会因外部漂移而产生差异,比较基准不可靠;仅比较最终输出,无法定位差异首发节点,也无法区分上游传播效应与节点自身效应;评测结果与发布系统脱节,发现退化后依赖人工研判,阻断和回滚滞后。
3、因此,亟需一种能够将归因结果直接驱动发布控制的方法。
技术实现思路
1、有鉴于此,本发明实施例提供了一种基于回放归因的智能体发布控制方法,以解决相关技术中根因无法定位以及评测与发布脱节的技术问题。
2、第一方面,本发明实施例提供了一种基于回放归因的智能体发布控制方法,方法包括:
3、采集生产环境中智能体的执行轨迹,确定所述执行轨迹对应的执行上下文,所述执行轨迹包括所述智能体执行过程中经过的节点、节点间的依赖关系、以及节点的输入输出信息,所述执行上下文用于表征所述执行轨迹执行时所依赖的组件组合状态和数据状态;
4、根据所述执行上下文生成多组件版本指纹,所述多组件版本指纹用于唯一表征所述执行上下文所包含的组件组合;
5、固化所述执行轨迹中的外部依赖,所述外部依赖为影响所述执行轨迹执行结果的外部状态、外部调用结果或非确定性运行条件;
6、根据所述执行轨迹、所述执行上下文、所述多组件版本指纹和固化后的外部依赖生成样本清单及完整性校验信息,构建可复现回放样本包;
7、在隔离环境中,使用同一所述可复现回放样本包分别驱动第一发布版本和第二发布版本执行,获得第一节点轨迹和第二节点轨迹;
8、对所述第一节点轨迹和所述第二节点轨迹进行节点对齐,获得节点对齐单元;
9、根据所述节点对齐单元计算所述第二发布版本相对于所述第一发布版本的节点级退化贡献,并根据所述节点级退化贡献进行组件归因,获得组件归因结果;
10、根据所述组件归因结果生成发布控制指令,所述发布控制指令用于控制所述第二发布版本的发布状态。
11、结合第一方面,在一种实施方式中,所述执行上下文包括以下至少之一:租户信息、应用信息、智能体信息、发布版本信息、提示词版本指纹、工作流版本指纹、模型版本指纹、知识库索引版本指纹、工具版本指纹、权限策略版本指纹和数据水位标识;
12、其中,所述租户信息用于标识所述执行轨迹所属的租户域;所述应用信息用于标识所述智能体所属的应用;所述智能体信息用于标识所述执行轨迹对应的智能体实例;所述发布版本信息用于标识所述执行轨迹对应的智能体发布版本;所述提示词版本指纹用于标识所述智能体使用的提示词的版本;所述工作流版本指纹用于标识所述智能体使用的工作流的版本;所述模型版本指纹用于标识所述智能体使用的模型的版本;所述知识库索引版本指纹用于标识所述智能体使用的知识库索引的版本;所述工具版本指纹用于标识所述智能体使用的工具的版本;所述权限策略版本指纹用于标识所述智能体使用的权限策略的版本;所述数据水位标识用于标识所述执行轨迹执行时的业务数据状态。
13、结合第一方面,在一种实施方式中,所述根据所述执行上下文生成多组件版本指纹,包括:
14、对所述执行上下文中的每个组件,根据所述组件的标识信息、配置信息和版本信息生成对应的组件指纹;
15、将所有组件的组件指纹按照预定顺序拼接后计算哈希值,得到多组件版本指纹。
16、结合第一方面,在一种实施方式中,所述外部依赖包括工具调用结果、检索召回结果、业务数据、时间信息和随机数种子的至少一项,所述固化所述外部依赖包括:
17、对于所述工具调用结果,存储所述执行轨迹执行时对目标工具的调用请求和所述目标工具返回的调用响应;
18、对于所述检索召回结果,固定所述执行轨迹执行时的检索查询条件、召回文档内容及排序结果;
19、对于所述业务数据,创建所述执行轨迹执行时刻的业务数据的只读数据快照,或记录所述业务数据的一致性标识,所述一致性标识用于在驱动所述第一发布版本或所述第二发布版本执行时从数据源获取与所述执行轨迹执行时刻一致的业务数据;
20、对于所述时间信息,记录所述执行轨迹执行时的逻辑时钟,所述逻辑时钟用于在驱动所述第一发布版本或所述第二发布版本执行时还原所述执行轨迹执行时的时序关系;
21、对于所述随机数种子,记录所述执行轨迹执行时使用的随机数种子,所述随机数种子用于在驱动所述第一发布版本和所述第二发布版本执行时使随机操作产生相同的随机序列。
22、结合第一方面,在一种实施方式中,所述对所述第一节点轨迹和所述第二节点轨迹进行节点对齐,获得节点对齐单元,包括:
23、使用节点标识对所述第一节点轨迹中的节点和所述第二节点轨迹中的节点进行匹配,所述节点标识用于在智能体的工作流中唯一标识一个节点;
24、当无法通过所述节点标识匹配时,根据所述节点的属性信息生成语义签名,并根据所述语义签名对未匹配的节点进行匹配,所述属性信息包括所述节点在所述工作流中的位置信息、所述节点的输入输出特征信息以及所述节点所引用组件的信息中的至少一种;
25、根据匹配结果生成节点对齐单元,并确定每个匹配节点对的对齐置信度,所述节点对齐单元包括匹配节点对、新增节点、删除节点。
26、结合第一方面或其对应的实施方式,在一种实施方式中,所述根据所述节点对齐单元计算所述第二发布版本相对于所述第一发布版本的节点级退化贡献,包括:
27、计算所述第二发布版本相对于所述第一发布版本的端到端整体退化量,所述端到端整体退化量为所述第一发布版本的端到端得分与所述第二发布版本的端到端得分之差的正数部分;
28、获取所述节点对齐单元中每个匹配节点对的局部质量差异,所述局部质量差异用于表征所述匹配节点对中所述第二发布版本的节点相对于所述第一发布版本的节点的输出质量变化程度;
29、获取所述匹配节点对中每个节点的传播权重,所述传播权重用于表征所述节点的输出差异向下游节点传播的影响程度;
30、根据所述局部质量差异、所述传播权重和所述节点对齐单元的对齐置信度计算所述匹配节点对中每个节点的贡献值,其中,所述对齐置信度是在所述节点对齐过程中确定的置信度;
31、对于所述节点对齐单元中的新增节点,根据所述新增节点对所述第二发布版本整体输出的影响程度确定所述新增节点的贡献值;
32、对于所述节点对齐单元中的删除节点,根据所述删除节点对所述第一发布版本整体输出的贡献程度确定所述删除节点的贡献值;
33、将所述匹配节点对、所述新增节点和所述删除节点的贡献值进行归一化,使归一化后的所有节点的贡献值之和等于所述端到端整体退化量,归一化后的每个节点的贡献值即为所述节点级退化贡献。
34、结合第一方面或其对应的实施方式,在一种实施方式中,所述根据所述节点级退化贡献进行组件归因,获得组件归因结果,包括:
35、确定所述节点对齐单元中每个节点引用的组件版本指纹;
36、当所述节点引用一个组件版本指纹时,将所述节点的节点级退化贡献分配至所述组件版本指纹对应的组件;
37、当所述节点引用多个组件版本指纹时,根据每个组件的反事实替换结果确定分配权重,并按照所述分配权重将所述节点的节点级退化贡献分配至所述组件版本指纹对应的组件;
38、将分配至同一组件的退化贡献进行聚合,得到每个组件的退化贡献;
39、根据样本可复现等级、所述节点对齐单元的对齐置信度、回放结果方差、评测器一致性和未固化外部依赖占比中的至少一项计算归因置信度,所述归因置信度用于表征所述组件归因结果的可靠程度,所述样本可复现等级是根据所述可复现回放样本包中包含的信息完整程度确定的等级;所述回放结果方差是根据多次使用所述可复现回放样本包分别驱动所述第一发布版本和所述第二发布版本执行的回放结果计算得到的方差;所述评测器一致性是用于对所述第一发布版本和所述第二发布版本的输出进行评分的评测器在多次评分中的一致程度;所述未固化外部依赖占比是所述外部依赖中未被所述固化操作处理的部分所占的比例;
40、输出包含所述归因置信度和所述每个组件的退化贡献的组件归因结果。
41、结合第一方面或其对应的实施方式,在一种实施方式中,所述根据所述组件归因结果生成发布控制指令,包括:
42、当所述组件归因结果中存在安全类组件退化且所述归因置信度超过预设置信度阈值时,生成发布阻断指令;
43、当所有组件的退化贡献之和超过预设整体退化阈值且所述归因置信度超过预设置信度阈值时,生成发布阻断指令或降低灰度比例指令,所述降低灰度比例指令用于减少所述第二发布版本面向用户的流量比例;
44、当所有组件的退化贡献之和超过预设整体退化阈值且所述归因置信度未超过预设置信度阈值时,生成暂停发布并追加回放指令,或生成人工复核指令;
45、当所有组件的退化贡献之和未超过预设整体退化阈值且不存在安全类组件退化时,生成允许发布指令。
46、结合第一方面,在一种实施方式中,所述可复现回放样本包包含所述样本清单和所述完整性校验信息,所述样本清单包括样本标识、所述执行轨迹、所述执行上下文的组件版本指纹集合、固化后的外部依赖集合、版本关联信息;其中,所述完整性校验信息用于校验所述可复现回放样本包的完整性,所述版本关联信息包括所述执行轨迹对应的智能体发布版本的标识和所述执行轨迹的采集时间。
47、结合第一方面,在一种实施方式中,所述方法还包括:
48、当所述第二发布版本的发布状态为发布阻断或降低灰度比例时,将所述可复现回放样本包、所述组件归因结果、所述第二发布版本的发布版本信息以及所述第二发布版本所对应的归因组件标识关联存储至回归样本集。
49、本发明通过将执行轨迹与执行上下文绑定并生成多组件版本指纹,使生产时刻的完整运行条件得以重建;通过对执行轨迹中的外部依赖进行固化处理,消除了外部环境变化对版本间回放比较的干扰,使双版本在隔离环境中共享同一可复现回放样本包进行同源配对执行,确保比较基准的一致性;通过对双版本节点轨迹进行节点对齐并计算节点级退化贡献,能够精确定位差异首发节点并区分上游传播效应与节点自身效应,再将节点贡献按照所引用的组件版本指纹聚合,实现了组件级退化归因;最终根据组件归因结果自动生成发布控制指令,缩短了从发现问题到阻断、降级或回滚的响应时间。
50、第二方面,本发明实施例提供了一种基于回放归因的智能体发布控制装置,所述装置包括:
51、采集模块,用于采集生产环境中智能体的执行轨迹,并确定所述执行轨迹对应的执行上下文,所述执行轨迹包括所述智能体执行过程中经过的节点、节点间的依赖关系以及节点的输入输出信息,所述执行上下文用于表征所述执行轨迹执行时所依赖的组件组合状态和数据状态;
52、指纹生成模块,用于根据所述执行上下文生成多组件版本指纹,所述多组件版本指纹用于唯一表征所述执行上下文所包含的组件组合;
53、固化模块,用于固化所述执行轨迹中的外部依赖,所述外部依赖为影响所述执行轨迹执行结果的外部状态、外部调用结果或非确定性运行条件;
54、样本构建模块,用于根据所述执行轨迹、所述执行上下文、所述多组件版本指纹和固化后的外部依赖生成样本清单及完整性校验信息,构建可复现回放样本包;
55、回放模块,用于在隔离环境中,使用同一所述可复现回放样本包分别驱动第一发布版本和第二发布版本执行,获得第一节点轨迹和第二节点轨迹;
56、对齐模块,用于对所述第一节点轨迹和所述第二节点轨迹进行节点对齐,获得节点对齐单元;
57、归因模块,用于根据所述节点对齐单元计算所述第二发布版本相对于所述第一发布版本的节点级退化贡献,并根据所述节点级退化贡献进行组件归因,获得组件归因结果;
58、发布控制模块,用于根据所述组件归因结果生成发布控制指令,所述发布控制指令用于控制所述第二发布版本的发布状态。
59、第三方面,本发明实施例提供了一种计算机设备,包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述第一方面或其对应的任一实施方式的一种基于回放归因的智能体发布控制方法。
60、第四方面,本发明实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的一种基于回放归因的智能体发布控制方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com