一种审计增量可组合多信号轨迹的置信度评分方法与流程

摘要: 本发明涉及人工智能控制,具体为一种审计增量可组合多信号轨迹的置信度评分方法。背景技术:1、智能体自主执行代码编写、编译运行、错误修复、测试验证等连续操作,形成一...
一种审计增量可组合多信号轨迹的置信度评分方法与流程

本发明涉及人工智能控制,具体为一种审计增量可组合多信号轨迹的置信度评分方法。

背景技术:

1、智能体自主执行代码编写、编译运行、错误修复、测试验证等连续操作,形成一条完整的执行轨迹。智能体在执行轨迹的每个步骤中持续产生多种质量信号,如编译错误类型、运行测试结果、文件产物校验状态、重复循环检测信号、任务进度停滞指示等。如何将这些异构信号融合为一个统一的置信度评分,并据此做出“继续执行”“升格至人工审查”“终止执行”的决策,是提升智能体自主执行可靠性的核心问题。

2、现有技术对执行轨迹置信度的评估主要分为三类方法:第一类是基于黑盒打分模型的方法。这类方法训练一个独立的评分模型,将整条执行轨迹输入模型后输出一个置信度分数。其缺陷在于评分过程完全不透明,无法回答“为什么给出这个分数”的问题,也不支持对单个信号维度的归因分析。当评分模型判断失误时,无法定位具体是哪个信号导致了误判。第二类是基于大语言模型自评的方法。这类方法让执行智能体自身或一个独立的评判大语言模型阅读整条轨迹,以自然语言方式输出整体执行质量判断。其缺陷在于大语言模型自评存在严重的锚定效应和幻觉倾向,模型倾向于对自身生成的执行结果给出偏高评分,且评分标准不稳定,相同轨迹在不同上下文中可能获得显著不同的分数。第三类是基于预设规则的硬判法。这类方法设定固定阈值,例如编译错误超过3次则判定为失败。其缺陷在于规则僵化,无法捕捉不同信号组合的复杂交互效应,例如一次轻微警告加上一次成功的产物校验,实际质量可能高于零警告加零产物校验的场景。

3、因此,针对上述问题,需要一种审计增量可组合多信号轨迹的置信度评分方法。

技术实现思路

1、本发明的目的在于一种审计增量可组合多信号轨迹的置信度评分方法。本发明通过多信号贡献者基线、增量链式架构、全量执行审计机制、贡献者容错降级策略以及最终钳位决策规则,实现可逐项归因的置信度评分与细粒度执行决策。

2、本发明是这样实现的:

3、本发明提供一种审计增量可组合多信号轨迹的置信度评分方法,包括:

4、接收智能体在执行任务过程中产生的完整执行轨迹,从轨迹中提取多类异构信号并组成信号集合;注册多个信号贡献者并按预设次序排列形成评分链,其中首个贡献者为基线发射贡献者,其余贡献者为增量贡献者;输出信号集合与信号贡献者列表;

5、接收信号集合与基线发射贡献者配置,由基线发射贡献者从信号集合中提取对应信号,按照预设基线评分规则计算得到绝对基线置信度值,将当前置信度初始化为该绝对基线置信度值;输出绝对基线值与初始化后的当前置信度;

6、按评分链的预设次序依次执行各增量贡献者,每个增量贡献者从信号集合中提取其专属对应的信号子集,计算得到一个带符号的置信度增量值,将该增量值累加到当前置信度上完成一次置信度调整;全部增量贡献者执行完毕后得到中间置信度,同时生成包含各增量贡献者对应增量值与输入信号的增量审计记录;输出中间置信度与增量审计记录;

7、强制所有信号贡献者按预设次序完整执行,无论执行过程中当前置信度是否超出预设阈值范围;

8、将经容错处理后的中间置信度执行钳位操作,将其限制在预设的地板阈值与天花板阈值之间,得到最终置信度评分;输出最终置信度评分;

9、根据最终置信度所处的预设区间,映射输出对应的执行决策;同时生成包含基线值、各增量贡献者的增量信息与执行状态、最终置信度、执行决策的可审计评分报告;输出执行决策与可审计评分报告。

10、进一步,每个增量贡献者输出的带符号增量值的绝对值不超过预设的单步最大调整幅度。

11、进一步,各增量贡献者仅输出带符号的相对调整量,不进行绝对基线的重新计算。

12、进一步,若所述的当前置信度低于预设最低阈值或高于预设最高阈值,后续所有信号贡献者仍按预设次序完整执行。

13、进一步,所述容错降级处理包括当信号贡献者发生崩溃、超时或输入数据损坏类故障时,不对置信度产生任何调整影响,同时在审计轨迹中留存故障标记,不阻断整条评分链的执行。

14、进一步,所述的无论执行过程中当前置信度是否超出预设阈值范围,若任意信号贡献者发生执行故障,则将该贡献者对应的增量值置为零,同时在审计记录中标记该贡献者为故障状态;生成包含所有贡献者执行状态与对应数值的完整审计轨迹记录;输出完整审计轨迹记录与经容错处理后的中间置信度。

15、进一步,所述执行决策分为三档区间:置信度高于第一阈值时输出继续执行决策,置信度介于第一阈值与第二阈值之间时输出升格复核决策,置信度低于第二阈值时输出终止执行决策。

16、进一步,所述信号集合支持增量扩展:新增信号维度时,仅需注册对应新的增量贡献者并追加至评分链末尾,无需修改已有贡献者的评分规则。

17、进一步,本发明提供一种审计增量可组合多信号轨迹的置信度评分系统,包括轨迹输入与注册模块,接收智能体执行轨迹、提取异构信号组成信号集合,并注册排序信号贡献者形成评分链;

18、基线发射模块,通过基线贡献者计算绝对基线置信度并完成置信度初始化;

19、增量链式处理模块,依次通过各增量贡献者计算带符号增量并累加调整置信度,生成增量审计记录;

20、全量执行审计与容错模块,强制全量执行所有贡献者,对故障贡献者执行零增量降级,生成完整审计轨迹;

21、置信度钳位模块,将中间置信度钳位在预设阈值区间内得到最终置信度;

22、决策输出模块,映射输出执行决策并生成可审计评分报告。

23、进一步,本发明提供一种计算机存储介质,其存储介质上存储有可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述中任一项所述的一种审计增量可组合多信号轨迹的置信度评分方法。

24、与现有技术相比,本发明的有益效果是:

25、1、本发明通过基线、增量的结构化评分链赋予每个贡献者独立归因能力。与现有黑盒打分模型相比,本发明可明确回答各信号维度的贡献量与贡献原因,支持逐项溯源与人工审查。并且本发明单个贡献者故障降级为零增量信号,不阻断评分链。与现有的单个信号源崩溃导致整体评分流程中断相比,本发明实现了最优的容错可用性。

26、2、本发明新增信号维度只需注册一个新贡献者并附加到评分链末尾,无需重新训练、无需修改已有贡献者。与现有方法每次调整评分策略需重新设计全流程相比,本发明的组合成本降到最低。即使置信度已跌破地板值,所有贡献者仍强制完整执行。与现有方法的早停策略相比,本发明保留了所有贡献者的完整调整信息,避免丢失有价值信号。

1.一种审计增量可组合多信号轨迹的置信度评分方法,其特征在于:包括:

2.根据权利要求1所述的一种审计增量可组合多信号轨迹的置信度评分方法,其特征在于,每个增量贡献者输出的带符号增量值的绝对值不超过预设的单步最大调整幅度。

3.根据权利要求1所述的一种审计增量可组合多信号轨迹的置信度评分方法,其特征在于,各增量贡献者仅输出带符号的相对调整量,不进行绝对基线的重新计算。

4.根据权利要求1所述的一种审计增量可组合多信号轨迹的置信度评分方法,其特征在于,若所述的当前置信度低于预设最低阈值或高于预设最高阈值,后续所有信号贡献者仍按预设次序完整执行。

5.根据权利要求1所述的一种审计增量可组合多信号轨迹的置信度评分方法,其特征在于,所述容错降级处理包括当信号贡献者发生崩溃、超时或输入数据损坏类故障时,不对置信度产生任何调整影响,同时在审计轨迹中留存故障标记,不阻断整条评分链的执行。

6.根据权利要求1所述的一种审计增量可组合多信号轨迹的置信度评分方法,其特征在于,所述的无论执行过程中当前置信度是否超出预设阈值范围,若任意信号贡献者发生执行故障,则将该贡献者对应的增量值置为零,同时在审计记录中标记该贡献者为故障状态;生成包含所有贡献者执行状态与对应数值的完整审计轨迹记录;输出完整审计轨迹记录与经容错处理后的中间置信度。

7.根据权利要求1所述的一种审计增量可组合多信号轨迹的置信度评分方法,其特征在于:所述执行决策分为三档区间:置信度高于第一阈值时输出继续执行决策,置信度介于第一阈值与第二阈值之间时输出升格复核决策,置信度低于第二阈值时输出终止执行决策。

8.根据权利要求1所述的一种审计增量可组合多信号轨迹的置信度评分方法,其特征在于:所述信号集合支持增量扩展:新增信号维度时,仅需注册对应新的增量贡献者并追加至评分链末尾,无需修改已有贡献者的评分规则。

9.一种审计增量可组合多信号轨迹的置信度评分系统,其特征在于:包括轨迹输入与注册模块,接收智能体执行轨迹、提取异构信号组成信号集合,并注册排序信号贡献者形成评分链;

10.一种计算机存储介质,其存储介质上存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-8中任一项所述的一种审计增量可组合多信号轨迹的置信度评分方法。