一种面向异构智能体任务轨迹的可用证据归一化评测指标构建与评分方法及系统与流程

本发明涉及人工智能智能体评测，尤其涉及一种面向异构智能体任务轨迹的可用证据归一化评测指标构建与评分方法及系统，尤其适用于大语言模型驱动的智能体在代码修复、问答、文件处理、网页检索、数据分析等复杂任务场景下的能力评估。

背景技术：

1、随着大语言模型（large language model, llm）与工具调用能力的发展，智能体（agent）系统已经能够自主执行代码生成、文件处理、数据分析、网页检索、软件缺陷修复等复杂任务。为衡量和比较不同智能体或不同基础模型的能力，现有技术通常采用基准测试任务集（benchmark）进行评测，其基本流程为：令智能体执行一组预设任务，记录其最终输出，再通过测试用例、人工审查或大语言模型裁判对结果进行评分。

2、现有智能体评测技术的主要实现路径可归纳为以下四类。

3、第一类：基于最终结果的评测方法。 该类方法主要根据任务是否完成、测试是否通过、答案是否匹配参考答案来确定分数。例如，代码修复任务可根据单元测试是否通过计算解决率（resolved rate或pass rate）；问答任务可根据最终答案与标准答案是否一致计算准确率；文件处理任务可根据输出文件是否存在、格式是否符合要求确定得分。该类方法实现简单、结果直观，但其评分仅反映任务的最终结果，无法体现智能体在执行过程中各环节的能力差异。

4、第二类：基于工具调用或运行日志的过程分析方法。 部分评测系统会统计智能体的工具调用次数、命令执行是否成功、运行时长、token消耗、错误次数等过程数据。这类指标可以在一定程度上反映智能体在执行过程中的效率和稳定性，但通常停留在单项统计层面，缺少对规划、执行、验证等不同任务阶段的结构化拆分，也难以判断智能体生成的计划是否被实际行动落实。

5、第三类：基于人工或大语言模型裁判的主观评分方法。 现有方法还可将智能体的输出或部分轨迹交给人工评审，或交给大语言模型按照预设评分准则（rubric）打分。该类方法能够覆盖语义质量、解释质量、最终回答是否合理等难以通过规则计算的方面。但若直接令大语言模型输出绝对分数，则评分结果容易受到提示词、模型版本、上下文长度和评分尺度漂移的影响，导致不同任务或不同批次的评分可比性不足。

6、第四类：基于通用评测标准的多维评价方法。 现有人工智能评测和软件质量评估通常关注有效性、可靠性、效率、可解释性和结果正确性等维度。例如，人工智能可信评估框架强调有效性、可靠性、透明性和可解释性；软件质量模型强调功能适合性、性能效率和可靠性；语言模型综合评测框架通常同时关注准确率、鲁棒性、效率和校准能力。上述标准和框架为智能体评测提供了参考方向，但并未直接给出面向智能体任务执行过程的阶段化、可计算指标体系。

7、现有技术中也有若干针对大模型或智能体能力评价的专利方案，列举如下。

8、第一个，专利号cn118551191b，该专利公开一种面向大模型的评估方法。该方法首先设定评估参数，包括待评测模型的名称、评测的能力维度、数据集名称、模型权重路径、数据集路径和结果输出路径等，再解析待评测类型以获取具体评测任务与所需数据集，随后加载模型并执行评估算法，最终输出评估结果。该方法的重点在于评测流程的参数化编排与最终结果的计算输出，对智能体在执行过程中产生的工具调用、产物、验证等执行轨迹不作阶段化分解，也不计算计划与实际行动之间的对齐关系。

9、第二个，专利号cn119669924a，该专利公开一种适用于大模型智能体的性能评价方法。该方法面向大模型智能体性能评价，依据任务输出类型选择配对t检验或配对卡方检验，并可结合对比实验、消融实验、roc曲线、pr曲线等方式评价智能体性能。该方法的重点在于通过统计检验和实验对比量化智能体相对于原始大模型或消融模型的性能差异，其评价对象主要是不同模型或智能体配置在任务结果层面的性能差异，并未公开基于单次任务执行过程，将规划、执行、验证与交付过程拆分为阶段化指标卡，也未公开计划意图与实际行动之间的结构化匹配评分方法。

10、第三个，专利号cn120744423b，该专利公开一种任务处理模型评测方法、角色扮演模型评测方法及任务处理方法。该方法获取包括任务数据、任务结果和模型结果在内的评测数据，解析任务数据以获得用于描述结果特征的“思维路径”，再依据思维路径对任务数据、任务结果和模型结果进行互信息分析，从而获得模型评测结果，以提供可解释依据并识别模型在推理路径上的偏差或错误模式。该方法在输入—输出层面引入思维路径与互信息分析以提升可解释性，但其评价对象仍主要是任务数据、任务结果与模型结果之间的关系，并未基于由工具调用、产物和验证行为构成的执行轨迹分阶段构建可计算指标卡，也未衡量计划是否被实际行动落实。

11、第四个，专利号cn117608997b，该专利公开一种评测方法、分类评测方法、排序评测方法及装置。该方法获取待评测任务、第一评测模型以及至少两个第二评测模型，由第一评测模型根据待评测任务生成目标评测规则，再由多个第二评测模型根据目标评测规则对大模型的调用结果输出初始评测结果，最后由第一评测模型对多个初始评测结果进行汇总，得到目标评测结果。该方法的重点在于通过评测模型生成规则、多个评测模型分别评分以及评测结果汇总来提高评测准确性并降低模型调用成本，其核心仍是围绕大模型调用结果进行评测组织与结果汇总，并未公开一种基于任务执行过程分阶段构建指标卡、并将计划意图与实际行动进行结构化匹配的评分方法。

12、综上，上述现有技术方案虽然能够在一定程度上实现模型或智能体的能力评估，但其重点分别在于评测流程编排、统计显著性对比、思维路径互信息分析或评测模型组织与结果汇总，均未充分公开一种基于单次智能体任务的执行过程，将规划、执行、验证与交付证据转换为指标卡，并通过结构化意图—行动对齐、可用性与置信度归一、锚点相对比较和结果锚定形成可追溯评分的方法。

13、在此基础上，现有技术至少存在以下四项技术缺陷。

14、缺陷一：过程指标缺少阶段化组织且无法定位失败环节。 现有方法过度依赖最终结果，工具调用次数、运行耗时、token消耗、错误次数等指标虽然有助于分析过程，但若不按照任务执行逻辑进行阶段划分，难以反映智能体在规划、执行、验证与交付各环节的能力差异。对于一个智能体任务，最终失败可能来源于任务理解错误、计划不完整、工具调用失败、错误后未修复、验证不足、交付格式错误等不同环节，仅依据最终测试结果或最终答案打分，无法区分这些原因，导致评测结果的可解释性不足。

15、缺陷二：无法量化计划意图与实际行动之间的对齐关系。 智能体可能在早期生成看似合理的计划，但后续行动并未落实该计划；也可能并无显式计划而通过工具调用完成任务。现有技术仅用关键词重合或人工印象来判断计划质量，无法准确衡量计划步骤与实际行动之间的匹配关系，也无法区分“生成了计划但未执行”、“执行了行动但偏离计划”、“执行了计划且产生有效产物”等不同情形。

16、缺陷三：现有大语言模型裁判进行直接绝对评分时存在不稳定问题。直接要求大语言模型输出0-100分或等级分时，评分结果容易受到模型版本、提示词、输入上下文、任务类型差异的影响，导致评分漂移，不利于跨任务、跨智能体和跨批次比较。

17、缺陷四：证据缺失时评分可靠性不足且缺少置信度表达。 实际运行日志可能存在字段缺失、轨迹不完整、无工具调用记录、缺少验证输出等情况。若评分方法不能标识指标是否可用、证据来源是否完整、是否使用了降级（fallback）策略，则容易产生看似精确但证据不足的评分。现有技术在此情形下往往仍输出一个确定分数，缺失证据既可能被默认为高分，也可能被默认为低分，导致评分可靠性不足。

技术实现思路

1、本发明的任务是提供一种面向异构智能体任务轨迹的可用证据归一化评测指标构建与评分方法及系统，通过所述系统和/或方法，解决现有智能体评测技术中过程指标缺少阶段化组织、无法量化计划意图与实际行动之间的对齐关系、证据缺失时评分可靠性不足的问题，旨在基于智能体任务执行过程，构建一种能够同时反映规划、执行、验证与交付过程的多阶段指标体系，将计划文本、工具调用、产物、验证记录和任务结果转化为可计算、可追溯的指标卡，计算计划意图与实际行动的对齐程度，在保留最终结果约束的同时提供过程质量评分，并通过证据置信度与锚点校准提高评分结果的可解释性与稳定性。

2、在本发明的第一方面，前述任务通过一种面向异构智能体任务轨迹的可用证据归一化评测指标构建与评分方法来解决，该方法包括如下步骤：

3、由基准的适配器执行任务并返回异构原始日志，将所述异构原始日志转换为统一日志，所述统一日志包括跨基准的公共信息；

4、由所述统一日志抽取试验记录，由智能体产出的协议日志生成派生证据产物，所述派生证据产物包括规范化任务轨迹，评测器依据试验记录中的产物索引定位规范化任务轨迹文件；

5、将任务执行过程划分为规划阶段、执行阶段以及验证与交付阶段，并针对每个阶段分别构建指标卡，生成规划阶段指标、执行阶段指标以及验证与交付阶段指标；

6、聚合得到规划阶段、执行阶段以及验证与交付阶段的三阶段规则分，按阶段权重计算过程总分、过程诊断分和整体置信度；以及

7、将所述三阶段规则分与真实任务结果分、多结果来源一致性分执行结果锚定，得到结果锚定总分，输出评估记录与运行级汇总。

8、在本发明的一个实施例中，所述规范化任务轨迹包括messages字段、tool_calls字段、steps字段、text字段、rollout_details字段、artifacts字段以及outcome字段中的一个或多个。

9、在本发明的一个实施例中，所述指标卡包括value字段、available字段、confidence字段、source_fields字段、fallback_used字段、components字段和formula字段中的一个或多个。

10、在本发明的一个实施例中，所述规划阶段指标包括任务理解覆盖率、显式计划质量、意图及行动词面覆盖、结构化意图及行动对齐指标和计划可追溯性中的一个或多个，并按指标加权归一得到规划阶段分；和/或

11、所述执行阶段指标包括执行动作存在性、工具调用成功率、任务推进度、错误修复能力、执行效率、执行稳定性和结果约束下的效率中的一个或多个，并按指标加权归一得到执行阶段分；和/或

12、所述验证与交付阶段指标包括语义验证充分性、验证动作质量、最终声明支撑度、任务真实结果分、交付质量、证据质量和结果一致性中的一个或多个，并按指标加权归一得到验证与交付阶段分。

13、在本发明的一个实施例中，所述过程总分的计算方式为：

14、overall_rule=0.30×s_planning_rule+0.35×s_execution_rule+0.35×s_validation_rule

15、其中，overall_rule表示过程总分，s_planning_rule表示规划阶段分，s_execution_rule表示执行阶段分，s_validation_rule表示验证与交付阶段分；

16、所述过程诊断分的计算方式为：

17、process_only_score=0.35×s_planning_rule+0.45×s_execution_rule+0.20×v_evidence

18、其中，process_only_score表示过程诊断分，v_evidence表示证据质量指标值；以及

19、所述整体置信度的计算方式为：

20、confidence=0.30×confidence_planning+0.35×

21、confidence_execution+0.35×confidence_validation

22、其中，confidence表示整体置信度，confidence_planning表示规划阶段置信度，confidence_execution表示执行阶段置信度，confidence_validation表示验证与交付阶段置信度。

23、在本发明的一个实施例中，所述结果锚定总分的计算方式为：

24、performance_anchored_score=0.70×overall_rule+0.25×v_outcome+0.05×o_outcome_consistency

25、其中，performance_anchored_score表示结果锚定总分，overall_rule表示过程总分，v_outcome表示任务真实结果分，o_outcome_consistency表示结果一致性分。

26、在本发明的一个实施例中，将任务执行过程划分为规划阶段、执行阶段以及验证与交付阶段，并针对每个阶段分别构建指标卡，生成规划阶段指标、执行阶段指标以及验证与交付阶段指标包括：

27、分别从计划侧与行动侧抽取操作类型、任务对象、目标产物和验证目标，对计划步骤与行动事件进行多维匹配，计算对齐分量及行动成功缩放系数，计算最终意图及行动对齐分。

28、在本发明的一个实施例中，将所述三阶段规则分与真实任务结果分、多结果来源一致性分执行结果锚定，得到结果锚定总分，输出评估记录与运行级汇总之前，还包括锚点证据卡语义校准步骤，该步骤包括：

29、根据任务标识、试验标识和轨迹前部文本推断任务族，加载对应任务族下的三档锚点证据卡，所述三档锚点证据卡包括成功锚点证据卡或者部分成功锚点证据卡或者失败锚点证据卡；

30、根据任务轨迹和规则指标构造候选证据卡；以及

31、大语言模型就比较维度比较所述候选证据卡与所述三档锚点证据卡之间的相对关系，输出优于或者相当或者劣于或者证据不足，并由固定映射函数与置信度缩放系数将相对关系转为可融合的锚点分。

32、在本发明的第二方面，前述任务还通过一种面向异构智能体任务轨迹的可用证据归一化评测指标构建与评分系统来解决，该系统用于执行所述的面向异构智能体任务轨迹的可用证据归一化评测指标构建与评分方法，该系统包括：

33、日志转换模块，被配置为由基准的适配器执行任务并返回异构原始日志，将所述异构原始日志转换为统一日志，所述统一日志包括跨基准的公共信息；

34、规范化任务轨迹生成模块，被配置为由所述统一日志抽取试验记录，由智能体产出的协议日志生成派生证据产物，所述派生证据产物包括规范化任务轨迹，评测器依据试验记录中的产物索引定位规范化任务轨迹文件；

35、指标卡构建模块，被配置为将任务执行过程划分为规划阶段、执行阶段以及验证与交付阶段，并针对每个阶段分别构建指标卡，生成规划阶段指标、执行阶段指标以及验证与交付阶段指标；

36、阶段聚合模块，被配置为聚合得到规划阶段、执行阶段以及验证与交付阶段的三阶段规则分，按阶段权重计算过程总分、过程诊断分和整体置信度；以及

37、结果锚定与输出模块，被配置为将所述三阶段规则分与真实任务结果分、多结果来源一致性分执行结果锚定，得到结果锚定总分，输出评估记录与运行级汇总。

38、在本发明的第三方面，本发明还提供一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令被处理器执行时执行所述的面向异构智能体任务轨迹的可用证据归一化评测指标构建与评分方法的步骤。

39、本发明提供的技术方案具有以下优点：

40、1.显著提高过程评测的可解释性与失败定位能力。 本发明通过将任务执行过程按规划、执行、验证与交付划分为三个能力阶段并分别计算阶段指标，使评分天然对应到智能体的不同能力环节；同时将每一个指标以指标卡承载，记录指标值、来源字段、组成分量、计算公式、可用性和置信度，最终分数可被逐级还原到具体阶段、具体指标、具体来源字段乃至具体计算分量。相较于现有仅基于最终结果或孤立单项统计的方法，当智能体得分较低时，能够直接定位到是任务理解不足、计划未落实、工具调用失败、错误未修复、验证不充分还是交付格式错误，将“黑箱打分”转变为可追溯、可审计的结构化评估。

41、2.可计算地衡量计划是否被实际行动落实。 本发明通过结构化意图—行动对齐算法，分别从计划侧和行动侧抽取操作类型、任务对象、目标产物和验证目标，将计划与行动均转化为结构化对象后进行多维匹配，并计算步骤覆盖、对象覆盖、操作覆盖、产物覆盖、验证覆盖和行动精度，再结合匹配行动的成功率进行缩放，能够以可计算、可解释的方式区分“生成了计划但未执行”、“执行了行动但偏离计划”、“执行了计划且产生有效产物”、“执行后进行了验证”等不同情形，解决了现有技术无法量化计划落实度的缺陷。

42、3.提高证据不完整时的评分可靠性。 本发明为每个指标卡显式标记可用性与置信度并记录降级信息，在阶段分聚合时仅对可用指标加权并对剩余权重重新归一化，对因证据缺失而不可用的指标不计入分母。缺失证据既不会被默认当作高分，也不会被默认当作低分，而是通过可用性与置信度真实地反映在阶段聚合与整体置信度中，使评分结果在不同日志完整度下都更为可靠、可信。

43、4.协调过程质量与真实结果，降低评分偏差。 本发明通过结果锚定手段，将三阶段过程分与真实任务结果分、多结果来源一致性分按权重融合得到结果锚定总分，并在真实任务结果为零时对最终分设置上限，过程表现良好但实际失败的任务不会获得过高分数，过程信息也不会被最终结果完全淹没，从而使评分既反映过程质量又贴合真实任务表现。

44、5.降低大语言模型裁判的绝对评分漂移。 本发明在可选的锚点校准方案中，不要求大语言模型给出绝对分，而是依据任务族加载成功、部分成功、失败三档锚点证据卡，令大语言模型仅就比较维度比较候选证据卡与锚点证据卡之间的相对优劣关系，再经固定映射函数与置信度缩放系数转为可融合的数值，将不稳定的“绝对打分”转化为相对稳定的“相对比较”，显著降低了评分漂移并提高了语义评审的可比性。

45、6.提高跨任务、跨智能体评测的一致性。 本发明以规范化任务轨迹和统一指标卡为基础，通过统一日志与试验记录两级中间数据结构，将异构智能体与异构基准的原生结果归一到统一字段空间，不同智能体产生的消息、工具调用、产物和结果均可映射到同一套三阶段指标体系，不依赖任一专有格式即可对不同智能体、不同任务进行结构化的横向比较，提高了评测的一致性与可复用性。