一种车载智能体双主线评测方法及平台与流程

摘要: 本发明涉及车载智能体评测,具体而言,涉及一种车载智能体双主线评测方法及平台。背景技术:1、随着大模型技术在智能座舱中的应用,车载智能体已能够根据用户指令执行任务...
一种车载智能体双主线评测方法及平台与流程

本发明涉及车载智能体评测,具体而言,涉及一种车载智能体双主线评测方法及平台。

背景技术:

1、随着大模型技术在智能座舱中的应用,车载智能体已能够根据用户指令执行任务规划、座舱技能调度、工具调用及多轮交互。现有评测通常通过预设任务运行车载智能体,并根据最终回复或车辆状态判断任务是否通过,部分评测还记录工具调用日志。然而,现有技术主要针对最终结果进行单点评价,未将技能执行过程和工具调用过程关联分析,且任务环境、执行轨迹及验证规则缺乏统一组织,导致评测任务难以复现,无法准确判断任务通过是否基于正确执行过程,也难以定位失败原因及比较不同版本的能力变化。

技术实现思路

1、本发明旨在提供一种车载智能体双主线评测方法及平台,以解决或改善上述技术问题中现有评测主要依据任务最终结果,未能关联分析技能执行过程和工具调用过程,导致评测结果难以反映车载智能体真实执行能力且失败原因难以定位的技术问题。

2、有鉴于此,本发明的第一方面在于提供一种车载智能体双主线评测方法。

3、本发明的第二方面在于提供一种平台。

4、本发明的第一方面提供了一种车载智能体双主线评测方法,包括如下步骤:获取评测任务,根据所述评测任务确定分别表征技能流程要求和工具调用要求的双主线评测基准;调用车载智能体执行所述评测任务,获取执行结果和执行轨迹;将所述执行轨迹所表征的技能执行过程与所述技能流程要求进行匹配,生成技能评测结果;将所述执行轨迹所表征的工具调用行为与所述工具调用要求进行匹配,生成工具调用评测结果;根据预设验证规则对所述执行结果和所述执行轨迹进行验证,通过验证结果、所述技能评测结果和所述工具调用评测结果确定单任务评测结果;当所述单任务评测结果表征所述评测任务未通过时,根据所述验证结果所表征的未通过内容从所述执行轨迹中确定异常事件,以生成所述单任务评测结果的失败归因信息。

5、本发明的第二方面提供了一种平台,包括任务标准化层、评测执行层、双主线评估层和洞察归因层;所述评测执行层设有用于采集车载智能体任务执行数据的轨迹事件总线;所述双主线评估层包括共用所述轨迹事件总线的技能评估支路和工具调用评估支路,所述技能评估支路与所述任务标准化层提供的技能流程要求对应,所述工具调用评估支路与所述任务标准化层提供的工具调用要求对应;所述洞察归因层分别连接所述双主线评估层和所述轨迹事件总线,用于输出单任务评测结果和失败归因信息。

6、本发明与现有技术相比所具有的有益效果:

7、通过根据同一评测任务确定技能流程要求和工具调用要求,并以车载智能体执行该评测任务形成的同一执行轨迹为依据,分别生成技能评测结果和工具调用评测结果,能够使最终任务状态、技能执行过程及工具调用行为纳入统一评测,避免最终结果正确掩盖中间执行偏差。

8、通过将验证结果、技能评测结果和工具调用评测结果共同用于确定单任务评测结果,能够使不同评测任务形成统一的结果判定依据。

9、通过根据未通过内容从执行轨迹中确定异常事件并生成失败归因信息,能够建立评测失败结论与具体任务执行行为之间的对应关系,减少人工遍历执行日志的工作量。

10、根据本发明的实施例的附加方面和优点将在下面的描述部分中变得明显,或通过根据本发明的实施例的实践了解到。

1.一种车载智能体双主线评测方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的车载智能体双主线评测方法,其特征在于,所述双主线评测基准的确定步骤,包括:

3.根据权利要求2所述的车载智能体双主线评测方法,其特征在于,所述执行轨迹的获取步骤,包括:

4.根据权利要求3所述的车载智能体双主线评测方法,其特征在于,所述技能评测结果的生成步骤,包括:

5.根据权利要求3所述的车载智能体双主线评测方法,其特征在于,所述工具调用评测结果的生成步骤,包括:

6.根据权利要求5所述的车载智能体双主线评测方法,其特征在于,

7.根据权利要求2所述的车载智能体双主线评测方法,其特征在于,所述的根据所述验证结果所表征的未通过内容从所述执行轨迹中确定异常事件的步骤,包括:

8.一种用于实施权利要求1至7中任一项所述车载智能体双主线评测方法的平台,其特征在于,包括任务标准化层、评测执行层、双主线评估层和洞察归因层;

9.根据权利要求8所述的平台,其特征在于,所述评测执行层包括隔离执行单元;

10.根据权利要求8所述的平台,其特征在于,还包括连接所述洞察归因层和所述任务标准化层的回归门禁层;