模型自动评测任务编排方法及相关产品与流程
本技术涉及人工智能,具体涉及一种模型自动评测任务编排方法及相关产品。
背景技术:
1、随着大语言模型以及基于大语言模型构建的智能体在信息查询、智能客服、业务咨询和任务执行等场景中的应用,模型及智能体的输出质量会直接影响业务处理效率和用户体验。因此,在模型或智能体上线以及版本更新前,通常需要对其在不同业务场景下的任务执行能力和输出质量进行评测。
2、现有的模型评测方式主要包括人工抽样评测、基于固定评测集的离线评测、通过通用评测平台实施的评测以及由开发流水线触发的自动评测。上述评测方式能够解决部分评测自动化问题,但模型评测通常涉及评测数据准备、模型接口调用、执行信息收集、调用结果评估和评测结果输出等多个处理环节,不同处理环节可能分别由不同的工具、脚本或者平台功能实现。
3、在一些方案中,不同处理环节之间缺乏统一的组织和协调,需要按照预先设置的固定流程依次执行,存在评测流程割裂的问题。当被测对象、评测数据、调用配置或者评估配置发生变化时,原有流程难以根据本次评测的实际需要进行适应性调整,通常需要重新配置并执行全部或者大部分处理环节。
4、此外,模型评测过程中形成的中间数据和处理结果通常与对应的评测流程相互绑定。当后续评测仅调整部分内容时,历史评测过程中已经形成的中间数据和处理结果难以直接用于后续评测,容易造成评测数据重复处理、模型接口重复调用以及调用结果重复评估。特别是在评测数据量较大或者模型调用成本较高的情况下,上述重复处理会增加评测任务的执行时间和计算资源消耗。
5、因此,现有模型评测方案存在不同处理环节之间流程割裂、评测流程对任务变化的适应性较低以及重复处理较多的问题。
技术实现思路
1、本技术的实施例提出了一种模型自动评测任务编排方法及相关产品。
2、第一方面,本技术提供了一种模型自动评测任务编排方法,所述方法包括:
3、获取当前评测任务的评测任务规范;
4、根据所述评测任务规范生成评测任务依赖图,其中,所述评测任务依赖图包括基于输入输出依赖关系连接的多个评测任务节点,所述多个评测任务节点至少包括被测智能体调用节点和调用结果评估节点;
5、查询与所述当前评测任务对应的参考评测任务信息,得到查询结果;
6、根据所述评测任务规范和所述查询结果,确定评测条件变化信息;
7、根据所述评测条件变化信息,将受到影响的评测任务节点确定为目标评测任务节点,并在所述查询结果指示查询到所述参考评测任务信息且存在未受到影响的评测任务节点的情况下,复用与所述参考评测任务信息关联的、与未受到影响的评测任务节点对应的已有评测产物;
8、按照所述评测任务依赖图执行所述目标评测任务节点,并根据所述目标评测任务节点生成的评测产物和复用的已有评测产物中的至少一种,得到并输出当前评测结果。
9、在一些可选的实施方式中,所述评测任务规范包括被测智能体配置信息和评测流程配置信息,所述评测流程配置信息用于确定各所述评测任务节点的处理对象和执行参数,所述获取当前评测任务的评测任务规范,包括:
10、获取针对所述被测智能体的评测需求;
11、根据所述评测需求解析所述被测智能体配置信息和所述评测流程配置信息,得到任务配置信息;
12、对所述任务配置信息进行完整性校验,对所述任务配置信息中缺失的配置项进行补全或者将所述缺失的配置项确定为待确认配置项,并将所述任务配置信息中存在冲突的配置项确定为待确认配置项;
13、在所述任务配置信息满足完整性要求且不存在所述待确认配置项的情况下,根据所述任务配置信息生成所述评测任务规范;
14、在存在所述待确认配置项的情况下,输出所述待确认配置项,并响应于接收到针对所述待确认配置项的确认信息,根据所述确认信息更新所述任务配置信息,以及根据更新后的任务配置信息生成所述评测任务规范。
15、在一些可选的实施方式中,所述根据所述评测任务规范和所述查询结果,确定评测条件变化信息,包括:
16、在所述查询结果指示查询到所述参考评测任务信息的情况下,将所述当前评测任务对应的任务配置信息与所述参考评测任务信息中记录的任务配置信息进行比较,确定发生变化的配置项,根据所述发生变化的配置项确定受到影响的评测任务节点,并根据所述受到影响的评测任务节点生成评测条件变化信息;
17、在所述查询结果指示未查询到所述参考评测任务信息的情况下,生成用于指示所述多个评测任务节点均受到影响的评测条件变化信息。
18、在一些可选的实施方式中,所述查询结果指示查询到所述参考评测任务信息,所述方法还包括:
19、根据所述参考评测任务信息生成或者加载评测镜像规范,其中,所述评测镜像规范记录与所述参考评测任务信息关联的、除被测版本参数以及用于定位被测版本的环境参数外的非被测评测条件,以及与所述非被测评测条件对应的版本信息或者一致性校验信息;
20、根据所述评测镜像规范,对所述当前评测任务对应的非被测评测条件进行一致性校验;
21、在所述非被测评测条件通过一致性校验,且所述评测条件变化信息表明发生变化的评测条件仅包括所述被测版本参数和所述环境参数中的至少一种的情况下,将所述评测镜像规范记录的非被测评测条件确定为所述当前评测任务的非被测评测条件,将与所述参考评测任务信息关联的、发生变化的所述被测版本参数和所述环境参数中的至少一种替换为所述当前评测任务中的对应参数,基于替换后的评测条件执行所述目标评测任务节点,得到当前评测结果,并将所述当前评测结果与所述参考评测任务对应的参考评测结果进行比较,输出版本对比结果;
22、在至少一个所述非被测评测条件未通过一致性校验的情况下,根据未通过一致性校验的非被测评测条件更新所述评测条件变化信息,根据更新后的评测条件变化信息重新确定所述目标评测任务节点,并根据所述当前评测任务对应的评测条件执行重新确定的目标评测任务节点。
23、在一些可选的实施方式中,所述目标评测任务节点包括评测数据处理节点,所述评测数据处理节点生成的评测产物包括评测集,执行所述评测数据处理节点,包括:
24、从所述评测任务规范中读取评测集来源参数;
25、在所述评测集来源参数指向已有评测集的情况下,将所述已有评测集确定为初始评测集;
26、在所述评测集来源参数指向种子评测集的情况下,根据所述种子评测集中的评测场景、场景描述和用户查询示例,生成与边界问题、查询变体和组合场景中的至少一种对应的扩展评测样本,并根据所述种子评测集和所述扩展评测样本确定所述初始评测集;
27、对所述初始评测集中的评测样本进行清洗、去重和质量校验,得到所述评测集;
28、对所述评测集中的各评测样本进行字段解析,得到用户查询,以及与所述用户查询关联的预期执行步骤、调用约束和结果断言中的至少一种;
29、将所述用户查询对应的字段映射为被测智能体调用接口所需的输入字段,并将与所述用户查询关联的预期执行步骤、调用约束和结果断言中的至少一种确定为对所述被测智能体针对所述用户查询生成的模型调用结果进行评估的评估依据。
30、在一些可选的实施方式中,所述目标评测任务节点包括所述被测智能体调用节点,执行所述被测智能体调用节点,包括:
31、获取所述被测智能体对应的业务空间以及用于调用所述被测智能体的评测集;
32、根据所述业务空间和所述被测智能体查询模型调用模板;
33、在查询到与所述业务空间和所述被测智能体对应的已有模型调用模板的情况下,将所述已有模型调用模板确定为目标模型调用模板;
34、在未查询到所述已有模型调用模板的情况下,获取与所述被测智能体对应的调用链路文档或者调用日志,根据所述调用链路文档或者调用日志解析接口调用关系和请求参数,根据解析结果生成模型调用模板,并将生成的模型调用模板确定为所述目标模型调用模板;
35、根据所述目标模型调用模板生成调试调用流程和全量调用流程;
36、从所述评测集中选择部分评测样本,按照所述调试调用流程调用所述被测智能体,并将所述当前评测任务设置为等待确认状态;
37、响应于接收到继续执行信息,按照所述全量调用流程,使用所述评测集调用所述被测智能体,得到所述被测智能体针对各所述评测样本生成的模型调用结果和对应的执行轨迹标识;
38、响应于接收到修正信息,根据所述修正信息更新对应的评测任务参数,并重新执行采用更新后的评测任务参数的评测任务节点。
39、在一些可选的实施方式中,所述目标评测任务节点包括所述调用结果评估节点,执行所述调用结果评估节点,包括:
40、获取所述被测智能体调用节点所使用的评测样本、所述被测智能体调用节点输出的模型调用结果以及与所述模型调用结果对应的执行轨迹标识;
41、根据所述执行轨迹标识获取所述被测智能体处理对应评测样本时产生的模型执行过程信息、工具调用信息和接口执行信息;
42、将所述评测样本、所述模型调用结果、所述模型执行过程信息、所述工具调用信息和所述接口执行信息进行关联,生成评估记录;
43、在不存在与所述当前评测任务对应的已有评估记录集的情况下,根据多个所述评估记录创建评估记录集,并将创建的评估记录集确定为目标评估记录集;
44、在存在与所述当前评测任务对应的已有评估记录集的情况下,根据多个所述评估记录更新所述已有评估记录集,生成新的评估记录集版本,并将所述新的评估记录集版本确定为所述目标评估记录集;
45、根据所述评测任务规范读取已有评估器并将所述已有评估器确定为目标评估器,或者根据与所述当前评测任务对应的评测需求文档和评测规则生成评估器并将生成的评估器确定为所述目标评估器;
46、确定所述目标评估器的评估器标识和评估器版本;
47、将所述目标评估记录集、所述评估器标识和所述评估器版本提交为评估任务,并轮询所述评估任务的运行状态,直至所述评估任务达到结束状态,获取所述目标评估记录集中各所述评估记录的评估状态;
48、根据各所述评估记录的评估状态,确定已成功完成评估的评估记录和未成功完成评估的评估记录,并获取已成功完成评估的评估记录对应的评估结果;
49、在不存在未成功完成评估的评估记录的情况下,将已成功完成评估的评估记录对应的评估结果确定为所述当前评测结果;
50、在存在未成功完成评估的评估记录的情况下,利用所述目标评估器对所述未成功完成评估的评估记录重新进行评估,得到重试评估结果,并将已成功完成评估的评估记录对应的评估结果与所述重试评估结果进行合并,得到所述当前评测结果。
51、在一些可选的实施方式中,所述目标评测任务节点还包括评测结果生成节点,执行所述评测结果生成节点,包括:
52、获取所述当前评测结果以及所述当前评测任务对应的评测样本,并从所述当前评测结果中获取与各所述评测样本对应的样本级评估结果;
53、对所述样本级评估结果进行聚合,得到聚合评估结果;
54、将所述样本级评估结果、所述聚合评估结果以及所述评测样本中的预期执行步骤、调用约束和结果断言中的至少一种进行整合,生成评测明细;
55、根据所述评测明细计算评测指标,并根据所述评测指标和所述样本级评估结果确定失败样本;
56、获取所述失败样本对应的执行轨迹和执行轨迹标识,并根据所述执行轨迹对所述失败样本进行失败原因分析,得到失败分析结果;
57、根据所述评测明细、所述评测指标和所述失败分析结果生成评测报告,并建立所述失败分析结果与对应的执行轨迹标识之间的关联关系;
58、根据所述评测指标和预设的质量判定条件生成质量门禁结论。
59、在一些可选的实施方式中,所述目标评测任务节点还包括反思决策生成节点,执行所述反思决策生成节点,包括:
60、根据所述当前评测结果、所述失败样本、所述评测指标和所述质量门禁结论中的至少一种,确定评测异常信息;
61、获取与所述评测异常信息对应的执行轨迹以及所述被测智能体对应的历史评测信息;
62、根据所述评测异常信息、所述执行轨迹和所述历史评测信息,确定失败类型和失败根因;
63、根据所述失败类型确定改进对象;
64、根据所述失败根因和所述执行轨迹生成失败证据,并生成包括所述失败证据、所述失败根因以及针对所述改进对象的改进动作的反思决策;
65、将所述反思决策写入评测知识库。
66、第二方面,本技术提供了一种模型自动评测任务编排装置,所述装置包括:
67、规范获取单元,用于获取当前评测任务的评测任务规范;
68、依赖图生成单元,用于根据所述评测任务规范生成评测任务依赖图,其中,所述评测任务依赖图包括基于输入输出依赖关系连接的多个评测任务节点,所述多个评测任务节点至少包括被测智能体调用节点和调用结果评估节点;
69、信息查询单元,用于查询与所述当前评测任务对应的参考评测任务信息,得到查询结果;
70、变化信息确定单元,用于根据所述评测任务规范和所述查询结果,确定评测条件变化信息;
71、节点编排单元,用于根据所述评测条件变化信息,将受到影响的评测任务节点确定为目标评测任务节点,并在所述查询结果指示查询到所述参考评测任务信息且存在未受到影响的评测任务节点的情况下,复用与所述参考评测任务信息关联的、与未受到影响的评测任务节点对应的已有评测产物;
72、任务执行单元,用于按照所述评测任务依赖图执行所述目标评测任务节点,并根据所述目标评测任务节点生成的评测产物和复用的已有评测产物中的至少一种,得到并输出当前评测结果。
73、在一些可选的实施方式中,所述评测任务规范包括被测智能体配置信息和评测流程配置信息,所述评测流程配置信息用于确定各所述评测任务节点的处理对象和执行参数,所述规范获取单元具体用于:
74、获取针对所述被测智能体的评测需求;
75、根据所述评测需求解析所述被测智能体配置信息和所述评测流程配置信息,得到任务配置信息;
76、对所述任务配置信息进行完整性校验,对所述任务配置信息中缺失的配置项进行补全或者将所述缺失的配置项确定为待确认配置项,并将所述任务配置信息中存在冲突的配置项确定为待确认配置项;
77、在所述任务配置信息满足完整性要求且不存在所述待确认配置项的情况下,根据所述任务配置信息生成所述评测任务规范;
78、在存在所述待确认配置项的情况下,输出所述待确认配置项,并响应于接收到针对所述待确认配置项的确认信息,根据所述确认信息更新所述任务配置信息,以及根据更新后的任务配置信息生成所述评测任务规范。
79、在一些可选的实施方式中,所述变化信息确定单元具体用于:
80、在所述查询结果指示查询到所述参考评测任务信息的情况下,将所述当前评测任务对应的任务配置信息与所述参考评测任务信息中记录的任务配置信息进行比较,确定发生变化的配置项,根据所述发生变化的配置项确定受到影响的评测任务节点,并根据所述受到影响的评测任务节点生成评测条件变化信息;
81、在所述查询结果指示未查询到所述参考评测任务信息的情况下,生成用于指示所述多个评测任务节点均受到影响的评测条件变化信息。
82、在一些可选的实施方式中,所述查询结果指示查询到所述参考评测任务信息,所述装置还包括评测镜像处理单元。
83、所述评测镜像处理单元用于:根据所述参考评测任务信息生成或者加载评测镜像规范,其中,所述评测镜像规范记录与所述参考评测任务信息关联的、除被测版本参数以及用于定位被测版本的环境参数外的非被测评测条件,以及与所述非被测评测条件对应的版本信息或者一致性校验信息;根据所述评测镜像规范,对所述当前评测任务对应的非被测评测条件进行一致性校验;在所述非被测评测条件通过一致性校验,且所述评测条件变化信息表明发生变化的评测条件仅包括所述被测版本参数和所述环境参数中的至少一种的情况下,将所述评测镜像规范记录的非被测评测条件确定为所述当前评测任务的非被测评测条件,将与所述参考评测任务信息关联的、发生变化的所述被测版本参数和所述环境参数中的至少一种替换为所述当前评测任务中的对应参数,基于替换后的评测条件执行所述目标评测任务节点,得到当前评测结果,并将所述当前评测结果与关联于所述参考评测任务信息的参考评测结果进行比较,输出版本对比结果;在至少一个所述非被测评测条件未通过一致性校验的情况下,根据未通过一致性校验的非被测评测条件更新所述评测条件变化信息,根据更新后的评测条件变化信息重新确定所述目标评测任务节点,并根据所述当前评测任务对应的评测条件执行重新确定的目标评测任务节点。
84、在一些可选的实施方式中,所述任务执行单元包括评测数据处理单元,所述评测数据处理单元用于执行所述评测数据处理节点,所述评测数据处理节点生成的评测产物包括评测集。
85、所述评测数据处理单元具体用于:从所述评测任务规范中读取评测集来源参数;在所述评测集来源参数指向已有评测集的情况下,将所述已有评测集确定为初始评测集;在所述评测集来源参数指向种子评测集的情况下,根据所述种子评测集中的评测场景、场景描述和用户查询示例,生成与边界问题、查询变体和组合场景中的至少一种对应的扩展评测样本,并根据所述种子评测集和所述扩展评测样本确定所述初始评测集;对所述初始评测集中的评测样本进行清洗、去重和质量校验,得到所述评测集;对所述评测集中的各评测样本进行字段解析,得到用户查询,以及与所述用户查询关联的预期执行步骤、调用约束和结果断言中的至少一种;将所述用户查询对应的字段映射为被测智能体调用接口所需的输入字段,并将与所述用户查询关联的预期执行步骤、调用约束和结果断言中的至少一种确定为对所述被测智能体针对所述用户查询生成的模型调用结果进行评估的评估依据。
86、在一些可选的实施方式中,所述任务执行单元包括被测智能体调用单元,所述被测智能体调用单元用于执行所述被测智能体调用节点。
87、所述被测智能体调用单元具体用于:获取所述被测智能体对应的业务空间以及用于调用所述被测智能体的评测集;根据所述业务空间和所述被测智能体查询模型调用模板;在查询到与所述业务空间和所述被测智能体对应的已有模型调用模板的情况下,将所述已有模型调用模板确定为目标模型调用模板;在未查询到所述已有模型调用模板的情况下,获取与所述被测智能体对应的调用链路文档或者调用日志,根据所述调用链路文档或者调用日志解析接口调用关系和请求参数,根据解析结果生成模型调用模板,并将生成的模型调用模板确定为所述目标模型调用模板;根据所述目标模型调用模板生成调试调用流程和全量调用流程;从所述评测集中选择部分评测样本,按照所述调试调用流程调用所述被测智能体,并将所述当前评测任务设置为等待确认状态;响应于接收到继续执行信息,按照所述全量调用流程,使用所述评测集调用所述被测智能体,得到所述被测智能体针对各所述评测样本生成的模型调用结果和对应的执行轨迹标识;响应于接收到修正信息,根据所述修正信息更新对应的评测任务参数,并重新执行采用更新后的评测任务参数的评测任务节点。
88、在一些可选的实施方式中,所述任务执行单元包括调用结果评估单元,所述调用结果评估单元用于执行所述调用结果评估节点。
89、所述调用结果评估单元具体用于:获取所述被测智能体调用节点所使用的评测样本、所述被测智能体调用节点输出的模型调用结果以及与所述模型调用结果对应的执行轨迹标识;根据所述执行轨迹标识获取所述被测智能体处理对应评测样本时产生的模型执行过程信息、工具调用信息和接口执行信息;将所述评测样本、所述模型调用结果、所述模型执行过程信息、所述工具调用信息和所述接口执行信息进行关联,生成评估记录;在不存在与所述当前评测任务对应的已有评估记录集的情况下,根据多个所述评估记录创建评估记录集,并将创建的评估记录集确定为目标评估记录集;在存在与所述当前评测任务对应的已有评估记录集的情况下,根据多个所述评估记录更新所述已有评估记录集,生成新的评估记录集版本,并将所述新的评估记录集版本确定为所述目标评估记录集;根据所述评测任务规范读取已有评估器并将所述已有评估器确定为目标评估器,或者根据与所述当前评测任务对应的评测需求文档和评测规则生成评估器并将生成的评估器确定为所述目标评估器;确定所述目标评估器的评估器标识和评估器版本;将所述目标评估记录集、所述评估器标识和所述评估器版本提交为评估任务,并轮询所述评估任务的运行状态,直至所述评估任务达到结束状态,获取所述目标评估记录集中各所述评估记录的评估状态;根据各所述评估记录的评估状态,确定已成功完成评估的评估记录和未成功完成评估的评估记录,并获取已成功完成评估的评估记录对应的评估结果;在不存在未成功完成评估的评估记录的情况下,将已成功完成评估的评估记录对应的评估结果确定为所述当前评测结果;在存在未成功完成评估的评估记录的情况下,利用所述目标评估器对所述未成功完成评估的评估记录重新进行评估,得到重试评估结果,并将已成功完成评估的评估记录对应的评估结果与所述重试评估结果进行合并,得到所述当前评测结果。
90、在一些可选的实施方式中,所述任务执行单元还包括评测结果生成单元,所述评测结果生成单元用于执行所述评测结果生成节点。
91、所述评测结果生成单元具体用于:获取所述当前评测结果以及所述当前评测任务对应的评测样本,并从所述当前评测结果中获取与各所述评测样本对应的样本级评估结果;对所述样本级评估结果进行聚合,得到聚合评估结果;将所述样本级评估结果、所述聚合评估结果以及所述评测样本中的预期执行步骤、调用约束和结果断言中的至少一种进行整合,生成评测明细;根据所述评测明细计算评测指标,并根据所述评测指标和所述样本级评估结果确定失败样本;获取所述失败样本对应的执行轨迹和执行轨迹标识,并根据所述执行轨迹对所述失败样本进行失败原因分析,得到失败分析结果;根据所述评测明细、所述评测指标和所述失败分析结果生成评测报告,并建立所述失败分析结果与对应的执行轨迹标识之间的关联关系;根据所述评测指标和预设的质量判定条件生成质量门禁结论。
92、在一些可选的实施方式中,所述任务执行单元还包括反思决策生成单元,所述反思决策生成单元用于执行所述反思决策生成节点。
93、所述反思决策生成单元具体用于:根据所述当前评测结果、所述失败样本、所述评测指标和所述质量门禁结论中的至少一种,确定评测异常信息;获取与所述评测异常信息对应的执行轨迹以及所述被测智能体对应的历史评测信息;根据所述评测异常信息、所述执行轨迹和所述历史评测信息,确定失败类型和失败根因;根据所述失败类型确定改进对象;根据所述失败根因和所述执行轨迹生成失败证据,并生成包括所述失败证据、所述失败根因以及针对所述改进对象的改进动作的反思决策;将所述反思决策写入评测知识库。
94、第三方面,本技术提供了一种电子设备,包括:
95、一个或多个处理器;
96、存储装置,其上存储有一个或多个程序,
97、当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如本技术第一方面任一实施方式描述的方法。
98、第四方面,本技术提供了一种计算机可读存储介质,其上存储有计算机程序,其中,上述计算机程序被一个或多个处理器执行时实现如本技术第一方面任一实施方式描述的方法。
99、第五方面,本技术提供了一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现如本技术第一方面任一实施方式描述的方法。
100、本技术实施例提供的模型自动评测任务编排方法及相关产品,首先,获取当前评测任务的评测任务规范,并根据评测任务规范生成评测任务依赖图。其中,评测任务依赖图包括基于输入输出依赖关系连接的多个评测任务节点,多个评测任务节点至少包括被测智能体调用节点和调用结果评估节点。然后,查询与当前评测任务对应的参考评测任务信息,得到查询结果,并根据评测任务规范和查询结果确定评测条件变化信息。再根据评测条件变化信息,将受到影响的评测任务节点确定为目标评测任务节点,在查询到参考评测任务信息且存在未受到影响的评测任务节点的情况下,复用与参考评测任务信息关联的、与未受到影响的评测任务节点对应的已有评测产物。最后,按照评测任务依赖图执行目标评测任务节点,并根据目标评测任务节点生成的评测产物和复用的已有评测产物中的至少一种,得到并输出当前评测结果。
101、本技术通过根据评测任务规范生成评测任务依赖图,并利用输入输出依赖关系连接不同的评测任务节点,能够将被测智能体调用、调用结果评估等相互关联的处理环节组织为统一的评测执行流程,减少不同评测处理环节彼此割裂以及依赖人工串联的情况。通过根据评测任务规范和参考评测任务信息的查询结果确定评测条件变化信息,并根据评测条件变化信息确定受到影响的评测任务节点,能够使当前评测任务的执行范围与本次评测条件的实际变化相适应,减少因部分评测条件发生变化而重新执行全部评测处理环节的情况,提高评测流程对任务变化的适应性。通过在查询到参考评测任务信息且存在未受到影响的评测任务节点时,复用与未受到影响的评测任务节点对应的已有评测产物,能够减少对未发生实质变化的评测内容进行重复的数据处理、被测智能体调用和结果评估,从而减少模型接口调用次数以及评测过程中消耗的计算资源。通过按照评测任务依赖图执行目标评测任务节点,并结合目标评测任务节点新生成的评测产物和复用的已有评测产物得到当前评测结果,能够在保持各评测处理环节之间数据衔接的基础上完成当前评测任务,减少重复执行所增加的处理时间,从而提高模型评测任务的编排效率和执行效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com