持续评测方法、装置、设备及存储介质与流程
本发明涉及人工智能模型评测,尤其涉及一种持续评测方法、装置、设备及存储介质。
背景技术:
1、随着人工智能技术的快速发展,智能体在各类业务场景中的应用日益广泛,模型迭代频率不断加快。在智能体开发过程中,为了保障上线质量,需要对模型变更进行及时测评以获取质量反馈。然而,随着敏捷开发模式的普及,传统的测评方式已难以满足快速迭代对测评效率的迫切需求,亟需一种能够将测评环节与开发流程深度融合的方案,以缩短模型优化到质量反馈的周期。
2、在现有技术中,智能体测评通常作为开发流程的下游环节独立运行,与模型开发过程相对隔离。当开发人员对智能体模型进行优化或发布新版本后,测评任务的启动往往依赖人工操作和协调,导致测评触发存在明显滞后。同时,由于测评环节与开发流程未能有效衔接,模型变更后的质量状态无法被及时感知,开发人员难以快速获知优化后的质量表现,使得模型优化、测评与反馈的整体周期较长,严重制约了智能体的上线效率。
3、上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
技术实现思路
1、本发明的主要目的在于提供一种持续评测方法、装置、设备及存储介质,旨在解决如何缩短智能体模型发布后的测评反馈周期的技术问题。
2、为实现上述目的,本发明提供一种持续评测方法,所述持续评测方法包括以下步骤:
3、基于预设监控周期从持续集成持续部署流水线获取流水线事件数据;
4、对所述流水线事件数据进行事件类型识别,得到事件类型识别结果;
5、在所述事件类型识别结果指示存在新版本标签发布事件时,从预设保底语料库中提取目标测评语料,将所述目标测评语料输入智能体模型进行测评跑批,得到离线测评结果;
6、将所述离线测评结果写入质量数据库,得到质量状态记录。
7、在一实施例中,所述对所述流水线事件数据进行事件类型识别,得到事件类型识别结果的步骤,包括:
8、从所述流水线事件数据中提取事件标识字段和分支标识字段;
9、根据预设事件类型映射表对所述事件标识字段进行类型匹配,得到第一匹配结果和第二匹配结果,其中所述第一匹配结果对应合并请求事件,所述第二匹配结果对应新版本标签发布事件;
10、根据所述分支标识字段对所述第一匹配结果进行分支状态校验,得到分支校验结果;
11、在所述分支校验结果指示主分支存在所述合并请求事件时,根据所述第一匹配结果和所述第二匹配结果生成事件类型识别结果。
12、在一实施例中,所述在所述事件类型识别结果指示存在新版本标签发布事件时,从预设保底语料库中提取目标测评语料,将所述目标测评语料输入智能体模型进行测评跑批,得到离线测评结果的步骤,包括:
13、在所述事件类型识别结果指示存在新版本标签发布事件时,从预设保底语料库中提取候选语料集合;
14、对所述候选语料集合进行业务场景覆盖校验,得到覆盖校验结果;
15、在所述覆盖校验结果指示关键业务场景覆盖率满足预设覆盖率阈值时,从所述候选语料集合中筛选出目标测评语料;
16、将所述目标测评语料输入智能体模型进行推理计算,得到模型响应数据;
17、将所述模型响应数据与预设标准响应进行一致性比对,得到离线测评结果。
18、在一实施例中,所述在所述事件类型识别结果指示存在新版本标签发布事件时,从预设保底语料库中提取候选语料集合的步骤,包括:
19、在所述事件类型识别结果指示存在新版本标签发布事件时,读取生产行为分布模型,所述生产行为分布模型用于表征线上业务场景的出现频率;
20、根据所述生产行为分布模型对预设全量语料库进行场景频率排序,得到语料频率排序结果;
21、根据预设语料规模阈值和所述语料频率排序结果从所述预设全量语料库中提取高频语料;
22、对所述高频语料进行关键业务场景覆盖性筛选,得到候选语料集合。
23、在一实施例中,所述将所述模型响应数据与预设标准响应进行一致性比对,得到离线测评结果的步骤,包括:
24、对所述模型响应数据进行响应内容提取,得到实际响应文本;
25、对所述预设标准响应进行标准内容提取,得到标准响应文本;
26、对所述实际响应文本和所述标准响应文本进行语义相似度计算,得到语义相似度值;
27、在所述语义相似度值大于预设相似度阈值时,将所述模型响应数据标记为通过案例;
28、在所述语义相似度值小于或等于所述预设相似度阈值时,将所述模型响应数据标记为失败案例,并根据所述失败案例生成失败案例摘要;
29、根据所述通过案例的数量、所述失败案例的数量以及所述失败案例摘要生成离线测评结果。
30、在一实施例中,所述将所述离线测评结果写入质量数据库,得到质量状态记录的步骤,包括:
31、从所述离线测评结果中提取版本标签标识、离线准确率和失败案例信息;
32、根据所述版本标签标识生成质量记录索引;
33、根据所述质量记录索引确定数据存储分区;
34、将所述离线准确率、所述失败案例信息以及所述版本标签标识写入所述数据存储分区;
35、对写入后的数据进行存储校验,在所述存储校验通过的情况下,确定得到质量状态记录。
36、在一实施例中,所述基于预设监控周期从持续集成持续部署流水线获取流水线事件数据的步骤,包括:
37、基于预设监控周期生成扫描任务;
38、向所述持续集成持续部署流水线发送所述扫描任务;
39、接收所述持续集成持续部署流水线返回的原始事件记录;
40、对所述原始事件记录进行格式解析,得到流水线事件数据。
41、此外,为实现上述目的,本发明还提出一种持续评测装置,所述装置包括:
42、事件监控模块,用于基于预设监控周期从持续集成持续部署流水线获取流水线事件数据;
43、事件识别模块,用于对所述流水线事件数据进行事件类型识别,得到事件类型识别结果;
44、离线测评模块,用于在所述事件类型识别结果指示存在新版本标签发布事件时,从预设保底语料库中提取目标测评语料,将所述目标测评语料输入智能体模型进行测评跑批,得到离线测评结果;
45、数据存储模块,用于将所述离线测评结果写入质量数据库,得到质量状态记录。
46、此外,为实现上述目的,本发明还提出一种持续评测设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的持续评测程序,所述持续评测程序配置为实现如上文所述的持续评测方法的步骤。
47、此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有持续评测程序,所述持续评测程序被处理器执行时实现如上文所述的持续评测方法的步骤。
48、此外,为实现上述目的,本技术还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如上文所述的持续评测方法的步骤。
49、本技术提出的一个或多个技术方案,至少具有以下技术效果:
50、通过将测评环节与开发流程深度融合,当智能体模型发生变更并发布新版本后,能够自动触发测评流程,无需等待人工协调和介入,从而显著缩短了从模型发布到获取质量反馈的时间间隔。同时,由于测评触发与版本发布事件紧密关联,使得模型变更后的质量状态能够被及时感知,开发人员可以快速获知优化后的质量表现,有效提升了智能体模型的迭代效率和上线速度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com