系统识别结论的评估方法、装置、电子设备、介质和产品与流程
本技术涉及人工智能和安检,更具体地涉及一种系统识别结论的评估方法、装置、电子设备、介质和产品。
背景技术:
1、随着智能识别、自动分类和辅助诊断等系统在业务流程中的应用,系统识别结论的准确性需要持续评估。现有评估通常依赖人工二次标注、规则提取或模型分析人工对话内容以获得真值,再与系统识别结论比对。然而,人工二次标注成本高,规则方法难以适应口语化和转写误差,端到端模型依赖大量标注数据。若将人工对话内容和系统识别结论一并输入大语言模型进行处理,模型容易受识别结论影响而产生确认偏差,导致真值提取不客观,进而影响正确识别、误报和漏报的评估准确性。
2、需要说明的是,在本部分公开的以上信息仅用于对本技术的发明构思的背景的理解,因此,以上信息可包括不构成现有技术的信息。
技术实现思路
1、鉴于上述问题,本技术提供了系统识别结论的评估方法、装置、电子设备、介质和产品。
2、本技术的第一方面提供了一种系统识别结论的评估方法,包括:获取目标实例对应的人工对话内容,获取待评估系统针对所述目标实例的识别结论;将所述人工对话内容作为第一阶段输入,输入配置有领域知识增强提示词的第一大语言模型,使得所述第一大语言模型在第一推理过程中,基于所述人工对话内容确定目标对象信息,得到真值提取结果;将所述真值提取结果和所述识别结论作为第二阶段输入,输入配置有语义关联规则的第二大语言模型,使得所述第二大语言模型在第二推理过程中,将所述真值提取结果与所述识别结论进行语义比对,输出评估结果,其中,所述评估结果包括正确识别项、误报项和漏报项中的至少一者。
3、根据本技术的实施例,在所述第一推理过程完成并得到所述真值提取结果之前,所述识别结论保持在与所述第一大语言模型的数据传输路径相隔离的处理流程中。
4、根据本技术的实施例,所述目标对象信息包括目标对象名称和/或目标对象类别,所述真值提取结果还包括与所述目标对象信息对应的对象处置方式、置信度和提取依据中的至少一者。
5、根据本技术的实施例,所述领域知识增强提示词基于预先构建的领域知识增强提示词系统得到,所述领域知识增强提示词系统包括目标知识清单组件、语义关联规则组件、否定排除规则组件和输出格式定义组件;所述目标知识清单组件用于配置所述目标实例所属场景下的目标对象类别以及各目标对象类别对应的对象实例;所述语义关联规则组件用于配置所述人工对话内容中的对话表述与所述目标对象类别之间的语义映射关系;所述否定排除规则组件用于配置所述人工对话内容中被提及的对象信息与被确认为存在的目标对象信息之间的区分规则;所述输出格式定义组件用于配置所述真值提取结果的数据结构和/或所述评估结果的数据结构。
6、根据本技术的实施例,根据所述语义关联规则组件确定第一阶段语义关联规则和第二阶段语义关联规则;在所述第一推理过程中,基于所述第一阶段语义关联规则确定所述人工对话内容中的对话表述与所述目标对象类别之间的对应关系,以确定所述目标对象信息;在所述第二推理过程中,基于所述第二阶段语义关联规则确定所述真值提取结果中的目标对象信息与所述识别结论中的识别对象信息之间的语义匹配关系。
7、根据本技术的实施例,所述领域知识增强提示词系统还包括动作词推断规则组件、输入容错规则组件和示例规则组件中的至少一者;所述动作词推断规则组件用于配置行为动作表述与所述目标对象类别之间的对应关系,使得所述第一大语言模型根据所述人工对话内容中的行为动作表述确定所述目标对象信息;所述输入容错规则组件用于配置转写错误、同音近音错误或噪声片段与标准表述之间的映射关系;所述示例规则组件用于配置正向提取示例和反向排除示例,所述正向提取示例和所述反向排除示例用于限定所述第一大语言模型确定所述目标对象信息的边界。
8、根据本技术的实施例,所述第二大语言模型在所述第二推理过程中,确定所述真值提取结果中的目标对象信息对应的第一目标对象类别和所述识别结论中的识别对象信息对应的第二目标对象类别;基于所述第一目标对象类别和所述第二目标对象类别之间的语义关联关系,确定所述目标对象信息与所述识别对象信息之间的匹配结果,其中,当所述第一目标对象类别与所述第二目标对象类别相同,或者所述第一目标对象类别与所述第二目标对象类别存在上下位类别关系时,确定所述目标对象信息与所述识别对象信息匹配。
9、根据本技术的实施例,所述将所述真值提取结果与所述识别结论进行语义比对,输出评估结果,包括:将所述真值提取结果中的目标对象信息与所述识别结论中的识别对象信息相匹配的项目确定为所述正确识别项;将所述识别结论中未与所述真值提取结果中的目标对象信息相匹配的识别对象信息确定为所述误报项;将所述真值提取结果中未与所述识别结论中的识别对象信息相匹配的目标对象信息确定为所述漏报项。
10、根据本技术的实施例,所述评估结果还包括与所述正确识别项、误报项或漏报项对应的判断理由,所述判断理由基于所述人工对话内容中与所述目标对象信息对应的对话表述、所述真值提取结果、所述识别结论和所述语义比对结果生成。
11、根据本技术的实施例,所述方法还包括:根据所述置信度和预设置信度阈值,从所述真值提取结果中确定待校验真值项,所述待校验真值项包括待校验对象信息;基于所述待校验对象信息在所述人工对话内容中的相关对话表述,确定与所述待校验对象信息对应的人工对话片段;将所述人工对话片段和所述领域知识增强提示词作为校验输入,输入所述第一大语言模型进行二次校验,得到二次校验结果;根据所述二次校验结果,对所述待校验真值项进行保留或剔除。
12、根据本技术的实施例,所述方法还包括:基于所述人工对话内容,确定与所述目标对象信息对应的处置动作表述;根据所述处置动作表述,确定所述目标对象信息对应的对象处置方式;在未确定出与所述目标对象信息对应的处置动作表述的情况下,将所述目标对象信息对应的对象处置方式确定为未提及。
13、根据本技术的实施例,所述第一大语言模型和所述第二大语言模型为同一大语言模型,或者为不同大语言模型。
14、根据本技术的实施例,所述目标实例属于安检、医疗、工业质检或客服质量监控场景中的任一者;所述领域知识增强提示词根据所述目标实例的所属场景确定。
15、本技术的第二方面提供了一种系统识别结论的评估装置,所述装置包括:数据获取模块,用于:获取目标实例对应的人工对话内容,获取待评估系统针对所述目标实例的识别结论;第一阶段推理模块,用于:将所述人工对话内容作为第一阶段输入,输入配置有领域知识增强提示词的第一大语言模型,使得所述第一大语言模型在第一推理过程中,基于所述人工对话内容确定目标对象信息,得到真值提取结果;第二阶段推理模块,用于:将所述真值提取结果和所述识别结论作为第二阶段输入,输入第二大语言模型,使得所述第二大语言模型在第二推理过程中,将所述真值提取结果与所述识别结论进行语义比对,输出评估结果,其中,所述评估结果包括正确识别项、误报项和漏报项中的至少一者。
16、本技术的第三方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个计算机程序,其中,上述一个或多个处理器执行上述一个或多个计算机程序以实现上述方法的步骤。
17、本技术的第四方面还提供了一种计算机可读存储介质,其上存储有计算机程序或指令,上述计算机程序或指令被处理器执行时实现上述方法的步骤。
18、本技术的第五方面还提供了一种计算机程序产品,包括计算机程序或指令,上述计算机程序或指令被处理器执行时实现上述方法的步骤。
19、根据本技术的实施例,通过将人工对话内容作为第一阶段输入提供给配置有领域知识增强提示词的第一大语言模型,使第一大语言模型先基于人工对话内容确定目标对象信息并得到真值提取结果;再将真值提取结果和识别结论作为第二阶段输入提供给配置有语义关联规则的第二大语言模型进行语义比对,可以使真值提取过程与识别结论比对过程在推理阶段上相互分离。由此,能够降低识别结论对真值提取过程的上下文影响,减少大语言模型因参考识别结论而产生的确认偏差,提高真值提取结果的客观性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com