对话式智能体澄清能力的评测方法及装置与流程
本说明书一个或多个实施例涉及计算机软件,尤其涉及一种对话式智能体澄清能力的评测方法及装置。
背景技术:
1、随着大语言模型技术的快速发展,对话式智能体在客服、电商等领域广泛应用,智能体需要在用户需求表达不完整时主动澄清模糊意图,因此,其澄清能力的评估是智能体服务质量的重要评价维度。在相关技术中,为评估智能体的澄清能力,通常采用大语言模型扮演模拟用户或使用真实用户参与评测。
2、而大语言模型的文本生成过程和真实用户的回复均存在随机性,面对同样的澄清问题,即使大语言模型输入相同的提示词,模型和真实用户多次生成的回复内容也不一致,这就导致同一智能体的多次评测结果无法复现,不同智能体之间的评测结果缺乏可比性。
技术实现思路
1、本说明书一个或多个实施例提供了一种对话式智能体澄清能力的评测方法及装置,以解决现有评测方法结果不可复现、评价结论不可比的问题。
2、第一方面,本说明书一个或多个实施例提供了一种对话式智能体澄清能力的评测方法,包括:获取第一指令和隐藏约束集合,其中,第一指令用于指示被测智能体执行目标操作,且未包含执行目标操作所需的至少一项隐藏约束文本,隐藏约束集合包括至少一项隐藏约束文本,且隐藏约束集合对被测智能体不可见;向被测智能体发送第一指令,并基于第一指令和隐藏约束集合与被测智能体进行多轮对话;基于多轮对话的对话内容,得到被测智能体的澄清能力评测结果。
3、一种可能的实施方式中,基于第一指令和隐藏约束集合与被测智能体进行多轮对话,包括:针对被测智能体发起的每次提问,按照预定义规则从隐藏约束集合中寻找与提问相匹配的目标隐藏约束文本,其中,隐藏约束集合与第一指令指示的目标操作匹配;在寻找到目标隐藏约束文本的情况下,基于目标隐藏约束文本生成针对提问的回复文本,并发送至被测智能体;在未寻找到目标隐藏约束文本的情况下,基于提问的问题类型按照预配置策略生成提问的回复文本,并发送至被测智能体。
4、一种可能的实施方式中,按照预定义规则从隐藏约束集合中寻找与提问相匹配的目标隐藏约束文本,包括:对提问进行分类,得到提问的问题类型;按照与问题类型相匹配的查找方式,从隐藏约束集合中查找与提问相匹配的目标隐藏约束文本;基于目标隐藏约束文本生成针对提问的回复文本,包括:基于预配置的行为画像对应的回复策略和目标隐藏约束文本生成回复文本,其中,行为画像用于限定回复文本中允许揭示的隐藏约束文本的数量。
5、一种可能的实施方式中,对提问进行分类,得到提问的问题类型,包括:在提问的提问文本与无关文本集合之间的匹配度超过第一匹配度阈值的情况下,确定提问为无关问题,其中,无关文本集合用于表征与目标操作无关的话题;在提问的提问文本与开放文本集合之间的匹配度超过第二匹配度阈值的情况下,确定提问为开放问题,其中,开放文本集合包括开放问题关键词列表;在提问的提问文本与属性类别集合中的至少一个属性类别匹配时,确定提问为类别问题,其中,隐藏约束集合中的各隐藏约束文本分别归属于属性类别集合中的至少一个属性类别;在类别问题匹配的属性类别的数量超过预设数量阈值,或提问包含连接词的情况下,确定类别问题为宽泛问题,其中,连接词用于并列连接多个属性类型。
6、一种可能的实施方式中,在问题类型为类别问题的情况下,从隐藏约束集合中查找与提问相匹配的目标隐藏约束文本,包括:将提问文本与隐藏约束集合中的各隐藏约束文本进行字符串匹配;在提问文本中包含与任一隐藏约束文本相匹配的字符串的情况下,将与提问文本相匹配的隐藏约束文本确定为目标隐藏约束文本;在提问文本中未包含与任一隐藏约束文本相匹配的字符串的情况下,将与提问文本匹配的属性类别确定为目标属性类别,并从隐藏约束集合中筛选出归属于目标属性类别的候选隐藏约束文本;对提问文本与至少一个候选隐藏约束文本分别进行分词处理,并计算分词结果之间的重叠度评分;将重叠度评分满足预设评分条件的候选隐藏约束文本确定为目标隐藏约束文本。
7、一种可能的实施方式中,在行为画像为第一画像的情况下,基于预配置的行为画像对应的回复策略和目标隐藏约束文本生成回复文本,包括:(1)在问题类型为开放问题的情况下,当隐藏约束集合中的隐藏约束文本的数量不大于第一预设数量时,基于全部隐藏约束文本生成回复文本;当隐藏约束文本的数量大于第一预设数量时,按照预设排序选取前n条隐藏约束文本生成回复文本,并在回复文本中添加第一提示信息,其中,n为不小于1的整数,第一提示信息用于指示由被测智能体对未揭示的隐藏约束文本对应的需求进行推荐确定;(2)在问题类型为类别问题的情况下,基于目标隐藏约束文本和匹配的属性类别生成回复文本。
8、一种可能的实施方式中,在行为画像为第二画像的情况下,基于预配置的行为画像对应的回复策略和目标隐藏约束文本生成回复文本,包括:(1)在问题类型为开放问题的情况下,按预设排序选取一条隐藏约束文本生成回复文本,并在回复文本中添加第二提示信息,其中,第二提示信息用于引导被测智能体针对其他属性类别单独发起提问;(2)在问题类型为类别问题的情况下,基于目标隐藏约束文本和匹配的属性类别生成回复文本。
9、一种可能的实施方式中,在行为画像为第三画像的情况下,基于预配置的行为画像对应的回复策略和目标隐藏约束文本生成回复文本,包括:(1)在问题类型为开放问题的情况下,基于隐藏约束集合中的全部隐藏约束文本生成回复文本,且回复文本中不附加提示信息;(2)在问题类型为类别问题的情况下,基于目标隐藏约束文本和匹配的属性类别生成回复文本。
10、一种可能的实施方式中,在未寻找到目标隐藏约束文本的情况下,基于提问的问题类型按照预配置策略生成提问的回复文本,包括:在问题类型为无关问题,且行为画像为第一画像或第三画像的情况下,按照预配置的无关问题处理策略,生成泛化回复文本,泛化回复文本用于指示对目标操作无补充需求;在问题类型为无关问题,且行为画像为第二画像的情况下,按照预配置的无关问题处理策略,生成负反馈文本,负反馈文本用于指示对提问的负反馈;在问题类型为类别问题,且行为画像为第二画像的情况下,生成困惑回复文本,困惑回复文本用于指示无法理解提问;在问题类型为类别问题,且行为画像为第一画像或第三画像的情况下,生成偏转回复文本,偏转回复文本用于指示对提问涉及到的属性类别无偏好。
11、一种可能的实施方式中,在生成提问的回复文本之后,还包括:将回复文本与隐藏约束集合中的各隐藏约束文本进行字符串匹配;将回复文本中包含的隐藏约束文本确定为恢复的隐藏约束文本,并将恢复的隐藏约束文本加入恢复约束集合,其中,恢复约束集合用于在多轮对话过程中累积记录已恢复的隐藏约束文本。
12、一种可能的实施方式中,在将回复文本与隐藏约束集合中的各隐藏约束文本进行字符串匹配之前,还包括:对回复文本和/或隐藏约束文本进行归一化处理,归一化处理包括以下至少一项:对文本进行大小写归一化处理;基于预定义的同义词映射表,将回复文本中的同义文本替换为标准表述,其中,同义词映射表包括颜色同义词映射表、尺寸归一化映射表、材质同义词映射表和品牌同义词映射表中的至少一种。
13、一种可能的实施方式中,基于第一指令和隐藏约束集合与被测智能体进行多轮对话,包括:在被测智能体进行提问动作、且满足预设触发条件的情况下,将提问动作替换为搜索动作,执行搜索动作并将搜索结果返回至被测智能体;其中,预设触发条件包括以下至少一项:提问动作的累计提问次数达到预设次数上限;提问动作与多轮对话中的历史提问动作重复;多轮对话中最近一次回复文本为不可操作回复文本,不可操作回复文本为不包含可执行的约束信息。
14、一种可能的实施方式中,执行搜索动作,包括:基于第一指令和恢复约束集合构建搜索查询,搜索查询包括第一指令以及不大于预设条数的、未包含于第一指令中的已恢复的隐藏约束文本;基于搜索查询执行搜索。
15、一种可能的实施方式中,在基于第一指令和隐藏约束集合与被测智能体进行多轮对话之后,还包括:在被测智能体完成目标操作的情况下,获取目标操作指示的目标对象的描述文本;基于预定义的同义词映射表和词边界正则表达式,检测描述文本与隐藏约束集合的重合关系;根据检测结果确定被测智能体的任务执行结果,任务执行结果用于得到澄清能力评测结果。
16、一种可能的实施方式中,基于多轮对话的对话内容,得到被测智能体的澄清能力评测结果,包括:对多轮对话中被测智能体发起的各次提问进行类型划分,统计得到问题类型分布,其中,提问的类型包括具体型问题、类别型问题、开放型问题和其他型问题,具体型问题用于询问约束条件的具体取值,类别型问题用于询问预定义属性类别,开放型问题用于笼统询问需求;将恢复约束集合中的隐藏约束文本的数量与隐藏约束集合中的所有隐藏约束文本的数量的比,确定为属性恢复率;根据包含于被测智能体的搜索查询中的恢复约束集合中的隐藏约束文本的数量,与恢复约束集合中的隐藏约束文本的数量,确定约束融入率;基于问题类型分布、属性恢复率和/或约束融入率,得到澄清能力评测结果。
17、一种可能的实施方式中,对多轮对话中被测智能体发起的各次提问进行类型划分,包括:按照预定义分类规则对各次提问进行类型划分,得到第一分类结果;利用大语言模型对提问进行类型划分,得到第二分类结果;计算第一分类结果与第二分类结果的一致率,并基于一致率对问题类型分布进行校验和更新。
18、一种可能的实施方式中,基于多轮对话的对话内容,得到被测智能体的澄清能力评测结果,还包括:将行为画像调整为至少两种不同的行为画像,分别在至少两种不同的行为画像下与被测智能体进行多轮对话,得到各行为画像对应的任务执行结果;根据至少两种不同的行为画像对应的任务执行结果之间的差异,确定被测智能体的澄清能力的画像敏感性,并基于画像敏感性得到澄清能力评测结果。
19、第二方面,本说明书一个或多个实施例提供了一种对话式智能体澄清能力的评测装置,包括:获取模块,用于获取第一指令和隐藏约束集合,其中,第一指令用于指示被测智能体执行目标操作,且未包含执行目标操作所需的至少一项隐藏约束文本,隐藏约束集合包括至少一项隐藏约束文本,且隐藏约束集合对被测智能体不可见;对话模块,用于向被测智能体发送第一指令,并基于第一指令和隐藏约束集合与被测智能体进行多轮对话;结果确定模块,用于基于多轮对话的对话内容,得到被测智能体的澄清能力评测结果。
20、一种可能的实施方式中,对话模块,还用于:针对被测智能体发起的每次提问,按照预定义规则从隐藏约束集合中寻找与提问相匹配的目标隐藏约束文本,其中,隐藏约束集合与第一指令指示的目标操作匹配;在寻找到目标隐藏约束文本的情况下,基于目标隐藏约束文本生成针对提问的回复文本,并发送至被测智能体;在未寻找到目标隐藏约束文本的情况下,基于提问的问题类型按照预配置策略生成提问的回复文本,并发送至被测智能体。
21、一种可能的实施方式中,对话模块,还用于:对提问进行分类,得到提问的问题类型;按照与问题类型相匹配的查找方式,从隐藏约束集合中查找与提问相匹配的目标隐藏约束文本;基于预配置的行为画像对应的回复策略和目标隐藏约束文本生成回复文本,其中,行为画像用于限定回复文本中允许揭示的隐藏约束文本的数量。
22、一种可能的实施方式中,对话模块,还用于:在提问的提问文本与无关文本集合之间的匹配度超过第一匹配度阈值的情况下,确定提问为无关问题,其中,无关文本集合用于表征与目标操作无关的话题;在提问的提问文本与开放文本集合之间的匹配度超过第二匹配度阈值的情况下,确定提问为开放问题,其中,开放文本集合包括开放问题关键词列表;在提问的提问文本与属性类别集合中的至少一个属性类别匹配时,确定提问为类别问题,其中,隐藏约束集合中的各隐藏约束文本分别归属于属性类别集合中的至少一个属性类别;在类别问题匹配的属性类别的数量超过预设数量阈值,或提问包含连接词的情况下,确定类别问题为宽泛问题,其中,连接词用于并列连接多个属性类型。
23、一种可能的实施方式中,对话模块,还用于:将提问文本与隐藏约束集合中的各隐藏约束文本进行字符串匹配;在提问文本中包含与任一隐藏约束文本相匹配的字符串的情况下,将与提问文本相匹配的隐藏约束文本确定为目标隐藏约束文本;在提问文本中未包含与任一隐藏约束文本相匹配的字符串的情况下,将与提问文本匹配的属性类别确定为目标属性类别,并从隐藏约束集合中筛选出归属于目标属性类别的候选隐藏约束文本;对提问文本与至少一个候选隐藏约束文本分别进行分词处理,并计算分词结果之间的重叠度评分;将重叠度评分满足预设评分条件的候选隐藏约束文本确定为目标隐藏约束文本。
24、一种可能的实施方式中,对话模块,还用于:(1)在问题类型为开放问题的情况下,当隐藏约束集合中的隐藏约束文本的数量不大于第一预设数量时,基于全部隐藏约束文本生成回复文本;当隐藏约束文本的数量大于第一预设数量时,按照预设排序选取前n条隐藏约束文本生成回复文本,并在回复文本中添加第一提示信息,其中,n为不小于1的整数,第一提示信息用于指示由被测智能体对未揭示的隐藏约束文本对应的需求进行推荐确定;(2)在问题类型为类别问题的情况下,基于目标隐藏约束文本和匹配的属性类别生成回复文本。
25、一种可能的实施方式中,对话模块,还用于:(1)在问题类型为开放问题的情况下,按预设排序选取一条隐藏约束文本生成回复文本,并在回复文本中添加第二提示信息,其中,第二提示信息用于引导被测智能体针对其他属性类别单独发起提问;(2)在问题类型为类别问题的情况下,基于目标隐藏约束文本和匹配的属性类别生成回复文本。
26、一种可能的实施方式中,对话模块,还用于:(1)在问题类型为开放问题的情况下,基于隐藏约束集合中的全部隐藏约束文本生成回复文本,且回复文本中不附加提示信息;(2)在问题类型为类别问题的情况下,基于目标隐藏约束文本和匹配的属性类别生成回复文本。
27、一种可能的实施方式中,对话模块,还用于:在问题类型为无关问题,且行为画像为第一画像或第三画像的情况下,按照预配置的无关问题处理策略,生成泛化回复文本,泛化回复文本用于指示对目标操作无补充需求;在问题类型为无关问题,且行为画像为第二画像的情况下,按照预配置的无关问题处理策略,生成负反馈文本,负反馈文本用于指示对提问的负反馈;在问题类型为类别问题,且行为画像为第二画像的情况下,生成困惑回复文本,困惑回复文本用于指示无法理解提问;在问题类型为类别问题,且行为画像为第一画像或第三画像的情况下,生成偏转回复文本,偏转回复文本用于指示对提问涉及到的属性类别无偏好。
28、一种可能的实施方式中,对话模块,还用于:将回复文本与隐藏约束集合中的各隐藏约束文本进行字符串匹配;将回复文本中包含的隐藏约束文本确定为恢复的隐藏约束文本,并将恢复的隐藏约束文本加入恢复约束集合,其中,恢复约束集合用于在多轮对话过程中累积记录已恢复的隐藏约束文本。
29、一种可能的实施方式中,对话模块,还用于:对回复文本和/或隐藏约束文本进行归一化处理,归一化处理包括以下至少一项:对文本进行大小写归一化处理;基于预定义的同义词映射表,将回复文本中的同义文本替换为标准表述,其中,同义词映射表包括颜色同义词映射表、尺寸归一化映射表、材质同义词映射表和品牌同义词映射表中的至少一种。
30、一种可能的实施方式中,对话模块,还用于:在被测智能体进行提问动作、且满足预设触发条件的情况下,将提问动作替换为搜索动作,执行搜索动作并将搜索结果返回至被测智能体;其中,预设触发条件包括以下至少一项:提问动作的累计提问次数达到预设次数上限;提问动作与多轮对话中的历史提问动作重复;多轮对话中最近一次回复文本为不可操作回复文本,不可操作回复文本为不包含可执行的约束信息。
31、一种可能的实施方式中,对话模块,还用于:基于第一指令和恢复约束集合构建搜索查询,搜索查询包括第一指令以及不大于预设条数的、未包含于第一指令中的已恢复的隐藏约束文本;基于搜索查询执行搜索。
32、一种可能的实施方式中,对话模块,还用于:在被测智能体完成目标操作的情况下,获取目标操作指示的目标对象的描述文本;基于预定义的同义词映射表和词边界正则表达式,检测描述文本与隐藏约束集合的重合关系;根据检测结果确定被测智能体的任务执行结果,任务执行结果用于得到澄清能力评测结果。
33、一种可能的实施方式中,结果确定模块,还用于:对多轮对话中被测智能体发起的各次提问进行类型划分,统计得到问题类型分布,其中,提问的类型包括具体型问题、类别型问题、开放型问题和其他型问题,具体型问题用于询问约束条件的具体取值,类别型问题用于询问预定义属性类别,开放型问题用于笼统询问需求;将恢复约束集合中的隐藏约束文本的数量与隐藏约束集合中的所有隐藏约束文本的数量的比,确定为属性恢复率;根据包含于被测智能体的搜索查询中的恢复约束集合中的隐藏约束文本的数量,与恢复约束集合中的隐藏约束文本的数量,确定约束融入率;基于问题类型分布、属性恢复率和/或约束融入率,得到澄清能力评测结果。
34、一种可能的实施方式中,结果确定模块,还用于:按照预定义分类规则对各次提问进行类型划分,得到第一分类结果;利用大语言模型对提问进行类型划分,得到第二分类结果;计算第一分类结果与第二分类结果的一致率,并基于一致率对问题类型分布进行校验和更新。
35、一种可能的实施方式中,结果确定模块,还用于:将行为画像调整为至少两种不同的行为画像,分别在至少两种不同的行为画像下与被测智能体进行多轮对话,得到各行为画像对应的任务执行结果;根据至少两种不同的行为画像对应的任务执行结果之间的差异,确定被测智能体的澄清能力的画像敏感性,并基于画像敏感性得到澄清能力评测结果。
36、第三方面,本说明书一个或多个实施例还提供了一种电子设备,该电子设备包括存储器和处理器;存储器用于存储计算机程序产品;处理器用于执行存储器中存储的计算机程序产品,且计算机程序产品被执行时,实现上述第一方面或第二方面的方法。
37、第四方面,本说明书一个或多个实施例还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序指令,该计算机程序指令被执行时,实现上述第一方面或第二方面的方法。
38、在上述各方面提供的实施方式的基础上,本说明书一个或多个实施例还可以进一步组合以提供更多实施方式。
39、通过上述方式,评测系统仅向被测智能体发送携带目标操作的第一指令,并使隐藏约束集合对被测智能体不可见,在被测智能体与真实需求之间形成数据的隔离,这样,被测智能体只有通过澄清提问才能补全约束条件,从而在受控条件下还原了用户需求表达不完整的交互场景。多轮对话过程中,评测系统的回复内容限定于预定义的隐藏约束集合,避免模拟用户脱离预设偏好所造成的信息泄露,且基于预定义规则生成的回复具有确定性,在相同任务配置(如相同隐藏约束集合和相同目标操作)下,多次评测的交互过程与结果一致,使不同被测智能体之间、同一被测智能体不同版本之间的评测结果具备可比性,解决了现有评测方法结果不可复现、评价结论不可比的问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com