一种智能体的评测方法、装置、电子设备及存储介质与流程

摘要: 本发明涉及人工智能,尤其涉及一种智能体的评测方法、装置、电子设备及存储介质。背景技术:1、大语言模型智能体正越来越多地被构建为长期服务于同一用户的个人助理,跨多...
一种智能体的评测方法、装置、电子设备及存储介质与流程

本发明涉及人工智能,尤其涉及一种智能体的评测方法、装置、电子设备及存储介质。

背景技术:

1、大语言模型智能体正越来越多地被构建为长期服务于同一用户的个人助理,跨多次会话承接日程管理、出行规划、信息沟通、在线购物等反复出现的事务。这类助理的核心价值不在于孤立地处理单次请求,而在于随时间推移持续累积用户信息(例如个人偏好、长期约束条件、习惯性做事方式等),并在后续跨会话任务中据此采取符合用户要求的个性化行动。

2、随着用户越来越多地将各类事务委托给智能体,对于智能体掌握用户信息的能力提出了越来越高的要求,举例而言,一个不掌握用户长期偏好的助理,即便逐字完成了用户当前的请求,仍可能以用户无法接受的方式行事。因此,有必要对于智能体掌握用户信息的能力进行评测,以量化智能体优劣,保障用户体验。

3、然而,在面向“长期、跨会话、主动服务”的落地场景中,几乎所有现有评测都假设目标用户信息“已经可得”。现有基准要么将用户偏好预置在画像、历史对话或记忆系统中,要么假定用户会在对话中主动透露相关信息。因此,这些评测只能考核智能体“检索已知信息”或“应用已透露信息”的能力,而无法暴露“在信息尚未被用户透露时,智能体主动去获取”的能力。因此,现有评测通常难以反映智能体的主动信息获取能力。

技术实现思路

1、有鉴于此,本发明实施例提供一种智能体的评测方法、装置、电子设备及存储介质,能够有效评估智能体的主动信息获取能力。

2、第一方面,本发明的实施例提供一种智能体的评测方法,所述方法包括:基于服务对象的服务规则,生成与所述服务规则绑定的测试会话,所述测试会话中智能体在已知所述服务规则的情况下能够按照所述服务规则行动;基于所述服务对象的用户信息和所述测试会话,生成学习会话,所述学习会话均不披露所述服务规则,但部分所述学习会话中智能体的工具级行为与所述测试会话中智能体的工具级行为重叠;通过模拟服务对象与待评测的智能体进行所述学习会话,并截获所述学习会话过程中所述智能体对所述模拟服务对象的提问信息;将所述学习会话的会话轨迹作为所述智能体的记忆基底,在所述模拟服务对象离线的情况下,与所述智能体进行所述测试会话;基于所述学习会话过程中所述智能体对所述模拟服务对象的提问信息和所述测试会话的执行信息,获取所述智能体的主动信息获取能力的评测结果。

3、在一种实施方式中,在所述基于服务对象的服务规则,生成与所述服务规则绑定的测试会话之前,所述方法还包括:基于所述服务对象的用户信息,获取所述服务对象的服务规则。

4、在一种实施方式中,所述基于服务对象的用户信息,获取所述服务对象的服务规则包括:将所述服务对象的用户信息提供给预设服务规则生成模型,通过所述服务规则生成模型解析所述用户信息并生成所述服务对象的服务规则。

5、在一种实施方式中,所述服务规则至少携带以下信息:标准答案、反事实默认、工具级行为、与所述工具级行为对应的检查类型。

6、在一种实施方式中,所述检查类型包括以下至少一项:工具身份检查、对象标识检查、参数枚举值检查、确认操作检查,其中,所述工具身份检查用于校验是否调用了正确的工具,所述对象标识检查用于校验是否选中了正确的被引用对象,所述参数枚举值检查用于校验是否选取了正确的参数枚举值,所述确认操作检查用于校验在执行变更操作前是否先调用了确认工具。

7、在一种实施方式中,所述服务规则至少携带以下信息:标准答案和工具级行为;所述基于所述服务对象的用户信息,获取所述服务对象的服务规则包括:基于所述服务对象的用户信息,获取所述服务对象的候选服务规则;对所述获取的候选服务规则进行质检处理,所述质检处理包括反事实默认检查和绑定健全性检查,其中,所述反事实默认检查用于确定未知所述候选服务规则的智能体是否会采用所述候选服务规则的标准答案行动,若否则通过所述反事实默认检查;所述绑定健全性检查用于确定所述候选服务规则是否映射到所述工具级行为,若是则通过所述绑定健全性检查;将所述反事实默认检查和所述绑定健全性检查均通过的候选服务规则作为所述服务对象的服务规则。

8、在一种实施方式中,所述基于服务对象的服务规则,生成与所述服务规则绑定的测试会话包括:对所述服务规则进行要素拆解,以确定所述服务规则对应的会话要素,所述会话要素至少包括交互场景、工具级行为和反事实默认;基于所述服务规则对应的会话要素,构建测试会话,所述测试会话包括用户指令、金标要求和干扰项,所述用户指令与所述交互场景关联,所述金标要求为所述智能体按照所述服务规则响应所述用户指令时执行的工具级行为中的正确动作要求,所述干扰项为符合所述反事实默认的错误动作结果。

9、在一种实施方式中,所述基于服务对象的服务规则,生成与所述服务规则绑定的测试会话包括:基于所述服务对象的服务规则,构建候选测试会话;对所述候选测试会话进行上界检查与下界检查,其中,所述上界检查用于向预设规则感知智能体注入所述服务规则并与所述预设规则感知智能体进行所述候选测试会话,如果预定比例的规则感知智能体执行的工具级行为中的动作符合金标要求,则所述上界检查的判定结果为通过,所述下界检查用于与未知所述服务规则的预设规则盲智能体进行所述测试会话,如果预定比例的所述规则盲智能体执行的工具级行为中的动作不符合金标要求,则所述下界检查的判定结果为不通过;从所述候选测试会话中选择所述上界检查的判定结果为通过且所述下界检查的判定结果为不通过的候选测试会话,作为所述测试会话。

10、在一种实施方式中,所述用户信息包括人物画像和助理领域;所述基于所述服务对象的用户信息和所述测试会话,生成学习会话包括:基于所述的人物画像与助理领域,确定所述学习会话对应的任务主题;基于所述任务主题和预先设定的会话格式,将所述任务主题实例化为学习对话;基于所述测试会话,执行信号重叠选序,以从所述实例化的所述学习对话中选择智能体的工具级行为与所述测试会话中智能体的工具级行为重叠的学习对话;按照预定会话数量要求或比例要求,选择所述工具级行为重叠的学习会话之外的学习会话进行补位,以形成学习会话序列。

11、在一种实施方式中,所述学习会话过程中所述智能体对所述模拟服务对象的提问信息包括提问内容和意图说明;在所述截获所述学习会话过程中所述智能体对所述模拟服务对象的提问信息后,所述方法还包括:将所述提问信息交给预设路由器进行旁路裁决,所述路由器基于所述提问内容和意图说明裁决所述提问内容是否为长期规则问题,若裁决为正,将所述提问内容交给预设分类器以裁决所述提问内容是否命中所述服务规则;响应于所述路由器判决为正,向所述模拟服务对象追加临时指令消息,所述指令消息要求所述模拟服务对象输出占位令牌,且所述指令消息在所述分类器不同裁决结果下完全一致,以使所述模拟服务对象对所述分类器裁决结果保持盲态;在所述模拟服务对象基于所述临时指令消息进行回复时,拦截所述回复消息,将所述回复消息中的占位令牌在所述分类器裁决结果为命中时替换为所命中的服务规则对应的标准答案,在所述分类器裁决结果为未命中或出错时替换为固定的回避语常量,将替换后的回复消息返回给所述智能体。

12、在一种实施方式中,所述基于所述学习会话过程中所述智能体对所述模拟服务对象的提问信息和所述测试会话的执行信息,获取所述智能体的主动信息获取能力的评测结果包括:基于所述测试会话的执行信息,确定所述智能体在所述测试会话中是否按照所述测试会话绑定的服务规则行动;如果所述智能体在所述测试会话中按照所述测试会话绑定的服务规则行动,判定所述智能体通过测试,反之,判定所述智能体未通过测试;基于所述判定的结果以及所述学习会话过程中所述智能体对所述模拟服务对象的提问信息,获取所述智能体的主动信息获取能力的评测结果。

13、在一种实施方式中,所述执行信息包括会话轨迹;与所述测试会话绑定的服务规则包括工具级行为及检查类型;所述基于所述测试会话的执行信息,确定所述智能体在所述测试会话中是否按照所述测试会话绑定的服务规则行动包括:按照所述智能体的助手回合对所述会话轨迹进行分批;扫描分批的所述会话轨迹,获取首个含有所述工具级行为的助手回合批次;基于所述检查类型,对所述助手回合批次中的所述工具级行为进行动作比对,以确定所述工具级行为中与所述检查类型对应的动作是否符合金标要求,所述金标要求为智能体在所述测试对话中按照所述服务规则行动时执行的所述工具级行为中的正确动作要求;如果所述工具级行为中与所述检查类型对应的动作符合金标要求,则判定所述智能体通过测试,表示所述智能体在所述测试会话中按照所述测试会话绑定的服务规则行动。

14、在一种实施方式中,所述金标要求包括动作参数金标值;所述基于所述检查类型,对所述助手回合批次中的所述工具级行为进行动作比对,以判定所述工具级行为中与所述检查类型对应的动作是否符合金标要求包括:基于所述检查类型,确定所述助手回合批次中的所述工具级行为中与所述检查类型对应的目标动作参数;确定所述目标动作参数值是否与所述动作参数金标值相同,如果相同,确定所述目标动作符合金标要求。

15、在一种实施方式中,所述检查类型包括工具身份检查,所述动作参数金标值包括金标工具标识,所述基于所述检查类型,对所述助手回合批次中的所述工具级行为进行动作比对包括:比对所述助手回合批次中所述工具级行为中调用的工具标识和所述金标工具标识是否相同;和/或,所述检查类型包括对象标识检查,所述动作参数金标值包括金标对象标识,所述基于所述检查类型,对所述助手回合批次中的所述工具级行为进行动作比对包括:比对所述助手回合批次中所述工具级行为中选中的对象标识和所述金标对象标识是否相同;和/或,所述检查类型包括参数枚举值检查,所述动作参数金标值包括金标参数枚举取值;所述基于所述检查类型,对所述助手回合批次中的所述工具级行为进行动作比对包括:比对所述助手回合批次中所述工具级行为中调用的工具的参数枚举取值和所述金标参数枚举取值是否相同;和/或,所述检查类型包括确认操作检查,所述动作参数金标值包括确认工具标识,所述基于所述检查类型,对所述助手回合批次中的所述工具级行为进行动作比对包括:比对所述助手回合批次中所述工具级行为中的执行变更操作前调用的工具标识是否为所述确认工具标识。

16、在一种实施方式中,所述基于所述判定的结果以及所述学习会话过程中所述智能体对所述模拟服务对象的提问信息,获取所述智能体的主动信息获取能力的评测结果包括:基于所述判定的结果,计算所述智能体的测试会话通过率,所述测试会话通过率等于所述智能体通过测试的所述测试会话数与所述测试会话总数的比值;基于所述学习会话过程中所述智能体对所述模拟服务对象的提问信息,计算分解诊断指标;其中,所述分解诊断指标包括至少一项:规则提问数、规则覆盖率、获取精确率、应用率,其中,所述规则提问数为每个学习会话中所述智能体针对所述服务规则的严格提问数量,所述规则覆盖率为所述提问信息中至少命中一次的服务规则占全部所述服务规则的比例,所述获取精确率为命中所述服务规则的提问信息占全部提问信息的比例,所述应用率为在所述学习会话中进行了提问的服务规则绑定的测试会话的智能体测试通过率;基于所述测试会话通过率和所述分解诊断指标,获取所述智能体的主动信息获取能力的评测结果。

17、在一种实施方式中,所述方法还包括:获取学习变体会话,所述学习变体会话包括默认变体会话、软许可变体会话、强制提问变体会话中的至少一种,其中,所述默认变体会话允许所述智能体提问且与所述服务规则无关联,所述软许可变体会话不披露所述服务规则但提示智能体在恰当时机询问所述服务规则可获得未来任务收益,所述强制提问变体要求所述智能体在当前任务完成后提出服务规则问题;与所述智能体进行所述学习变体会话;以所述学习变体会话的会话轨迹作为所述智能体的记忆基底,与所述智能体进行所述测试会话;获取经所述学习变体会话后所述测试会话的测试通过率;以及,获取测试变体会话,所述测试变体会话注入所述服务规则的标准答案作为先验用户陈述;与所述智能体进行所述测试变体会话;获取所述测试变体会话的测试通过率;所述基于所述测试会话通过率和所述分解诊断指标,获取所述智能体的主动信息获取能力的评测结果包括:基于所述测试会话通过率、所述分解诊断指标、所述经所述学习变体会话后所述测试会话的测试通过率以及所述测试变体会话的测试通过率,获取所述智能体的主动信息获取能力的评测结果。

18、第二方面,本发明的实施例还提供一种智能体的评测装置,所述装置包括:生成测试单元,用于基于服务对象的服务规则,生成与所述服务规则绑定的测试会话,所述测试会话中智能体在已知所述服务规则的情况下能够按照所述服务规则行动;生成学习单元,用于基于所述服务对象的用户信息和所述测试会话,生成学习会话,所述学习会话均不披露所述服务规则,但部分所述学习会话中智能体的工具级行为与所述测试会话中智能体的工具级行为重叠;进行学习单元,用于通过模拟服务对象与待评测的智能体进行所述学习会话,并截获所述学习会话过程中所述智能体对所述模拟服务对象的提问信息;进行测试单元,用于将所述学习会话的会话轨迹作为所述智能体的记忆基底,在所述模拟服务对象离线的情况下,与所述智能体进行所述测试会话;获取结果单元,用于基于所述学习会话过程中所述智能体对所述模拟服务对象的提问信息和所述测试会话的执行信息,获取所述智能体的主动信息获取能力的评测结果。

19、在一种实施方式中,所述装置还包括:获取规则单元,用于在所述基于服务对象的服务规则,生成与所述服务规则绑定的测试会话之前,基于所述服务对象的用户信息,获取所述服务对象的服务规则。

20、在一种实施方式中,所述获取规则单元具体用于:将所述服务对象的用户信息提供给预设服务规则生成模型,通过所述服务规则生成模型解析所述用户信息并生成所述服务对象的服务规则。

21、在一种实施方式中,所述服务规则至少携带以下信息:标准答案、反事实默认、工具级行为、与所述工具级行为对应的检查类型。

22、在一种实施方式中,所述检查类型包括以下至少一项:工具身份检查、对象标识检查、参数枚举值检查、确认操作检查,其中,所述工具身份检查用于校验是否调用了正确的工具,所述对象标识检查用于校验是否选中了正确的被引用对象,所述参数枚举值检查用于校验是否选取了正确的参数枚举值,所述确认操作检查用于校验在执行变更操作前是否先调用了确认工具。

23、在一种实施方式中,所述服务规则至少携带以下信息:标准答案和工具级行为;所述获取规则单元具体用于:基于所述服务对象的用户信息,获取所述服务对象的候选服务规则;对所述获取的候选服务规则进行质检处理,所述质检处理包括反事实默认检查和绑定健全性检查,其中,所述反事实默认检查用于确定未知所述候选服务规则的智能体是否会采用所述候选服务规则的标准答案行动,若否则通过所述反事实默认检查;所述绑定健全性检查用于确定所述候选服务规则是否映射到所述工具级行为,若是则通过所述绑定健全性检查;将所述反事实默认检查和所述绑定健全性检查均通过的候选服务规则作为所述服务对象的服务规则。

24、在一种实施方式中,所述生成测试单元具体用于:对所述服务规则进行要素拆解,以确定所述服务规则对应的会话要素,所述会话要素至少包括交互场景、工具级行为和反事实默认;基于所述服务规则对应的工具级行为和反事实默认,构建测试会话,所述测试会话包括用户指令、金标要求和干扰项,所述金标要求为所述智能体按照所述服务规则响应所述用户指令时执行的工具级行为中的正确动作要求,所述干扰项为符合所述反事实默认的错误动作结果。

25、在一种实施方式中,所述生成测试单元具体用于:基于所述服务对象的服务规则,构建候选测试会话;对所述候选测试会话进行上界检查与下界检查,其中,所述上界检查用于向预设规则感知智能体注入所述服务规则并与所述预设规则感知智能体进行所述候选测试会话,如果预定比例的规则感知智能体执行的工具级行为中的动作符合金标要求,则所述上界检查的判定结果为通过,所述下界检查用于与未知所述服务规则的预设规则盲智能体进行所述测试会话,如果预定比例的所述规则盲智能体执行的工具级行为中的动作不符合金标要求,则所述下界检查的判定结果为不通过;从所述候选测试会话中选择所述上界检查的判定结果为通过且所述下界检查的判定结果为不通过的候选测试会话,作为所述测试会话。

26、在一种实施方式中,所述用户信息包括人物画像和助理领域;所述生成学习单元具体用于:基于所述的人物画像与助理领域,确定所述学习会话对应的任务主题;基于所述任务主题和预先设定的会话格式,将所述任务主题实例化为学习对话;基于所述测试会话,执行信号重叠选序,以从所述实例化的所述学习对话中选择智能体的工具级行为与所述测试会话中智能体的工具级行为重叠的学习对话;按照预定会话数量要求或比例要求,选择所述工具级行为重叠的学习会话之外的学习会话进行补位,以形成学习会话序列。

27、在一种实施方式中,所述学习会话过程中所述智能体对所述模拟服务对象的提问信息包括提问内容和意图说明;所述进行学习单元具体用于:通过模拟服务对象与所述智能体进行所述学习会话,并截获所述学习会话过程中所述智能体对所述模拟服务对象的提问信息;将所述提问信息交给预设路由器进行旁路裁决,所述路由器基于所述提问内容和意图说明裁决所述提问内容是否为长期规则问题,若裁决为正,将所述提问内容交给预设分类器以裁决所述提问内容是否命中所述服务规则;响应于所述路由器判决为正,向所述模拟服务对象追加临时指令消息,所述指令消息要求所述模拟服务对象输出占位令牌,且所述指令消息在所述分类器不同裁决结果下完全一致,以使所述模拟服务对象对所述分类器裁决结果保持盲态;在所述模拟服务对象基于所述临时指令消息进行回复时,拦截所述回复消息,将所述回复消息中的占位令牌在所述分类器裁决结果为命中时替换为所命中的服务规则对应的标准答案,在所述分类器裁决结果为未命中或出错时替换为固定的回避语常量,将替换后的回复消息返回给所述智能体。

28、在一种实施方式中,所述获取结果单元包括:确定模块,用于基于所述测试会话的执行信息,确定所述智能体在所述测试会话中是否按照所述测试会话绑定的服务规则行动;判定模块,用于如果所述智能体在所述测试会话中按照所述测试会话绑定的服务规则行动,判定所述智能体通过测试,反之,判定所述智能体未通过测试;获取模块,用于基于所述判定的结果以及所述学习会话过程中所述智能体对所述模拟服务对象的提问信息,获取所述智能体的主动信息获取能力的评测结果。

29、在一种实施方式中,所述执行信息包括会话轨迹;与所述测试会话绑定的服务规则包括工具级行为及检查类型;所述确定模块具体用于:按照所述智能体的助手回合对所述会话轨迹进行分批;扫描分批的所述会话轨迹,获取首个含有所述工具级行为的助手回合批次;基于所述检查类型,对所述助手回合批次中的所述工具级行为进行动作比对,以确定所述工具级行为中与所述检查类型对应的动作是否符合金标要求,所述金标要求为智能体在所述测试对话中按照所述服务规则行动时执行的所述工具级行为中的正确动作要求;如果所述工具级行为中与所述检查类型对应的动作符合金标要求,则判定所述智能体通过测试,表示所述智能体在所述测试会话中按照所述测试会话绑定的服务规则行动。

30、在一种实施方式中,所述金标要求包括动作参数金标值;所述确定模块具体用于:基于所述检查类型,确定所述助手回合批次中的所述工具级行为中与所述检查类型对应的目标动作参数;确定所述目标动作参数值是否与所述动作参数金标值相同,如果相同,确定所述目标动作符合金标要求。

31、在一种实施方式中,所述确定模块具体用于:所述检查类型包括工具身份检查,所述动作参数金标值包括金标工具标识,比对所述助手回合批次中所述工具级行为中调用的工具标识和所述金标工具标识是否相同;和/或,所述检查类型包括对象标识检查,所述动作参数金标值包括金标对象标识,比对所述助手回合批次中所述工具级行为中选中的对象标识和所述金标对象标识是否相同;和/或,所述检查类型包括参数枚举值检查,所述动作参数金标值包括金标参数枚举取值;比对所述助手回合批次中所述工具级行为中调用的工具的参数枚举取值和所述金标参数枚举取值是否相同;和/或,所述检查类型包括确认操作检查,所述动作参数金标值包括确认工具标识,比对所述助手回合批次中所述工具级行为中的执行变更操作前调用的工具标识是否为所述确认工具标识。

32、在一种实施方式中,所述获取模块具体用于:基于所述判定的结果,计算所述智能体的测试会话通过率,所述测试会话通过率等于所述智能体通过测试的所述测试会话数与所述测试会话总数的比值;基于所述学习会话过程中所述智能体对所述模拟服务对象的提问信息,计算分解诊断指标;其中,所述分解诊断指标包括至少一项:规则提问数、规则覆盖率、获取精确率、应用率,其中,所述规则提问数为每个学习会话中所述智能体针对所述服务规则的严格提问数量,所述规则覆盖率为所述提问信息中至少命中一次的服务规则占全部所述服务规则的比例,所述获取精确率为命中所述服务规则的提问信息占全部提问信息的比例,所述应用率为在所述学习会话中进行了提问的服务规则绑定的测试会话的智能体测试通过率;基于所述测试会话通过率和所述分解诊断指标,获取所述智能体的主动信息获取能力的评测结果。

33、在一种实施方式中,所述装置还包括变体评测单元,所述变体评测单元用于:获取学习变体会话,所述学习变体会话包括默认变体会话、软许可变体会话、强制提问变体会话中的至少一种,其中,所述默认变体会话允许所述智能体提问且与所述服务规则无关联,所述软许可变体会话不披露所述服务规则但提示智能体在恰当时机询问所述服务规则可获得未来任务收益,所述强制提问变体要求所述智能体在当前任务完成后提出服务规则问题;与所述智能体进行所述学习变体会话;以所述学习变体会话的会话轨迹作为所述智能体的记忆基底,与所述智能体进行所述测试会话;获取经所述学习变体会话后所述测试会话的测试通过率;以及,获取测试变体会话,所述测试变体会话注入所述服务规则的标准答案作为先验用户陈述;与所述智能体进行所述测试变体会话;获取所述测试变体会话的测试通过率;所述获取模块具体用于:基于所述测试会话通过率、所述分解诊断指标、所述经所述学习变体会话后所述测试会话的测试通过率以及所述测试变体会话的测试通过率,获取所述智能体的主动信息获取能力的评测结果。

34、第三方面,本发明的实施例还提供一种电子设备,所述电子设备包括:处理器、存储器,所述处理器与所述存储器电连接;所述存储器用于存储可执行程序代码;所述处理器通过读取所述存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,以实现本发明的实施例提供的任一项所述的智能体的评测方法。

35、第四方面,本发明的实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现本发明的实施例提供的任一种所述的智能体的评测方法。

36、本发明的实施例提供的智能体的评测方法、装置、电子设备及存储介质,能够基于服务规则生成与规则绑定的测试会话,基于用户信息和测试会话生成不披露服务规则的学习会话,部分学习会话的工具级行为与测试会话的工具级行为重叠,通过模拟服务对象进行学习会话并截获智能体对模拟服务对象的提问信息,将学习会话的会话轨迹作为记忆基底,在模拟服务对象离线的情况下进行测试会话,并基于学习会话过程中截获的提问信息和测试会话的执行信息,获取智能体的主动信息获取能力的评测结果。这样,智能体在学习会话之前对服务规则未知,而由于学习会话不披露服务规则但有部分学习会话的工具级行为与测试会话中的工具级行为重叠,

37、在与智能体进行学习会话时,可以考察智能体是否能够在学习会话过程中主动对未知的服务规则进行提问和收集,而学习会话之后以学习会话轨迹作为记忆基底进行离线测试,由于测试会话与服务规则绑定,智能体如果在已知服务规则的情况下能够按照服务规则行动,那么如果智能体在测试会话中想要做对即按照服务规则行动,智能体需要在学习会话过程中主动对服务规则进行提问。基于此,智能体在学习会话中对模拟服务对象的提问信息和后续测试会话的执行信息,能够直接反映出智能体在信息未被预先披露时主动探查用户规则的行为表现,避免了现有评测仅能考核智能体检索已知信息或应用已透露信息而无法反映主动获取能力的缺陷,从而能够有效评估智能体的主动信息获取能力。