模型测评方法、装置、电子设备及存储介质与流程

本公开涉及计算机，尤其涉及人工智能、智能搜索、大语言模型等领域，能够用于搜索增强大模型量化评估等应用场景，具体涉及模型测评方法、装置、电子设备及存储介质。

背景技术：

1、现有针对大语言模型及搜索增强大语言模型的评测方法主要包括基于参数知识的事实问答评测、基于深度网页浏览的搜索正确率评测、基于合成检索环境的搜索子能力分解评测以及基于标准检索集合的搜索引擎质量评测。其中，基于参数知识的评测通常通过简短事实型问题考察模型在不调用外部工具时的知识覆盖、回答准确性和置信度表达，评价模型是否能够在不确定时表达不知道。基于深度网页浏览的评测通常构造需要多轮搜索、网页浏览和信息整合才能回答的高难度事实问题，以模型最终是否找到正确答案作为主要评价依据。基于合成环境的搜索子能力分解评测通常在受控的信息环境中，将搜索过程拆解为查询生成、结果选择、信息抽取、证据整合等环节，并分别测试模型在各环节中的能力表现。基于搜索引擎质量的检索评测则通常采用标准数据集，围绕给定查询下返回文档的相关性排序效果进行评价。

技术实现思路

1、本公开提供了一种模型测评方法、装置、电子设备及存储介质。

2、根据本公开的第一方面，提供了一种模型测评方法，包括：获取多个候选测评题目，候选测评题目包括问题文本以及与问题文本对应的参考信息；针对每一候选测评题目，从问题文本中提取关键词，基于关键词生成第一搜索查询，并基于参考信息生成第二搜索查询；分别执行第一搜索查询和第二搜索查询，得到第一搜索信息集合和第二搜索信息集合，并根据第一搜索信息集合和第二搜索信息集合生成搜索结果；基于参考信息以及搜索结果之间的信息一致性，对搜索结果进行验证，生成验证结果，并根据验证结果将每一候选测评题目标注为预设的多个信息可得性等级之一，得到多个测评题目；将每一测评题目输入被测评模型，以由被测评模型针对每一测评题目进行回答，得到搜索行为数据和模型回答结果；根据与每一信息可得性等级对应的搜索行为数据和模型回答结果，确定被测评模型的综合校准评分，并基于综合校准评分生成被测评模型的搜索行为校准诊断结果。

3、根据本公开的第二方面，提供了一种模型测评装置，包括：题目获取模块，用于获取多个候选测评题目，候选测评题目包括问题文本以及与问题文本对应的参考信息；查询构建模块，用于针对每一候选测评题目，从问题文本中提取关键词，基于关键词生成第一搜索查询，并基于参考信息生成第二搜索查询；搜索执行模块，用于分别执行第一搜索查询和第二搜索查询，得到第一搜索信息集合和第二搜索信息集合，并根据第一搜索信息集合和第二搜索信息集合生成搜索结果；验证评级模块，用于基于参考信息以及搜索结果之间的信息一致性，对搜索结果进行验证，生成验证结果，并根据验证结果将每一候选测评题目标注为预设的多个信息可得性等级之一，得到多个测评题目；模型测评模块，用于将每一测评题目输入被测评模型，以由被测评模型针对每一测评题目进行回答，得到搜索行为数据和模型回答结果；结果生成模块，用于根据与每一信息可得性等级对应的搜索行为数据和模型回答结果，确定被测评模型的综合校准评分，并基于综合校准评分生成被测评模型的搜索行为校准诊断结果。

4、根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与该至少一个处理器通信连接的存储器；其中，该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。

5、根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。

6、根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。

7、采用本公开的方案，能够按照信息的实际可得性等级对搜索增强模型进行诊断性评估。

8、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种模型测评方法，包括：

2.根据权利要求1所述的方法，其中，所述分别执行所述第一搜索查询和所述第二搜索查询，得到第一搜索信息集合和第二搜索信息集合，并根据所述第一搜索信息集合和第二搜索信息集合生成搜索结果，包括：

3.根据权利要求1所述的方法，其中，在所述分别执行所述第一搜索查询和所述第二搜索查询，得到第一搜索信息集合和第二搜索信息集合，并根据所述第一搜索信息集合和第二搜索信息集合生成搜索结果之后，还包括：

4.根据权利要求1所述的方法，其中，所述基于所述参考信息以及所述搜索结果之间的信息一致性，对所述搜索结果进行验证，生成验证结果，包括：

5.根据权利要求4所述的方法，其中，所述基于所述参考信息以及所述搜索结果之间的信息一致性，对所述搜索结果进行验证，生成验证结果，还包括：

6.根据权利要求1所述的方法，其中，所述多个信息可得性等级包括：第一信息可得性等级、第二信息可得性等级、第三信息可得性等级和第四信息可得性等级；

7.根据权利要求1所述的方法，其中，所述将每一所述测评题目输入被测评模型，以由所述被测评模型针对每一所述测评题目进行回答，得到搜索行为数据和模型回答结果，包括：

8.根据权利要求1所述的方法，其中，所述搜索行为数据至少包括搜索次数，所述模型回答结果至少包括回答文本和置信度；

9.根据权利要求8所述的方法，其中，所述针对每一所述信息可得性等级，根据对应的所述置信度确定所述被测评模型的置信度评分，包括：

10.根据权利要求9所述的方法，其中，所述根据每一所述信息可得性等级对应的所述平均置信度，确定置信度单调性评分，包括：

11.根据权利要求8所述的方法，其中，所述针对每一所述信息可得性等级，根据对应的所述搜索次数确定所述被测评模型的效率评分，包括：

12.根据权利要求8所述的方法，其中，所述针对每一所述信息可得性等级，将对应的所述回答文本分别输入预设的语义判定模型，以由所述语义判定模型确定多个回答类型，并基于所述回答类型的比例确定所述被测评模型的行为评分，包括：

13.一种模型测评装置，包括：

14.一种电子设备，包括：

15.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行根据权利要求1-12中任一项的方法。

16.一种计算机程序产品，包括存储在存储介质上的计算机程序，计算机程序在被处理器执行时实现根据权利要求1-12中任一项的方法。