模型测评方法、装置、设备、存储介质及程序产品与流程

本公开属于文本理解能力测评，尤其涉及一种模型测评方法、装置、设备、存储介质及程序产品。

背景技术：

1、现有技术中，文本理解测评方案主要依托静态基准测评实现。通过构建静态标准化文本数据集并采用预定义的评估指标，如rouge-1、rouge-2等，对模型输出进行量化分析。然而，这种测评方案无法有效评估模型在高阶理解能力和逻辑推理能力方面的表现，存在明显的局限性，无法对模型进行全面、准确的测评。

技术实现思路

1、本公开实施例提供一种模型测评方法、装置、设备、存储介质及程序产品，能够对待测模型的文本理解能力进行深入剖析，实现全面、准确的模型测评。

2、第一方面，本公开实施例提供一种模型测评方法，方法包括：

3、将测试样本输入待测模型，通过待测模型按照目标任务对测试样本进行分析并得到目标任务的执行结果；

4、基于目标任务的执行结果，从测试样本的词元中筛选出多个目标词元；

5、基于多个目标词元和多个目标词元之间的关联关系，建立待测模型针对测试样本输出的模型推理链；

6、基于测试样本对应的标注推理链和测试样本对应的模型推理链之间的对齐程度，得到待测模型的测评结果。

7、在一个可以实现的实施方式中，在将测试样本输入待测模型，通过待测模型按照目标任务对测试样本进行分析并得到目标任务的执行结果之前，方法还包括：

8、从多个扰动策略中选择目标扰动程度对应的目标扰动策略；

9、基于目标扰动策略和原始样本的语义特征对原始样本进行数据增强，得到初始测试样本；

10、在待测模型对初始测试样本的响应匹配度小于预设响应匹配度阈值的情况下，将初始测试样本作为测试样本；其中，响应匹配度用于表征待测模型的处理逻辑和初始测试样本之间的适配程度；

11、在待测模型对初始测试样本的响应匹配度大于等于预设响应匹配度阈值的情况下，将与目标扰动程度相邻的下一扰动程度作为新的目标扰动程度；基于新的目标扰动程度，返回执行从多个扰动策略中选择目标扰动程度对应的目标扰动策略的步骤。

12、在一个可以实现的实施方式中，在待测模型对初始测试样本的响应匹配度小于预设响应匹配度阈值的情况下，将初始测试样本作为测试样本之前，方法还包括：

13、将初始测试样本输入待测模型，通过待测模型按照第一目标任务对初始测试样本进行分析并得到第一目标任务的执行结果；执行结果包括待测模型针对第一目标任务输出的推理答案；

14、基于初始测试样本和原始样本之间的语义相似度、推理答案和原始样本对应的标准答案之间的语义相似度，确定待测模型对初始测试样本的响应匹配度。

15、在一个可以实现的实施方式中，基于测试样本对应的标注推理链和测试样本对应的模型推理链之间的对齐程度，得到待测模型的测评结果，包括：

16、基于各历史目标扰动程度对应的历史初始测试样本数量和各历史初始测试样本的响应匹配度，确定待测模型的模型鲁棒性指数；

17、基于待测模型的模型鲁棒性指数、测试样本对应的标注推理链和测试样本对应的模型推理链之间的对齐程度，得到待测模型的测评结果。

18、在一个可以实现的实施方式中，基于目标任务的执行结果，从测试样本的词元中筛选出多个目标词元，包括：

19、针对测试样本中的每个当前词元，根据当前词元确定查询向量，基于测试样本中除当前词元之外的其他各词元，确定查询向量对应的各键向量；

20、针对每个查询向量，计算查询向量和查询向量对应的各键向量之间的匹配程度，得到注意力分数；

21、基于各查询向量对应的注意力分数，对测试样本的各词元进行排序，得到排序结果；

22、基于排序结果和目标任务的执行结果，从测试样本的词元中筛选出多个目标词元。

23、在一个可以实现的实施方式中，在基于测试样本对应的标注推理链和测试样本对应的模型推理链之间的对齐程度，得到待测模型的测评结果之前，方法还包括：

24、计算测试样本对应的标注推理链和测试样本对应的模型推理链之间的编辑距离相似度；

25、计算测试样本对应的标注推理链和测试样本对应的模型推理链之间的语义相似度；

26、对编辑距离相似度和语义相似度进行加权求和，得到测试样本对应的标注推理链和测试样本对应的模型推理链之间的对齐程度。

27、第二方面，本公开实施例提供了一种模型测评装置，装置包括：

28、执行模块，用于将测试样本输入待测模型，通过待测模型按照目标任务对测试样本进行分析并得到目标任务的执行结果；

29、筛选模块，用于基于目标任务的执行结果，从测试样本的词元中筛选出多个目标词元；

30、建立模块，用于基于多个目标词元和多个目标词元之间的关联关系，建立待测模型针对测试样本输出的模型推理链；

31、测评模块，用于基于测试样本对应的标注推理链和测试样本对应的模型推理链之间的对齐程度，得到待测模型的测评结果。

32、第三方面，本公开实施例提供了一种模型测评设备，设备包括：处理器，以及存储有计算机程序指令的存储器；所述处理器读取并执行所述计算机程序指令，以实现上述实施例中的任意一种模型测评方法。

33、第四方面，本公开实施例提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述实施例中的任意一种模型测评方法。

34、第五方面，本公开实施例提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述实施例中的任意一种模型测评方法。

35、本公开实施例的模型测评方法、装置、设备、存储介质及程序产品，能够对待测模型的文本理解能力进行深入剖析，实现全面、准确的模型测评。本公开通过目标任务的执行结果对测试样本的词元进行筛选，以建立待测模型利用测试样本执行目标任务的过程中的模型推理链，相较于对模型输出结果计算测评指标的方法，本公开实现了对待测模型推理逻辑的深层次剖析，将待测模型的内部决策变成可解释的模型推理链，进而便于精准定位故障点。在此基础上，本公开通过模型推理链和人工预标注的标注推理链之间的对齐程度，能够更好地量化待测模型微调的性能变化，防止结果正确但推理过程错误的现象，增强测评准确度。

1.一种模型测评方法，其特征在于，所述方法包括：

2.根据权利要求1所述的模型测评方法，其特征在于，在所述将测试样本输入待测模型，通过所述待测模型按照目标任务对所述测试样本进行分析并得到目标任务的执行结果之前，所述方法还包括：

3.根据权利要求2所述的模型测评方法，其特征在于，在所述在待测模型对所述初始测试样本的响应匹配度小于预设响应匹配度阈值的情况下，将所述初始测试样本作为测试样本之前，所述方法还包括：

4.根据权利要求2所述的模型测评方法，其特征在于，所述基于所述测试样本对应的标注推理链和所述测试样本对应的模型推理链之间的对齐程度，得到所述待测模型的测评结果，包括：

5.根据权利要求1所述的模型测评方法，其特征在于，所述基于所述目标任务的执行结果，从所述测试样本的词元中筛选出多个目标词元，包括：

6.根据权利要求1所述的模型测评方法，其特征在于，在所述基于所述测试样本对应的标注推理链和所述测试样本对应的模型推理链之间的对齐程度，得到所述待测模型的测评结果之前，所述方法还包括：

7.一种模型测评装置，其特征在于，所述装置包括：

8.一种模型测评设备，其特征在于，所述设备包括：处理器，以及存储有计算机程序指令的存储器；所述处理器读取并执行所述计算机程序指令，以实现如权利要求1-6任意一项所述的模型测评方法。

9.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述的模型测评方法。

10.一种计算机程序产品，其特征在于，包括计算机程序，计算机程序被处理器执行时实现如权利要求1-6任意一项所述的模型测评方法。