测试方法、装置、电子设备以及存储介质与流程

本公开涉及计算机，尤其涉及一种测试方法、装置、电子设备以及存储介质。

背景技术：

1、随着预训练大语言模型(llm，large language model)在自然语言处理领域取得突破性进展，其在知识推理、多轮对话、跨模态理解等复杂任务中展现出强大性能。然而，现有的评测体系难以实现对大语言模型真实水平的自动化评估。因此，如何对大语言模型开展自动化测试，成为当前亟待解决的问题。

技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种测试方法、装置、电子设备以及存储介质。

2、第一方面，本公开提供了一种测试方法，包括：

3、获取测试用例；所述测试用例包括测试约束条件、候选操作集以及参考操作链路；所述测试约束条件包括初始状态信息以及目标状态信息；所述候选操作集包括多个候选操作；所述参考操作链路为将所述候选操作集中的候选操作按顺序排列得到的操作序列；通过所述参考操作链路可以将所述初始状态信息转变为目标状态信息；

4、将所述测试约束条件以及所述候选操作集输入待测试的推理模型，得到目标操作链路；所述目标操作链路为所述推理模型基于所述测试约束条件对所述候选操作集中的所述候选操作进行排序得到的操作序列；

5、基于所述参考操作链路以及所述目标操作链路，得到针对所述推理模型的测试结果。

6、第二方面，本公开还提供了一种测试装置，包括：

7、获取模块，用于获取测试用例；所述测试用例包括测试约束条件、候选操作集以及参考操作链路；所述测试约束条件包括初始状态信息以及目标状态信息；所述候选操作集包括多个候选操作；所述参考操作链路为将所述候选操作集中的候选操作按顺序排列得到的操作序列；通过所述参考操作链路可以将所述初始状态信息转变为目标状态信息；

8、输入模块，用于将所述测试约束条件以及所述候选操作集输入待测试的推理模型，得到目标操作链路；所述目标操作链路为所述推理模型基于所述测试约束条件对所述候选操作集中的所述候选操作进行排序得到的操作序列；

9、评价模块，用于基于所述参考操作链路以及所述目标操作链路，得到针对所述推理模型的测试结果。

10、第三方面，本公开还提供了一种电子设备，所述电子设备包括：

11、一个或多个处理器；

12、存储装置，用于存储一个或多个程序；

13、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的测试方法。

14、第四方面，本公开还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的测试方法。

15、本公开实施例提供的技术方案与现有技术相比具有如下优点：

16、本公开实施例提供的技术方案通过设置获取测试用例；测试用例包括测试约束条件、候选操作集以及参考操作链路；测试约束条件包括初始状态信息以及目标状态信息；候选操作集包括多个候选操作；参考操作链路为将候选操作集中的候选操作按顺序排列得到的操作序列；通过参考操作链路可以将初始状态信息转变为目标状态信息；将测试约束条件以及候选操作集输入待测试的推理模型，得到目标操作链路；目标操作链路为推理模型基于测试约束条件对候选操作集中的候选操作进行排序得到的操作序列；基于参考操作链路以及目标操作链路，得到针对推理模型的测试结果。其本质是给出一种对推理模型进行自动化测试的方法，能够降低对推理模型进行测试的人力成本。

1.一种测试方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，获取测试用例，包括：

3.根据权利要求2所述的方法，其特征在于，获取所述候选操作集包括：

4.根据权利要求3所述的方法，其特征在于，所述获取测试难度等级和所述测试目标功能信息，包括：

5.根据权利要求2所述的方法，其特征在于，所述对所述候选操作集中的所述候选操作进行排列，得到参考操作链路，包括：

6.根据权利要求1所述的方法，其特征在于，所述基于所述参考操作链路以及所述目标操作链路，得到针对所述推理模型的测试结果，包括：

7.根据权利要求1所述的方法，其特征在于，所述基于所述参考操作链路以及所述目标操作链路，得到针对所述推理模型的测试结果，包括：

8.一种测试装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的方法。