模型评估方法、装置及计算机设备

摘要: 本技术涉及模型评估,特别是涉及一种模型评估方法、装置及计算机设备。背景技术:1、近年来,随着大语言模型在工具调用、代码生成、多模态理解等方面的快速发展。在科研领...
模型评估方法、装置及计算机设备

本技术涉及模型评估,特别是涉及一种模型评估方法、装置及计算机设备。

背景技术:

1、近年来,随着大语言模型在工具调用、代码生成、多模态理解等方面的快速发展。在科研领域,大语言模型能够基于课题,设计相关的实验来对课题进行验证。因此,大语言模型被广泛应用于化学合成、生物实验等科研场景。

2、在相关技术中,虽然相关技术能够基于课题,设计相关的实验来对课题进行验证,但往往严重依赖静态文本基准,与真实湿实验环境脱节。并且,在相关技术中,因为训练的数据集合和训练的方式不同,所以不同的大语言模型的性能也存在不同,而性能较差的大语言模型的所设计的实验的过程容易出现不合理的地方,因此,现亟需一种能够对模型进行实验设计的性能进行评估的方案。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够对模型进行实验设计的性能进行评估的模型评估方法、装置及计算机设备。

2、第一方面,本技术提供了一种模型评估方法。所述方法包括:获取待评估模型、标准分析模型、待处理文献数据组以及与待处理文献数据组对应的工具集合;所述待处理文献数据组包括:文献课题、操作流程以及文献结论;将所述文献课题以及所述工具集合输入所述待评估模型,确定第一操作步骤;将所述第一操作步骤、多个原始文献以及工具集合输入标准分析模型,确定第一操作步骤对应的第一操作结果,并构建模拟操作集;多个所述原始文献包括待处理文献数据组对应的原始文献;基于所述模拟操作集、文献课题、工具集合、多个原始文献、待评估模型以及标准分析模型,确定多个操作步骤以及每个操作步骤对应的操作结果,更新所述模拟操作集;将更新后的所述模拟操作集以及文献课题输入标准分析模型,确定模拟结论;将所述模拟结论以及文献结论输入标准分析模型,对所述待评估模型进行质量评估。

3、在其中一个实施例中,所述方法还包括:获取标准分析模型和多个原始文献;将目标原始文献输入所述标准分析模型,确定目标原始文献对应的文献数据组以及目标原始文献对应的文献类型;将目标原始文献和/或目标原始文献对应的文献数据组输入所述标准分析模型,确定目标原始文献对应的工具以及工具的输入输出参数;基于所有所述原始文献对应的文献数据组,构建文献数据集合;基于所有所述原始文献的对应的文献类型、工具以及工具的输入输出参数,构建多个工具集合。

4、在其中一个实施例中,所述基于所有所述原始文献的对应的文献类型、工具以及工具的输入输出参数,构建多个工具集合包括:将文献类型为生物类型的原始文献的工具和工具对应的输入输出参数进行合并,确定生物工具集合;将文献类型为物理类型的原始文献的工具和工具对应的输入输出参数进行合并,确定物理工具集合;将文献类型为化学类型的原始文献的工具和工具对应的输入输出参数进行合并,确定化学工具集合。

5、在其中一个实施例中,所述基于所述模拟操作集、文献课题、工具集合、多个原始文献、待评估模型以及标准分析模型,确定多个操作步骤以及每个操作步骤对应的操作结果,更新所述模拟操作集包括:将所述文献课题、所述工具集合以及更新后的所述模拟操作集输入所述待评估模型,确定第二操作步骤;将更新后的所述模拟操作集、所述第二操作步骤、多个原始文献以及工具集合输入标准分析模型,确定第二操作步骤对应的第二操作结果,并更新模拟操作集;循环确定操作步骤以及确定操作结果,直至循环满足预设条件,得到最终更新后的所述模拟操作集。

6、在其中一个实施例中,将所述模拟结论以及文献结论输入标准分析模型,对所述待评估模型进行质量评估包括:将所述模拟结论以及文献结论输入标准分析模型,确定待处理文献数据组对所述待评估模型的质量评估结果;获取所有待处理文献数据组对所述待评估模型的质量评估结果;基于所有待处理文献数据组对所述待评估模型的质量评估结果,确定待评估模型的质量参数。

7、在其中一个实施例中,所述基于所有待处理文献数据组对所述待评估模型的质量评估结果,确定待评估模型的质量参数包括:

8、基于所有待处理文献数据组对所述待评估模型的第一质量评估结果,确定所述质量评估结果为匹配的待处理文献数据组的第一数量;所述第一质量评估结果为针对每个所述待处理文献数据组执行一次质量评估得到;统计所述待处理文献数据组的总数量;基于所述第一数量以及所述总数量,确定所述待评估模型的第一准确率参数。

9、在其中一个实施例中,所述基于所有待处理文献数据组对所述待评估模型的质量评估结果,确定待评估模型的质量参数包括:基于所有待处理文献数据组对所述待评估模型的第二质量评估结果,确定所述质量评估结果为匹配的待处理文献数据组的第二数量;所述第二质量评估结果为针对每个所述待处理文献数据组执行多次质量评估得到;统计所述待处理文献数据组的总数量;基于所述第二数量以及所述总数量,确定所述待评估模型的第二准确率参数。

10、在其中一个实施例中,所述基于所有待处理文献数据组对所述待评估模型的质量评估结果,确定待评估模型的质量参数包括:获取目标待处理文献数据组对应的模拟操作集;所述目标待处理文献数据组的第二质量评估结果为匹配;根据所述模拟操作集,确定操作步骤的第三数量;获取所述目标待处理文献数据组的所述操作流程中操作步骤的第四数量;基于所述第三数量以及所述第四数量,确定目标待处理文献数据组对所述待评估模型的初始效率参数;基于所有待处理文献数据组对所述待评估模型的初始效率参数,确定所述待评估模型的目标效率参数。

11、第二方面,本技术还提供了一种模型评估装置。所述装置包括:

12、获取模块,用于获取待评估模型、标准分析模型、待处理文献数据组以及与待处理文献数据组对应的工具集合;所述待处理文献数据组包括:文献课题、操作流程以及文献结论;

13、步骤确定模块,用于将所述文献课题以及所述工具集合输入所述待评估模型,确定第一操作步骤;

14、构建模块,用于将所述第一操作步骤、多个原始文献以及工具集合输入标准分析模型,确定第一操作步骤对应的第一操作结果,并构建模拟操作集;多个所述原始文献包括待处理文献数据组对应的原始文献;

15、更新模块,用于基于所述模拟操作集、文献课题、工具集合、多个原始文献、待评估模型以及标准分析模型,确定多个操作步骤以及每个操作步骤对应的操作结果,更新所述模拟操作集;

16、结论确定模块,用于将更新后的所述模拟操作集以及文献课题输入标准分析模型,确定模拟结论;

17、评估模块,用于将所述模拟结论以及文献结论输入标准分析模型,对所述待评估模型进行质量评估。

18、第三方面,本技术还提供了一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面中的任一方法。

19、第四方面,本技术还提供了一种计算机可读存储介质,所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面中的任一方法。

20、上述模型评估方法、装置及计算机设备,获取待评估模型、标准分析模型、待处理文献数据组以及与待处理文献数据组对应的工具集合;所述待处理文献数据组包括:文献课题、操作流程以及文献结论,然后将所述文献课题以及所述工具集合输入所述待评估模型,确定第一操作步骤,再将所述第一操作步骤、多个原始文献以及工具集合输入标准分析模型,确定第一操作步骤对应的第一操作结果,并构建模拟操作集;多个所述原始文献包括待处理文献数据组对应的原始文献,然后基于所述模拟操作集、文献课题、工具集合、多个原始文献、待评估模型以及标准分析模型,确定多个操作步骤以及每个操作步骤对应的操作结果,更新所述模拟操作集,并将更新后的所述模拟操作集以及文献课题输入标准分析模型,确定模拟结论,最终将所述模拟结论以及文献结论输入标准分析模型,对所述待评估模型进行质量评估,从而实现对模型进行实验设计的性能进行评估,以解决性能较差的大语言模型的所设计的实验的过程容易出现不合理的地方的问题。