模型检测方法、装置、设备及存储介质与流程

本公开涉及人工智能领域，尤其涉及一种模型检测方法、装置、设备及存储介质。

背景技术：

1、随着大语言模型的快速普及，其安全防护问题日益凸显。现有的大语言模型容易遭受多种形式的攻击，其中包括通过提示注入方式诱导模型执行恶意查询，或利用对抗性扰动绕过模型的安全限制，从而生成违规或危险内容。这类对抗性攻击具有较强的跨模型迁移性，甚至可以被自动化生成并在网络中快速传播，造成严重的安全隐患。同时，对抗性扰动的生成与处理往往伴随较高的计算复杂度，若直接在大型模型上应用防护策略，不仅会增加显著的计算开销，还会带来效率瓶颈，从而进一步提升大模型安全防护的难度。

技术实现思路

1、本公开提供一种模型检测方法、装置、设备及存储介质，至少在一定程度上提高了提升了模型的安全性。

2、本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

3、根据本公开的一个方面，提供一种检测方法，包括：

4、获取语料信息；

5、将语料信息进行预处理，得到预处理后的语料信息；

6、基于关键词提取、线索生成、模板整合中的至少一种方法对预处理后的语料信息进行处理，得到测试数据；

7、基于测试数据对待测试模型进行检测。

8、在本公开的一个实施例中，将语料信息进行预处理，得到预处理后的语料信息，包括：

9、对语料信息进行重复度检测，得到重复度高于预设阈值的语料信息；

10、将重复度高于预设阈值的语料信息删除。

11、在本公开的一个实施例中，基于关键词提取、线索生成、模板整合中的至少一种方法对预处理后的语料信息进行处理，得到测试数据，包括：

12、基于预设策略确定预处理后的语料信息中词汇的优先级；

13、基于词汇的优先级对在预处理后的语料信息中提取关键词。

14、在本公开的一个实施例中，基于关键词提取、线索生成、模板整合中的至少一种方法对预处理后的语料信息进行处理，得到测试数据，包括：

15、将关键词输入训练完成的智能模型，得到与关键词关联的线索。

16、在本公开的一个实施例中，基于关键词提取、线索生成、模板整合中的至少一种方法对预处理后的语料信息进行处理，得到测试数据，包括：

17、基于关键词以及线索生成数据源；

18、基于格式化技术以及数据源生成测试数据。

19、在本公开的一个实施例中，方法还包括：

20、在检测结果指示待测试模型未通过检测的情况下，基于测试数据训练待测试模型。

21、在本公开的一个实施例中，获取语料信息，包括：

22、基于预设的规则或预设的数据库获取语料信息。

23、根据本公开的再一个方面，提供一种检测装置，包括：

24、获取模块，用于获取语料信息；

25、预处理模块，用于将语料信息进行预处理，得到预处理后的语料信息；

26、处理模块，用于基于关键词提取、线索生成、模板整合中的至少一种方法对预处理后的语料信息进行处理，得到测试数据；

27、检测模块，用于基于测试数据对待测试模型进行检测。

28、在本公开的一个实施例中，预处理模块，包括：

29、检测单元，用于对语料信息进行重复度检测，得到重复度高于预设阈值的语料信息；

30、删除单元，用于将重复度高于预设阈值的语料信息删除。

31、在本公开的一个实施例中，处理模块，包括：

32、确定单元，用于基于预设策略确定预处理后的语料信息中词汇的优先级；

33、提取单元，用于基于词汇的优先级对在预处理后的语料信息中提取关键词。

34、在本公开的一个实施例中，处理模块，包括：

35、输入单元，用于将关键词输入训练完成的智能模型，得到与关键词关联的线索。

36、在本公开的一个实施例中，处理模块，包括：

37、第一生成单元，用于基于关键词以及线索生成数据源；

38、第二生成单元，用于基于格式化技术以及数据源生成测试数据。

39、在本公开的一个实施例中，装置还包括：

40、训练模块，用于在检测结果指示待测试模型未通过检测的情况下，基于测试数据训练待测试模型。

41、在本公开的一个实施例中，获取模块，包括：

42、获取单元，用于基于预设的规则或预设的数据库获取语料信息。

43、根据本公开的又一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述的检测方法。

44、根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的模型检测方法。

45、根据本公开的又一个方面，提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述的模型检测方法。

46、本公开的实施例所提供的检测方法、装置、设备及存储介质，获取语料信息，将语料信息进行预处理，得到预处理后的语料信息，基于关键词提取、线索生成、模板生成中的至少一种方法对处理后的语料信息进行处理，得到测试数据。基于测试数据对待测试模型进行检测。通过构造测试数据对模型检测，能够使得对模型的检测更加准确。

47、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

1.一种模型检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述语料信息进行预处理，得到预处理后的语料信息，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于关键词提取、线索生成、模板整合中的至少一种方法对所述预处理后的语料信息进行处理，得到测试数据，包括：

4.根据权利要求3所述的方法，其特征在于，所述基于关键词提取、线索生成、模板整合中的至少一种方法对所述预处理后的语料信息进行处理，得到测试数据，包括：

5.根据权利要求4所述的方法，其特征在于，所述基于关键词提取、线索生成、模板整合中的至少一种方法对所述预处理后的语料信息进行处理，得到测试数据，包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，所述获取语料信息，包括：

8.一种模型检测装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7中任意一项所述的模型检测方法。