一种小语言模型的检测方法及装置与流程

本申请实施例涉及人工智能，尤其涉及一种小语言模型的检测方法及装置。

背景技术：

1、随着人工智能技术的快速发展，为了在资源受限的边缘设备上实现智能化，小语言模型（small language models, slms）的应用日益广泛。与运行在云端服务器的大模型不同，slm通常经过剪枝、量化等压缩处理，并直接部署于智能手机、iot设备等嵌入式端侧环境中。

2、相关技术中，对小语言模型的安全性检测大多依赖于云端大模型的api进行辅助判断或生成对抗样本。这种方法不仅成本高昂，且存在数据隐私泄露风险，难以满足端侧设备离线、隐私敏感的测试需求。更重要的是，现有检测方法未考虑底层执行环境对模型行为的影响，实际上，同一slm在不同嵌入式环境下可能表现出显著的性能与安全性差异，现有的静态检测工具难以捕捉因环境异构性引发的动态安全风险。 此外，现有技术对模型输出的检测手段较为单一，难以同时应对逻辑混乱的幻觉输出和具有明确恶意的越狱攻击，尤其在面对无语义的噪声干扰时，缺乏有效的熵值检测机制。

技术实现思路

1、有鉴于此，本申请实施例的目的在于提出一种小语言模型的检测方法及装置。

2、基于上述目的，本申请实施例提供了一种小语言模型的检测方法，包括：

3、将预先构造的对抗样本输入运行于目标嵌入式执行环境的待测小语言模型，待测小语言模型执行推理后得到响应文本；

4、基于所述响应文本进行情感语义分析，得到情感语义检测结果；

5、基于所述对抗样本和所述响应文件进行语义熵分析，得到语义熵检测结果；

6、根据所述情感语义检测结果和语义熵检测结果，利用预设的波动分析模型确定所述目标嵌入式执行环境的环境波动结果。

7、可选的，基于所述响应文本进行情感语义分析，得到情感语义检测结果，包括：

8、对所述响应文本进行情感极性分析，得到情感分类标签；

9、根据所述响应文本的向量表示和目标有害文本的向量表示，计算所述响应文本与目标有害文本的余弦相似度；

10、当所述情感分类标签为正向，且所述余弦相似度大于预设的相似度阈值时，确定所述待测小语言模型越狱成功或幻觉诱导成功。

11、可选的，基于所述对抗样本和所述响应文件进行语义熵分析，得到语义熵检测结果，包括：

12、计算所述对抗样本的第一语义熵和所述响应文本的第二语义熵；

13、计算所述第一语义熵和第二语义熵之间的差值的绝对值；

14、当所述差值的绝对值小于预设的同化阈值时，确定所述待测小语言模型噪声攻击成功。

15、可选的，根据所述情感语义检测结果和语义熵检测结果，利用预设的波动分析模型确定所述目标嵌入式执行环境的环境波动结果，包括：

16、根据所述情感语义检测结果和语义熵检测结果，统计预定时间窗口内的检测结果的移动平均值；

17、根据所述移动平均值，计算标准差；

18、根据所述移动平均值和标准差，确定环境波动结果。

19、可选的，所述方法还包括：

20、构造统一对抗语料库；

21、基于所述统一对抗语料库中的数据，利用预设的扰动算法生成所述对抗样本。

22、可选的，所述待测小语言模型执行推理后得到响应文本，包括：

23、所述待测小语言模型基于所述对抗样本执行推理后，获取所述待测小语言模型的输出结果、推理耗时和目标嵌入式执行环境的系统运行状态；

24、对所述输出结果、推理耗时和系统运行状态进行完整性校验后，基于所述输出结果、推理耗时和系统运行状态构造结构化的响应文本。

25、本申请实施例还提供一种小语言模型的检测装置，包括：

26、推理模块，用于将预先构造的对抗样本输入运行于目标嵌入式执行环境的待测小语言模型，待测小语言模型执行推理后得到响应文本；

27、情感语义分析模块，用于基于所述响应文本进行情感语义分析，得到情感语义检测结果；

28、语义熵分析模块，用于基于所述对抗样本和所述响应文件进行语义熵分析，得到语义熵检测结果；

29、波动分析模块，用于根据所述情感语义检测结果和语义熵检测结果，利用预设的波动分析模型确定所述目标嵌入式执行环境的环境波动结果。

30、可选的，所述情感语义分析模块，用于对所述响应文本进行情感极性分析，得到情感分类标签；根据所述响应文本的向量表示和目标有害文本的向量表示，计算所述响应文本与目标有害文本的余弦相似度；当所述情感分类标签为正向，且所述余弦相似度大于预设的相似度阈值时，确定所述待测小语言模型越狱成功或幻觉诱导成功。

31、可选的，所述语义熵分析模块，用于计算所述对抗样本的第一语义熵和所述响应文本的第二语义熵；计算所述第一语义熵和第二语义熵之间的差值的绝对值；当所述差值的绝对值小于预设的同化阈值时，确定所述待测小语言模型噪声攻击成功。

32、可选的，所述波动分析模块，用于根据所述情感语义检测结果和语义熵检测结果，统计预定时间窗口内的检测结果的移动平均值；根据所述移动平均值，计算标准差；根据所述移动平均值和标准差，确定环境波动结果。

33、从上面所述可以看出，本申请实施例提供的小语言模型的检测方法及装置，将预先构造的对抗样本输入运行于目标嵌入式执行环境的待测小语言模型，待测小语言模型执行推理后得到响应文本，基于响应文本进行情感语义分析，得到情感语义检测结果，基于对抗样本和响应文件进行语义熵分析，得到语义熵检测结果，根据情感语义检测结果和语义熵检测结果，利用预设的波动分析模型确定目标嵌入式执行环境的环境波动结果。本申请不依赖于云端资源，能够对不同嵌入式执行环境中的小语言模型进行多类型检测，并通过波动分析量化不同执行环境对模型安全稳定性的影响差异。

1.一种小语言模型的检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，基于所述响应文本进行情感语义分析，得到情感语义检测结果，包括：

3.根据权利要求1所述的方法，其特征在于，基于所述对抗样本和所述响应文件进行语义熵分析，得到语义熵检测结果，包括：

4.根据权利要求1所述的方法，其特征在于，根据所述情感语义检测结果和语义熵检测结果，利用预设的波动分析模型确定所述目标嵌入式执行环境的环境波动结果，包括：

5.根据权利要求1所述的方法，其特征在于，还包括：

6.根据权利要求1所述的方法，其特征在于，所述待测小语言模型执行推理后得到响应文本，包括：

7.一种小语言模型的检测装置，其特征在于，包括：

8.根据权利要求7所述的装置，其特征在于，

9.根据权利要求7所述的装置，其特征在于，

10.根据权利要求7所述的装置，其特征在于，