基于音色泄漏的后门安全性评估方法、装置、设备及介质与流程

本发明实施例涉及人工智能安全，尤其涉及一种基于音色泄漏的后门安全性评估方法、装置、设备及介质。

背景技术：

1、关键词识别技术旨在从连续语音流中检测是否包含预设的目标关键词，是智能音箱、车载语音助手、移动端语音唤醒等语音交互系统的核心前端技术。随着深度学习的发展，基于神经网络的端到端关键词识别模型取得了较高的识别准确率，并被广泛部署于实际产品中。此类模型通常依赖大规模众包或公开采集的语音数据进行训练，训练数据来源复杂、审核困难，使模型面临数据投毒攻击的威胁。

2、后门攻击是一种典型的数据投毒攻击方式：在训练数据中植入带有特定触发器的样本并将其标签篡改为指定的目标标签，使模型在正常样本上保持原有性能的同时，一旦输入中含有触发器即输出预设的错误结果。对于关键词识别模型而言，此类漏洞可能导致语音设备被特定触发信号非法唤醒，造成用户隐私泄露或越权控制，构成严重的安全隐患。因此，需要对关键词识别模型进行后门安全性评估，及时暴露模型在训练数据投毒威胁下的脆弱性，以便针对性地改进防御手段。

3、现有的用于安全性评估的后门攻击方式，其触发器通常以叠加在语音上的特定音频片段、在语音首尾拼接的固定触发词或触发音、或对语音频谱施加的扰动模式等形式引入。这类触发器与语音本身的内容相互独立，属于外加于语音的异常信号，人耳可感知的听感异常使其容易被用户察觉，也容易被基于异常检测的内容审核机制识别并清除，导致后门难以长期潜伏；同时，此类外加信号在语音经过重采样、编解码、信道传输、加噪等常见处理后容易减弱或消失，使触发难以稳定实现。

4、由此可见，现有后门攻击方法中触发器的隐蔽性不足，采用此类触发器对关键词识别模型进行安全性评估时，难以稳定复现触发行为，评估的准确性和可靠性较低。

技术实现思路

1、本发明实施例提供了一种基于音色泄漏的后门安全性评估方法、装置、设备及介质，旨在解决现有后门攻击中因触发器隐蔽性不足，导致后门安全性评估的准确性和可靠性较低的问题。

2、第一方面，本发明实施例提供了一种基于音色泄漏的后门安全性评估方法，包括：

3、获取干净语音训练集和触发器语音集，并将所述干净语音训练集划分为待中毒语音子集和干净语音子集；

4、针对所述待中毒语音子集中的每条待中毒语音，将所述待中毒语音和所述触发器语音集输入音色泄漏触发器函数，由所述音色泄漏触发器函数从所述触发器语音集中提取音色特征，并将所述音色特征注入到所述待中毒语音的局部区间，得到中毒语音；

5、将各条所述中毒语音的标签修改为预设目标标签，并与所述干净语音子集合并，生成中毒语音训练集；

6、基于所述中毒语音训练集对关键词识别模型进行训练，得到后门模型；

7、将获取到的待评估语音和所述触发器语音集输入所述音色泄漏触发器函数，得到攻击测试样本，将所述攻击测试样本输入所述后门模型，由所述后门模型输出的预测标签评估所述关键词识别模型针对音色泄漏后门攻击的安全性

8、第二方面，本发明实施例还提供了一种基于音色泄漏的后门安全性评估装置，包括：

9、获取划分单元，用于获取干净语音训练集和触发器语音集，并将所述干净语音训练集划分为待中毒语音子集和干净语音子集；

10、输入提取单元，用于针对所述待中毒语音子集中的每条待中毒语音，将所述待中毒语音和所述触发器语音集输入音色泄漏触发器函数，由所述音色泄漏触发器函数从所述触发器语音集中提取音色特征，并将所述音色特征注入到所述待中毒语音的局部区间，得到中毒语音；

11、修改合并单元，用于将各条所述中毒语音的标签修改为预设目标标签，并与所述干净语音子集合并，生成中毒语音训练集；

12、训练单元，用于基于所述中毒语音训练集对关键词识别模型进行训练，得到后门模型；

13、评估单元，用于将获取到的待评估语音和所述触发器语音集输入所述音色泄漏触发器函数，得到攻击测试样本，将所述攻击测试样本输入所述后门模型，由所述后门模型输出的预测标签评估所述关键词识别模型针对音色泄漏后门攻击的安全性。

14、第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括存储器以及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。

15、第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现上述方法。

16、本发明实施例提供了一种基于音色泄漏的后门安全性评估方法、装置、设备及介质。其中，所述方法包括：获取干净语音训练集和触发器语音集，并将所述干净语音训练集划分为待中毒语音子集和干净语音子集；针对所述待中毒语音子集中的每条待中毒语音，将所述待中毒语音和所述触发器语音集输入音色泄漏触发器函数，由所述音色泄漏触发器函数从所述触发器语音集中提取音色特征，并将所述音色特征注入到所述待中毒语音的局部区间，得到中毒语音；将各条所述中毒语音的标签修改为预设目标标签，并与所述干净语音子集合并，生成中毒语音训练集；基于所述中毒语音训练集对关键词识别模型进行训练，得到后门模型；将获取到的待评估语音和所述触发器语音集输入所述音色泄漏触发器函数，得到攻击测试样本，将所述攻击测试样本输入所述后门模型，由所述后门模型输出的预测标签评估所述关键词识别模型针对音色泄漏后门攻击的安全性。本发明实施例的技术方案，将待中毒语音和触发器语音集输入音色泄漏触发器函数，提取触发说话人的音色特征并注入语音的局部区间，音色特征与语音内容自然融合，所得中毒语音及攻击测试样本听感自然、无可听异常，难以被察觉和清除；注入操作不改变语音的语义内容与时序结构，经重采样、编解码等信号处理后仍能稳定触发；采用攻击测试样本对关键词识别模型进行评估时，触发行为可稳定复现，评估结果真实反映模型的后门脆弱性，提高了后门安全性评估的准确性和可靠性。

1.一种基于音色泄漏的后门安全性评估方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述由所述音色泄漏触发器函数从所述触发器语音集中提取音色特征，并将所述音色特征注入到所述待中毒语音的局部区间，得到中毒语音的步骤，包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述待中毒语音输入所述隐单元模型，得到待中毒隐单元向量序列的步骤，包括：

4.根据权利要求2所述的方法，其特征在于，所述对所述待中毒隐单元向量序列进行连续约束聚类得到聚类语义向量序列的步骤，包括：

5.根据权利要求2所述的方法，其特征在于，所述将所述音色泄漏向量序列输入所述声码器模型，由所述声码器模型重建得到一维语音波形的步骤，包括：

6.根据权利要求1所述的方法，其特征在于，所述基于所述中毒语音训练集对关键词识别模型进行训练，得到后门模型的步骤，包括：

7.根据权利要求1-6任一项所述的方法，其特征在于，所述基于所述中毒语音训练集对关键词识别模型进行训练，得到后门模型的步骤之后，还包括：

8.一种基于音色泄漏的后门安全性评估装置，其特征在于，包括：

9.一种计算机设备，其特征在于，所述计算机设备包括存储器以及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现如权利要求1-7中任一项所述的方法。