一种基于局部分布平滑的语音识别对抗样本防御方法及系统与流程

本发明涉及语音识别与人工智能，具体涉及一种基于局部分布平滑的语音识别对抗样本防御方法及系统。

背景技术：

1、语音识别领域的对抗样本防御方法主要分为两类：一类是从输入数据端入手，另一类是从模型端对样本或神经网络进行改进。

2、在面向数据的防御方面，现有技术侧重于对输入语音样本进行预处理或检测，以在输入阶段去除扰动或直接丢弃部分对抗样本。常见的技术包括语音去噪、声学特征转换、添加附加检测网络等。例如，有研究者利用卷积神经网络将对抗样本检测视为二分类问题，以语音的梅尔频率倒谱系数（mfcc）为输入，训练出能够区分良性样本与对抗样本的检测器。也有方法通过在输入语音前添加合理噪声，比较两次解码结果是否一致来判断是否存在攻击。此外，还有结合多种音频预处理方法（如mp3压缩、带通滤波、音频平移等）并采用集成学习（如boosting、随机森林）进行联合检测的方案。另有研究者利用语音的时间依赖性，以部分转录与全部转录的最长公共前缀长度之比作为检测指标；或将对抗样本检测视为asr模型空间中的异常模式检测，通过统计方法量化异常得分；或利用不同asr系统对同一音频的转录差异，结合多版本编程思想及分类器进行对抗样本判断。此外，通过输入转换（如优化采样与量化方式）也可在一定程度上防御对抗扰动。

3、在面向模型的防御方面，现有技术侧重于改进语音识别模型的内部结构或训练策略，包括对抗训练、正则化、模型层级增强等。例如，使用投影梯度下降（pgd）、cw等攻击方法生成的对抗样本对说话人识别模型进行对抗训练；提出泛洪分数概念，通过计算使模型误分类所需添加的噪声扰动程度来识别对抗样本；利用生成对抗网络（gan）进行对抗训练，生成干净的伪标签并与带噪标签数据混合以增强模型鲁棒性；以及通用对抗训练方法，在多个数据集上提升自动语音识别模型的性能。

4、然而，现有技术仍存在明显不足。一方面，对抗训练方法通常需要大量对抗样本，训练时间长、成本高，且针对固定攻击方法生成的对抗样本只能防御特定攻击。若要防御多种攻击，需使用多种方法生成样本进行训练，容易导致模型过拟合。另一方面，无论是面向数据还是面向模型的方法，大多仅对训练集中的特定攻击类型有效。面向数据的检测方法对未见过的攻击方式检测效果较差；面向模型的对抗训练多集中于单一攻击类型，多重攻击下性能显著下降。随着攻击方法的不断涌现，现有防御方案的普适性有待提升。

技术实现思路

1、本发明的目的是提供一种基于局部分布平滑的语音识别对抗样本防御方法及系统，以解决现有语音识别对抗样本防御方法中对抗训练成本高、泛化能力差，且难以有效应对多种攻击类型的问题。

2、为实现上述目的，本发明提供的技术方案是：一种基于局部分布平滑的语音识别对抗样本防御方法，包括以下步骤：

3、s1：获取原始干净样本，采用至少一种攻击方法针对目标语音识别模型生成原始对抗样本；分别计算原始干净样本和原始对抗样本被目标语音识别模型误分类的平均预测置信度，并分析其预测概率分布特征；选取平均预测置信度低于预设阈值且符合预设概率分布特征的样本点作为扰动点；

4、s2：针对每个扰动点，以该扰动点在特征空间中的位置为中心，基于距离度量计算该中心与其他样本点的距离；根据该扰动点周围数据分布的标准差的预设倍数确定邻域半径，将距离在所述邻域半径内的样本点划入该扰动点的局部邻域；

5、s3：对局部邻域内的样本点添加微小扰动，生成新增对抗样本；

6、s4：将扰动点及其对应的新增对抗样本分别输入目标语音识别模型，得到扰动点的原始预测概率分布和新增对抗样本的扰动后预测概率分布；计算原始预测概率分布与扰动后预测概率分布之间的kl散度，对kl散度取平均值构建局部平滑损失项；

7、s5：构建总损失函数，所述总损失函数包含原始语音识别任务损失项与局部分布平滑指标乘以权重系数的局部平滑损失项；利用包含原始干净样本、扰动点以及新增对抗样本的混合训练集，通过最小化总损失函数对目标语音识别模型进行对抗训练，更新目标语音识别模型参数。

8、为优化上述技术方案，采取的具体措施还包括：

9、步骤s1中，所述采用至少一种攻击方法针对目标语音识别模型生成原始对抗样本包括白盒攻击方法和黑盒攻击方法；

10、所述白盒攻击方法基于目标语音识别模型的完整结构及参数信息，构建包含对抗性损失项和修正项的目标损失函数，通过迭代优化算法最小化所述目标损失函数，调整原始干净样本的特征，生成原始对抗样本；

11、所述黑盒攻击方法在无法获取目标语音识别模型梯度与参数信息的前提下，采用代理模型或零阶优化方法估计梯度信息，通过种群初始化、适应度评估、个体选择与交叉变异的进化迭代过程，逐步修改原始干净样本的特征，生成原始对抗样本。

12、步骤s1中，所述分别计算原始干净样本和原始对抗样本被目标语音识别模型误分类的平均预测置信度，具体为：

13、分别将原始干净样本和原始对抗样本重复输入目标语音识别模型若干次，取模型将样本误分类为错误类别时所有错误类别对应的softmax概率的最大值；将所有softmax概率的最大值取算术平均，分别得到原始干净样本和原始对抗样本的平均预测置信度。

14、步骤s2中，所述根据该扰动点周围数据分布的标准差的预设倍数确定邻域半径，具体为：将扰动点周围样本点的标准差乘以预设倍数作为邻域半径，其中预设倍数为1倍至2倍；所述距离度量计算为曼哈顿距离或欧氏距离。

15、步骤s3中，对局部邻域内的样本点添加微小扰动的方式包括：添加服从高斯分布或均匀分布的随机噪声；调整样本点的特征权重；通过映射函数将样本点的特征投影到新的特征空间中。

16、步骤s4中，所述计算原始预测概率分布与扰动后预测概率分布之间的kl散度，具体为：

17、

18、其中，表示原始预测概率分布；表示扰动后预测概率分布；表示原始预测概率分布对应的概率密度函数；表示扰动后预测概率分布对应的概率密度函数；表示原始预测概率分布的概率密度权重，代表原始分布在取值x处的概率微分权重。

19、步骤s5中，所述总损失函数包含原始语音识别任务损失项与局部分布平滑指标乘以权重系数的局部平滑损失项，表达式为：

20、

21、其中，项，采用连接主义时间分类（ctc）损失；表示局部分布平滑正则化权重系数，取值范围为0.01~1；

k为扰动样本数量；表示局部分布平滑指标，即原始干净语音样本的预测概率分布与经过局部扰动平滑处理后语音样本的预测概率分布之间的kl散度。

22、作为另一个重要的技术方案，本发明还提供一种基于局部分布平滑的语音识别对抗样本防御系统，包括：

23、扰动点筛选模块，用于获取原始干净样本，采用至少一种攻击方法针对目标语音识别模型生成原始对抗样本；分别计算原始干净样本和原始对抗样本被目标语音识别模型误分类的平均预测置信度，并分析其预测概率分布特征；选取平均预测置信度低于预设阈值且符合预设概率分布特征的样本点作为扰动点；

24、局部邻域构建模块，用于针对每个扰动点，以该扰动点在特征空间中的位置为中心，基于距离度量计算该中心与其他样本点的距离；根据该扰动点周围数据分布的标准差的预设倍数确定邻域半径，将距离在所述邻域半径内的样本点划入该扰动点的局部邻域；

25、邻域增广对抗样本生成模块，用于对局部邻域内的样本点添加微小扰动，生成新增对抗样本；

26、局部分布平滑指标计算模块，用于将扰动点及其对应的新增对抗样本分别输入目标语音识别模型，得到扰动点的原始预测概率分布和新增对抗样本的扰动后预测概率分布；计算原始预测概率分布与扰动后预测概率分布之间的kl散度，对kl散度取平均值构建局部平滑损失项；

27、混合对抗训练优化模块，用于构建总损失函数，所述总损失函数包含原始语音识别任务损失项与局部分布平滑指标乘以权重系数的局部平滑损失项；利用包含原始干净样本、扰动点以及新增对抗样本的混合训练集，通过最小化总损失函数对目标语音识别模型进行对抗训练，更新目标语音识别模型参数。

28、本发明还提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时，实现如上所述的一种基于局部分布平滑的语音识别对抗样本防御方法。

29、本发明还提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序使计算机执行如上所述的一种基于局部分布平滑的语音识别对抗样本防御方法。

30、与现有技术相比，本发明的有益效果是：

31、本发明通过对扰动点局部邻域进行分布平滑约束，并结合混合对抗训练策略，本发明能够有效降低对抗样本带来的识别错误率，经本方法训练后的语音识别模型均能保持较高的识别准确率，字错误率相比传统对抗训练方法显著下降，模型鲁棒性大幅增强。

32、本发明不仅适用于单一攻击（如白盒或黑盒攻击），也能同时防御多种攻击方法的组合攻击，在不同攻击方式（包括cw、fgsm、pgd、atn、gage等）下均表现出稳定的防御性能，且在多重攻击联合作用时，识别准确率的下降幅度远小于现有方法，展现出优异的泛化能力。

33、经本发明的对抗训练后，模型在面对各类对抗样本时，攻击者的成功率被大幅压制，模型输出与原始输入的失真程度显著下降，在保持正常功能的前提下，具有更强的抗干扰能力，有效缓解了对抗扰动对决策边界的破坏。

34、本发明仅对筛选出的扰动点构建局部邻域并施加平滑约束，无需对全数据集进行大量扰动计算，显著降低了对抗训练的计算开销，能够有效防止模型过拟合，确保训练收敛稳定，最终模型可高效部署于实际语音识别系统中。