一种基于联合感知损失的注意力生成对抗语音增强方法

1.本发明涉及语音信号处理的语音增强技术领域，尤其涉及了一种基于联合感知损失的注意力生成对抗语音增强方法。


背景技术：

2.语音是人类最重要的交流工具，是人们所使用的最古老、最普遍的通信方式，它有着自然方便、高效准确的优点，但是在现实生活中语音往往会被各种各样的噪声影响而造成失真，这些噪声会不同程度地影响语音质量，从而导致语音可懂度下降。
3.为了解决这个问题，许多基于信号处理的方法被提出，如谱减法、子空间法、维纳滤波法等。近几年，研究界见证了传统信号处理方法到数据驱动增强方法的转变，尤其是基于深度学习的方法。深度学习中典型的神经网络模型有递归神经网络（rnn）、长短期记忆网络（lstm）、卷积神经网络（cnn）、全卷积网络（fcn）、卷积递归神经网络（crnn）、生成对抗网络（gan）。与传统的基于信号处理的语音增强方法相比，深度学习方法的语音增强性能有了显著的提高。
4.深度学习语音增强算法的性能主要和四个因素密切相关。即：输入特征，训练目标，网络结构，损失函数。要部署特定任务的语音增强模型，最直观的方法是采用与最终目标相关的损失函数，而当前很多基于生成对抗网络的语音增强模型，其指导生成器生成数据的对抗性损失所用参数（频谱）与语音质量评价所用参数（stoi）不匹配，从而限制了增强模型对语音质量与语音可懂度的提升性能。
5.在语音增强领域metricgan显示出强大的能力，其被证明可以有效地优化复杂甚至不可微的语音评估指标。但仅优化单个目标度量通常会导致另一个指标处于次优状态，因而限制了metricgan语音增强的性能。


技术实现要素：

6.本发明主要在metricgan语音增强模型中使用联合感知损失函数，以改善仅优化单个目标度量通常会导致另一个指标处于次优状态这一缺点；同时，在metricgan语音增强模型的判别器模型d中使用sk-net卷积注意力模块，使模型可以根据输入信息的多个尺度自适应的调节感受野大小，以此提升判别器模型的预测能力，使其更好地指导生成器训练。
7.本发明的目的是通过以下技术方案实现。
8.一种基于联合感知损失的注意力生成对抗语音增强方法，包括以下步骤。
9.步骤1：预处理训练数据：提取语音幅度谱特征作为模型输入，提取语音幅度谱特征使用的窗函数为汉明窗，窗长为32ms，窗移为16ms，傅里叶点数为512；步骤2：构建模型并训练：构建基于联合感知损失函数的注意力生成对抗语音增强模型，设置合理的训练参数，并对其进行训练；步骤3：测试模型：预处理带噪语音测试集，利用上述训练完成的语音增强模型对其进行去噪与增强，并保存结果，完成语音增强任务。
10.本发明的模型称为amgan（attention metricgan）模型，通过训练amgan模型，可在幅度谱域完成语音增强任务，该模型可改善仅优化单个目标度量通常会导致另一个指标处于次优状态从而限制增强性能这一缺点；本发明可以在不显著增加模型参数和计算开销的情况下同时有效提升带噪语音信号的语音质量和语音可懂度。
11.进一步的，步骤2的amgan模型由两个深度神经网络模型构建，分别称为生成器模型g和判别器模型d：生成器模型g对输入带噪语音的幅度谱特征进行特征掩蔽，获得去除噪声分量后的语音幅度谱特征；判别器模型d使用cnn网络对生成器模型g生成语音的增强效果进行量化估计。为进一步提升判别器模型d预测目标度量的能力，在模型中使用sk-net卷积注意力模块，使网络可以根据输入信息的多个尺度自适应地调节感受野大小，以此提升网络模型的表达能力，更加准确预测目标度量的分数。
12.进一步的，amgan模型的生成器模型g含有两个双向lstm层，每一层有200个神经元，lstm后面接两个全连接层，它们分别有300个leakyrelu节点和257个可学习的sigmoid节点用于掩模估计，当该掩模与带噪语音幅度谱相乘时，应去除噪声分量。
13.进一步的，amgan模型的判别器模型d采用四个二维卷积层，为了提高判别器d的模型预测能力，在第四层卷积后添加一个sk-net卷积注意力模块，每一层卷积都具有15个滤波器，普通二维卷积的卷积核大小为（5，5），sk-net卷积注意力模块通过模型训练在（1，1）、（3，3）、（5，5）、（7，7）之间自适应地选择卷积核大小。为了处理可变长度输入，添加一个二维全局平均池化层，以便可以将特征固定在15个维度上。随后添加三个全连接层，它们分别有50个和10个leakyrelu节点，以及一个线性节点用于预测目标度量分数。
14.进一步的，sk-net是基于卷积核的注意力机制，它是一种可在多个不同大小卷积核之间进行选择的卷积操作。对于网络模型来说，人为设定的感受野大小不一定是最优的，而sk-net可以使网络根据输入信息的多个尺度自适应的调节感受野大小，以此提升网络模型的表达能力，作用在本发明判别器模型d中以提升判别器模型d的对目标度量的预测性能，使其更好地指导生成器训练。
15.进一步的，所述联合感知损失作用在生成器模型g中。其由两部分构成，一部分是生成对抗网络的对抗性损失，通过使用判别器d模拟pesq的行为，获得语音质量的损失；另一部分是使用stoi损失，用来代表语音可懂度的损失。所述amgan模型的判别器模型d和生成器模型g的损失函数分别为：成器模型g的损失函数分别为：成器模型g的损失函数分别为：其中代表带噪语音信号的幅度谱特征，代表干净语音信号的幅度谱特征，代表通过生成器模型g优化后的带噪语音幅度谱特征，在本发明中表示目标度量，得到的是归一化后的pesq指标分数，为了使判别器d学习预测语音信号的pesq分数，判别器d输入为成对的干净语音与带噪语音、干净语音与增强语音或干净语音与干净语音的幅度谱。
16.进一步的，虽然stoi函数的计算是复杂的，但大部分计算是可微的，因此可以将其
重写集成到模型用于直接优化stoi度量，在所述生成器g的损失函数中添加可懂度损失，可以引导生成器g重构的语音信号可懂度得到有效提升。
17.进一步的，损失函数的计算包括以下操作步骤：步骤1：移除静音段：因为在语音静音段中没有需要被理解的语音内容，所以计算前需要将其移除。
18.步骤2：短时傅里叶变换（stft）：对信号进行短时傅里叶变换，该变换所使用的窗函数为汉明窗，窗长256ms，窗移为128ms，傅里叶点数为512。
19.步骤3：1/3倍频程分析：对信号进行dft变换并将频率进行划分。该操作一共用了15个1/3倍频程，干净语音信号的短时时域包络可以表示为：其中，是得到的1/3倍频程，m是信号帧的总数，是帧的索引，是1/3倍频程的索引，n=30相当于帧长384ms。表示增强语音或带噪语音的短时时域包络。
20.步骤4：归一化和限幅：归一化过程的目的是补偿全局水平差异，限幅过程的目的是未为了确保stoi评价对于带噪信号时频单元的敏感性上升。受噪声干扰的语音经过归一化和限幅后的时间包络可以表示为。
21.步骤5：可懂度测度：中间可懂度可以定义为两个时域包络之间的相关系数，即：其中，代表l2范式，表示对应向量的样本均值。stoi是通过对所有子带和帧的中间可懂度取平均得到的，即：最后，损失函数由以下公式取得，即：进一步的，生成器模型g和判别器模型d进行交替训练，相互对抗，直到带噪语音通过生成器g重构后的语音质量和语音可懂度足够逼近理想值。
22.进一步的，所述的步骤3包括以下步骤：步骤3-1：测试数据预处理：提取测试数据的语音幅度谱特征，提取语音幅度谱特征使用的窗函数为汉明窗，窗长为32ms，窗移为16ms，傅里叶点数为512；步骤3-2：特征掩蔽：将所述测试数据的语音幅度谱特征输入训练完成的amgan算法模型，通过生成器模型g对其进行幅度谱掩蔽，去除噪声分量，输出经过掩蔽后的语音幅度谱；步骤3-3：语音重构：将所述掩蔽后的语音幅度谱与原始带噪语音的相位谱通过短时傅里叶逆变换操作，重构得到去噪后的语音。
23.进一步的，利用训练好的amgan算法模型对带噪语音信号进行处理，通过生成器模
型g生成出语音质量和可懂度指标尽可能理想的语音信号，完成对带噪语音的去噪和增强。
24.采用上述方案，本发明的有益效果包括以下几点。
25.1.本发明提供了一种基于联合感知损失的注意力生成对抗语音增强方法，利用sk-net卷积注意力模块自适应调节卷积核大小的优点，有效提升了判别器d的模型表达能力，使其能更加准确预测特定的目标度量，更好地指导生成器模型g的训练。
26.2.本发明使用一种联合感知损失函数指导amgan语音增强模型进行训练，同时优化多个语音感知度量，改善了仅优化单个目标度量通常会导致另一个指标处于次优状态的缺点，同时有效提升了语音质量和可懂度。
27.3.本发明可以在不同的噪声条件下完成语音增强，具有较强的适应能力和一定实用性。
附图说明
28.为进一步理解本发明实施的技术方案，在此对附图加以说明，此处附图构成本技术的一部分，并不构成本发明实施例的限定。
29.在附图中：图1为本发明实施例提供的一种语音增强技术路线示意图，图2为本发明判别器d的网络模型图。
具体实施方式
30.在此结合本发明实施例中的附图，对本发明实施例的目的、技术方案以及优点进行详细、完整地说明。在此所说明的实施例是对本发明的一部分实施例，并非全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.本发明实施例提供一种基于联合感知损失的注意力生成对抗语音增强方法，本发明的模型可简称为amgan（attention metricgan）模型，通过联合对抗训练，获得amgan模型完成语音增强任务，在模型参数及计算开销并没有显著增加的前提下，既能有效提升语音质量，又能解决使用判别器模型d模拟pesq函数作为生成器损失函数时，语音质量提升但语音可懂度没有得到有效提升这一问题，更加有效的实现了语音增强任务。
32.如图1所示，本发明实施例提供的一种语音增强技术路线图，其中包括以下步骤：步骤1：预处理训练数据：提取语音幅度谱特征作为模型输入，提取语音幅度谱特征使用的窗函数为汉明窗，窗长为32ms，窗移为16ms，傅里叶点数为512。
33.步骤2：构建模型并训练：构建基于联合感知损失的注意力生成对抗语音增强模型，将预处理后的语音训练集输入模型进行联合对抗训练，将训练完成的amgan模型部署到服务器中。
34.amgan模型由两个深度神经网络模型构建，分别是生成器模型g和判别器模型d。
35.生成器模型g对输入带噪语音的幅度谱特征进行特征掩蔽，去除噪声分量获得经过掩蔽后的语音幅度谱特征。
36.判别器模型d如图2所示使用cnn网络对生成器模型g生成语音的增强效果进行量化估计。为进一步提升判别器模型d预测目标度量的能力，在模型中使用sk-net卷积注意力模块，使网络可以根据输入信息的多个尺度自适应地调节感受野大小，以此提升网络模型
的表达能力，更加准确预测目标度量的分数。
37.模型构建完成后，通过联合对抗训练方式对模型进行训练，通过判别器模型d获得预测pesq的分数，通过使用stoi函数获得stoi的分数，并将上述两种分数作为联合感知损失指导生成器g的训练，直到带噪语音通过生成器g重构后得到足够理想的语音质量和可懂度。
38.amgan模型的判别器模型d和生成器模型g和的损失函数分别为：amgan模型的判别器模型d和生成器模型g和的损失函数分别为：amgan模型的判别器模型d和生成器模型g和的损失函数分别为：利用联合感知损失的注意力生成对抗语音增强模型，以优化训练数据的pesq和stoi度量为训练目标，使重构语音信号尽可能逼近干净语音信号，有效解决了一些生成对抗网络语音增强模型不能同时有效提升语音质量和可懂度的问题。
39.步骤3：测试模型：将带噪语音测试集的语音数据进行预处理，利用训练完成的amgan模型对其去噪，并重构获得去噪后的语音信号，完成语音增强任务。
40.步骤3-1：预处理测试数据：对测试集的带噪语音信号的预处理方式与训练集预处理方式相同。提取语音幅度谱特征作为模型输入，提取语音幅度谱特征使用的窗函数为汉明窗，窗长为32ms，窗移为16ms，傅里叶点数为512；步骤3-2：特征掩蔽：将所述测试数据的语音幅度谱特征输入训练完成的amgan算法模型，通过生成器g对其进行幅度谱掩蔽，去除噪声分量，输出经过掩蔽后的语音幅度谱；步骤3-3：语音重构：将所述掩蔽后的语音幅度谱与原始带噪语音的相位谱通过短时傅里叶逆变换操作，重构得到去噪后的语音并保存。
41.步骤4：评估模型：采用多种评价指标对增强后语音信号的质量与可懂度进行评估。
42.对保存的去噪语音进行评估，以此来测评模型性能。评价指标包括：stoi、pesq、csig、cbak以及covl。其中stoi为短时可懂度，pesq为感知语音质量评估，csig为针对语音信号失真的平均意见得分，cbak为测评背景噪声干扰性的平均意见得分，covl为总体增强效果的平均意见得分。通过这些评价指标，可准确有效地对模型进行评估。
43.本发明的一个实施例，评测模型采用了公开数据集voicebank-deman。
44.测试集中噪声类型是五种与训练集不同的环境噪声，模拟本模型应对未知环境噪声时，所获得的增强效果。同时证明本模型的有效性和可行性，实施例结果如表1所示。
45.表1voicebank-deman测试集的不同指标得分情况指标pesqcsigcbakcovlstoi带噪测试集得分1.973.352.442.630.916metricgan 方法得分3.154.143.163.640.927本实施例方法得分3.254.083.123.660.937为了证明本发明有效性和可行性，本实施例还与metricgan 语音增强模型方法的结果进行比较。由表1发现，本实施例的pesq得分相比于metricgan 方法提升了0.10，stoi相对提升了0.10，说明本实施例可有效抑制噪声，改善语音质量与可懂度。
46.以上所述的具体实施方式对本发明的目的、技术路线和有益效果进行了进一步说明。并且仅为本发明具体实施方式以及较佳实施例，其不用以限制本发明，凡在本发明精神和原则之内，所做的任何修改、改进等，均应包含在本发明的保护范围之内。