一种基于自适应注意力机制和渐进式学习的单声道语音增强方法与流程

本发明属于语音增强技术领域，具体提供一种基于自适应注意力机制和渐进式学习的单声道语音增强方法。

背景技术：

语音增强旨在通过分离语音和噪声成分来提高语音信号的可懂度和清晰度，对自动语音识别技术、助听器、移动设备等产业产生巨大影响，从而受到了极大的关注；近些年得益于深度学习的进步，业界内有关语音增强的研究显著增加，大量基于深度学习的方法实现了干净语音与噪声有效分离。

多层的深度神经网络(dnn)被用于从带噪对数功率谱到干净语音的非线性映射来对语音进行增强，证明了深度神经网络在语音增强任务上的有效性；与基于dnn的模型相比，卷积神经网络(cnn)由于其参数共享机制在参数更少的情况下获得了很好的性能。cnn在语音增强中有多种用处，包括使用冗余卷积编解码器模型来映射干净语音信号及使用基于cnn的模型来估算干净语音的复数谱图；进一步的，cnn和递归神经网络(rnn)的联合使用可以充分利用cnn的特征提取能力和rnn的时间建模能力；另外，有关学者还提出了带有门控和残差机制的扩张卷积模型以提高泛化能力。

感受野是决定卷积神经网络某一层中每个单元的值的输入区域，会极大地影响cnn模型的性能，使用不同尺寸的感受野可以从不同特征提取维度进行特征提取；在感受野较小的情况下，模型学习如何分辨噪声语音和干净语音对应区域，从而实现更准确的语音分离，而大的感受野使模型能够学习干净语音信号边缘的信息。然而，上述基于cnn的语音增强模型均采用固定感受野，固定感受野的局限性则使得模型无法适应不同环境的语音信号，导致语音增强的性能下降，即模型泛化能力差。

技术实现要素：

本发明的目的在于针对现有基于cnn的语音增强模型由于一般卷积神经网络的感受野固定的特性而导致的泛化能力差的问题，提出一种基于自适应注意力机制和渐进式学习的单声道语音增强方法；该方法基于图像恢复领域中的注意力机制构建得到基于注意力的自适应卷积模块(aacb)，使之能够根据输入特征图的特征信息自适应调节模块的感受野，进而实现语音信号特征的组适应提取；进一步基于自适应卷积模块(aacb)构建单声道语音增强模型与渐进式学习模型，实现噪声环境下的语音增强。

为实现上述目的，本发明采用的技术方案为：

一种基于自适应注意力机制和渐进式学习的单声道语音增强方法，包括以下步骤：

步骤1：对原始语音信号进行短时傅立叶变换得到原始语谱图；

步骤2：将原始语谱图输入单声道语音增强模型，由单声道语音增强模型输出第一阶段特征图；

步骤3：将原始语谱图与第一阶段特征图进行融合得到混合特征图；

步骤4：将混合特征图输入单声道语音增强模型，由单声道语音增强模型输出第二阶段特征图；

步骤5：对第二阶段特征图进行反短时傅里叶变换得到增强语音信号。

进一步的，所述步骤3的具体过程为：

步骤3-1：将原始语谱图与第一阶段特征图进行拼接，得到拼接特征图；

步骤3-2：将拼接特征图输入卷积记忆门控单元(convgru)，由卷积记忆门控单元输出混合特征图。

进一步的，所述单声道语音增强模型由语音特征编码器、堆叠线性门控单元和语音特征解码器串联构成；

所述语音特征编码器由4个基于注意力的自适应卷积模块(attention-basedadaptiveconvolutionblock，aacb)串联构成，依次为第一至第四自适应卷积模块；其中，第一自适应卷积模块的输入通道数为4、输出通道数为4，第二至第四自适应卷积模块的输出通道数依次为8、16、32；

所述语音特征解码器由4个基于注意力的自适应卷积模块(attention-basedadaptiveconvolutionblock，aacb)串联构成，依次为第五至第八自适应卷积模块；其中，第五自适应卷积模块的输入通道数为32、输出通道数为16，第六至第八自适应卷积模块的输出通道数依次为8、4、1；

所述堆叠线性门控单元由多个个线性门控单元(glu)串联构成。

更进一步的，所述基于注意力的自适应卷积模块包括：全局平均池化层、k个操作层、卷积核大小为(1,1)的二维卷积层与注意力机制模块，其中，第一操作层为平均池化层，第二至第k操作层均为二维卷积层、且卷积核大小依次递增；

输入特征图同时输入全局平均池化层与k个操作层，k个操作层分别输出特征图：{h¹,h²,...,h^k}；全局平均池化层输出平均信息z＝{z1,z2,...,zq}：

其中，q为输入通道索引、q＝1,2,...,q、q为基于注意力的自适应卷积模块的输入通道数，t表示输入特征图的帧长，f表示输入特征图的频率，xi,j,q表示特征值；

所述注意力机制模块计算每个操作层的注意力权重并归一化：

α＝w2·σ(w1·z)，α＝{α1,α2,...,αk}

其中，分别表示注意力机制中待训练的权重矩阵，αk表示第k个操作层的注意力权重、k＝1,2,...,k，cr为预设超参数，σ(·)表示sigmoid激活函数；

将每个操作层输出的特征图与注意力权重相乘后进行拼接，得到特征图h：

将特征图h输入到卷积核大小为(1,1)的二维卷积中压缩特征图中的通道数，压缩后与输入特征图做残差连接后作为基于注意力的自适应卷积模块的输出。

本发明的有益效果在于：

本发明提供一种基于自适应注意力机制和渐进式学习的单声道语音增强方法，具有如下优点：

1)本发明根据注意力机制构建得到自适应卷积模块(aacb)，每个自适应卷积模块中并行构建多种感受野(卷积核的大小)的卷积层，并根据输入特性图(语谱图)的特征信息为每个卷积层提取的特征分配权重，最后经过加权拼接即实现自适应卷积模块的感受野的自适应调节，有效克服传统卷积模块固定感受野带来的特征提取的局限性问题；

2)本发明基于所述自适应卷积模块构建得到对称式的语音特征编码器与解码器，进而构建语音增强模型，同时，基于语音增强模型引入渐进式学习框架，实现语音增强模型的复用，大大减小整个模型的复杂度，有效控制整个模型的参数数量；

综上，本发明提供一种基于自适应注意力机制和渐进式学习的单声道语音增强方法，能够适应不同环境下的语音特征提取，使模型能够适应不同噪声的声学特征，显著提升语音增强的泛化性和鲁棒性。

附图说明

图1为本发明基于自适应注意力和渐进式学习的单声道语音增强模型的网络结构示意图。

图2为本发明中基于注意力的自适应卷积模块的网络结构示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细描述，以便于本领域技术人员理解本发明，但以下叙述不能用于限制本发明的范围，一切利用本发明构思的发明创造均在保护之列。

本实施例提供一种基于自适应注意力机制和渐进式学习的单声道语音增强方法，主要用于噪声环境下的语音增强问题；

首先，基于自适应注意力机制构建基于注意力的自适应卷积模块(attention-basedadaptiveconvolutionblock，aacb)；

传统的cnn体系结构固定了每一层的感受野，从而在不同的声学环境中导致了次优的结果；因此，本发明提出了一种基于注意力的自适应卷积模块，其灵感来自于图像恢复领域中；本发明并行构建多种感受野(卷积核的大小)的卷积模块，利用注意力机制自适应调整基于注意力的自适应卷积模块感受野、以适应不同环境下的语音特征提取；

本实施例中，基于注意力的自适应卷积模块如图2所示，具体包括：全局平均池化层、6个操作层、(1,1)的二维卷积层与注意力机制模块，其中，所述第1至第6操作层依次为：3×3的平均池化层、(3,3)的二维卷积层、(5,5)的二维卷积层、(7,7)的二维卷积层、(9,9)的二维卷积层、(11,11)的二维卷积层；

输入特征图同时输入全局平均池化层与6个操作层，6个操作层分别得到来自不同感受野的特征图：{h¹,h²,h³,h⁴,h⁵,h⁶}；全局平均池化层计算得到每一个输入通道的平均信息zq：

其中，q为通道索引、q＝1,2,...,q、q为基于注意力的自适应卷积模块的输入通道数，t表示输入特征图的帧长，f表示输入特征图的频率，xi,j,q表示特征值；

全局平均池化层输出平均信息z＝{z1,z2,...,zq}输入到注意力机制模块，由注意力机制模块获取每个操作层的注意力权重：

α＝w2·σ(w1·z)，α＝{α1,α2,...,αk,...,αk}

其中，分别表示注意力机制中待训练的两个权重矩阵，k为操作层索引、k＝1,2,...,k、k表示操作层的数量，αk表示第k个操作层的注意力权重，cr为预设超参数、本实施例中设置为k/2，σ(·)表示sigmoid激活函数；

并将得到的各个操作层对应的注意力权重输入到softmax激活函数中进行归一化：

本实施例中，6个操作层输出的特征图{h¹,h²,h³,h⁴,h⁵,h⁶}与注意力权重相乘后进行拼接，得到特征图h：

特征图h输入到(1,1)的二维卷积中压缩特征图中的通道数，最后将特征图h与输入做残差连接后作为基于注意力的自适应卷积模块的输出，特征图h与输入做残差能够保证不会出现梯度消失的问题；

其中，(11，11)、(9，9)、(7，7)、(5，5)、(3，3)及(1，1)分别表示二维卷积层的卷积核大小；3×3表示平均池化层的大小；

其次，基于上述基于注意力的自适应卷积模块(aacb)构建语音增强模型：

采用对称式编码解码器结构，具体包括：语音特征编码器、堆叠线性门控单元和语音特征解码器；进一步的：

所述语音特征编码器由4个基于注意力的自适应卷积模块(attention-basedadaptiveconvolutionblock，aacb)串联构成，依次为第一至第四基于注意力的自适应卷积模块，其中，第一基于注意力的自适应卷积模块的输入通道数为4、输出通道数为4，第二至第四基于注意力的自适应卷积模块的输出通道数依次为8、16、32；

所述语音特征解码器由4个基于注意力的自适应卷积模块(attention-basedadaptiveconvolutionblock，aacb)串联构成，依次为第五至第八基于注意力的自适应卷积模块，其中，第五基于注意力的自适应卷积模块的输入通道数为32、输出通道数为16，第六至第八基于注意力的自适应卷积模块的输出通道数依次为8、4、1；

所述堆叠线性门控单元由6个线性门控单元(glu)依次串联构成，每个glu通过门控单元来控制信息流；

最后，基于上述语音增强模型构建渐进式学习模型，如图1所示；

针对深层神经网络存在的一个普遍问题：随着网络层数的增加、模型的性能会因参数增加和梯度消失而受到影响；本发明采用渐进式学习机制，并将其扩展以构建基于时频域的两阶段渐进式学习模型；其中，渐进式学习的第一阶段不直接重建增强语音信号，而是将其与原始输入语音信号的语谱图共同作为第二阶段的输入，采用第二阶段的输出特征图重建增强语音信号；本发明等效于具有共享参数的两阶段模型，通过渐进式学习构建了具有较低空间复杂度的轻量级渐进式学习模型；

进一步的，每阶段学习使用相同的网络结构来共享参数，每阶段学习都输入通过短时傅里叶变换得到原始输入语音信号的语谱图：

fspec＝s(x)

其中，fspec表示原始输入语音信号的语谱图，s(·)表示短时傅里叶变换，x表示原始输入语音信号；

采用卷积记忆门控单元(convgru)作为记忆单元进行选择性记忆，将第一阶段的输出的特征图和原始输入语音信号的语谱图进行融合，得到混合特征图：

f′＝fconvgru(f)

其中，表示第一阶段的输出特征图，concat(·)表示拼接操作；

将混合特征图f′输入语音增强模型，由语音增强模型输出第二阶段特征图对第二阶段的输出特征图进行反短时傅里叶变换得到重建增强语音信号：

其中，表示反短时傅里叶变换。

本实施例中，所述渐进式学习模型的训练集选择timit数据集中3696个语句，干净语音采样率均为8khz、噪声均来自noisex92数据集(包括六种不同环境噪声)；模型一共训练了60轮，设置学习率为0.0002，采用平均绝对误差函数(mae)作为损失函数，使用adam优化器对渐进式学习模型进行训练。

采用timit数据集中192个语句(干净语音采样率均为8khz、噪声均来自noisex92数据集)作为测试集，对上述训练完成的渐进式学习模型进行测试；对语音使用短时傅立叶变换(stft)，使用窗长度为32ms、帧重叠为16ms的汉宁窗将语音信号转换为语谱图，并分别在-10db、-5db、0db、5db、10db信噪比下进行测试，评估指标选用短时客观清晰度(stoi)和语音质量感知评估(pesq)。

以文献“ketan,jitongchen,anddeliangwang,gatedresidualnetworkswithdilatedconvolutionsformonauralspeechenhancement,ieee/acmtransactionsonaudio,speech,andlanguageprocessing,vol.27,no.1,pp.189–198,2018.”中提到的模型grn、文献“andongli,chengshizheng,linjuancheng,renhuapeng,andxiaodongli,atime-domainmonauralspeechenhancementwithrecursivelearning,arxiv,pp.arxiv–2003,2020.”中提到的模型rtnet、文献“tianlan,yilanlyu,wenzhengye,guoqianghui,zenglinxu,andqiaoliu,combiningmulti-perspectiveattentionmechanismwithconvolutionalnetworksformonauralspeechenhancement,ieeeaccess,vol.8,pp.78979–78991,2020.”中提到的模型arcn为对比例，将本发明提出的基于自适应注意力机制和渐进式学习的单声道语音增强方法apnet与对比例的stoi和pesq指标在不同信噪比条件下进行对比，如下表所示：

由表可见，本发明提出的基于自适应注意力机制和渐进式学习的单声道语音增强方法在stoi和pesq指标上均好于所有对比例，其中stoi平均得分上比最优对比例高出1.63，pesq平均得分上比最优对比例高出0.13。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。