一种语音增强方法、装置、设备及存储介质与流程

1.本发明实施例涉及语音处理技术领域，尤其涉及一种语音增强方法、装置、设备及存储介质。


背景技术：

2.语音增强本质上是语音去噪，即从带噪声的语音信号中提取尽可能纯净的原始语音。传统的语音增强方法是对纯净语音和噪声语音各自的特性和彼此之间的关系提出一定的假设，这种假设前提限制了语音增强的去噪效果，适用性较差。基于深度学习的语音增强方法无需前提假设，借助神经网络结构，直接学习纯净语音和噪声语音之前的非线性映射关系，噪声抑制效果显著。
3.大多数基于深度学习的语音增强方法是利用短时傅里叶变换将带噪语音变换到频域上进行语音增强，最后再利用逆短时傅里叶变换转到时域进行波形合成增强语音。现有的语音增强模型更适用于对频域的带噪语音进行语音增强，一方面，频域的语音增强忽略了语音信号的相位信息，会降低语音增强效果。另一方面，现有方法涉及到时频变换过程，增加了语音增强过程的计算时间，以及时频变换过程中的分帧加窗等操作也会影响到最终的语音增强的效果。


技术实现要素：

4.本发明实施例提供了一种语音增强方法、装置、设备及存储介质，以缩短语音增强过程的计算时间，提高语音增强效果。
5.第一方面，本发明实施例提供了一种语音增强方法，该方法包括：
6.将待处理的带噪语音信号输入到目标语音增强模型中；其中，所述目标语音增强模型包含编码网络、降噪网络和解码网络；
7.通过所述编码网络，对所述带噪语音信号执行编码操作，得到输出的编码语音特征；
8.将所述编码语音特征输入到所述降噪网络中，得到输出的降噪语音特征；
9.基于所述编码语音特征、降噪语音特征和所述解码网络，确定与所述带噪语音信号对应的增强语音信号。
10.第二方面，本发明实施例还提供了一种语音增强装置，该装置包括：
11.带噪语音信号输入模块，用于将待处理的带噪语音信号输入到目标语音增强模型中；其中，所述目标语音增强模型中包含编码网络、降噪网络和解码网络；
12.语音编码模块，用于通过所述编码网络，对所述带噪语音信号执行编码操作，得到输出的编码语音特征；
13.语音降噪模块，用于将所述编码语音特征输入到所述降噪网络中，得到输出的降噪语音特征；
14.语音增强模块，用于基于所述编码语音特征、降噪语音特征和所述解码网络，确定
与所述带噪语音信号对应的增强语音信号。
15.第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：
16.一个或多个处理器；
17.存储器，用于存储一个或多个程序；
18.当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述所涉及的任一所述的语音增强方法。
19.第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行上述所涉及的任一所述的语音增强方法。
20.本发明实施例通过直接将带噪语音信号输入到目标语音增强模型中，目标语音增强模型通过编码网络、降噪网络和解码网络对时域的带噪语音信号进行增强处理，解决了频域语音增强方法需要进行时频转换的问题，既缩短了语音增强过程的计算时间，又尽可能的保留了语音信号的相位信息，从而提高了语音增强的效果。
附图说明
21.图1是本发明实施例一提供的一种语音增强方法的流程图；
22.图2a是本发明实施例一提供的一种编码网络的网络结构的示意图；
23.图2b是本发明实施例一提供的一种局部强化变压模块的网络结构的示意图；
24.图2c是本发明实施例一提供的一种密集块模块的网络结构的示意图；
25.图2d是本发明实施例一提供的一种降噪网络的网络结构的示意图；
26.图2e是本发明实施例一提供的一种解码网络的网络结构的示意图；
27.图3是本发明实施例二提供的一种语音增强方法的流程图；
28.图4是本发明实施例三提供的一种语音增强装置的示意图；
29.图5是本发明实施例四提供的一种电子设备的结构示意图。
具体实施方式
30.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
31.实施例一
32.图1是本发明实施例一提供的一种语音增强方法的流程图，本实施例可适用于对语音信号进行增强处理的情况，该方法可以由语音增强装置来执行，该装置可采用软件和/或硬件的方式实现，该装置可以配置于终端设备中，示例性的，终端设备可以是移动终端、笔记本电脑、台式机、服务器和平板电脑等智能终端。具体包括如下步骤：
33.s110、将待处理的带噪语音信号输入到目标语音增强模型中。
34.其中，语音信号是一种机械波信号，是机械波的波长和强度变化的信息载体。在本实施例中，带噪语音信号中包含纯净语音信号和噪声信号，其中，噪声信号是对纯净语音信号起干扰作用的随机信号。示例性的，噪声信号的类型包括但不限于白噪声、加性噪声、高斯噪声和锐利噪声等。在本实施例中，带噪语音信号可以包含一种类型的噪声信号，也可以
包含多种类型的噪声信号。此处对带噪语音信号中噪声信号的类型不作限定。
35.在本实施例中，目标语音增强模型包含编码网络、降噪网络和解码网络。
36.s120、通过编码网络，对带噪语音信号执行编码操作，得到输出的编码语音特征。
37.在一个实施例中，可选的，编码网络包括维度扩充模块、一维卷积模块和激活函数；维度扩充模块，用于对带噪语音信号执行维度扩充处理，输出扩充语音信号；一维卷积模块，用于对维度扩充模块输出的扩充语音信号执行卷积操作，输出编码卷积语音特征。
38.图2a是本发明实施例一提供的一种编码网络的网络结构的示意图。具体的，带噪语音信号用x
b
×
l
表示，其中，b表示一次输入到目标语音增强模型中样本数量，l表示样本信号长度，带噪语音信号的信号长度满足b
×
l。具体的，带噪语音信号的张量用[b,l]表示。图2a中的unsqueeze表示维度扩充模块，具体的，维度扩充模块对带噪语音信号进行维度扩充，输出的扩充语音信号x'的张量大小为[b,1,l]。其中，维度扩充模块的公式可表示为：
[0039]
x'＝unsqueeze(x)
[0040]
其中，一维卷积模块对维度扩充模块输出的扩充语音信号x'执行一维卷积操作，输出编码卷积语音信号特征x”，示例性的，一维卷积模块的输入通道数为1，输出通道数为256，卷积核大小为2，卷积核的移动步长为1。相应的，编码卷积语音信号特征x”的张量大小为[b,256,l
‑
1]。其中，一维卷积模块的公式可表示为：
[0041]
x”＝conv1d(x')
[0042]
其中，将编码卷积语音特征x”经过激活函数，示例性的，激活函数可以是relu激活函数，得到编码语音特征e，e的张量大小为[b,256,l
‑
1]。公式表示为：
[0043]
e＝relu(x”)
[0044]
s130、将编码语音特征输入到降噪网络中，得到输出的降噪语音特征。
[0045]
在一个实施例中，可选的，降噪网络包括卷积模块、双阶变压模块、密集块模块和反卷积模块；卷积模块用于基于编码网络输出的编码语音特征，输出卷积语音特征；双阶变压模块用于基于注意力机制对卷积模块输出的卷积语音特征进行特征提取，输出变压语音特征；密集块模块用于基于双阶变压模块输出的变压语音特征，输出密集语音特征；反卷积模块用于基于卷积模块输出的卷积语音特征和密集块输出的密集语音特征，输出降噪语音特征。
[0046]
在一个实施例中，可选的，卷积模块包括预处理模块、第一卷积模块和第二卷积模块；预处理模块用于基于编码网络输出的编码语音特征，输出预处理语音特征；第一卷积模块用于对预处理模块输出的预处理语音特征进行卷积处理，输出第一卷积语音特征；第二卷积模块用于对第一卷积模块输出的第一卷积语音特征进行卷积处理，输出卷积语音特征。
[0047]
在一个实施例中，可选的，预处理模块包括组归一化模块、一维卷积模块和分块模块；组归一化模块用于基于编码网络输出的编码语音特征，输出组归一化语音特征；一维卷积模块用于基于组归一化模块输出的组归一化语音特征，输出预处理卷积特征；分块模块用于基于一维卷积模块输出的预处理卷积特征，输出预处理语音特征。
[0048]
其中，编码语音特征e经过组归一化模块，得到组归一化语音特征s_gn，其张量大小为[b,256,l
‑
1]。其中，组归一化模块的公式可表示为：
[0049]
s_gn＝groupnorm(e)
[0050]
其中，组归一化语音特征s_gn经过一维卷积模块，得到预处理卷积特征s_gn'，示例性的，一维卷积模块的输入通道数为256，输出通道数为64，卷积核大小为2，卷积核的移动步长为1。相应的，预处理卷积特征s_gn'的张量大小为[b,64,l
‑
1]。其中，一维卷积模块的公式可表示为：
[0051]
s_gn'＝conv1d(s_gn)
[0052]
其中，预处理卷积特征s_gn'经过分块模块，得到预处理语音特征s_seg。示例性的，分块模块将长度为l
‑
1的预处理卷积特征s_gn'分成s块尺寸大小为k的序列特征，如果不能分成整数块，则在预处理卷积特征s_gn'的首尾执行补零操作。相应的，预处理语音特征s_seg的张量大小为[b,64,k,s]。
[0053]
其中，预处理语音特征s_seg经过第一卷积模块，得到第一卷积语音特征s_conv2d_1。具体的，第一卷积模块对预处理语音特征s_seg依次进行二维卷积处理、批归一化处理和激活函数处理，输出第一卷积语音特征s_conv2d_1。示例性的，第一卷积模块的输入通道数为64，输出通道数为96，卷积核大小为2，卷积核的移动步长为1，padding＝1，padding表示在预处理语音特征s_seg的张量四周添加一个单位大小的数值为0的元素，目的是为了防止输出的第一卷积语音特征s_conv2d_1形状太小。相应的，第一卷积语音特征s_conv2d_1的张量大小为[b,96,k 1,s 1]。其中，第一卷积模块的公式可表示为：
[0054]
s_conv2d_1＝relu(batchnorm2d(conv2d(s_seg)))
[0055]
其中，第一卷积语音特征s_conv2d_1经过第二卷积模块，得到卷积语音特征s_conv2d_2。具体的，第二卷积模块对第一卷积语音特征s_conv2d_1依次进行二维卷积处理、批归一化处理和激活函数处理，输出卷积语音特征s_conv2d_2。示例性的，第二卷积模块的输入通道数为96，输出通道数为128，卷积核大小为2，卷积核的移动步长为1，padding＝1。相应的，卷积语音特征s_conv2d_2的张量大小为[b,128,k 2,s 2]。公式表示为：
[0056]
s_conv2d_2＝relu(batchnorm2d(conv2d(s_conv2d_1)))
[0057]
在一个实施例中，可选的，双阶变压模块包括局部变压模块和全局变压模块；局部变压模块用于基于卷积模块输出的卷积语音特征，输出局部语音特征；全局变压模块用于基于局部变压模块输出的局部语音特征，输出变压语音特征。在一个实施例中，可选的，局部变压模块包括第一局部维度转置模块、局部强化变压模块、第二局部维度转置模块和局部组归一化模块；全局变压模块包括第一全局维度转置模块、全局强化变压模块、第二全局维度转置模块和全局组归一化模块。
[0058]
以局部变压模块为例。其中，卷积语音特征s_conv2d_2经过局部变压模块中的第一局部维度转置模块，得到第一局部转置语音特征local_input，其张量大小为[b,k 2,s 2,128]。其中，第一局部维度转置模块的公式可表示为：
[0059]
local_input＝permute(s_conv2d_2)
[0060]
其中，第一局部转置语音特征local_input经过局部强化变压模块，得到局部强化语音特征local_ln2，其张量大小为[b,k 2,s 2,128]。
[0061]
图2b是本发明实施例一提供的一种局部强化变压模块的网络结构的示意图。具体的，局部强化变压模块包括多头注意力模块(multi
‑
head attention)、第一层归一化模块(layer norm)、前馈网络模块(feed
‑
forward network)和第二层归一化模块。其中，第一局部转置语音特征local_input输入到局部强化变压模块中的多头注意力模块中，得到多头
注意力语音特征mul_head，其张量大小为[b,k 2,s 2,128]。其中，多头注意力模块的公式可表示为：
[0062]
mul_head＝multiheadattention(local_input)
[0063]
这样设置的好处在于，多头注意力可以从不同维度进行计算，从而防止目标语音增强模型过拟合。
[0064]
其中，多头注意力语音特征mul_head通过跳跃连接与第一局部转置语音特征local_input相加输入到第一层归一化模块中，得到第一层归一化语音特征local_ln，其张量大小为[b,k 2,s 2,128]。其中，第一层归一化模块的公式可表示为：
[0065]
local_ln＝layernorm(local_input mul_head)
[0066]
这样设置的好处在于，第一层归一化模块有利于保证数据特征分布的稳定性，加速模型的收敛速度。
[0067]
其中，第一层归一化语音特征local_ln经过前馈网络模块，得到前馈语音特征local_ffn，其张量大小为[b,k 2,s 2,128]。具体的，前馈网络模块包括门控循环单元(gated recurretn unit，gru)、激活函数(relu)和线性层(linear)。其中，门控循环单元可以解决短时记忆的问题，调节信息流。激活函数可以增强模型的表达能力。线性层起到将学习到的“分布式特征表示”映射到样本标记空间。
[0068]
其中，前馈网络模块的公式可表示为：
[0069]
local_ffn＝linear(relu(gru(local_ln)))
[0070]
其中，前馈语音特征local_ffn通过跳跃连接与第一层归一化语音特征local_ln相加输入到第二层归一化模块中，得到局部强化变压语音特征local_ln2，其张量大小为[b,k 2,s 2,128]。其中，第二层归一化模块的公式可表示为：
[0071]
local_ln2＝layernorm(local_ffn local_ln)
[0072]
这样设置的好处在于，第二层归一化模块有利于保证数据特征分布的稳定性，加速模型的收敛速度。
[0073]
其中，局部强化变压语音特征local_ln2经过第二局部维度转置模块，得到第二局部转置语音特征local_ln2'，其张量大小为[b,128,k 2,s 2]。公式表示为：
[0074]
local_ln2'＝permute(local_ln2)
[0075]
其中，第二局部转置语音特征local_ln2'经过局部组归一化模块，得到局部组语音特征，并将局部组语音特征和卷积语音特征s_conv2d_2通过跳跃连接相加，得到局部变压模块输出的局部语音特征local_out，其张量大小为[b,128,k 2,s 2]。其中，上述步骤的公式可表示为：
[0076]
local_out＝groupnorm(local_ln2) s_conv2d_2
[0077]
其中，示例性的，局部组归一化模块的输入数据的张量大小为[b,c,h,w]，局部组归一化模块是基于通道数c进行group分组，对每个group内的数据作归一化处理，算(c/group)*h*w的均值。
[0078]
这样设置的好处在于，局部组归一化模块有利于保证数据特征分布的稳定性，加速模型的收敛速度。
[0079]
其中，具体的，全局变压模块与局部变压模块的实施方式类似，在此处不再赘述。最终双阶变压模块输出变压语音特征global_out，其张量大小为[b,128,k 2,s 2]。
[0080]
在一个实施例中，可选的，密集块模块包括至少两个二维卷积模块，第一个二维卷积模块基于双阶变压模块输出的变压语音特征，输出第一子密集语音特征；第n个二维卷积模块基于双阶变压模块输出的变压语音特征以及前n
‑
1个二维卷积模块分别输出的子密集语音特征，输出密集语音特征；其中，n表示密集块模块包含的二维卷积模块的数量。
[0081]
此处对密集块模块中二维卷积模块的数量不作限定。在一个实施例中，可选的，密集块模块中二维卷积模块的数量为5个。其中，每个二维卷积模块分别对输入数据依次执行二维卷积处理、组归一化处理和激活函数处理。
[0082]
图2c是本发明实施例一提供的一种密集块模块的网络结构的示意图。具体的，变压语音特征global_out经过密集块模块中的第一个二维卷积模块，得到第一子密集语音特征dense_out1。其中，第一个二维卷积模块的公式可表示为：
[0083]
dense_out1＝prelu(groupnorm(conv2d(global_out)))
[0084]
其中，第i个二维卷积模块基于变压语音特征local_out和前i
‑
1个二维卷积模块分别输出的子密集语音特征，输出第i子密集语音特征dense_out
i
。其中，第i个二维卷积模块的公式可表示为：
[0085]
dense_out
i
＝prelu(groupnorm(conv2d(dense_out
i
‑1 ... global_out)))
[0086]
其中，第n个二维卷积模块基于变压语音特征local_out和前n
‑
1个二维卷积模块分别输出的子密集语音特征，输出密集语音特征dense_out，其张量大小为[b,128,k 2,s 2]。公式表示为：
[0087]
dense_out＝prelu(groupnorm(conv2d(dense_out
n
‑1 ... global_out)))
[0088]
其中，具体的，第i个二维卷积模块的输入通道数in_channels＝128*(i)，输出通道数为128，卷积核大小为(2,3)，卷积核之间的空格数为(2
i
‑1,1)。
[0089]
这样设置的好处在于，一方面，密集块模块可以避免梯度消失的问题，另一方面，采用密集块模块可以提高目标语音增强模型的参数利用率。
[0090]
在一个实施例中，可选的，反卷积模块包括第一合并模块、第一反卷积模块、第二合并模块和第二反卷积模块；第一合并模块用于对第二卷积模块输出的卷积语音特征和密集块模块输出的密集语音特征执行合并操作并输出给第一反卷积模块；第二合并模块用于对第一卷积模块输出的第一卷积语音特征和第一反卷积模块输出的第一反卷积语音特征执行合并操作并输出给第二反卷积模块。
[0091]
其中，具体的，第一合并模块将卷积语音特征s_conv2d_2和密集语音特征dense_out的第二个维度进行合并，得到第一合并语音特征cat1，其张量大小为[b,256,k 2,s 2]。其中，第一合并模块的公式可表示为：
[0092]
cat1＝cat((dense_out,s_conv2d_2)，1)
[0093]
其中，第一合并语音特征cat1经过第一反卷积模块，得到第一反卷积语音特征s_convt_1。具体的，第一反卷积模块对第一合并语音特征cat1依次执行二维反卷积处理、批归一化处理和激活函数处理。示例性的，第一反卷积模块的输入通道数为256，输出通道数为96，卷积核大小为2，padding＝1。相应的，第一反卷积语音特征s_convt_1的张量大小为[b,96,k 1,s 1]。其中，第一反卷积模块的公式可表示为：
[0094]
s_convt_1＝relu(batchnorm2d(convtranspose2d(cat1)))
[0095]
其中，第二合并模块将第一卷积语音特征s_conv2d_1和第一反卷积语音特征s_
convt_1的第二个维度进行合并，得到第二合并语音特征cat2，其张量大小为[b,192,k 1,s 1]。其中，第二合并模块的公式可表示为：
[0096]
cat2＝cat((s_conv2d_1,s_convt_1)，1)
[0097]
其中，第二合并语音特征cat2经过第二反卷积模块，得到第二反卷积语音特征s_convt_2。具体的，第二反卷积模块对第二合并语音特征cat2依次执行二维反卷积处理、批归一化处理和激活函数处理。示例性的，第二反卷积模块的输入通道数为192，输出通道数为34，卷积核大小为2，padding＝1。相应的，第二反卷积语音特征s_convt_2的张量大小为[b,64,k,s]。其中，第二反卷积模块的公式可表示为：
[0098]
s_convt_2＝relu(batchnorm2d(convtranspose2d(cat2)))
[0099]
在一个实施例中，可选的，反卷积模块还包括叠加模块和一维卷积模块。具体的，第二反卷积语音特征s_convt_2经过叠加模块，得到叠加语音特征overlap_out，其张量大小为[b,64,l
‑
1]。其中，叠加模块的处理过程与分块模块的处理过程完全相反。叠加语音特征overlap_out经过一维卷积模块，得到降噪语音特征denoise_out。示例性的，一维卷积模块的输入通道数为64，输出通道数为256，卷积核大小为1。相应的，降噪语音特征denoise_out的张量大小为[b,256,l
‑
1]。其中，一维卷积模块的公式可表示为：
[0100]
denoise_out＝conv1d(overlap_out)
[0101]
图2d是本发明实施例一提供的一种降噪网络的网络结构的示意图。具体的，降噪网络包括卷积模块、双阶变压模块、密集块模块和反卷积模块。其中，卷积模块包括组归一化模块、一维卷积模块和分块模块，反卷积模块包括第一合并模块、第一反卷积模块、第二合并模块、第二反卷积模块、叠加模块和一维卷积模块。
[0102]
其中，具体的，编码语音特征e输入到卷积模块中的组归一化模块，得到组归一化语音特征s_gn，组归一化语音特征s_gn输入到卷积模块中的一维卷积模块，得到预处理卷积特征s_gn'，预处理卷积特征s_gn'输入到卷积模块中的分块模块，得到预处理语音特征s_seg，预处理语音特征s_seg输入到第一卷积模块，得到第一卷积语音特征s_conv2d_1，第一卷积语音特征s_conv2d_1输入到第二卷积模块，得到卷积语音特征s_conv2d_2。
[0103]
其中，具体的，卷积语音特征s_conv2d_2输入到双阶变压模块，得到变压语音特征global_out，变压语音特征global_out输入到密集块模块，得到密集语音特征dense_out。
[0104]
其中，具体的，卷积语音特征s_conv2d_2和密集语音特征dense_out输入到反卷积模块中的第一合并模块，得到第一合并语音特征cat1，第一合并语音特征cat1输入到反卷积模块中的第一反卷积模块，得到第一反卷积语音特征s_convt_1，第一卷积语音特征s_conv2d_1和第一反卷积语音特征s_convt1输入到反卷积模块中的第二合并模块，得到第二合并语音特征cat2，第二合并语音特征cat2输入到反卷积模块中的第二反卷积模块，得到第二反卷积语音特征s_convt_2，第二反卷积语音特征s_convt_2输入到反卷积模块中的叠加模块，得到叠加语音特征overlap_out，叠加语音特征overlap_out输入到反卷积模块中的一维卷积模块，得到降噪语音特征denoise_out。
[0105]
s140、基于编码语音特征、降噪语音特征和解码网络，确定与带噪语音信号对应的增强语音信号。
[0106]
其中，具体的，将编码语音特征e和降噪语音特征denoise_out相乘后输入到解码网络中，得到解码网络输出的与带噪语音信号对应的增强语音信号。在一个实施例中，可选
的，解码网络包括一维反卷积模块、激活函数和维度压缩模块。
[0107]
图2e是本发明实施例一提供的一种解码网络的网络结构的示意图。具体的，编码语音特征e和降噪语音特征denoise_out的相乘结果经过一维反卷积模块，得到解码反卷积语音特征d_convt。示例性的，一维反卷积模块的输入通道数为256，输出通道数为1，卷积核大小为2，卷积核步长为1。相应的，解码反卷积语音特征d_convt的张量大小为[b,1,l]。公式表示为：
[0108]
d_convt＝convtranspose1d(e*denoise_out)
[0109]
其中，解码反卷积语音特征d_convt经过激活函数，得到激活语音特征d_relu，其张量大小为[b,1,l]。公式表示为：
[0110]
d_relu＝relu(d_convt)
[0111]
其中，squeeze表示维度压缩模块，激活语音特征d_relu经过维度压缩模块，得到增强语音信号estimate_out，其张量大小为[b,l]。公式表示为：
[0112]
estimate_out＝squeeze(d_relu,dim＝1)
[0113]
本实施例的技术方案，通过直接将带噪语音信号输入到目标语音增强模型中，目标语音增强模型通过编码网络、降噪网络和解码网络对时域的带噪语音信号进行增强处理，解决了频域语音增强方法需要进行时频转换的问题，既缩短了语音增强过程的计算时间，又尽可能的保留了语音信号的相位信息，从而提高了语音增强的效果。
[0114]
实施例二
[0115]
图3是本发明实施例二提供的一种语音增强方法的流程图，本实施例的技术方案是上述实施例的基础上的进一步细化。可选的，所述目标语音增强模型的训练方法包括：将获取到的训练语音信号输入到待训练的初始语音增强模型中，得到输出的预测语音信号；基于所述预测语音信号和与所述训练语音信号对应的标准语音信号，确定损失函数；基于所述损失函数，对所述初始语音增强模块的模型参数进行更新，直到损失函数收敛时，得到训练完成的目标语音增强模型。
[0116]
本实施例的具体实施步骤包括：
[0117]
s210、将获取到的训练语音信号输入到待训练的初始语音增强模型中，得到输出的预测语音信号。
[0118]
其中，具体的，训练语音信号可以是从语音数据集中获取到的，示例性的，语音数据集包括但不限于voicebank数据集和commonvoice数据集等。
[0119]
以voicebank数据集为例，从voicebank数据集中选取30个说话人，每个说话人包含400个句子，时长4.3小时。选取28人的语音信号作为训练用的纯净语音信号，2人的语音信号作为测试用的纯净语音信号。
[0120]
从demand噪声数据库中随机选取10种噪声，将噪声与上述训练用的纯净语音信号进行合成，得到训练语音信号。其中，训练语音信号的信噪比从0db、5db、10db和15db中随机选取，用于拟合真实场景中的噪声。采用同样的方法，将噪声与上述测试用的纯净语音信号进行合成，得到测试语音信号。其中，测试语音信号的信噪比从2.5db、7.5db、12.5db和17.5db中随机选取。
[0121]
需要说明的是，上述参数值设置均为示例性说明，并非对其进行限定，用户可根据实际需求进行参数值的设置。
[0122]
s220、基于预测语音信号和与训练语音信号对应的标准语音信号，确定损失函数。
[0123]
其中，具体的，标准语音信号为合成训练语音信号使用的纯净语音信号，即从语音数据集中选取得到的语音信号。
[0124]
其中，示例性的，损失函数可以是尺度不变信噪比(scale invariant source
‑
to
‑
noise ratio，si
‑
snr)。损失函数si
‑
srn满足公式：
[0125][0126][0127]
其中，表示预测语音信号，s表示标准语音信号，||s||2表示标准语音信号的功率。
[0128]
s230、基于损失函数，对初始语音增强模块的模型参数进行更新，直到损失函数收敛时，得到训练完成的目标语音增强模型。
[0129]
在上述实施例的基础上，可选的，在对初始语音增强模型进行训练之前，获取超参数配置数据，并基于超参数配置数据对初始语音增强模型进行训练。
[0130]
其中，具体的，超参数配置数据包括但不限于优化器(optimizer)、模型迭代次数(epoch)、提前终止参数(early_stop)、学习率(learning_rate)、最小学习率(min_learning_rate)、容忍度(patience)、因子(factor)、权重衰减参数(weight_decay)、截取比率(clip_norm)、丢弃参数(dropout)、归一化参数(norm)、隐藏通道数(hidden_channels)、输入通道数(in_channels)和输出通道数(out_channels)中至少一种。
[0131]
其中，示例性的，可以选择adam作为优化器，加速初始语音增强模型的训练速度；模型迭代次数可以设置为30次；提前终止参数可以设置为10，表示10个epoch内初始语音增强模型的误差还没有减小就停止训练，以解决模型过拟合的问题；学习率表示每次模型参数更新时的更新幅度大小，学习率过大或导致待学习的模型参数在最小值附近波动，学习率过小会导致模型参数的收敛速度过慢，示例性的，学习率可以设置为5e
‑4；最小学习率表示每次模型更新时的最小更新幅度，示例性的，最小学习率可以设置为1e
‑8；容忍度表示提前终止参数被激活时，如果模型误差相比于上一个epoch训练还没有下降，则经过patience个epoch后停止训练，示例性的，容忍度可以设置为2；因子表示学习率改变时乘上的系数，示例性的，因子可以设置为0.5；权重衰减参数可以用于防止模型训练过拟合，默认值为0；截取比率的目的是让反向传播更新的参数权重限制在一个合适的范围，示例性的，截取比例可以设置为5；dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃，目的是为了防止模型过拟合。此处用默认值0，即表示不丢弃。归一化参数是为了加快模型的收敛速度，此处取值layernorm表示层归一化；隐藏通道数表示初始语音增强模型中间处理过程用到的通道数；输入通道数表示初始语音增强模型输入张量的通道数；输出通道数表示初始语音增强模型输出的通道数。
[0132]
在上述实施例的基础上，可选的，方法还包括：获取测试语音信号，将测试语音信
号输入到训练完成的目标语音增强模型中，基于输出结果和与测试语音信号对应的纯净语音信号，确定测试指标参数；如果测试指标参数不满足预设指标范围，则对超参数配置数据进行修正，并基于修正后的超参数配置数据继续对初始语音增强模型进行训练，直到得到训练完成的目标语音增强模型。
[0133]
其中，示例性的，测试指标参数可以是尺度不变信噪比。
[0134]
s240、将待处理的带噪语音信号输入到目标语音增强模型中。
[0135]
s250、通过编码网络，对带噪语音信号执行编码操作，得到输出的编码语音特征。
[0136]
s260、将编码语音特征输入到降噪网络中，得到输出的降噪语音特征。
[0137]
s270、基于编码语音特征、降噪语音特征和解码网络，确定与带噪语音信号对应的增强语音信号。
[0138]
本实施例的技术方案，通过在目标语音增强模型中设置双阶变压模块，对训练语音信号中的局部和全局特征进行提取，使目标语音增强模型学习噪声信号和纯净语音信号之间的非线性关系，解决了现有语音增强方法丢失信号特征的问题，从而提高了语音增强效果。进一步的，本实施例通过基于训练语音信号和测试语音信号对初始语音增强模型进行训练，解决了初始语音增强模型训练效果不佳的问题，提高了训练完成的目标语音增强模型的泛化能力，进而进一步提高了语音增强效果。
[0139]
实施例三
[0140]
图4是本发明实施例三提供的一种语音增强装置的示意图。本实施例可适用于对语音信号进行增强处理的情况，该装置可采用软件和/或硬件的方式实现，该装置可以配置于终端设备中。该语音增强装置包括：带噪语音信号输入模块310、语音编码模块320、语音降噪模块330和语音增强模块340。
[0141]
其中，带噪语音信号输入模块310，用于将待处理的带噪语音信号输入到目标语音增强模型中；其中，目标语音增强模型中包含编码网络、降噪网络和解码网络；
[0142]
语音编码模块320，用于通过编码网络，对带噪语音信号执行编码操作，得到输出的编码语音特征；
[0143]
语音降噪模块330，用于将编码语音特征输入到降噪网络中，得到输出的降噪语音特征；
[0144]
语音增强模块340，用于基于编码语音特征、降噪语音特征和解码网络，确定与带噪语音信号对应的增强语音信号。
[0145]
本实施例的技术方案，通过直接将带噪语音信号输入到目标语音增强模型中，目标语音增强模型通过编码网络、降噪网络和解码网络对时域的带噪语音信号进行增强处理，解决了频域语音增强方法需要进行时频转换的问题，既缩短了语音增强过程的计算时间，又尽可能的保留了语音信号的相位信息，从而提高了语音增强的效果。
[0146]
在上述技术方案的基础上，可选的，降噪网络包括卷积模块、双阶变压模块、密集块模块和反卷积模块；卷积模块用于基于编码网络输出的编码语音特征，输出卷积语音特征；双阶变压模块用于基于注意力机制对卷积模块输出的卷积语音特征进行特征提取，输出变压语音特征；密集块模块用于基于双阶变压模块输出的变压语音特征，输出密集语音特征；反卷积模块用于基于卷积模块输出的卷积语音特征和密集块输出的密集语音特征，输出降噪语音特征。
[0147]
在上述技术方案的基础上，可选的，双阶变压模块包括局部变压模块和全局变压模块；局部变压模块用于基于卷积模块输出的卷积语音特征，输出局部语音特征；全局变压模块用于基于局部变压模块输出的局部语音特征，输出变压语音特征。
[0148]
在上述技术方案的基础上，可选的，密集块模块包括至少两个二维卷积模块，第一个二维卷积模块基于双阶变压模块输出的变压语音特征，输出第一子密集语音特征；第n个二维卷积模块基于双阶变压模块输出的变压语音特征以及前n
‑
1个二维卷积模块分别输出的子密集语音特征，输出密集语音特征；其中，n表示密集块模块包含的二维卷积模块的数量。
[0149]
在上述技术方案的基础上，可选的，卷积模块包括预处理模块、第一卷积模块和第二卷积模块；预处理模块用于基于编码网络输出的编码语音特征，输出预处理语音特征；第一卷积模块用于对预处理模块输出的预处理语音特征进行卷积处理，输出第一卷积语音特征；第二卷积模块用于对第一卷积模块输出的第一卷积语音特征进行卷积处理，输出卷积语音特征。
[0150]
在上述技术方案的基础上，可选的，反卷积模块包括第一合并模块、第一反卷积模块、第二合并模块和第二反卷积模块；第一合并模块用于对第二卷积模块输出的卷积语音特征和密集块模块输出的密集语音特征执行合并操作并输出给第一反卷积模块；第二合并模块用于对第一卷积模块输出的第一卷积语音特征和第一反卷积模块输出的第一反卷积语音特征执行合并操作并输出给第二反卷积模块。
[0151]
在上述技术方案的基础上，可选的，该装置还包括目标语音增强模型的训练模块，用于：
[0152]
将获取到的训练语音信号输入到待训练的初始语音增强模型中，得到输出的预测语音信号；
[0153]
基于预测语音信号和与训练语音信号对应的标准语音信号，确定损失函数；
[0154]
基于损失函数，对初始语音增强模块的模型参数进行更新，直到损失函数收敛时，得到训练完成的目标语音增强模型。
[0155]
本发明实施例所提供的语音增强装置可以用于执行本发明实施例所提供的语音增强方法，具备执行方法相应的功能和有益效果。
[0156]
值得注意的是，上述语音增强装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
[0157]
实施例四
[0158]
图5是本发明实施例四提供的一种电子设备的结构示意图，本发明实施例为本发明上述实施例的语音增强方法的实现提供服务，可配置上述实施例中的语音增强装置。图5示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图5显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0159]
如图5所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
[0160]
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、
外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线、微通道体系结构(mac)总线、增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
[0161]
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
[0162]
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd
‑
rom，dvd
‑
rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
[0163]
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
[0164]
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图5所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0165]
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的语音增强方法。
[0166]
通过上述电子设备，解决了频域语音增强方法需要进行时频转换的问题，既缩短了语音增强过程的计算时间，又尽可能的保留了语音信号的相位信息，从而提高了语音增强的效果。
[0167]
实施例五
[0168]
本发明实施例五还提供了一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行一种语音增强方法，该方法包括：
[0169]
将待处理的带噪语音信号输入到目标语音增强模型中；其中，目标语音增强模型包含编码网络、降噪网络和解码网络；
[0170]
通过编码网络，对带噪语音信号执行编码操作，得到输出的编码语音特征；
[0171]
将编码语音特征输入到降噪网络中，得到输出的降噪语音特征；
[0172]
基于编码语音特征、降噪语音特征和解码网络，确定与带噪语音信号对应的增强语音信号。
[0173]
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0174]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0175]
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0176]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如java、smalltalk、c ，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(lan)或广域网(wan)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0177]
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上的方法操作，还可以执行本发明任意实施例所提供的语音增强方法中的相关操作。
[0178]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。