一种端到端实时语音合成方法与流程

1.本发明属于语音合成和深度学习技术领域，涉及一种语音合成方法，尤其是一种基于神经网络的端到端实时语音合成方法。


背景技术：

2.在语音合成技术发展的多年时间里，语音合成已经融入了人们生活的多个方面，如有声小说、智能音箱、语音助手、语音导航、ai播报、智能问答系统等人机对话场景，并且存在语言障碍的人可以通过语音合成来发出自己的声音，存在视力障碍和阅读障碍的人可以通过语音合成来获得文字载体的信息。随着人们生活模式的不断变化，用户对语音合成的速度与质量也提出了更高的要求，包括语音合成的实时性，语音的清晰度与自然度等各项指标。
3.但现阶段基于深度学习的语音合成方法也存在着一定的不足。首先，现在大部分神经网络声码器都是自回归(ar)的模型，例如wavenet、wavernn、 samplernn等，ar模型本质上是串行的，依赖于先前的样本来生成当前样本，以此来对音频的长期依赖性进行建模。尽管ar模型可以产生非常贴近人耳感官的时域波形样本，但其生成效率相对较低，这限制了ar模型在对效率敏感的实时tts应用中的实际效果。其次，并行式的神经网络声码器虽然可以通过一些技术手段使语音合成不再对样本点之间的依赖关系进行建模，并行输出整段语音，提高了生成效率，但是模型参数量大，算法复杂度高，过于依赖设备性能，训练速度慢。


技术实现要素：

4.为了克服现有技术的不足，本发明提供了一种端到端实时语音合成方法，该方法在保证合成出高质量语音的前提下，提高语音合成的实时率。
5.为了解决上述技术问题本发明提供如下的技术方案：
6.一种端到端实时语音合成方法，包括基于高斯混合模型注意力机制的序列到序列生成模型的声谱预测网络和基于生成对抗网络的声码器，对数据集进行如下预处理：将文本进行正则化处理转换成声韵母分开的拼音注音序列，并添加停顿标注，对音频进行预加重，分帧加窗，短时傅里叶变换和梅尔偏置得到梅尔谱；通过预处理后的平行预料输入所述声谱预测网络中进行训练，得到预测梅尔谱，对其进行归一化，输入所述声码器，经过pqmf滤波器组进行分频和重组，进行对抗训练；通过主观评价方法对合成语音进行评价，通过计算实时率评价模型生成时耗。
7.进一步，所述声谱预测网络采用序列到序列生成模型，即使用基于高斯混合模型的注意力机制的编码器
‑
解码器结构，所述注意力机制通过高斯混合模型计算注意力权重。该方案可以提高注意力对齐速度。
8.再进一步，所述声谱预测网络的输入为文本注音序列经词嵌入转换的特征向量，数据集录音时长12小时，录音语句10000，单声道，信噪比不低于35db，采样率为48khz、
16bit，无压缩wav格式，数据预处理包括如下步骤：
9.a)文字转拼音：采用将声韵母分开的处理方法，将汉字转换成汉语拼音，将汉语拼音的5种音调分别用数字1,2,3,4,5来代替，1代表阴平，2代表阳平，3代表上声，4代表去声，5代表轻声，将阿拉伯数字转换成汉字，然后针对数字在不同场景的读法不一样的情况进行不同的标注，对符号进行规范化操作，将中文标点符号转换成英文标点符号，删去一些没有意义的特殊符号；
10.b)停顿标注：将停顿分为四个等级，分别用#1，#2，#3和#4标注，#1是韵律词的边界，在听感上是很短暂的骤顿，在语音波形上则无明显的间断，#2是词与词之间的停顿，停顿事件比较短暂，#3是一个逗号的停顿，时间稍长一些，#4 是句号，表示这句话已经结束；
11.c)音频处理：读取语音文件，将语音文件开头和结束的静音部分进行剪切，保证神经网络模型能够准确地找到开始点和结束点，将原始音频信号通过一个高通滤波器得到预加重后的语音数据，采用公式(1)：
12.h(z)＝1
‑
μz
‑1ꢀꢀ
(1)
13.其中z为语音信号波形，μ取值范围在0.9到1之间；
14.对语音进行分帧加窗，窗函数使用汉宁窗，窗长为1024，帧移为256，汉宁窗为公式(2)：
[0015][0016]
然后采用公式(3)对语音进行短时傅里叶变换，傅里叶点数为1024，得到语音的傅里叶谱；
[0017][0018]
其中x(τ)为源信号，h(τ
‑
t)为分析窗函数；
[0019]
将傅里叶谱去幅度，然后通过跨度为80到7600的80通道梅尔滤波器获得梅尔偏置，得到梅尔谱，如公式(4)，然后对梅尔谱进行均值方差归一化；
[0020][0021]
更进一步，所述声谱预测网络的编码器由三层卷积神经网络层和一层双向 lstm构成，每一个卷积层的卷积核个数为512，大小为5*1，使用relu非线性激活函数，对输入的注音序列进行上下文信息提取；最后一层卷积层的输出作为双向lstm层的输入，该层有512维，每个方向256维，将注音序列转换成隐藏的特征表现状态信息。
[0022]
所述注意力机制通过高斯混合模型计算注意力权重，如公式(5)：
[0023][0024]
其中k是高斯混合模型分量，w
i
，z
i
，δ
i
和σ
i
是模型的相关系数，通过公式 (6)(7)(8)(9)得出：
[0025][0026][0027][0028][0029]
通过公式(10)计算每个高斯分量的均值：
[0030]
μ
i
＝μ
i
‑1 δ
i
ꢀꢀ
(10)
[0031]
通过公式(11)计算模型中间参数：
[0032][0033]
其中s
i
为注意力机制的输入向量，w是一个权重矩阵，b为偏置，tanh是激活函数，v是一个没有激活的线性变换。
[0034]
所述解码器由pre
‑
net、两层lstm和两个线性投影层构成，pre
‑
net包含两个全连接层，每一层有256维的relu，并且设置0.5的dropout，两层1024维的单向lstm的输出与新的语境向量进行拼接，分别送入两个线性映射层，其中一个线性映射层将lstm的输出转换成梅尔谱，另一个线性映射层通过softmax来计算停止符，在解码过程中自发打断生成过程。
[0035]
解码过程结束后，会将预测的梅尔谱输入到post
‑
net中，post
‑
net是由五层卷积神经网络构成的，每一层卷积层的卷积核数量为512，大小为5*1，前四层都使用tanh非线性激活函数，最后一层使用linear激活函数。post
‑
net使用残差进行计算，如公式(12)(13)(14)：
[0036]
y
final
＝y y
r
#
ꢀꢀ
(12)
[0037]
y
r
＝postnet(y)＝w
ps
f
ps
b
ps
#
ꢀꢀ
(13)
[0038]
f
ps
＝f
ps,i
*x#
ꢀꢀ
(14)
[0039]
其中y为原始输入，y
final
为最终输出的梅尔谱，x为解码器的输出或上一个卷积层的输出，w
ps
和b
ps
为待训练的参数，f为卷积。
[0040]
所述声码器使用多频带melgan，模型分为生成器和判别器两部分，生成器的输入是梅尔谱，输出的是原始波形，通过三层由一维反卷积构成的上采样层，反卷积的卷积核大小为步长的两倍，上采样的倍数为200，三层上采样层的输出通道数分别为192，96和48；每一层上采样层后连接一个残差模块，残差模块由 4层扩张系数为1,3,9,27，卷积核大小为3的一维空洞卷积网络构成，起到扩大模型感受野的作用，然后通过一个一维卷积网络层，使用tanh非线性激活函数，输出通道为4，分别用来预测4个频带的音频。
[0041]
所述判别器是一组多音频尺度的判别器模块，每一个音频尺度的判别器模块可以捕获到不同频率段的音频特征。判别器的输入由两部分组成，一个是真实语音的音频，另一个是生成器生成的语音音频。每个判别器模块由前后各一层的一维卷积层和下采样层构成，下采样层由3层跨步卷积构成，步长为4。判别器分为3个判别尺度，d1是原始音频频段，d2和d3分别是对原始音频进行采样系数为2和4的下采样的音频频段。判别器模块通过输入原始音频作为真音频，输入合成音频作为假音频，进行对抗训练。
[0042]
所述声码器使用多尺度短时傅里叶变换损失，多尺度短时傅里叶变换损失分为l
sc
和l
mag
，前者考虑频谱的收敛性，后者考虑对数谱能量之间的关系。表达式如公式(15)(16)：
[0043][0044][0045]
其中‖
·
‖
f
和‖
·
‖1表示f范数和l1范数，x为真实音频，为预测音频，|stft(
·
)| 表示短时傅里叶变换，n为幅度谱的元素个数。使用不同stft参数可以得到不同分辨率的stft loss。使用m个不同分辨率的stft loss将单个损失加权平均得到公式(17)：
[0046][0047]
所述声码器使用pqmf滤波器组对音频进行分频段编码，滤波器组中的每一个滤波器使用不同的下采样率对信号进行编码，然后分别将子频带信号交付给解码器，在解码过程中将上采样的信号通过还原滤波器还原成语音波形。
[0048]
本发明的有益效果表现在：采用本发明方法可以在保证合成高质量语音的同时，还可以通过基于高斯混合模型的注意力机制提高注意力对齐速度，通过pqmf 滤波器组对音频进行分频带编码，提高语音生成速度，使用多尺度短时傅里叶变换损失函数加快模型训练收敛速度，提高语音合成质量。
附图说明
[0049]
图1是本发明方法中声谱预测网络的总体框架实例示意图；
[0050]
图2是本发明方法中多频带melgan声码器网络的总体框架实例示意图；
[0051]
图3本发明方法中解码器流程示意图；
[0052]
图4本发明方法中pqmf滤波器组编解码流程示意图；
具体实施方式
[0053]
下面对本发明的端到端实时语音合成方法做进一步的说明。
[0054]
参照图1～图4，一种端到端实时语音合成方法，包括基于高斯混合模型注意力机制的序列到序列生成模型的声谱预测网络和基于生成对抗网络的声码器，对数据集进行如下预处理：将文本进行正则化处理转换成声韵母分开的拼音注音序列，并添加停顿标注，对音频进行预加重，分帧加窗，短时傅里叶变换和梅尔偏置得到梅尔谱；通过预处理后的平行预料输入所述声谱预测网络中进行训练，得到预测梅尔谱，对其进行归一化，输入所述声码器，经过pqmf滤波器组进行分频和重组，进行对抗训练；通过主观评价方法对合成语音进行评价，通过计算实时率评价模型生成时耗。
[0055]
进一步，所述声谱预测网络采用序列到序列生成模型，即使用基于高斯混合模型的注意力机制的编码器
‑
解码器结构，所述注意力机制通过高斯混合模型计算注意力权重。该方案可以提高注意力对齐速度。
[0056]
再进一步，所述声谱预测网络的输入为文本注音序列经词嵌入转换的特征向量，数据集录音时长12小时，录音语句10000，单声道，信噪比不低于35db，采样率为48khz、
16bit，无压缩wav格式，数据预处理过程如下：
[0057]
a)文字转拼音。采用将声韵母分开的处理方法，将汉字转换成汉语拼音，将汉语拼音的5种音调分别用数字1,2,3,4,5来代替，1代表阴平，2代表阳平，3代表上声，4代表去声，5代表轻声，将阿拉伯数字转换成汉字，然后针对数字在不同场景的读法不一样的情况进行不同的标注，对符号进行规范化操作，将中文标点符号转换成英文标点符号，删去一些没有意义的特殊符号。
[0058]
b)停顿标注。将停顿分为四个等级，分别用#1，#2，#3和#4标注，#1是韵律词的边界，在听感上是很短暂的骤顿，在语音波形上则无明显的间断，#2是词与词之间的停顿，停顿事件比较短暂，#3是一个逗号的停顿，时间稍长一些，#4 是句号，表示这句话已经结束。
[0059]
c)音频处理。读取语音文件，将语音文件开头和结束的静音部分进行剪切，保证神经网络模型能够准确地找到开始点和结束点，将原始音频信号通过一个高通滤波器得到预加重后的语音数据，采用公式(1)：
[0060]
h(z)＝1
‑
μz
‑1#
ꢀꢀ
(1)
[0061]
其中z为语音信号波形，μ取值范围在0.9到1之间。
[0062]
对语音进行分帧加窗，窗函数使用汉宁窗，窗长为1024，帧移为256，汉宁窗为公式(2)：
[0063][0064]
然后采用公式(3)对语音进行短时傅里叶变换，傅里叶点数为1024，得到语音的傅里叶谱。
[0065][0066]
其中x(τ)为源信号，h(τ
‑
t)为分析窗函数。
[0067]
将傅里叶谱去幅度，然后通过跨度为80到7600的80通道梅尔滤波器获得梅尔偏置，得到梅尔谱，如公式(4)，然后对梅尔谱进行均值方差归一化。
[0068][0069]
将预处理后的文本和音频数据作为平行预料，通过词嵌入转换成特征向量，输入声谱预测网络。
[0070]
本发明声谱预测网络总体模型结构如图1所示，所述编码器由三层卷积神经网络层和一层双向lstm构成。每一个卷积层的卷积核个数为512，大小为5*1，使用relu非线性激活函数，对输入的注音序列进行上下文信息提取。最后一层卷积层的输出作为双向lstm层的输入，该层有512维(每个方向256维)，将注音序列转换成隐藏的特征表现状态信息。
[0071]
本发明声谱预测网络注意力机制通过高斯混合模型计算注意力权重，如公式 (5)：
[0072]
[0073]
其中k是高斯混合模型分量，w
i
，z
i
，δ
i
和σ
i
是模型的相关系数，通过公式 (6)(7)(8)(9)得出。
[0074][0075][0076][0077][0078]
通过公式(10)计算每个高斯分量的均值。
[0079]
μ
i
＝μ
i
‑1 δ
i
#
ꢀꢀ
(10)
[0080]
通过公式(11)计算模型中间参数。
[0081][0082]
其中s
i
为注意力机制的输入向量，w是一个权重矩阵，b为偏置，tanh是激活函数，v是一个没有激活的线性变换。
[0083]
本发明声谱预测网络解码器由pre
‑
net、两层lstm和两个线性投影层构成。pre
‑
net包含两个全连接层，每一层有256维的relu，并且设置0.5的dropout，两层1024维的单向lstm的输出与新的语境向量进行拼接，分别送入两个线性映射层，其中一个线性映射层将lstm的输出转换成梅尔谱，另一个线性映射层通过softmax来计算停止符，在解码过程中自发打断生成过程，阈值设置为0.5。解码流程如图3所示。
[0084]
本发明解码过程结束后，会将预测的梅尔谱输入到post
‑
net中，post
‑
net是由五层卷积神经网络构成的，每一层卷积层的卷积核数量为512，大小为5*1，前四层都使用tanh非线性激活函数，最后一层使用linear激活函数。post
‑
net使用残差进行计算，如公式(12)(13)(14)：
[0085]
y
final
＝y y
r
#
ꢀꢀ
(12)
[0086]
y
r
＝postnet(y)＝w
ps
f
ps
b
ps
#
ꢀꢀ
(13)
[0087]
f
ps
＝f
ps,i
*x#
ꢀꢀ
(14)
[0088]
其中y为原始输入，y
final
为最终输出的梅尔谱，x为解码器的输出或上一个卷积层的输出，w
ps
和b
ps
为待训练的参数，f为卷积。
[0089]
本发明声谱预测网络使用的损失函数如下：
[0090]
a)停止符交叉熵：
[0091]
stoptokenloss＝
‑
[y*log(p) (1
‑
y)*log(1
‑
p)]#
ꢀꢀ
(15)
[0092]
其中p是线性映射层输出的预测概率分布，y是停止符真实的概率分布。
[0093]
b)post
‑
net前后均方误差：
[0094][0095]
其中n为batch中的样本数，y
r
是真实梅尔谱，y
b
是进入post
‑
net前解码器输出的预测梅尔谱，y
a
是进入post
‑
net后的预测梅尔谱。
[0096]
c)l2正则化：
[0097][0098]
其中w
k
为模型参数，k为参数总数，不需要正则化偏置项。
[0099]
本发明声码器为多频带melgan，模型分为生成器和判别器两部分，模型结构如图2所示。所述生成器的输入是梅尔谱，输出的是原始波形，通过三层由一维反卷积构成的上采样层，反卷积的卷积核大小为步长的两倍，上采样的倍数为200，三层上采样层的输出通道数分别为192，96和48。每一层上采样层后连接一个残差模块，残差模块由4层扩张系数为1,3,9,27，卷积核大小为3的一维空洞卷积网络构成，起到扩大模型感受野的作用，然后通过一个一维卷积网络层，使用tanh非线性激活函数，输出通道为4，分别用来预测4个频带的音频。判别器是一组多音频尺度的判别器模块，每一个音频尺度的判别器模块可以捕获到不同频率段的音频特征。判别器的输入由两部分组成，一个是真实语音的音频，另一个是生成器生成的语音音频。每个判别器模块由前后各一层的一维卷积层和下采样层构成，下采样层由3层跨步卷积构成，步长为4。判别器分为3个判别尺度，d1是原始音频频段，d2和d3分别是对原始音频进行采样系数为2和4的下采样的音频频段。判别器模块通过输入原始音频作为真音频，输入合成音频作为假音频，进行对抗训练。
[0100]
本发明声码器使用pqmf滤波器组对音频进行分频带编码，流程如图4所示。滤波器组中的每一个滤波器使用不同的下采样率对信号进行编码，然后分别将子频带信号交付给解码器，在解码过程中将上采样的信号通过还原滤波器还原成语音波形。
[0101]
对于通道数为k的pqmf滤波器组，形式如公式(18)(19)(20)：
[0102][0103]
g
k
[n]＝h
k
[n
‑1‑
n]#
ꢀꢀ
(19)
[0104][0105]
其中k＝0，
…
，k
‑
1，n为h[n]的长度，φ
k
为相位，r为常数，原型滤波器表示如公式(21)：
[0106][0107]
其中ω
c
为截止频率，n为阶数，将原型滤波器通过凯撒窗进行转化得到，如公式(22)：
[0108]
h(n)＝f
i
(n)w(n)#
ꢀꢀ
(22)
[0109]
其中凯撒窗形式如公式(23)：
[0110][0111]
其中i0()为零阶修正贝塞尔函数，形式如公式(24)：
[0112][0113]
其中β为常数，该函数的作用是控制主要频段宽窄。
[0114]
通过人为设定截止频率、阶数和凯撒窗的参数即可确定。将音频通过该滤波器组进行子频带编码与解码，然后还原成语音，可以加快语音的合成速度。
[0115]
本发明声码器使用多尺度短时傅里叶变换损失，多尺度短时傅里叶变换损失分为l
sc
和l
mag
，前者考虑频谱的收敛性，后者考虑对数谱能量之间的关系。表达式如公式(25)(26)：
[0116][0117][0118]
其中‖
·
‖
f
和‖
·
‖1表示f范数和l1范数，x为真实音频，为预测音频，|stft(
·
)| 表示短时傅里叶变换，n为幅度谱的元素个数。使用不同stft参数可以得到不同分辨率的stft loss。使用m个不同分辨率的stft loss将单个损失加权平均得到公式(27)：
[0119][0120]
本发明声码器在前200k步对生成器进行预训练，每100k步将所有模型的学习率减半，直到学习率降到0.000001。预训练可以避免判别器的训练效果比生成器好而造成的梯度无法更新的问题，而且可以提高模型训练收敛速度。生成器和判别器交替进行训练。首先初始化生成器和判别器的参数，对模型的权重矩阵进行谱归一化，预训练生成器，直到生成器收敛；然后迭代训练生成器和判别器，直到整个生成对抗网络模型收敛。判别器只在训练过程中使用，在波形生成阶段会被忽略。
[0121]
以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。