一种提高语音合成效果的方法和设备与流程

1.本发明涉及机器翻译技术领域，具体涉及一种提高语音合成效果的方法和设备。


背景技术：

2.当前神经网络合成器中，parallel wavegan是实时率比较高的一种合成器。为了获取语音信号的时频分布和提高合成效果，如图1所示，训练过程中生成器的loss(损失)加入了多分辨率的stft(短时傅里叶变换)的loss。
3.对于stft的尺度是固定，在训练过程中，单次运算无法实现可变尺度问题。并且，对短时平稳的语音信号，进行分帧，再做stft，而且还有overlap(重叠),运算量较大，并且每一个尺度的运算量都重新计算，训练速度较慢。
4.由此，目前需要有一种更好的方案来解决现有技术中的问题。


技术实现要素：

5.本发明提供一种提高语音合成效果的方法和设备，能够解决现有技术中训练速度不佳的技术问题。
6.本发明解决上述技术问题的技术方案如下：
7.本发明实施例提出了一种提高语音合成效果的方法，应用于parallel wavegan，所述parallel wavegan中包括生成器；该方法包括：
8.获取所述parallel wavegan中生成器的语音信号；
9.获取原始语音信号；
10.对所述生成器的语音信号与所述原始语音信号进行小波变换处理；
11.对进行小波变换处理后的信号进行损失计算；
12.将计算得到的损失作为所述生成器的损失的一部分，以使所述生成器更好的捕捉语音信号的时频分布，从而提升合成效果。
13.在一个具体的实施例中，所述小波变换处理包括对所述生成器的语音信号与所述原始语音信号进行多层分解；
14.所述损失计算包括对分解后的每层进行损失计算；每层损失计算得到每层损失；
15.所述“将计算得到的损失作为所述生成器损失的一部分”，包括：
16.汇总每层损失作为小波变换损失；
17.将小波变换损失作为所述生成器损失的一部分。
18.在一个具体的实施例中，所述parallel wavegan中还包括识别器；所述识别器对所述原始语音信号进行识别时，对应有识别损失；
19.所述生成器的损失由小波变换损失与所述识别损失组成。
20.在一个具体的实施例中，所述小波变换处理包括：离散小波变换处理。
21.在一个具体的实施例中，所述“对所述生成器的语音信号与所述原始语音信号进行小波变换处理”，包括：
22.将所述生成器的语音信号与所述原始语音信号进行滤波处理，以得到最上层的细节信号和近似信号；
23.对上一层中近似信号进行滤波处理，得到当前层的细节信号和近似信号；
24.重复执行”对上一层中近似信号进行滤波处理，得到当前层的细节信号和近似信号“得到多层处理后的信号。
25.本发明实施例还提出了一种提高语音合成效果的设备，应用于parallel wavegan，所述parallel wavegan中包括生成器；该设备包括：
26.第一获取模块，用于获取所述parallel wavegan中生成器的语音信号；
27.第二获取模块，用于获取原始语音信号；
28.小波变换处理模块，用于对所述生成器的语音信号与所述原始语音信号进行小波变换处理；
29.损失计算模块，用于对进行小波变换处理后的信号进行损失计算；
30.提升模块，用于将计算得到的损失作为所述生成器的损失的一部分，以使所述生成器更好的捕捉语音信号的时频分布，从而提升合成效果。
31.在一个具体的实施例中，所述小波变换处理包括对所述生成器的语音信号与所述原始语音信号进行多层分解；
32.所述损失计算包括对分解后的每层进行损失计算；每层损失计算得到每层损失；
33.所述提升模块“将计算得到的损失作为所述生成器损失的一部分”，包括：
34.汇总每层损失作为小波变换损失；
35.将小波变换损失作为所述生成器损失的一部分。
36.在一个具体的实施例中，所述parallel wavegan中还包括识别器；所述识别器对所述原始语音信号进行识别时，对应有识别损失；
37.所述生成器的损失由小波变换损失与所述识别损失组成。
38.在一个具体的实施例中，所述小波变换处理包括：离散小波变换处理。
39.在一个具体的实施例中，所述小波变换处理模块，用于：
40.将所述生成器的语音信号与所述原始语音信号进行滤波处理，以得到最上层的细节信号和近似信号；
41.对上一层中近似信号进行滤波处理，得到当前层的细节信号和近似信号；
42.重复执行”对上一层中近似信号进行滤波处理，得到当前层的细节信号和近似信号“得到多层处理后的信号。
43.本发明的有益效果是：
44.本发明实施例提出了一种提高语音合成效果的方法和设备，应用于parallel wavegan，所述parallel wavegan中包括生成器；该方法包括：获取所述parallel wavegan中生成器的语音信号；获取原始语音信号；对所述生成器的语音信号与所述原始语音信号进行小波变换处理；对进行小波变换处理后的信号进行损失计算；将计算得到的损失作为所述生成器的损失的一部分，以使所述生成器更好的捕捉语音信号的时频分布，从而提升合成效果。本方案中利用小波变换，对生成器的信号和原始信号做多层分解，计算每一层的系数进行损失计算，本方案不需要像原来的stft的做法，多次设置尺度，加大运算量，本方案中将小波变换结果的loss，作为生成器的loss的一部分，让生成器更好的捕捉语音信号
的时频分布，从而提升合成效果。
附图说明
45.图1为现有技术中的一种parallel wavegan的原理图示意图；
46.图2为本发明实施例提供的一种parallel wavegan的原理图示意图；
47.图3为本发明实施例提供的一种提高语音合成效果的方法的流程示意图示意图；
48.图4为本发明实施例提供的一种提高语音合成效果的方法中小波变换处理的示意图；
49.图5为本发明实施例提供的一种提高语音合成效果的设备的框架结构程图。
具体实施方式
50.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
51.具体的，parallelwavegan的训练原理为：parallelwavegan训练分为生成器和判别器。其中，生成器的工作原理：生成器的输入是80维的谱参数和随机噪音，生成器根据输入，得到语音信号。判别器的工作原理：判别器的输入是原始语音和生成器的输出语音，然后判断生成的输出语音为fake(伪)，但是原始语音被判断成real(真)，当判别器无法判断生成器为fake时，即loss收敛时，判别器稳定。
52.其中，如图1所示的parallelwavegan，stft的输入有两个语音信号，一个是生成器的输出，一个是原始信号。首先计算生成器的输出语音的短时傅里叶谱，再计算原始语音的短时傅里叶谱，这两个谱进行相减，可以得到整个时频域的一个loss。该loss作为生成器的损失函数的一部分，用于更新生成器的参数，能更好的捕捉语音信号的时频分布，同时可以提高合成效果。
53.stft(短时傅里叶)的工作原理:针对语音信号不是稳态信号，因此需要对语音信号进行分帧处理，一般将语音分成20
‑
30ms帧长，10
‑
15ms的帧移进行处理，对当前帧进行傅立叶分析，得到每一帧的幅度。假设1s时长的语音，采样率是48000，帧长是20ms,帧移是10ms,那么对1s的时长语音做stft时，需要处理100次的傅立叶分析，每次处理960个点，总共要处理96000次。而且每一个窗口之间都是相互独立的，在某个分辨率下，没有考虑全局对幅度谱的影响。
54.实施例1
55.本发明实施例1提出了一种提高语音合成效果的方法，应用于如图2所示的parallel wavegan，所述parallel wavegan中包括生成器；如图3所示，该方法包括以下步骤：
56.步骤101、获取所述parallel wavegan中生成器的语音信号；具体的，例如如图2所示，获取生成器基于随机噪音与辅助特征所生成的语音信号
57.步骤102、获取原始语音信号；
58.具体的，步骤101与步骤102之间不分先后顺序。
59.步骤103、对所述生成器的语音信号与所述原始语音信号进行小波变换处理；
60.步骤104、对进行小波变换处理后的信号进行损失计算；
61.具体的，在一个具体的实施例中，所述小波变换处理包括对所述生成器的语音信号与所述原始语音信号进行多层分解；如图3所示，本方案中利用小波变换，对生成器的信号和原始信号做多层分解，计算每一层的系数进行loss的计算，如图3中ldn表示第n层细节系数，lan是第n层的近似系数。本方案不需要像原来的做法，不需要多次设置尺度，不会加大运算量。
62.所述损失计算包括对分解后的每层进行损失计算；每层损失计算得到每层损失；
63.所述“将计算得到的损失作为所述生成器损失的一部分”，包括：
64.汇总每层损失作为小波变换损失；
65.将小波变换损失作为所述生成器损失的一部分。
66.步骤105、将计算得到的损失作为所述生成器的损失的一部分，以使所述生成器更好的捕捉语音信号的时频分布，从而提升合成效果。
67.具体的，本方案中采用了小波变换的方式，具体的可以为离散小波变换，而离散小波变换的工作原理:离散小波变换是一种时频分析技术，在每次处理时都能同时观察到时间信息和频率信息。如图4所示：原始信号(如图4中的s)经过高通和低通滤波器(小波基)将信号分成细节信号(如图4中的cd1)和近似信号(如图4中的ca1)，再往下一层是对近似信号(如图4中的ca1)进行再次处理，又得到某一频段的细节信号(如图4中的cd2)和近似信号(如图4中的ca2)。以此类推，可以得到不同尺度下的信号。假设处理同样时长为1s的语音.采样率48000，由于逐层减半的计算，最后计算次数不会超过96000次。而且fft的运算复杂度比滤波要更大。并且每次计算都是在整个全局上进行处理的，因此每一个频段信息都有全局采样点的影响。在生成器中，只需要将生成器的语音和原始语音进行小波处理，然后计算不同尺度下的loss，即可替换stft的loss，从而加快训练速度和提高合成效果
68.在一个具体的实施例中，所述parallel wavegan中还包括识别器；所述识别器对所述原始语音信号进行识别时，对应有识别损失；
69.所述生成器的损失由小波变换损失与所述识别损失组成。
70.在一个具体的实施例中，所述小波变换处理包括：离散小波变换处理。
71.在一个具体的实施例中，所述“对所述生成器的语音信号与所述原始语音信号进行小波变换处理”，包括：
72.将所述生成器的语音信号与所述原始语音信号进行滤波处理，以得到最上层的细节信号和近似信号；
73.对上一层中近似信号进行滤波处理，得到当前层的细节信号和近似信号；
74.重复执行”对上一层中近似信号进行滤波处理，得到当前层的细节信号和近似信号“得到多层处理后的信号。
75.具体的，目前针对语音的短时平稳信号，大多基于短时傅里叶变换(stft)，计算每一帧的特征信息，再加之overlap，1s时长音频处理时间较长，针对上述合成器，训练过程中，针对不同分辨率时，均需要反复计算，而利用小波变换，只需要计算一次，从而加快训练速度；
76.现有技术中在生成器中加入stft loss,是为了捕捉语音信号在时频域的分布，单次计算短时傅里叶变换，其尺度是无法伸缩，而小波变换在计算过程中，利用尺度可伸缩性，能更好的捕捉语音信号的时频分布，从而提高合成效果。
77.实施例2
78.本发明实施例还提出了一种提高语音合成效果的设备，应用于parallel wavegan，所述parallel wavegan中包括生成器；如图5所示，该设备包括：
79.第一获取模块201，用于获取所述parallel wavegan中生成器的语音信号；
80.第二获取模块202，用于获取原始语音信号；
81.小波变换处理模块203，用于对所述生成器的语音信号与所述原始语音信号进行小波变换处理；
82.损失计算模块204，用于对进行小波变换处理后的信号进行损失计算；
83.提升模块205，用于将计算得到的损失作为所述生成器的损失的一部分，以使所述生成器更好的捕捉语音信号的时频分布，从而提升合成效果。
84.在一个具体的实施例中，所述小波变换处理包括对所述生成器的语音信号与所述原始语音信号进行多层分解；
85.所述损失计算包括对分解后的每层进行损失计算；每层损失计算得到每层损失；
86.所述提升模块“将计算得到的损失作为所述生成器损失的一部分”，包括：
87.汇总每层损失作为小波变换损失；
88.将小波变换损失作为所述生成器损失的一部分。
89.在一个具体的实施例中，所述parallel wavegan中还包括识别器；所述识别器对所述原始语音信号进行识别时，对应有识别损失；
90.所述生成器的损失由小波变换损失与所述识别损失组成。
91.在一个具体的实施例中，所述小波变换处理包括：离散小波变换处理。
92.在一个具体的实施例中，所述小波变换处理模块，用于：
93.将所述生成器的语音信号与所述原始语音信号进行滤波处理，以得到最上层的细节信号和近似信号；
94.对上一层中近似信号进行滤波处理，得到当前层的细节信号和近似信号；
95.重复执行”对上一层中近似信号进行滤波处理，得到当前层的细节信号和近似信号“得到多层处理后的信号。
96.本发明实施例提出了一种提高语音合成效果的方法和设备，应用于parallel wavegan，所述parallel wavegan中包括生成器；该方法包括：获取所述parallel wavegan中生成器的语音信号；获取原始语音信号；对所述生成器的语音信号与所述原始语音信号进行小波变换处理；对进行小波变换处理后的信号进行损失计算；将计算得到的损失作为所述生成器的损失的一部分，以使所述生成器更好的捕捉语音信号的时频分布，从而提升合成效果。本方案中利用小波变换，对生成器的信号和原始信号做多层分解，计算每一层的系数进行损失计算，本方案不需要像原来的stft的做法，多次设置尺度，加大运算量，本方案中将小波变换结果的loss，作为生成器的loss的一部分，让生成器更好的捕捉语音信号的时频分布，从而提升合成效果。
97.以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。