一种基于变分自编码器的语音刺激连续统合成方法及装置与流程

技术特征：

1.一种基于变分自编码器的语音刺激连续统合成方法，其特征在于，包括以下步骤：

s1、从原始语音信号中提取关键声学线索；

s2、基于变分自编码器进行关键声学线索建模，并进行训练；

s3、利用训练好的关键声学线索模型合成语音连续统。

2.根据权利要求1所述的基于变分自编码器的语音刺激连续统合成方法，其特征在于，所述步骤s1中，使用world声码器提取基频作为关键声学线索，并对提取的基频包络进行归一化预处理。

3.根据权利要求1所述的基于变分自编码器的语音刺激连续统合成方法，其特征在于，所述步骤s2中，变分自编码器的编码和解码都采用带有门控结构的全卷积神经网络对所述关键声学线索进行建模。

4.根据权利要求1所述的基于变分自编码器的语音刺激连续统合成方法，其特征在于，所述步骤s3包括：

给定两个语音刺激范畴，提取两个语音刺激范畴的关键声学线索；

将提取的两个关键声学线索送入训练好的关键声学线索模型，通过所述关键声学线索模型学习两个关键声学线索对应的隐空间分布；

在两个隐空间分布之间进行连续重采样，得到两个关键声学线索之间逐渐过渡的语音刺激样本；

通过world声码器将所述语音刺激样本还原回波形信号。

5.一种基于变分自编码器的语音刺激连续统合成装置，其特征在于，包括：

提取模块，用于从原始语音信号中提取关键声学线索；

模型建立模块，用于基于变分自编码器进行关键声学线索建模，并进行训练；

合成模块，用于利用训练好的关键声学线索模型合成语音连续统。

6.根据权利要求5所述的基于变分自编码器的语音刺激连续统合成装置，其特征在于，所述提取模块中，使用world声码器提取基频作为关键声学线索，并对提取的基频包络进行归一化预处理。

7.根据权利要求5所述的基于变分自编码器的语音刺激连续统合成装置，其特征在于，所述模型建立模块中，变分自编码器的编码和解码都采用带有门控结构的全卷积神经网络对所述关键声学线索进行建模。

8.根据权利要求5所述的基于变分自编码器的语音刺激连续统合成装置，其特征在于，所述合成模块具体用于：

给定两个语音刺激范畴，提取两个语音刺激范畴的关键声学线索；

将提取的两个关键声学线索送入训练好的关键声学线索模型，通过所述关键声学线索模型学习两个关键声学线索对应的隐空间分布；

在两个隐空间分布之间进行连续重采样，得到两个关键声学线索之间逐渐过渡的语音刺激样本；

通过world声码器将所述语音刺激样本还原回波形信号。

技术总结
本发明公开了一种基于变分自编码器的语音刺激连续统合成方法及装置，所述方法包括：从原始语音信号中提取关键声学线索；基于变分自编码器进行关键声学线索建模，并进行训练；利用训练好的关键声学线索模型合成语音连续统。所述装置包括：提取模块，用于从原始语音信号中提取关键声学线索；模型建立模块，用于基于变分自编码器进行关键声学线索建模，并进行训练；合成模块，用于利用训练好的关键声学线索模型合成语音连续统。本发明通过深度学习模型来合成感知实验中所需要的语音刺激连续统，能够解决现有技术中手动修改造成的信息损失和不自然的问题。

技术研发人员：解焱陆;李柱;张劲松
受保护的技术使用者：北京语言大学
技术研发日：2021.07.26
技术公布日：2021.08.24