中英文跨语言语音合成方法、装置、电子设备及存储介质

技术特征：
1.一种中英文跨语言语音合成方法，其特征在于，包括以下步骤：利用深度学习中序列到序列任务构建第一跨语言声学模型；将文本数据集处理成包括音素序列、声调序列和语言序列的基础语句；利用第一跨语言声学模型编码器将基础语句编码成高级上下文语义表示，同时在第一跨语言声学模型编码器的多个位置引入语言嵌入和说话人嵌入；利用注意力机制学习高级上下文语义表示和声学特征梅尔谱图的映射关系，得到线性加权后的高级上下文语义表示；利用第一跨语言声学模型解码器将线性加权后的高级上下文语义表示生成原始谱图。2.根据权利要求1所述的中英文跨语言语音合成方法，其特征在于，第一跨语言声学模型基于tacotron模型，包括：基于cbhg的编码器、基于高斯混合分布的gmmv2b注意力机制模块和解码器。3.根据权利要求1所述的中英文跨语言语音合成方法，其特征在于，方法还包括利用基于经验重演的持续学习方法对第一跨语言声学模型进行微调，微调过程中利用基于正则的可塑权重稳固方法，将微调时的第一跨语言声学模型参数固定在微调前第一跨语言声学模型参数的极小误差范围内。4.根据权利要求1所述的中英文跨语言语音合成方法，其特征在于，方法还包括将中文的韵律结构扩展到中英文跨语言文本，具体方法包括：将英文单词或单字母作为中文四级韵律结构中的韵律词，根据文本对应音频中不同长度的停顿来标注韵律短语边界和语调短语边界，将韵律短语边界和语调短语边界作为音素混合到音素序列中。5.根据权利要求1所述的中英文跨语言语音合成方法，其特征在于，方法还包括根据基础语句的层次韵律构造层次韵律图，将图神经网络融入第一跨语言声学模型编码器中形成第二跨语言声学模型，图神经网络根据层次韵律图在空间域进行多次迭代用于在音素节点表示之间传播韵律信息。6.根据权利要求5所述的中英文跨语言语音合成方法，其特征在于，第二跨语言声学模型编码器包括卷积层、高速网络、门控图神经网络以及双向gru，其中，卷积层用于提取输入基础语句的局部上下文表示；高速网络用于提取高维特征以构建鲁棒的输入节点表示；双向gru用于学习输入基础语句的前向和后向文本表示。7.一种中英文跨语言语音合成装置，其特征在于，所述装置包括：第一跨语言声学模型构建单元，用于利用深度学习中序列到序列任务构建第一跨语言声学模型；文本数据集处理单元：用于将文本数据集处理成包括音素序列、声调序列和语言序列的基础语句；第一跨语言声学模型编码器单元，用于利用第一跨语言声学模型编码器将基础语句编码成高级上下文语义表示，同时在第一跨语言声学模型编码器的多个位置引入语言嵌入和说话人嵌入；注意力机制学习单元，用于利用注意力机制学习高级上下文语义表示和声学特征梅尔谱图的映射关系，得到线性加权后的高级上下文语义表示；第一跨语言声学模型解码器单元，用于利用第一跨语言声学模型解码器将线性加权后的高级上下文语义表示生成原始谱图。
8.根据权利要求7所述的中英文跨语言语音合成装置，其特征在于，第一跨语言声学模型编码器单元还用于根据基础语句的层次韵律构造层次韵律图，将图神经网络融入第一跨语言声学模型编码器中形成第二跨语言声学模型，图神经网络根据层次韵律图在空间域进行多次迭代用于在音素节点表示之间传播韵律信息。9.一种电子设备，其特征在于，包括：处理器；以及存储器，其中，所述存储器中存储有计算机可执行程序，当由所述处理器执行所述计算机可执行程序时，执行权利要求1-6中任一项所述的方法。10.一种计算机可读存储介质，其上存储有指令，其特征在于，所述指令在被处理器执行时，使得所述处理器执行如权利要求1-6中任一项所述的方法。

技术总结
本发明公开了一种中英文跨语言语音合成方法、装置、电子设备及存储介质，该方法包括利用深度学习中序列到序列任务构建第一跨语言声学模型；将文本数据集处理成包括音素序列、声调序列和语言序列的基础语句；利用模型编码器将基础语句编码成高级上下文语义表示，同时在模型编码器的多个位置引入语言嵌入和说话人嵌入；利用注意力机制学习高级上下文语义表示和声学特征梅尔谱图的映射关系，得到线性加权后的高级上下文语义表示；利用模型解码器将线性加权后的高级上下文语义表示生成原始谱图。本发明方法基于多种策略融合，构建了两种跨语言声学模型，使本发明的中英文跨语言语音合成方法解决了现有的语音合成方法的不足。合成方法解决了现有的语音合成方法的不足。合成方法解决了现有的语音合成方法的不足。


技术研发人员：汤步洲 刘超
受保护的技术使用者：哈尔滨工业大学（深圳）
技术研发日：2022.02.18
技术公布日：2022/6/24