一种构音障碍语音合成方法、装置、设备及介质与流程

本发明涉及人工智能技术、自然语言处理，尤其涉及一种构音障碍语音合成方法、装置、设备及介质。

背景技术：

1、构音障碍是一种因神经系统损伤导致的运动性言语障碍，其典型临床表现包括语速显著减慢、发音含糊不清、节奏异常断裂以及不规则停顿。这些病理特征导致构音障碍语音在时间维度上的分布与正常语音存在巨大差异，给依赖大规模正常语音数据训练的自动语音识别系统带来了严峻挑战。

2、在金融科技领域，语音交互正被广泛应用于智能客服、远程身份核验及交易指令确认等环节；在医疗健康领域，电子病历录入、康复评估及远程问诊系统也日益依赖语音识别技术。当这些系统遭遇构音障碍用户的语音输入时，其识别准确性往往急剧下降，直接影响金融交易的完成效率与医疗服务的质量。

3、现有技术中，为了缓解构音障碍语音数据稀缺的问题，通常会采用基于文本到语音的合成技术来生成增强数据。然而，当前的文本到语音合成方法，例如基于fastspeech2或扩散模型的框架，其时长预测模块通常基于正常语音的统计规律进行训练，以生成平滑连贯的语流。当这些方法被直接应用于模拟病理语音时，其生成的合成语音在节奏上依然表现出趋于正常的平滑连贯性，难以精准复现构音障碍语音中特有的节奏断裂与异常停顿。进一步地，这种合成语音与真实病理语音在节奏统计分布上的明显偏移，使得生成的增强数据无法有效代表真实的病理语音样本，进而导致将其用于微调自动语音识别系统时，系统对构音障碍语音的识别性能提升幅度有限。

技术实现思路

1、本发明提供一种构音障碍语音合成方法、装置、设备及介质，以解决的技术问题是：如何提供一种能够生成更接近真实构音障碍节奏的合成语音的有效解决方案。

2、第一方面，提供了一种构音障碍语音合成方法，包括：

3、响应于接收到文本序列，对所述文本序列进行音素编码，得到音素编码序列；

4、将所述音素编码序列输入停顿预测器进行停顿预测，得到停顿预测结果；

5、基于预设的映射关系，获取与所述停顿预测结果对应的停顿嵌入，并将所述停顿嵌入插入到所述音素编码序列中，得到增强音素编码序列；

6、将所述增强音素编码序列输入时长预测器进行时长预测，得到预测时长；

7、获取参考梅尔频谱，从所述参考梅尔频谱中提取全局风格向量和帧级局部风格向量，并将所述增强音素编码序列与所述全局风格向量、所述帧级局部风格向量进行融合，得到病理声学风格条件均值；

8、将所述预测时长和所述病理声学风格条件均值输入流匹配网络，通过条件流匹配生成构音障碍风格语音。

9、第二方面，提供了一种构音障碍语音合成装置，包括：

10、编码单元，用于响应于接收到文本序列，对所述文本序列进行音素编码，得到音素编码序列；

11、停顿预测单元，用于将所述音素编码序列输入停顿预测器进行停顿预测，得到停顿预测结果；

12、插入单元，用于基于预设的映射关系，获取与所述停顿预测结果对应的停顿嵌入，并将所述停顿嵌入插入到所述音素编码序列中，得到增强音素编码序列；

13、时长预测单元，用于将所述增强音素编码序列输入时长预测器进行时长预测，得到预测时长；

14、融合单元，用于获取参考梅尔频谱，从所述参考梅尔频谱中提取全局风格向量和帧级局部风格向量，并将所述增强音素编码序列与所述全局风格向量、所述帧级局部风格向量进行融合，得到病理声学风格条件均值；

15、生成单元，用于将所述预测时长和所述病理声学风格条件均值输入流匹配网络，通过条件流匹配生成构音障碍风格语音。

16、第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述构音障碍语音合成方法的步骤。

17、第四方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述构音障碍语音合成方法的步骤。

18、上述构音障碍语音合成方法、装置、计算机设备及存储介质所实现的方案中，基于停顿预测结果生成停顿嵌入并插入序列，再通过时长预测器输出预测时长，由此实现对病理语音中异常节奏与停顿分布的直接建模；进一步地，从参考梅尔频谱中提取全局与帧级局部风格向量，并与增强序列融合，由此实现对病理声学风格的联合表征。进一步地，将上述节奏特征与风格特征共同输入流匹配网络，通过条件流匹配生成目标语音。由于上述节奏建模与风格表征均基于真实病理语音数据，因此生成的语音在节奏分布与声学细节上均能高度接近真实构音障碍语音，解决了合成语音节奏与真实病理语音分布存在显著偏移的问题，从而能够为自动语音识别系统提供有效的增强数据。

1.一种构音障碍语音合成方法，其特征在于，包括：

2.根据权利要求1所述的构音障碍语音合成方法，其特征在于，所述将所述音素编码序列输入停顿预测器进行停顿预测，得到停顿预测结果，包括：

3.根据权利要求1所述的构音障碍语音合成方法，其特征在于，所述将所述增强音素编码序列输入时长预测器进行时长预测，得到预测时长，包括：

4.根据权利要求1所述的构音障碍语音合成方法，其特征在于，所述将所述增强音素编码序列与所述全局风格向量、所述帧级局部风格向量进行融合，得到病理声学风格条件均值，包括：

5.根据权利要求4所述的构音障碍语音合成方法，其特征在于，所述将所述帧级局部风格向量与所述中间特征进行注意力融合，得到融合特征，包括：

6.根据权利要求1所述的构音障碍语音合成方法，其特征在于，所述将所述预测时长和所述病理声学风格条件均值输入流匹配网络，通过条件流匹配生成构音障碍风格语音，包括：

7.根据权利要求6所述的构音障碍语音合成方法，其特征在于，所述通过所述流匹配网络，基于所述组合条件向量执行条件流匹配生成过程，从噪声分布生成构音障碍风格梅尔频谱，包括：

8.一种构音障碍语音合成装置，其特征在于，包括：

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述构音障碍语音合成方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述构音障碍语音合成方法的步骤。