阅读引导式低资源语音令牌语音合成方法及装置

本发明涉及阅读引导式低资源语音令牌语音合成方法及装置，属于语音合成、低资源语言处理、语音令牌建模、文本规范化和人工智能生成。

背景技术：

1、近年来，基于离散语音令牌的语音合成技术逐渐成为语音生成领域的重要技术路线。该类方法通常首先利用神经语音编码模型对目标语音进行离散化处理，将连续语音波形映射为离散语音令牌序列；随后通过序列生成模型，根据输入文本和声学条件预测对应的语音令牌；最后通过声学生成模块和波形恢复模块生成目标语音。与传统基于频谱特征的语音合成方案相比，基于离散语音令牌的方法能够更好地统一文本序列与语音序列之间的建模过程，因此已经广泛应用于多语言语音合成、跨语言语音生成以及低资源语言语音生成等场景。然而，在低资源语言场景下，由于高质量文本与语音配对数据规模有限，训练语料往往难以充分覆盖数字、日期、时间、专有名词、外来词、缩写、混合脚本表达以及罕见表达等复杂读法现象。尤其在泰语、越南语等低资源或中低资源语言条件下，同一文本片段可能存在多种合法读法，从而导致模型难以稳定学习一致的文本到发音映射关系。

2、现有语音令牌模型虽然能够生成较自然的语音，但在复杂读法场景中仍可能出现句级读法不一致、数字规范化不稳定、混合语种切换错误以及局部难读片段误读、漏读或替换等问题，从而影响整体语音生成质量。目前，部分现有技术尝试通过文本规范化、规则词典、音素转换或前端注音等方式减少文本表层变异带来的影响。然而，上述方案通常主要针对局部文本片段进行规则替换或单一标注，难以同时对整句层面的阅读策略和局部片段层面的发音歧义进行联合约束。此外，自动生成的读法提示还可能存在边界识别错误或低可信提示信息。如果将不可靠提示直接用于模型训练，则可能将错误读法传播至语音令牌模型中，进而影响整体发音稳定性。

3、因此，需要一种新的低资源语音令牌语音合成方法，能够在训练阶段为整句提供稳定的阅读策略约束，并为局部难读片段提供细粒度读法提示；同时根据提示可靠性自适应调整训练强度，从而提升模型在低资源语言场景下的发音稳定性和语音生成质量。

技术实现思路

1、本发明要解决的技术问题是：针对现有低资源语音令牌语音合成方法中存在的读法约束粒度不足、复杂文本片段发音稳定性差、自动读法提示噪声较大、推理阶段依赖外部前端以及数字、日期、专有名词、外来词和混合脚本等片段容易误读的问题，提供一种阅读引导式低资源语音令牌语音合成方法及装置，以提升低资源语言场景下语音令牌模型的发音控制能力和语音生成质量。

2、本发明的技术方案是：第一方面，本发明提供一种阅读引导式低资源语音令牌语音合成方法，所述方法包括：

3、step1、获取低资源语言语音合成训练样本，并对训练样本文本进行预处理；

4、step2、构建结构化阅读引导记录；首先基于训练样本文本生成句级阅读约束；然后生成片段级读法提示；最后构建对应的验证证据，形成结构化阅读引导记录；

5、step3、构建阅读引导前缀；首先将结构化阅读引导记录序列化为引导令牌序列；然后通过引导编码器对引导令牌序列进行编码；最后生成阅读引导前缀表示；

6、step4、训练语音令牌生成模型；首先将阅读引导前缀与文本嵌入进行拼接；然后输入语音令牌生成模型；最后预测对应的离散语音令牌序列；

7、step5、执行可靠性加权训练；首先根据片段级读法提示生成语音令牌级困难区域掩码、可靠性权重和训练动作强度；然后对语音令牌损失进行可靠性加权；最后增强高可信发音敏感区域的监督强度；

8、step6、执行发音知识内化训练；首先构建含阅读引导的教师生成路径和不含阅读引导的学生生成路径；然后在发音敏感区域对教师路径与学生路径的输出分布进行约束；最后将阅读引导条件下的发音控制能力迁移至无引导推理路径；

9、step7、执行推理生成；首先输入待合成文本；然后通过无阅读引导路径预测语音令牌序列；最后通过声学生成模块和语音输出模块生成目标语音。

10、进一步地，所述step1包括：

11、step1.1、训练样本获取：获取低资源语言对应的语音合成训练语料；

12、step1.2、文本预处理：对训练样本文本进行统一编码，用于消除不同数据源之间的字符编码差异；对标点进行规范化处理，用于保留停顿相关标点并合并重复标点；执行混合脚本检测，用于识别目标语言文字、拉丁字母、数字、符号或外文片段共同出现的位置；

13、step1.3、难读片段标记：对可能导致语音令牌预测错误的局部文本区域进行难读片段标记，形成最终训练样本。

14、进一步地，所述step2包括：

15、step2.1、生成句级阅读约束；所述句级阅读约束至少包括文本规范化倾向、句内停顿位置、短语划分方式、主导语种、脚本一致性策略、混合语种读法策略和跨语种读音迁移风险；

16、step2.2、生成片段级读法提示；所述片段级读法提示至少包括表层文本片段、片段起止位置、片段类型、局部读法提示、规范化文本读法、目标语言文字读法、音素序列、音节边界、自然语言发音解释信息、训练动作和可靠性分数；

17、step2.3、生成验证证据；所述验证证据包括结构合法性验证、片段边界对齐验证、规范化读法一致性验证、脚本一致性验证、歧义风险验证和幻觉风险验证；

18、step2.4、构建结构化阅读引导记录；

19、所述片段类型包括数字、日期、时间、金额、专有名词、缩写、外来词、混合脚本文本、罕见表达和语言特有变读表达中的一种或多种；

20、当可靠性分数低于预设阈值时，对对应片段执行降权、丢弃或仅保留句级约束的训练动作。

21、进一步地，所述step3具体处理流程包括：

22、对于输入文本序列：

23、

24、其中，n表示输入文本长度，xi表示第i个文本单元；结构化阅读引导记录经过序列化函数处理后得到引导令牌序列：

25、

26、其中，g(x)表示输入文本x对应的结构化阅读引导记录；φ(·)表示引导记录序列化函数；将引导令牌序列输入引导编码器得到阅读引导前缀表示：

27、

28、其中，guideenc(·)表示引导编码器；hg表示阅读引导前缀；文本序列经过文本嵌入层后得到文本表示：

29、

30、其中，embed(·)表示文本嵌入函数；将阅读引导前缀与文本表示进行拼接得到条件输入表示：

31、

32、其中，[·;·]表示向量拼接操作；将条件输入表示输入语音令牌生成模型，得到第t个语音令牌的条件概率：

33、

34、其中，yt表示第t个语音令牌；y

35、进一步地，所述引导编码器对结构化阅读引导记录中的层级类型、片段类型、片段编号、片段位置、读法动作和可靠性分数分别进行嵌入表示；

36、并通过拼接、加权求和、门控融合或注意力融合方式生成阅读引导前缀。

37、进一步地，所述step5具体处理流程包括：

38、首先根据片段级读法提示构建语音令牌级困难区域掩码：

39、

40、其中，mt=1表示第t个语音令牌位于发音敏感区域；根据训练动作生成训练动作强度系数：

41、

42、其中，at表示训练动作；ψ(·)表示训练动作映射函数；根据可靠性分数生成可靠性权重：

43、

44、其中，rt表示第t个语音令牌对应的可靠性分数；τ表示可靠性阈值；第t个语音令牌的加权监督系数表示为：

45、

46、其中，λ1表示困难区域增强系数；第t个语音令牌的预测损失表示为：

47、

48、整体可靠性加权损失函数表示为：

49、

50、其中，t表示语音令牌序列长度；

51、所述语音令牌级困难区域掩码通过将文本片段位置粗映射到语音令牌时间区域得到；

52、所述映射仅用于损失加权，不作为强制时长对齐目标；

53、所述训练动作强度根据片段是否需要加强监督、保持监督、降低监督或丢弃监督进行确定。

54、进一步地，所述step6具体处理流程包括：

55、对于同一输入文本，分别构建含阅读引导路径和无阅读引导路径；

56、含阅读引导路径的下一语音令牌概率分布表示为：

57、

58、无阅读引导路径的下一语音令牌概率分布表示为：

59、

60、对发音敏感区域执行知识内化训练，其内化损失函数表示为：

61、

62、其中，kl(·||·)表示kl散度函数；stopgrad(·)表示停止梯度操作；pwt(yt)和pnt(yt)分别表示温度缩放后的概率分布；

63、最终模型训练目标函数表示为：

64、

65、其中，λ2表示知识内化损失权重系数。

66、进一步地，所述推理阶段默认不依赖外部阅读引导记录；

67、当待合成文本包含高风险难读片段时，启用增强引导路径；

68、并根据用户设置输出含引导或无引导的合成语音。

69、进一步地，所述声学生成模块包括声学解码器、流式声学模型、扩散式声学模型或条件声学解码器中的一种或多种；

70、所述语音输出模块包括神经声码器、参数声码器或端到端波形生成器中的一种或多种。

71、第二方面，本发明提供阅读引导式低资源语音令牌语音合成装置，所述装置包括：用于执行所述的阅读引导式低资源语音令牌语音合成方法的模块。

72、本发明的有益效果是：

73、1、本发明通过构建结构化阅读引导记录，在句级层面提供统一阅读策略，在片段级层面提供细粒度读法提示，从而提升低资源语言复杂读法场景下的发音稳定性；

74、2、本发明通过引入验证证据与可靠性分数机制，能够降低错误读法提示对语音令牌模型训练过程的干扰，减少低可信提示信息被模型放大的风险；

75、3、本发明通过困难区域掩码与可靠性加权损失函数强化数字、日期、专有名词、外来词以及混合脚本等发音敏感区域的训练强度，从而降低复杂文本片段的误读率；

76、4、本发明通过发音知识内化训练机制，使无阅读引导路径学习有阅读引导路径的发音控制能力，从而提升模型在推理阶段不依赖外部引导时的语音生成稳定性；

77、5、本发明能够有效提升低资源语言语音令牌语音合成任务中的发音准确率、复杂文本鲁棒性以及推理阶段的实际部署可用性。