样本数据集构建方法、模型训练方法以及装置与流程

本说明书实施例涉及大模型，特别涉及一种样本数据集构建方法、一种模型训练方法、一种样本数据集构建装置。

背景技术：

1、随着多模态大语言模型技术的快速发展，模型同时处理文本和语音等多种模态信息的能力日益成为研究的重点。为了实现文本模态与音频模态之间的有效对齐，训练数据的质量和结构对最终模型的性能具有至关重要的影响。

2、在相关技术中，用于训练音频文本模型的数据集通常采用单一模态数据，或者采用文本与音频简单混合的方式进行构建。例如，部分方案采用随机采样的方式决定每个文本片段是否转换为音频，这种方式虽然能够产生一定的模态混合效果，但由于各片段的模态归属是独立随机决定的，容易出现连续多个片段属于同一模态的情况，导致模态切换频率较低，模型在训练过程中接收到的跨模态对齐信号不够密集，难以充分学习文本与音频之间的深层对应关系，进而影响模型在语音问答、语音理解等下游任务上的表现。

3、因此，如何构建一种高质量的文本与音频交错排列的样本数据集，以最大化模态切换频率并提供充分的跨模态对齐信号，同时保证音频合成质量，成为当前亟待解决的技术问题。

技术实现思路

1、有鉴于此，本说明书实施例提供了一种样本数据集构建方法。本说明书一个或者多个实施例同时涉及一种模型训练方法，一种文本到音频的合成方法，一种音频到文本的转录方法，一种音频文本处理方法和一种样本数据集构建装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序产品，以解决现有技术中存在的技术缺陷。

2、根据本说明书实施例的第一方面，提供了一种样本数据集构建方法，包括：

3、获取样本文本；

4、对样本文本进行语义切分，得到样本文本序列，其中，样本文本序列包括多个文本类型的样本语义片段；

5、基于确定性交替分配规则，为样本文本序列中相邻的样本语义片段分配不同的模态标签，其中，模态标签包括文本类型标签和音频类型标签；

6、对样本文本序列中音频类型标签的样本语义片段进行音频合成，获得样本音频片段；

7、交错拼接样本文本序列中文本类型标签的样本语义片段及样本音频片段，构建得到文本与音频交错排列的样本数据集，其中，样本数据集用于训练音频文本模型。

8、根据本说明书实施例的第二方面，提供了一种模型训练方法，包括：

9、获取样本数据集及初始语言模型，其中，样本数据集根据任一项的样本数据集构建方法构建得到；

10、根据样本数据集，对初始语言模型进行训练，直至得到目标语音语言模型。

11、根据本说明书实施例的第三方面，提供了一种文本到音频的合成方法，包括：

12、获取待合成文本；

13、利用目标语音语言模型，对待合成文本进行音频合成，获得目标音频，其中，目标语音语言模型是根据模型训练方法训练得到的。

14、根据本说明书实施例的第四方面，提供了一种音频到文本的转录方法，包括：

15、获取待转录音频；

16、利用目标语音语言模型，对待转录音频进行文本转录，获得目标文本，其中，目标语音语言模型是根据模型训练方法训练得到的。

17、根据本说明书实施例的第五方面，提供了一种音频文本处理方法，包括：

18、获取待处理文本和待处理音频；

19、利用目标语音语言模型，对待处理文本和待处理音频进行处理，获得目标音频，其中，目标语音语言模型是根据模型训练方法训练得到的。

20、根据本说明书实施例的第六方面，提供了一种样本数据集构建装置，包括：

21、获取模块，被配置为获取样本文本；

22、语义切分模块，被配置为对样本文本进行语义切分，得到样本文本序列，其中，样本文本序列包括多个文本类型的样本语义片段；

23、模态标签分配模块，被配置为基于确定性交替分配规则，为样本文本序列中相邻的样本语义片段分配不同的模态标签，其中，模态标签包括文本类型标签和音频类型标签；

24、音频合成模块，被配置为对样本文本序列中音频类型标签的样本语义片段进行音频合成，获得样本音频片段；

25、构建模块，被配置为交错拼接样本文本序列中文本类型标签的样本语义片段及样本音频片段，构建得到文本与音频交错排列的样本数据集，其中，样本数据集用于训练音频文本模型。

26、根据本说明书实施例的第七方面，提供了一种计算设备，包括：

27、存储器和处理器；

28、存储器用于存储计算机程序/指令，处理器用于执行计算机程序/指令，该计算机程序/指令被处理器执行时实现上述任一方法的步骤。

29、根据本说明书实施例的第八方面，提供了一种计算机可读存储介质，其存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述任一方法的步骤。

30、根据本说明书实施例的第九方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述任一方法的步骤。

31、本说明书一个或多个实施例提供的样本数据集构建方法，包括获取样本文本；对样本文本进行语义切分，得到样本文本序列，其中，样本文本序列包括多个文本类型的样本语义片段；基于确定性交替分配规则，为样本文本序列中相邻的样本语义片段分配不同的模态标签，其中，模态标签包括文本类型标签和音频类型标签；对样本文本序列中音频类型标签的样本语义片段进行音频合成，获得样本音频片段；交错拼接样本文本序列中文本类型标签的样本语义片段及样本音频片段，构建得到文本与音频交错排列的样本数据集，其中，样本数据集用于训练音频文本模型。

32、通过对样本文本进行语义切分，能够确保得到的样本语义片段在语义上具有相对完整性，避免了因强制截断导致的语义碎片化，为后续模态分配提供了语义连贯的基础单元。基于确定性交替分配规则为相邻样本语义片段分配不同模态标签，使得每个文本片段与音频片段的模态归属呈严格交替排列，从根本上消除了传统随机采样方案中连续多个片段属于同一模态的情况，从而在序列层面实现了模态切换频率的最大化，确保模型在训练过程中能够在每个相邻片段对之间都接收到跨模态对齐信号进而使模型能够充分学习文本与音频之间的深层对应关系。对音频类型标签的样本语义片段进行音频合成，能够获得与文本语义内容相对应的样本音频片段，保证了音频模态与文本模态在内容层面的一致性。交错拼接文本类型标签的样本语义片段及样本音频片段，构建得到文本与音频交错排列的样本数据集，该数据集中每相邻两个片段均属于不同模态，为音频文本模型提供了密集模态切换的跨模态训练信号，最终有效提升了模型在语音问答、语音理解等下游任务上的表现。

1.一种样本数据集构建方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述样本文本序列中音频类型标签的样本语义片段进行音频合成，获得样本音频片段，包括：

3.根据权利要求2所述的方法，其特征在于，所述语音模型包括语音合成模型和语音识别模型；

4.根据权利要求3所述的方法，其特征在于，在所述对比所述转录语义片段与对应的音频类型标签的样本语义片段，确定所述转录语义片段的文本差异度之后，还包括：

5.根据权利要求1所述的方法，其特征在于，在所述基于确定性交替分配规则，为所述样本文本序列中相邻的样本语义片段分配不同的模态标签之前，还包括：

6.根据权利要求2所述的方法，其特征在于，在所述利用语音模型，对所述样本文本序列中音频类型标签的样本语义片段进行音频合成，获得样本音频片段之前，还包括：

7.根据权利要求2所述的方法，其特征在于，在所述利用语音模型，对所述样本文本序列中音频类型标签的样本语义片段进行音频合成，获得样本音频片段之前，还包括：

8.根据权利要求1所述的方法，其特征在于，所述获取样本文本，包括：

9.根据权利要求1所述的方法，其特征在于，在所述对所述样本文本序列中音频类型标签的样本语义片段进行音频合成之前，还包括：

10.一种模型训练方法，其特征在于，包括：

11.一种文本到音频的合成方法，其特征在于，包括：

12.根据权利要求11所述的方法，其特征在于，所述利用目标语音语言模型，对所述待合成文本进行音频合成，获得目标音频，包括：

13.一种音频到文本的转录方法，其特征在于，包括：

14.一种音频文本处理方法，其特征在于，包括：

15.一种样本数据集构建装置，其特征在于，包括：

16.一种计算设备，其特征在于，包括：

17.一种计算机可读存储介质，存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至14任意一项所述方法的步骤。

18.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至14任意一项所述方法的步骤。