用于语音模型训练的数据集构建方法及系统与流程

本技术涉及人工智能语音处理，尤其涉及用于语音模型训练的数据集构建方法及系统。

背景技术：

1、随着深度学习技术的发展，tts和vc模型对大规模、高质量、标注准确的语音数据集依赖程度越来越高；目前主流数据集构建方式主要包括：人工录制配音数据、人工剪辑影视、播客、广播等素材以及使用现有开源语音数据集；

2、虽然已经有部分方法采用自动化的方法生成音频数据集，例如，专利cn110223675b利用多神经网络融合打分与阈值筛选，实现语音识别训练文本的自动化高质量筛选；专利cn120299445a通过少量种子语音、大模型声音克隆与自动质检的流程，实现低成本快速生成高质量语音数据库；但这些方法对于音频数据集的处理步骤（例如切分、去噪、人声增强、多说话人识别等），仅限于生成“音频-文本”对，缺少对于音频说话人、性别、语言、情绪、富文本（例如笑声、哭声、停顿）、场景（例如演讲、对话、耳语、清唱）等标签的标注，这就会导致后续模型无法学习真实语音中的情绪表达、场景差异及韵律特征；同时，也难以支持场景化语音生成、多模态理解及情绪控制等任务；尤其在电影、播客、游戏配音等真实业务场景中，没有场景业务标签也就意味着模型对于场景的控制是完全随机的，例如想让某个音色以演讲的方式去说一段话，缺少这些标签会导致只能通过“抽卡”的方式完成，甚至会出现无法达到效果或一句话中出现多种场景演绎的结果；即，现有方法存在以下缺陷：

3、（1）难以应用于长达30分钟甚至数个小时且存在噪音或多人同事说话情况的博客、采访、电影、动漫配音等数据，而这些数据其实蕴含了丰富且高质量的样本。

4、（2）仅记录了音频的文本数据，缺失了更多维的说话人、性别、语言、情绪、场景的数据，这使得这一部分信息是损失掉的，而这恰恰会导致后续的tts和vc任务重缺失标签信息，没有办法训练出跨语言（例如让仅有中文训练数据的音色说英文）、跨情绪（例如让模型能够控制生成特定情绪的音频）以及跨场景（例如让某个音色清唱歌曲而不是简单念出台词）。

5、（3）缺失了富文本的记录，例如笑声、哭声、叹气、咳嗽等，而这些富文本其实在很大程度上能够提升音频的真实度和完整性，但更为重要的是，这些方法没有记录下音频的停顿信息，这会使得音频在标签上缺失了韵律/节奏等信息，而缺失这些信息会导致生成的音频偏向于捧读（平白直叙的念台词），从而大大降低生成音频的质量。

6、故此，本技术提出了用于语音模型训练的数据集构建方法及系统。

技术实现思路

1、为了弥补现有技术的不足，以解决背景技术中存在的技术问题，本技术提出了用于语音模型训练的数据集构建方法及系统。

2、本技术通过以下技术方案实现：

3、用于语音模型训练的数据集构建方法，包括以下步骤：

4、s1、统一数据格式

5、对来源不同的音视频素材提取音频，统一转换成预设采样率的单声道wav格式标准音频；

6、s2、长音频预处理降噪

7、采用mossformer2_ss_16k模型对标准化后的长音频做去噪与语音分离，去除环境噪声、背景音乐，削弱多说话人混叠干扰；

8、s3、富文本asr初次识别

9、采用经过富文本数据集全参数微调后的asr模型对降噪音频识别，输出带字级时间戳的文本、、、、类富文本事件标注信息；

10、s4、多标签自动化标注

11、利用wav2vec2-base-superb-er进行情绪识别、pyannote模型实现说话人区分聚类、基于hubert微调得到的模型完成音频场景分类，结合语种识别结果，生成句子粒度结构化标签，标签包含说话人编号、性别、语种、情绪、场景信息；

12、s5、基于标签统计学的自适应停顿标注

13、根据asr字词时间戳计算相邻字词间停顿时长，分别统计同一说话人、同一场景下停顿时长分布的分位数阈值、，通过公式计算动态停顿判定阈值，大于t则判定为有效停顿，并依据系数γ将有效停顿划分为短停顿、中停顿、长停顿；当说话人或场景样本缺失时启用全局分位数、固定阈值的回退判定规则；

14、s6、滑动窗口智能切分

15、以15秒为基准窗口时长，逐句累积音频时长，依据说话人嵌入向量相似度判别说话人切换并即时终止当前窗口，切分边界对齐句子首尾，切分片段前后预留静音缓冲；超长语句采用标点拆分、极端长句强制截断加人工抽检的兜底方案；

16、s7、二次人声增强

17、使用mossformergan_se_16k模型对切分后的短音频片段再次做精细化人声增强处理；

18、s8、二次asr校正

19、利用微调后的asr模型对增强后音频二次识别，对比前后两次识别结果的wer、cer指标，依据预设误差阈值筛选低质量样本，同步修正文本、时间戳以及富文本标签位置；

20、s9、训练数据集封装

21、将处理完毕的音频文件与全维度结构化标签进行绑定存储，生成适配tts、vc模型训练的标准化语音数据集。

22、优选地，步骤s3中富文本asr模型的微调方式为：收集1000段以上公开富文本音频片段，依托说话人嵌入余弦相似度筛选音色匹配片段，在原始语音字词间隙按预设规则随机插入富文本音频与随机时长停顿并对应标注富文本token，组建富文本训练数据集；采用adamw优化器、1e-5～1e-4学习率、交叉熵损失函数对whisper turbo模型全参数微调。

23、优选地，步骤s4中各标签配置独立置信度阈值，情绪阈值0.8～0.9、场景阈值0.7～0.8、语种阈值0.9～0.95、说话人聚类相似度阈值0.5～0.85；低于置信阈值的标签采用标注unknown、保留top-k候选标签、上下文平滑修正、多模型投票中的任意一种处理方式。

24、优选地，步骤s5中 α取值0.7～0.9、β取值0.1～0.3，且α+β=1，停顿分级系数γ取值1.2～3.0；回退机制包括采用全局停顿分位数阈值、200ms～800ms固定阈值、单一标签独立阈值、iqr/z-score 过滤异常停顿数据四种实现方式。

25、优选地，步骤s6中说话人切换判定余弦相似度阈值为0.55～0.65，片段前端预留50ms～500ms静音、后端预留 100ms～800ms静音；切分异常时依次回退为vad切分、静音检测切分、固定时长强制切分。

26、优选地，步骤s8设置wer阈值10%～15%、cer阈值9%～10%，两次识别误差超出阈值的样本标记为低质样本或直接剔除；富文本标签冲突时保留高置信度对应的标签及时间信息。

27、优选地，步骤s2、步骤s7所采用的mossformer系列模型可替换为demucs、conv-tasnet、sepformer、rnnoise 任意一种等效语音增强分离模型。

28、优选地，步骤s9封装的数据集采用json、csv或者parquet格式存储，单条样本数据包含音频路径、起止时间、说话人id、性别、语种、携带富文本与停顿标记的原文、情绪标签数组、场景标签、停顿等级、样本综合置信度字段。

29、优选地，最终构建的数据集能够用于单说话人tts、多说话人tts、语音转换vc三类模型训练；所述方法支持分布式部署，单日自动化处理音频数据可达一万小时以上。

30、一种适用于上述所述的用于语音模型训练的数据集构建系统，包括依次信号连通的格式统一模块、长音频降噪模块、富文本asr初识别模块、多标签联合标注模块、自适应停顿检测模块、滑动窗口切分模块、二次人声增强模块、二次 asr 校正模块、数据集封装模块。

31、本技术的有益效果是：

32、本技术全流程自动化，显著降低人工剪辑成本，双阶段增强机制提升语音纯净度，基于说话人变化控制切分，避免数据污染，严格句级对齐，提升语音-文本匹配质量，二次识别校正机制提高文本准确率，适用于电影、播客、游戏配音等多来源数据，可扩展至大规模数据自动构建场景，同时，能够自动完成音频格式统一、降噪增强、说话人分离/增强、精确切分且能精确地记录音频说话人、性别、语言、情绪、富文本、场景的数据集自动构建。