一种基于循环生成网络的语音生成方法与流程

本发明涉及一种基于循环生成网络的语音生成方法，属于光纤传感
技术领域：
。
背景技术：
：语音增强方法目前主要有：对信号本身做改变、与真实环境的噪声叠加、利用合成技术生成语音信号，目前利用合成技术进行语音增强主要有三种实现方式，分别为：波形拼接，参数合成以及端到端的语音合成技术。波形拼接语音合成：通过前期录制大量的音频，尽可能全的覆盖所有的音节音素，基于统计规则的大语料库拼接成对应的文本音频，所以波形拼接技术通过已有库中的音节进行拼接，实现语音合成的功能。一般此技术需要大量的录音，录音量越大，效果越好，通常的好的音库，录音量在50小时以上；但是由于需要的录音量大，覆盖要求高，字间协同过渡生硬，不平滑，不是很自然。参数语音合成技术：参数语音合成技术主要是通过数学方法对已有录音进行频谱特性参数建模，构建文本序列到语音特征之间的映射关系，生成参数合成器。所以当输入一个文本时，先将文本序列映射出对应的音频特征，再通过声学模型（声码器）将音频特征转化为我们听得懂的声音，但是音质没有波形拼接的好，机械感强，有杂音等。端到端语音合成技术：端到端语音合成技术是目前比较火的技术，通过神经网络学习的方法，实现直接输入文本或者注音字符，输出合成音频的功能，极大地简化了复杂的语言分析部分。所以端到端的语音合成技术，大大降低了对语言学知识的要求，且可以实现多种语言的语音合成，不再受语言学知识的限制。通过端到端合成的音频，效果得到的进一步的优化，声音更加贴近真人，但是性能大大降低，合成的音频背景较为单一。随着人工智能技术的发展，语音识别技术取得了巨大的进步，并开始进入家电、通信、汽车、医疗等各个领域。相关技术中，在训练语音识别模型时，为得到一个性能优良的语音识别模型，训练样本仅仅通过人工标注大量的语音识别数据来获得，以此保证训练效果。然而，仅仅通过人工标注的方式来获得大量的训练样本，耗时且人力成本高。语音增强技术能够利用有限训练样本增强模型泛化能力，因此，利用合成技术增加语音数据丰富度是语音识别训练过程中必不可少的环节。目前语音合成技术落地是比较成熟的，比如前面说到的各种播报场景，读小说、读新闻以及现在比较火的人机交互。但是目前还是存在一些解决不掉的问题，主要分为：拟人化、情绪化和定制化。拟人化：合成音的整体韵律还是比真人要差很多情绪化：真人在说话的时候，可以察觉到当前情绪状态，在语言表达时，通过声音就可以知道这个人是否开心，或者沮丧，也会结合表达的内容传达具体的情绪状态。但是用合成的音频，整体感情和情绪是比较平稳的，没有很大的起伏。定制化：真实语音数据对于不同场景噪声的累积与叠加，如何使得噪声场景（机场、火车、人群等）更加逼真，将直接干预识别模型的训练效果。技术实现要素：本发明所要解决的技术问题是提供一种基于循环生成网络的语音生成方法，设计全新架构的语音序列生成器，能够高效、准确实现语音的获得。本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于循环生成网络的语音生成方法，包括按如下步骤i至步骤iv，获得语音序列生成器；以及按如下步骤a至步骤b，应用语音序列生成器，获得由目标语言字符串与相应音调序列所组成目标语料组对应的目标语音序列；步骤i.基于语言字符串与相应音调序列组成语料组，以及语言字符串与真实语音序列组成真实语音组，确定预设数量的样本，且各样本分别由彼此相同语言字符串的语料组与真实语音组所组成，然后进入步骤ii；步骤ii.分别针对各个样本，针对样本中的语料组进行频谱合成处理，获得该语料组所对应的mel频谱，同时针对该样本中的真实语音组进行频谱提取处理，获得该真实语音组所对应的mel频谱；然后进入步骤iii；步骤iii.基于预设第一网络模型，以样本中语料组所对应mel频谱为输入，相应仿真语音序列为输出，构建生成器g；基于预设第二网络模型，以仿真语音序列与对应样本中真实语音组的真实语音序列之间的对抗损失，构建判别器d；基于预设第三网络模型，以针对仿真语音序列进行频谱提取所获频谱、以及对应样本中语料组所对应mel频谱、真实语音组所对应mel频谱三者之间的一致性，构建判别器y；然后进入步骤iv；步骤iv.基于各个样本，结合判别器d所获结果与判别器y所获结果融合所构建的损失函数，以及预设损失收敛阈值，针对生成器g进行训练，所获训练后的生成器g即为语音序列生成器；步骤a.针对由目标语言字符串与相应音调序列所组成目标语料组，执行频谱合成处理，获得目标语料组所对应的mel目标频谱，然后进入步骤b；步骤b.针对mel目标频谱，应用语音序列生成器，获得相对应的目标语音序列。作为本发明的一种优选技术方案：所述步骤ii中，分别针对各个样本，按如下步骤ii-1-1至步骤ii-1-3，针对样本中的语料组进行频谱合成处理，获得该语料组所对应的mel频谱；步骤ii-1-1.应用分词/词性句法分析与文字标注多音消歧方法，获得语料组所对应的音素，然后进入步骤ii-1-2；步骤ii-1-2.应用embedding层将该语料组所对应的音素转换为embedding向量，然后进入步骤ii-1-3；步骤ii-1-3.根据该语料组所对应的embedding向量，映射获得该语料组中语言字符串所对应的音频特征，即获得该语料组所对应的mel频谱。作为本发明的一种优选技术方案：所述步骤ii中，分别针对各个样本，按如下步骤ii-2-1至步骤ii-2-3，针对样本中的真实语音组进行频谱提取处理，获得该真实语音组所对应的mel频谱；步骤ii-2-1.针对真实语音组中的真实语音序列执行预加重、分帧和加窗处理，获得各桢语音信号，然后进入步骤ii-2-2；步骤ii-2-2.分别对各桢语音信号进行短时傅立叶变换stft，获得各桢语音信号分别所对应的短时幅度谱，然后进入步骤ii-2-3；步骤ii-2-3.应用mel滤波器分别对各桢语音信号所对应的短时幅度谱进行滤波处理，更新各桢语音信号分别所对应的短时幅度谱，并组成获得该真实语音组所对应的mel频谱。作为本发明的一种优选技术方案：所述步骤iv中，基于各个样本，结合如下判别器d所获结果与判别器y所获结果融合所构建的损失函数：获得损失值，并结合预设损失收敛阈值，针对生成器g进行训练，所获训练后的生成器g即为语音序列生成器；其中，表示真实语音组中的真实语音序列，表示生成器g所对应的函数，表示判别器d所对应的函数，表示判别器y所对应的函数，表示频谱提取函数，表示期望函数，表示预设融合阈值。作为本发明的一种优选技术方案：所述预设融合阈值，所述预设损失收敛阈值等于0.01。作为本发明的一种优选技术方案：所述预设第一网络模型自其输入端至其输出端方向，依次包括第一卷积层、第一激活层、第一上采样层、第一残差网络层、第二上采样层、第二残差网络层、第三上采样层、第三残差网络层、第四上采样层、第四残差网络层、第二卷积层、第二激活层；其中各第一残差网络层、第二残差网络层、第三残差网络层、第四残差网络层分别自其输入端至其输出端均包括3级残差子模块串联结构，各残差子模块分别均为3*1尺寸激活层与卷积层的串联结构，第一上采样层、第二上采样层分别均为8级残差模块串联，第三上采样层、第四上采样层分别均为2级残差模块串联。作为本发明的一种优选技术方案：所述用于构建判别器d的预设第二网络模型自其输入端至其输出端方向，依次包括第一卷积层、第一下采样层、第二卷积层、第三卷积层，其中，第一卷积层中kernel_size=15、padding=0，第二卷积层中kernel_size=5,stride=1,padding=2，第三卷积层中kernel_size=3,stride=1,padding=1，第一下采样层为4级残差模块串联。作为本发明的一种优选技术方案：所述用于构建判别器y的预设第三网络模型自其输入端至其输出端方向，依次包括第一卷积层、denseblock1、第二卷积层、第一池化层、denseblock2、第三卷积层，其中，各卷积层的尺寸为7x7、且stride=2，第一池化层为尺寸3x3的最大池化层、且stride=2，denseblock1、denseblock2分别均由12级子模块串联构成，各子模块分别均为1x1尺寸卷积层与3x3尺寸卷积层的串联结构。本发明所述一种基于循环生成网络的语音生成方法，采用以上技术方案与现有技术相比，具有以下技术效果：本发明所设计一种基于循环生成网络的语音生成方法，基于由彼此相同语言字符串的语料组与真实语音组所组成的各样本，应用语料组所对应的mel频谱、以及真实语音组所对应的mel频谱，结合预设第一网络模型所构建生成器g与预设第二网络模型所构建判别器d融合的损失函数，针对预设第一网络模型所构建生成器g进行训练，如此在语音序列生成器的实际应用中，能够生成更加丰富的音色和情绪，将极大增强样本的普适性和丰富性，真正做到对语音识别网络的有效训练，进而获得语音序列生成器，将有效提高实际应用中语音获得的效率与准确率。附图说明图1是本发明所设计基于循环生成网络的语音生成方法中训练流程图；图2是本发明所设计基于循环生成网络的语音生成方法中频谱合成流程图；图3是本发明所设计基于循环生成网络的语音生成方法中频谱提取的结构图；图4是本发明所设计基于循环生成网络的语音生成方法中生成器g的结构图；图5是本发明所设计基于循环生成网络的语音生成方法中判别器d的结构图；图6是本发明所设计基于循环生成网络的语音生成方法中判别器y的结构图。具体实施方式下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。本发明设计了一种基于循环生成网络的语音生成方法，实际应用当中，按图1所示，具体执行按如下步骤i至步骤iv，获得语音序列生成器。步骤i.基于语言字符串与相应音调序列组成语料组，以及语言字符串与真实语音序列组成真实语音组，确定预设数量的样本，且各样本分别由彼此相同语言字符串的语料组与真实语音组所组成，然后进入步骤ii。实际应用中，对于语料组来说，诸如设计为{“语言字符串”：“大家好”，“音调序列”：“413”}，对于真实语音组来说，诸如设计{“语言字符串”：“大家好”，“真实语音序列”：“序列”}；其中对于各个字符的音调来说，音调分为5个（“0”，“1”，“2”，“3”“4”）。步骤ii.分别针对各个样本，针对样本中的语料组进行频谱合成处理，获得该语料组所对应的mel频谱，同时针对该样本中的真实语音组进行频谱提取处理，获得该真实语音组所对应的mel频谱；然后进入步骤iii。关于上述步骤ii中语料组所对应mel频谱的获得，具体分别针对各个样本，按图2所示，按如下步骤ii-1-1至步骤ii-1-3，针对样本中的语料组进行频谱合成处理，获得该语料组所对应的mel频谱。步骤ii-1-1.应用分词/词性句法分析与文字标注多音消歧方法，获得语料组所对应的音素，然后进入步骤ii-1-2。步骤ii-1-2.应用embedding层将该语料组所对应的音素转换为embedding向量，然后进入步骤ii-1-3。步骤ii-1-3.根据该语料组所对应的embedding向量，映射获得该语料组中语言字符串所对应的音频特征，即获得该语料组所对应的mel频谱。关于上述步骤ii中真实语音组所对应mel频谱的获得，具体分别针对各个样本，按图3所示，按如下步骤ii-2-1至步骤ii-2-3，针对样本中的真实语音组进行频谱提取处理，获得该真实语音组所对应的mel频谱。步骤ii-2-1.针对真实语音组中的真实语音序列执行预加重、分帧和加窗处理，获得各桢语音信号，然后进入步骤ii-2-2。步骤ii-2-2.分别对各桢语音信号进行短时傅立叶变换stft，获得各桢语音信号分别所对应的短时幅度谱，然后进入步骤ii-2-3。步骤ii-2-3.应用mel滤波器分别对各桢语音信号所对应的短时幅度谱进行滤波处理，更新各桢语音信号分别所对应的短时幅度谱，并组成获得该真实语音组所对应的mel频谱。步骤iii.基于预设第一网络模型，以样本中语料组所对应mel频谱为输入，相应仿真语音序列为输出，构建生成器g；实际应用中，用于构建生成器g的预设第一网络模型自其输入端至其输出端方向，如图4、以及下表1所示，依次包括第一卷积层、第一激活层、第一上采样层、第一残差网络层、第二上采样层、第二残差网络层、第三上采样层、第三残差网络层、第四上采样层、第四残差网络层、第二卷积层、第二激活层；其中各第一残差网络层、第二残差网络层、第三残差网络层、第四残差网络层分别自其输入端至其输出端均包括3级残差子模块串联结构，各残差子模块分别均为3*1尺寸激活层与卷积层的串联结构，第一上采样层、第二上采样层分别均为8级残差模块串联，第三上采样层、第四上采样层分别均为2级残差模块串联。表1生成器结构参数输入语音频谱图第一卷积层kernel_size=7,padding=0第一leakyrelualpha=0.2第一上采样层8x第一残差网络层3*(irelu3*1,dilation=1conv)第二上采样层8x第二残差网络层3*(irelu3*1,dilation=1conv)第三上采样层2x第三残差网络层3*(irelu3*1,dilation=1conv)第四上采样层2x第四残差网络层3*(irelu3*1,dilation=1conv)第二卷积层kernel_size=7,padding=0第二leakyrelualpha=0.2输出波形图基于预设第二网络模型，以仿真语音序列与对应样本中真实语音组的真实语音序列之间的对抗损失，构建判别器d；实际应用中，用于构建判别器d的预设第二网络模型自其输入端至其输出端方向，如图5、下表2所示，依次包括第一卷积层、第一下采样层、第二卷积层、第三卷积层，其中，第一卷积层中kernel_size=15、padding=0，第二卷积层中kernel_size=5,stride=1,padding=2，第三卷积层中kernel_size=3,stride=1,padding=1，第一下采样层为4级残差模块串联。表2判别器d结构参数输入波形图第一卷积层kernel_size=15，padding=0第一下采样4x第二卷积层kernel_size=5,stride=1,padding=2第三卷积层kernel_size=3,stride=1,padding=1输出特征图基于预设第三网络模型，以针对仿真语音序列进行频谱提取所获频谱、以及对应样本中语料组所对应mel频谱、真实语音组所对应mel频谱三者之间的一致性，构建判别器y；实际应用中，如图6所示，用于构建判别器y的预设第三网络模型自其输入端至其输出端方向，依次包括第一卷积层、denseblock1、第二卷积层、第一池化层、denseblock2、第三卷积层，其中，各卷积层的尺寸为7x7、且stride=2，第一池化层为尺寸3x3的最大池化层、且stride=2，denseblock1、denseblock2分别均由12级子模块串联构成，各子模块分别均为1x1尺寸卷积层与3x3尺寸卷积层的串联结构。当按上述设计，构建获得生成器g、判别器d、判别器y后，然后进入步骤iv。步骤iv.基于各个样本，结合如下判别器d所获结果与判别器y所获结果融合所构建的损失函数：获得损失值，并结合诸如预设损失收敛阈值等于0.01，针对生成器g进行训练，所获训练后的生成器g即为语音序列生成器；其中，表示真实语音组中的真实语音序列，表示生成器g所对应的函数，表示判别器d所对应的函数，表示判别器y所对应的函数，表示频谱提取函数，表示期望函数，表示预设融合阈值，诸如。基于上述步骤i至步骤iv所获得的语音序列生成器，进一步按如下步骤a至步骤b，应用语音序列生成器，获得由目标语言字符串与相应音调序列所组成目标语料组对应的目标语音序列。步骤a.针对由目标语言字符串与相应音调序列所组成目标语料组，执行频谱合成处理，获得目标语料组所对应的mel目标频谱，然后进入步骤b。步骤b.针对mel目标频谱，应用语音序列生成器，获得相对应的目标语音序列。在以往的端到端语音合成技术中，假设生成的初始仿真数据所在的空间定义为x，需要解决的场景中语音所在的空间定义为y。我们要解决的问题是，将已生成充足的空间x中的仿真数据，转换到空间y中，使得仿真数据更加真实，帮助语音识别网络模型的训练。但是以往的训练往往导致，每个xi和每个yi之间只能一一对应，甚至出现所有仿真数据x都会对应到一个yi。使用了本专利所述的循环生成网络，保证了仿真数据xi会对应到所有的y。上述结果数字化阐述在真实的实施案例表述为：当y中有各种复杂背景（“餐厅”、“火车”、“人群噪音”背景）的对话语音时，在其他gan网络只能生成单一的“餐厅”噪音背景对话语音，而本方案可以生成“嘈杂的人群和餐厅”等混合噪声背景对话语音。同时，由于mel频谱特征图也加入了判别器y的训练，在其他gan网络中，只能生成基于mel频谱固定的音色和情绪，本专利将生成更加丰富的音色和情绪，将极大的增强样本的普适性和丰富性，真正做到有效帮助语音识别网络训练。上述技术方案所设计一种基于循环生成网络的语音生成方法，基于由彼此相同语言字符串的语料组与真实语音组所组成的各样本，应用语料组所对应的mel频谱、以及真实语音组所对应的mel频谱，结合预设第一网络模型所构建生成器g与预设第二网络模型所构建判别器d融合的损失函数，针对预设第一网络模型所构建生成器g进行训练，如此在语音序列生成器的实际应用中，能够生成更加丰富的音色和情绪，将极大增强样本的普适性和丰富性，真正做到对语音识别网络的有效训练，进而获得语音序列生成器，将有效提高实际应用中语音获得的效率与准确率。上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。当前第1页12