1.本发明涉及语音合成
技术领域：
：，尤其涉及一种细粒度韵律可控的情感语音合成方法、系统及存储介质。
背景技术：
：：2.语音合成(speechsynthesis)也被称为文本到语音(text-to-speech,tts)，主要任务是将输入文本转换为输出语音。语音合成技术作为现代人机交互系统不可缺少的组成部分，帮助用户更容易、更直观地获得智能机器的输出，能够使虚拟世界更好的趋向真实，从而受到越来越多的关注。3.早期的传统语音合成系统包含多个模块，由文本到音素网络、音频分割网络、音素持续时间预测网络、基频预测网络和声码器组成。每一个模块的构建都需要耗费大量的专家知识，同时需要进行复杂的工程实现。此外，由于模块的堆叠，模块与模块间的结果传递会导致错误的积累使得模型难以训练。在此背景下，自回归的端到端语音合成技术作为一种简化人工干预，减少专家知识和简化流水线流程的语音合成技术被提出来。自回归的端到端语音合成主要包括四个部分：编码器，负责将文本编码为文本隐藏向量序列，提取文本的有效信息，方便注意力机制进行学习；注意力机制，负责学习从文本序列到声学特征序列之间的对齐；解码器，依据对齐结果自回归地解码出声学特征；声码器，将声学特征转化为语音波形。4.自回归的端到端语音合成已经能够合成接近人类语音的语音，但是由于注意力对齐训练困难，同时在推理阶段的误差积累，时常会导致重复，跳字的情况出现，极大降低了合成语音的自然度和真实度。除了自然度和真实度上的影响外，在自回归语音合成中，注意力对齐是每个字素的持续时间，也同样影响着合成语速的快慢，因此，现有技术的语音合成方法自然度和真实度较差。技术实现要素：5.鉴于此，本发明的实施例提供了一种细粒度韵律可控的情感语音合成方法、系统及存储介质，以消除或改善现有技术中存在的一个或更多个缺陷。6.本发明的第一方面提供了一种细粒度韵律可控的情感语音合成方法，所述方法的步骤包括：7.获取初始文本数据，将初始文本数据转化为对应的拼音序列，将初始文本数据的拼音序列输入第一编码模型得到文本隐藏向量序列，将初始文本数据和对应的音频数据输入第二编码模型得到韵律向量序列；8.将预设的参考音频的梅尔语谱图输入到第三编码模型，得到情感表示向量；9.将前一帧的声学特征序列输入预设的预处理模型进行非线性变换，得到中间特征向量；10.将所述情感表示向量和中间特征向量相加输入到第一循环神经网络中，得到第一隐藏状态序列；11.基于第一隐藏状态序列与文本隐藏向量序列计算能量值，将能量值和韵律向量序列输入注意力机制利用递推算法得到当前帧的对齐向量；12.将对齐向量与文本隐藏向量序列进行加权求和得到上下文向量；13.将所述上下文向量与第一隐藏状态序列输入到第二循环神经网络中，得到第二隐藏状态序列；14.将第二隐藏状态序列输入到第一线性映射层，得到预测的当前帧的声学特征序列，将声学特征序列输入到声码器，得到当前帧的语音波形，组合全部帧的语音波形，输出最终的语音数据。15.采用上述方案，本发明的注意力机制中能量值是通过计算转移概率的方式融入对齐的计算中，而不是简单地进行softmax将值域归一化到0和1之间，当前帧的对齐关注到的文本隐藏向量只可能是从上一解码帧关注的文本隐藏向量或者再下一个文本隐藏向量，因此保证对齐是单调而连续地移动，而不容易跳过任何文本隐藏向量，提高了合成语音的自然度和可懂度，缓解了对齐不匹配而造成的重复，跳字，注意力崩溃的问题，提高语音合成方法自然度和真实度。16.除了上述合成鲁棒性的提高外，本发明的注意力机制实现韵律可控的方式，是在计算文本到语音的对齐时，通过注入韵律向量序列来控制对齐权重分布，从而实现韵律节奏自然地控制。本发明的注意力机制算法对合成鲁棒性以及韵律可控性两方面都有良好的提升。17.在本发明的一些实施方式中，将初始文本数据转化为对应的拼音字符的步骤包括；18.获取所述初始文本数据的每个字，在预设的第一匹配库中为每个字匹配对应的拼音字符，根据初始文本数据中字的顺序将拼音字符连接为拼音序列。19.在本发明的一些实施方式中，将初始文本数据和对应的音频数据输入第二编码模型得到韵律向量序列的步骤包括：20.通过强制对齐方法获取文本中每个字素对应持续时间，按照持续时间长短对字素进行三类等级的划分：持续时间小于第一时间长度的字素标记为快速字素，持续时间中等的字素标记为正常字素，持续时间在第二时间长度以上的字素标记为慢速字素，其中，所述第二时间长度大于所述第一时间长度；21.将每个字素按照持续时间进行等级划分后，基于输入的字素序列得到等长的持续时间等级序列；22.根据预设的第二匹配库，将持续时间等级序列转换为韵律向量序列。23.在本发明的一些实施方式中，根据如下公式，基于第一隐藏状态序列与文本隐藏向量序列计算能量值：24.ei，j＝tanh(si hj)25.其中，ei,j表示第i帧的第j个字素的能量值，si表示第i帧的第一隐藏状态序列，hj表示第j个字素的文本隐藏向量序列，tanh表示双曲正切函数。26.在本发明的一些实施方式中，将能量值和韵律向量序列输入注意力机制利用递推算法得到当前帧的对齐向量的步骤包括：27.将能量值与所述韵律向量序列相加，并通过线性投影层，得到第一转移概率；28.将所述第一转移概率通过sigmoid激活函数进行处理，得到第二转移概率；29.基于第二转移概率和上一帧的对齐向量计算当前帧的对齐向量。30.其中，第一转移概率可表示为：[0031][0032]其中，表示第i帧的第j个字素对应的位置的第一转移概率，dnn表示线性投影层，li,j表示第i帧的第j个字素对应的位置的韵律向量序列。[0033]第二转移概率可表示为：[0034]其中，wi,j表示第i帧的第j个字素对应的位置的第二转移概率，sigmoid()表示sigmoid激活函数。[0035]在本发明的一些实施方式中，根据如下公式，基于第二转移概率和上一帧的对齐向量计算当前帧的对齐向量：[0036]ai,j＝(1-wi,j)ai-1,j wi,jai-1,j-1；[0037]其中，ai,j表示第i个帧的对齐向量中第j个字素对应的位置的值，wi,j表示第i个帧的对齐向量中第j个字素对应的位置的第二转移概率，ai-1,j表示第i-1个帧的对齐向量中第j个字素对应的位置的值，ai-1,j-1表示第i-1个帧的对齐向量中第j-1个字素对应的位置的值。[0038]在本发明的一些实施方式中，根据如下公式，将对齐向量与文本隐藏向量序列进行加权求和得到上下文向量：[0039][0040]其中，ci表示第i个帧的上下文向量，ai,j表示当前第i个帧的对齐向量中第j个字素对应的位置的值，hj表示第j个字素的文本隐藏向量序列。[0041]在本发明的一些实施方式中，将声学特征序列输入到声码器的步骤包括：[0042]将声学特征序列通过postnet网络，将postnet网络输出的序列与初始的声学特征序列相加，得到更新后的声学特征序列。[0043]本发明的第二方面提供了一种细粒度韵律可控的情感语音合成系统，该系统包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现上述方法的步骤。[0044]本发明的第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现上述方法的步骤。[0045]本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出并获得。[0046]本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。附图说明[0047]此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，并不构成对本发明的限定。[0048]图1为本发明细粒度韵律可控的情感语音合成方法第一种实施方式的示意图；[0049]图2为本发明细粒度韵律可控的情感语音合成方法的实施结构示意图；[0050]图3为由声学特征到梅尔语谱图的转化示意图；[0051]图4为本发明细粒度韵律可控的情感语音合成系统的结构示意图。具体实施方式[0052]为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。[0053]在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。[0054]应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。[0055]在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。[0056]在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。[0057]为解决现有技术中存在的问题，如图1和图2所示，本发明提出一种细粒度韵律可控的情感语音合成方法，所述方法的步骤包括，[0058]步骤s100，获取初始文本数据，将初始文本数据转化为对应的拼音序列，将初始文本数据的拼音序列输入第一编码模型得到文本隐藏向量序列，将初始文本数据和拼音序列成对输入第二编码模型得到韵律向量序列。[0059]在本发明的一些实施方式中，文本隐藏向量序列可以为16*512维度的矩阵，512是特征通道的大小，16为序列长度；韵律向量序列为16*256维矩阵，256是特征通道的大小，16为序列长度。[0060]在本发明的一些实施方式中，所述第一编码模型由tacotron模型中的convolutionbank和双向长短期记忆网络(bi-directionallongshort-termmemory，bi-lstm)构成。[0061]作为示例，若所述初始文本数据为“虽然早已须发皆白”则对应拼音序列为“suei1ran2zao3yi3xv1fa4jie1bai2”，上述拼音序列中的数字用于表示声调。[0062]在本发明的一些实施方式中，所述拼音序列可以通过python的pypinyin获得。[0063]在本发明的一些实施方式中，所述第二编码模型包括蒙特利尔强制对齐器(montrealforcedaligner，mfa)模块和查找表(lookuptable)模块。[0064]如图3所示，步骤s200，将预设的参考音频的梅尔语谱图输入到第三编码模型，得到情感表示向量；[0065]在本发明的一些实施方式中，所述情感表示向量可以为1*256维的向量。[0066]在本发明的一些实施方式中，所述预设的参考音频预设有多个，将多个预设的参考音频中任一个的梅尔语谱图输入到第三编码模型中。[0067]在本发明的一些实施方式中，所述第三编码模型包括全局风格令牌(globalstyletokens，gsts)模型中的参考编码器(referenceencoder)和全局风格令牌(gsts)模型中的风格令牌层(styletokenslayer)。[0068]采用上述方案，参考编码器由两维的卷积银行后接单层单向的门控循环单元(gru)组成。将参考语音的梅尔谱转换为定长的嵌入向量，并且将其作为查询送入多头注意力层。在多头注意力层中，使用预先初始化的风格令牌序列作为关键词，利用多头注意力机制计算参考语音的定长嵌入向量和每一个风格令牌的相似度。最后根据相似度得分，风格令牌序列进行加权求和生成情感表示向量。[0069]步骤s300，将前一帧的声学特征序列输入预设的预处理模型进行非线性变换，得到中间特征向量。[0070]在本发明的一些实施方式中，所述预处理模型为tacotron2系统中的prenet模块，但本发明并不限于此。[0071]在本发明的一些实施方式中，本方案为循环逻辑，根据前一帧的声学特征序列计算下一帧的声学特征序列，若当前帧为第一帧，则将预设的初始声学特征序列带入计算。[0072]步骤s400，将所述情感表示向量和中间特征向量相加输入到第一循环神经网络中，得到第一隐藏状态序列；[0073]在本发明的一些实施方式中，所述第一循环神经网络用语对情感表示向量和中间特征向量进行矩阵运算相加后的向量进行矩阵运算和非线性变换，输出第一隐藏状态序列。[0074]步骤s500，基于第一隐藏状态序列与文本隐藏向量序列计算能量值，将能量值和韵律向量序列输入注意力机制利用递推算法得到当前帧的对齐向量。[0075]采用上述方案，在细粒度韵律可控的注意力机制中，当前解码时间步的对齐权值一部分以的概率来源于上一解码时间步对齐关注的文本隐藏特征，另一部分权值以的概率来源于下一个文本隐藏特征，同时，概率受到韵律表示向量的约束，以此来控制合成语音的韵律节奏。[0076]本发明除了上一帧的声学特征和文本隐藏特征序列作为输入外，注意力机制还额外地利用韵律信息作为输入，影响对齐转移概率的值从而为外部的韵律控制提供了渠道，可以实现细粒度的韵律节奏控制。[0077]步骤s600，将对齐向量与文本隐藏向量序列进行加权求和得到上下文向量。[0078]步骤s700，将所述上下文向量与第一隐藏状态序列输入到第二循环神经网络中，得到第二隐藏状态序列。[0079]在本发明的一些实施方式中，所述第二循环神经网络用于对所述上下文向量与第一隐藏状态序列进行矩阵运算和非线性变换，输出第二隐藏状态序列。[0080]步骤s800，将第二隐藏状态序列输入到第一线性映射层，得到预测的当前帧的声学特征序列，将声学特征序列输入到声码器，得到当前帧的语音波形，组合全部帧的语音波形，输出最终的语音数据。[0081]在本发明的一些实施方式中，所述声码器可以为melgan声码器。[0082]在本发明的一些实施方式中，在将声学特征序列输入到声码器之前，将声学特征序列通过postnet网络进行处理，将处理后的声学特征序列输入到声码器，所述postnet网络为tacotron2系统中的postnet网络。[0083]采用上述方案，本发明的注意力机制中能量值是通过计算转移概率的方式融入对齐的计算中，而不是简单地进行softmax将值域归一化到0和1之间，当前帧的对齐关注到的文本隐藏向量只可能是从上一解码帧关注的文本隐藏向量或者再下一个文本隐藏向量，因此保证对齐是单调而连续地移动，而不容易跳过任何文本隐藏向量，提高了合成语音的自然度和可懂度，缓解了对齐中的文本与声学帧不匹配造成的重复，跳字，注意力崩溃的问题，提高语音合成方法自然度和真实度。[0084]在本发明的一些实施方式中，外部韵律表示，是通过对真实语音进行强制对齐音频和音素后提取每个字素的持续时间信息得到。具体地，由于mfa模块提取到的持续时间是浮点数，因此本发明将其按照长短快慢进行三分类。持续时间小于0.09秒的标记为等级1，持续时间在0.09到0.14秒之间的标记为等级2，持续时间在0.14秒以上的标记为等级3。将每个字素的持续信息按照等级进行分类后，可以对于输入的字素序列得到等长的持续时间等级序列。[0085]在本发明的一些实施方式中，所述细粒度韵律可控的情感语音合成方法的步骤还包括，将第二隐藏状态序列输入到第二线性映射层，输出停止参数，将停止参数与预设的停止阈值进行对比，判定当前帧是否为最后一帧，若是，停止循环；若否，继续循环。[0086]在本发明的一些实施方式中，若停止参数大于预设的停止阈值，则当前帧为最后一帧；若停止参数不大于预设的停止阈值，则当前帧不为最后一帧，所述停止参数大于0小于1，即图2中的stoptoken(停止令牌)模块。[0087]在本发明的一些实施方式中，将初始文本数据转化为对应的拼音字符的步骤包括；[0088]获取所述初始文本数据的每个字，在预设的第一匹配库中为每个字匹配对应的拼音字符，根据初始文本数据中字的顺序将拼音字符连接为拼音序列。[0089]在本发明的一些实施方式中，所述第一匹配库可以为pypinyin库的匹配库。[0090]在本发明的一些实施方式中，将初始文本数据和对应的音频数据输入第二编码模型得到韵律向量序列的步骤包括：[0091]通过强制对齐方法获取文本中每个字素对应持续时间，按照持续时间长短对字素进行三类等级的划分：持续时间小于第一时间长度(如相对较少的预定秒数)的字素标记为快速字素，持续时间中等的字素标记为正常字素，持续时间在第二时间长度(如相对较多的预定秒数)以上的字素标记为慢速字素，其中，所述第二时间长度大于所述第一时间长度。将每个字素按照持续时间进行等级划分后，基于输入的字素序列可以得到等长的持续时间等级序列。最后，根据预设的第二匹配库，将持续时间等级序列转换为韵律向量序列。[0092]作为示例，若所述初始文本数据为“虽然早已须发皆白”则韵律向量序列可以为“2112232122122123”，其中数字分别用于代表声母或者韵母的持续时间，时间越长则参数越大。[0093]在本发明的一些实施方式中，所述韵律向量序列包含的韵律信息为语速信息，指当前字符所在音节或单词的语速；语速信息包括：正常，慢速，快速。[0094]在本发明的一些实施方式中，根据如下公式，基于第一隐藏状态序列与文本隐藏向量序列计算能量值：[0095]ei,j＝tanh(si hj)；[0096]其中，ei,j表示第i帧的第j个字素的能量值，si表示第i帧的第一隐藏状态序列，hj表示第j个字素的文本隐藏向量序列，tanh表示双曲正切函数。[0097]在本发明的一些实施方式中，将能量值和韵律向量序列输入注意力机制利用递推算法得到当前帧的对齐向量的步骤包括：[0098]将能量值与所述韵律向量序列相加，并通过一个线性投影层，得到第一转移概率；[0099][0100]其中，表示第i帧的对齐向量中第j个字素对应的位置的第一转移概率，dnn表示线性投影层，li,j表示第i帧的对齐向量中第j个字素对应的位置的韵律向量序列。[0101]将所述第一转移概率通过sigmoid激活函数进行处理，得到第二转移概率；[0102][0103]其中，wi,j表示第i帧的对齐向量中第j个字素对应的位置的第二转移概率，sigmoid()表示sigmoid激活函数。[0104]基于第二转移概率和上一帧的对齐向量计算当前帧的对齐向量。[0105]基于第二转移概率和上一帧的对齐向量计算当前帧的对齐向量。[0106]在本发明的一些实施方式中，所述激活函数可以为sigmoid函数。[0107]在本发明的一些实施方式中，根据如下公式，基于第二转移概率和上一帧的对齐向量计算当前帧的对齐向量：[0108]ai,j＝(1-wi,j)ai-1,j wi,jai-1,j-1；[0109]其中，ai,j表示第i个帧的对齐向量中第j个字素对应的位置的值，wi,j表示第i个帧的对齐向量中第j个字素对应的位置的第二转移概率，ai-1,j表示第i-1个帧的对齐向量中第j个字素对应的位置的值，ai-1,j-1表示第i-1个帧的对齐向量中第j-1个字素对应的位置的值。[0110]在本发明的一些实施方式中，根据如下公式，将对齐向量与文本隐藏向量序列进行加权求和得到上下文向量：[0111][0112]其中，ci表示第i个帧的上下文向量，ai,j表示当前第i个帧的对齐向量中第j个字素对应的位置的值，hj表示第j个字素的文本隐藏向量序列。[0113]在本发明的一些实施方式中，将声学特征序列输入到声码器的步骤包括：[0114]将声学特征序列通过postnet网络，将postnet网络输出的序列与初始的声学特征序列相加，得到更新后的声学特征序列。[0115]如图4所示，本发明的第二方面提供了一种细粒度韵律可控的情感语音合成系统，该系统包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现上述方法的步骤。[0116]本发明的第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现上述方法的步骤。[0117]实验例[0118]本方案的实验例用于评估实测音质各项指标；[0119]本发明的评估实验，针对合成系统的两方面性能进行评估：鲁棒性和韵律控制能力，采用客观和主观的相结合方式进行综合的评价如下：[0120](1)以采用统计合成音频字错误数量的方法，作为客观评价指标，来衡量合成系统的鲁棒性。[0121]错误数量统计，为衡量合成语音鲁棒性的一项常用客观评估指标，其统计合成句子中的重复、跳跃以及注意力崩溃的次数。[0122]如下表一所示，从所选模型中统计的字错误量[0123][0124]上述表一的名词解释如下：[0125]baseline：原始的tacotron2结构，其采用的是位置敏感注意力机制；[0126]gmm：采用gmmv2b替换原本tacotron2中的注意力机制；[0127]fa：采用forwardattention(前向注意力)机制替换原本tacotron2中的注意力机制；[0128]proposed：采用rc-attention(representationcorrectattention，表征纠错注意力)机制替换原本tacotron2中的注意力机制；[0129]gmmv2b：graves等人在2013年的文章“generatingsequenceswithrecurrentneuralnetworks”中提出的注意力机制。[0130]forwardattention：zhang等人在2018年提出的一个对齐注意力机制，以加快对齐收敛速度，同时，能够控制推理阶段的合成语速。[0131]在本评估中，分别在四个模型下合成40条话语，以提供给受试者进行随机错误统计抽查，其中每个模型在每个情感下合成40条相同文本的域外长难句。该长难句从近期的新闻通稿中选择，每句包含汉字平均为147，与训练文本的平均长度14相比，属于长难句范围。结果如上图所示，数值越低表示鲁棒性越好，粗体表示所有模型中性能最好的。可以看出，即使是测试文本也比训练文本长近十倍，所提出的注意方法也获得了最好的鲁棒性。尽管gmmv2b的注意力具有几乎相同的鲁棒性，但它没有控制韵律的能力。[0132](2)采用偏好测试作为主观评价指标，来衡量合成语音的韵律自然度。[0133]偏好测试是评估合成语音各方面表现的一个常用主观指标，受试者按照一定的偏好规则，在预先提供的成对音频上做出偏好选择。[0134]在偏好测试中，受试者根据偏好规则，从a选项、b选项或者无偏好中进行选择，如表2所示。[0135]参与者被要求根据测试样本对节奏的自然度的总体印象来选择偏好的样本。选择偏好选项时，主要依据的规则有以下两点：(1)音频的准确度，音质：判断音频是否存在错字，漏字，模糊听不清的情况。(2)韵律，语速自然度：判断音频是否有不恰当的语速或者停顿。[0136]表2偏好测试选项说明[0137][0138]结果如下表3所示，在大多是情况下获得了更多的偏好，表示本发明所提出的模型能够更好地合成出韵律自然的语音。[0139]表3偏好测试结果[0140][0141](3)采用主观平均意见打分作为主观评价指标，来评估合成语音的情感表达能力。[0142]由于持续时间是情绪的一个重要体现，不同情绪对韵律节奏的有着不同的控制。反之，良好的韵律控制能够促进情感表现力的表达。因此，本评估也探究了在各个先进的注意力机制下合成的音频中存在的情感表现力的差异，并且利用主观平均意见评分进行了评估。[0143]本工作采用主观平均意见评分作为指标，对情感表现力进行评估。主观平均意见评分是广泛认同的一种量化评价标准，通过该指标，人类对语音的主观感知被量化。在进行主观打分的过程中，受试者需要遵循相同的评分规则，并且保持各个受试者的设备和实验环境保持一致。[0144]本次评估规则主要依据合成语音的整体情感表现力，即根据所给音频的整体情感表达给出综合的分数。[0145]主观平均意见评分的评分标准细节如下所示：[0146]表4主观平均意见打分分值说明[0147][0148]表5高兴情绪下各模型的平均意见得分[0149][0150]表6生气情绪下各模型的平均意见得分[0151][0152][0153]结果如表5和表6所示。可知，在高兴和生气情绪下，本研究所提出的注意力机制均获得了最好的平均意见得分，分别为3.71和3.79。在同一情绪下，gmmv2b模型的情感表现力是最接近本发明模型的，其次是基线模型，最后是forwardattention模型。本研究把forwardattention在情感表现力方面的失败归结于其生硬的韵律控制。[0154]有益效果说明：[0155]以上的实测音质的各项评估均验证本发明模型具有更强的鲁棒性和自然的韵律节奏控制能力，对合成系统的鲁棒性和可控性两方面均有提升。[0156]首先，对于语音合成的鲁棒性，本文采用客观评价指标‑‑字错误统计，来衡量各个注意力机制对于合成语音鲁棒性的影响，实验表明，所提出的注意机制可以提高合成语音的鲁棒性。[0157]其次，对于韵律节奏的自然控制，由于在本发明提出的迭代注意力算法中，除了声学信息、风格信息、文本信息作为输入外，还考虑到音素级别的持续时间信息，通过控制每一个解码时间步下，对齐帧的前进速度，来控制合成语音的节奏和韵律。实验结果表明，所提出的注意机制实现了更自然的节奏控制，并且可以提升各种情绪的表现力。[0158]本发明可以在合成情感语音时进行细粒度的韵律节奏控制，以提高情感表现力。该方法包括以下步骤：将待合成文本对应的字符转化为字符表示向量；将字符表示向量通过文本编码器，得到文本隐藏向量序列；外部韵律表示通过节奏控制编码器得到韵律表示向量；将参考情感语音的声学特征梅尔谱通过情感编码器，得到情感表示向量；情感表示向量与上一帧的声学特征进行相加相继通过解码器中的预处理网络和第一层循环神经网络；文本隐藏向量序列和第一层循环神经网络的隐藏细胞状态进行能量值计算；韵律表示向量和能量值通过细粒度韵律可控注意力机制得到上下文向量，送入解码器中的第二层循环神经网络；解码器依据上下文向量、情感表示向量和上一帧的声学特征解码出当前帧的声学特征和预测停止点；将预测出的声学特征转化为具备韵律节奏的情感语音输出。[0159]本发明可实现细粒度的韵律控制，提高语音情感的表现力，并且有效缓解自回归语音合成中的文本与声学帧不匹配的对齐问题，加速对齐收敛速度。[0160]本发明的细粒度韵律可控的情感语音合成方法和系统由于提高了语音合成方法自然度和真实度，可以与虚拟现实(vr)、增强现实(ar)和混合现实(mr)技术相结合，从而可以应用于元宇宙中。在元宇宙中目前已经产生了高表现力高逼真度的数字虚拟人，与本发明的细粒度韵律可控的情感语音合成技术相结合，可以让虚拟世界越来越逼近真实世界，使得虚拟与现实的距离进一步缩小，让虚拟世界和现实世界的边界越来越模糊，进一步增强用户在虚拟世界的沉浸感，实现数字物品、虚拟环境和人之间更加真实的多模式交互。[0161]本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。[0162]需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，做出各种改变、修改和添加，或者改变步骤之间的顺序。[0163]本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。[0164]以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页12当前第1页12
技术领域：
：，尤其涉及一种细粒度韵律可控的情感语音合成方法、系统及存储介质。
背景技术：
：：2.语音合成(speechsynthesis)也被称为文本到语音(text-to-speech,tts)，主要任务是将输入文本转换为输出语音。语音合成技术作为现代人机交互系统不可缺少的组成部分，帮助用户更容易、更直观地获得智能机器的输出，能够使虚拟世界更好的趋向真实，从而受到越来越多的关注。3.早期的传统语音合成系统包含多个模块，由文本到音素网络、音频分割网络、音素持续时间预测网络、基频预测网络和声码器组成。每一个模块的构建都需要耗费大量的专家知识，同时需要进行复杂的工程实现。此外，由于模块的堆叠，模块与模块间的结果传递会导致错误的积累使得模型难以训练。在此背景下，自回归的端到端语音合成技术作为一种简化人工干预，减少专家知识和简化流水线流程的语音合成技术被提出来。自回归的端到端语音合成主要包括四个部分：编码器，负责将文本编码为文本隐藏向量序列，提取文本的有效信息，方便注意力机制进行学习；注意力机制，负责学习从文本序列到声学特征序列之间的对齐；解码器，依据对齐结果自回归地解码出声学特征；声码器，将声学特征转化为语音波形。4.自回归的端到端语音合成已经能够合成接近人类语音的语音，但是由于注意力对齐训练困难，同时在推理阶段的误差积累，时常会导致重复，跳字的情况出现，极大降低了合成语音的自然度和真实度。除了自然度和真实度上的影响外，在自回归语音合成中，注意力对齐是每个字素的持续时间，也同样影响着合成语速的快慢，因此，现有技术的语音合成方法自然度和真实度较差。技术实现要素：5.鉴于此，本发明的实施例提供了一种细粒度韵律可控的情感语音合成方法、系统及存储介质，以消除或改善现有技术中存在的一个或更多个缺陷。6.本发明的第一方面提供了一种细粒度韵律可控的情感语音合成方法，所述方法的步骤包括：7.获取初始文本数据，将初始文本数据转化为对应的拼音序列，将初始文本数据的拼音序列输入第一编码模型得到文本隐藏向量序列，将初始文本数据和对应的音频数据输入第二编码模型得到韵律向量序列；8.将预设的参考音频的梅尔语谱图输入到第三编码模型，得到情感表示向量；9.将前一帧的声学特征序列输入预设的预处理模型进行非线性变换，得到中间特征向量；10.将所述情感表示向量和中间特征向量相加输入到第一循环神经网络中，得到第一隐藏状态序列；11.基于第一隐藏状态序列与文本隐藏向量序列计算能量值，将能量值和韵律向量序列输入注意力机制利用递推算法得到当前帧的对齐向量；12.将对齐向量与文本隐藏向量序列进行加权求和得到上下文向量；13.将所述上下文向量与第一隐藏状态序列输入到第二循环神经网络中，得到第二隐藏状态序列；14.将第二隐藏状态序列输入到第一线性映射层，得到预测的当前帧的声学特征序列，将声学特征序列输入到声码器，得到当前帧的语音波形，组合全部帧的语音波形，输出最终的语音数据。15.采用上述方案，本发明的注意力机制中能量值是通过计算转移概率的方式融入对齐的计算中，而不是简单地进行softmax将值域归一化到0和1之间，当前帧的对齐关注到的文本隐藏向量只可能是从上一解码帧关注的文本隐藏向量或者再下一个文本隐藏向量，因此保证对齐是单调而连续地移动，而不容易跳过任何文本隐藏向量，提高了合成语音的自然度和可懂度，缓解了对齐不匹配而造成的重复，跳字，注意力崩溃的问题，提高语音合成方法自然度和真实度。16.除了上述合成鲁棒性的提高外，本发明的注意力机制实现韵律可控的方式，是在计算文本到语音的对齐时，通过注入韵律向量序列来控制对齐权重分布，从而实现韵律节奏自然地控制。本发明的注意力机制算法对合成鲁棒性以及韵律可控性两方面都有良好的提升。17.在本发明的一些实施方式中，将初始文本数据转化为对应的拼音字符的步骤包括；18.获取所述初始文本数据的每个字，在预设的第一匹配库中为每个字匹配对应的拼音字符，根据初始文本数据中字的顺序将拼音字符连接为拼音序列。19.在本发明的一些实施方式中，将初始文本数据和对应的音频数据输入第二编码模型得到韵律向量序列的步骤包括：20.通过强制对齐方法获取文本中每个字素对应持续时间，按照持续时间长短对字素进行三类等级的划分：持续时间小于第一时间长度的字素标记为快速字素，持续时间中等的字素标记为正常字素，持续时间在第二时间长度以上的字素标记为慢速字素，其中，所述第二时间长度大于所述第一时间长度；21.将每个字素按照持续时间进行等级划分后，基于输入的字素序列得到等长的持续时间等级序列；22.根据预设的第二匹配库，将持续时间等级序列转换为韵律向量序列。23.在本发明的一些实施方式中，根据如下公式，基于第一隐藏状态序列与文本隐藏向量序列计算能量值：24.ei，j＝tanh(si hj)25.其中，ei,j表示第i帧的第j个字素的能量值，si表示第i帧的第一隐藏状态序列，hj表示第j个字素的文本隐藏向量序列，tanh表示双曲正切函数。26.在本发明的一些实施方式中，将能量值和韵律向量序列输入注意力机制利用递推算法得到当前帧的对齐向量的步骤包括：27.将能量值与所述韵律向量序列相加，并通过线性投影层，得到第一转移概率；28.将所述第一转移概率通过sigmoid激活函数进行处理，得到第二转移概率；29.基于第二转移概率和上一帧的对齐向量计算当前帧的对齐向量。30.其中，第一转移概率可表示为：[0031][0032]其中，表示第i帧的第j个字素对应的位置的第一转移概率，dnn表示线性投影层，li,j表示第i帧的第j个字素对应的位置的韵律向量序列。[0033]第二转移概率可表示为：[0034]其中，wi,j表示第i帧的第j个字素对应的位置的第二转移概率，sigmoid()表示sigmoid激活函数。[0035]在本发明的一些实施方式中，根据如下公式，基于第二转移概率和上一帧的对齐向量计算当前帧的对齐向量：[0036]ai,j＝(1-wi,j)ai-1,j wi,jai-1,j-1；[0037]其中，ai,j表示第i个帧的对齐向量中第j个字素对应的位置的值，wi,j表示第i个帧的对齐向量中第j个字素对应的位置的第二转移概率，ai-1,j表示第i-1个帧的对齐向量中第j个字素对应的位置的值，ai-1,j-1表示第i-1个帧的对齐向量中第j-1个字素对应的位置的值。[0038]在本发明的一些实施方式中，根据如下公式，将对齐向量与文本隐藏向量序列进行加权求和得到上下文向量：[0039][0040]其中，ci表示第i个帧的上下文向量，ai,j表示当前第i个帧的对齐向量中第j个字素对应的位置的值，hj表示第j个字素的文本隐藏向量序列。[0041]在本发明的一些实施方式中，将声学特征序列输入到声码器的步骤包括：[0042]将声学特征序列通过postnet网络，将postnet网络输出的序列与初始的声学特征序列相加，得到更新后的声学特征序列。[0043]本发明的第二方面提供了一种细粒度韵律可控的情感语音合成系统，该系统包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现上述方法的步骤。[0044]本发明的第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现上述方法的步骤。[0045]本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出并获得。[0046]本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。附图说明[0047]此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，并不构成对本发明的限定。[0048]图1为本发明细粒度韵律可控的情感语音合成方法第一种实施方式的示意图；[0049]图2为本发明细粒度韵律可控的情感语音合成方法的实施结构示意图；[0050]图3为由声学特征到梅尔语谱图的转化示意图；[0051]图4为本发明细粒度韵律可控的情感语音合成系统的结构示意图。具体实施方式[0052]为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。[0053]在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。[0054]应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。[0055]在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。[0056]在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。[0057]为解决现有技术中存在的问题，如图1和图2所示，本发明提出一种细粒度韵律可控的情感语音合成方法，所述方法的步骤包括，[0058]步骤s100，获取初始文本数据，将初始文本数据转化为对应的拼音序列，将初始文本数据的拼音序列输入第一编码模型得到文本隐藏向量序列，将初始文本数据和拼音序列成对输入第二编码模型得到韵律向量序列。[0059]在本发明的一些实施方式中，文本隐藏向量序列可以为16*512维度的矩阵，512是特征通道的大小，16为序列长度；韵律向量序列为16*256维矩阵，256是特征通道的大小，16为序列长度。[0060]在本发明的一些实施方式中，所述第一编码模型由tacotron模型中的convolutionbank和双向长短期记忆网络(bi-directionallongshort-termmemory，bi-lstm)构成。[0061]作为示例，若所述初始文本数据为“虽然早已须发皆白”则对应拼音序列为“suei1ran2zao3yi3xv1fa4jie1bai2”，上述拼音序列中的数字用于表示声调。[0062]在本发明的一些实施方式中，所述拼音序列可以通过python的pypinyin获得。[0063]在本发明的一些实施方式中，所述第二编码模型包括蒙特利尔强制对齐器(montrealforcedaligner，mfa)模块和查找表(lookuptable)模块。[0064]如图3所示，步骤s200，将预设的参考音频的梅尔语谱图输入到第三编码模型，得到情感表示向量；[0065]在本发明的一些实施方式中，所述情感表示向量可以为1*256维的向量。[0066]在本发明的一些实施方式中，所述预设的参考音频预设有多个，将多个预设的参考音频中任一个的梅尔语谱图输入到第三编码模型中。[0067]在本发明的一些实施方式中，所述第三编码模型包括全局风格令牌(globalstyletokens，gsts)模型中的参考编码器(referenceencoder)和全局风格令牌(gsts)模型中的风格令牌层(styletokenslayer)。[0068]采用上述方案，参考编码器由两维的卷积银行后接单层单向的门控循环单元(gru)组成。将参考语音的梅尔谱转换为定长的嵌入向量，并且将其作为查询送入多头注意力层。在多头注意力层中，使用预先初始化的风格令牌序列作为关键词，利用多头注意力机制计算参考语音的定长嵌入向量和每一个风格令牌的相似度。最后根据相似度得分，风格令牌序列进行加权求和生成情感表示向量。[0069]步骤s300，将前一帧的声学特征序列输入预设的预处理模型进行非线性变换，得到中间特征向量。[0070]在本发明的一些实施方式中，所述预处理模型为tacotron2系统中的prenet模块，但本发明并不限于此。[0071]在本发明的一些实施方式中，本方案为循环逻辑，根据前一帧的声学特征序列计算下一帧的声学特征序列，若当前帧为第一帧，则将预设的初始声学特征序列带入计算。[0072]步骤s400，将所述情感表示向量和中间特征向量相加输入到第一循环神经网络中，得到第一隐藏状态序列；[0073]在本发明的一些实施方式中，所述第一循环神经网络用语对情感表示向量和中间特征向量进行矩阵运算相加后的向量进行矩阵运算和非线性变换，输出第一隐藏状态序列。[0074]步骤s500，基于第一隐藏状态序列与文本隐藏向量序列计算能量值，将能量值和韵律向量序列输入注意力机制利用递推算法得到当前帧的对齐向量。[0075]采用上述方案，在细粒度韵律可控的注意力机制中，当前解码时间步的对齐权值一部分以的概率来源于上一解码时间步对齐关注的文本隐藏特征，另一部分权值以的概率来源于下一个文本隐藏特征，同时，概率受到韵律表示向量的约束，以此来控制合成语音的韵律节奏。[0076]本发明除了上一帧的声学特征和文本隐藏特征序列作为输入外，注意力机制还额外地利用韵律信息作为输入，影响对齐转移概率的值从而为外部的韵律控制提供了渠道，可以实现细粒度的韵律节奏控制。[0077]步骤s600，将对齐向量与文本隐藏向量序列进行加权求和得到上下文向量。[0078]步骤s700，将所述上下文向量与第一隐藏状态序列输入到第二循环神经网络中，得到第二隐藏状态序列。[0079]在本发明的一些实施方式中，所述第二循环神经网络用于对所述上下文向量与第一隐藏状态序列进行矩阵运算和非线性变换，输出第二隐藏状态序列。[0080]步骤s800，将第二隐藏状态序列输入到第一线性映射层，得到预测的当前帧的声学特征序列，将声学特征序列输入到声码器，得到当前帧的语音波形，组合全部帧的语音波形，输出最终的语音数据。[0081]在本发明的一些实施方式中，所述声码器可以为melgan声码器。[0082]在本发明的一些实施方式中，在将声学特征序列输入到声码器之前，将声学特征序列通过postnet网络进行处理，将处理后的声学特征序列输入到声码器，所述postnet网络为tacotron2系统中的postnet网络。[0083]采用上述方案，本发明的注意力机制中能量值是通过计算转移概率的方式融入对齐的计算中，而不是简单地进行softmax将值域归一化到0和1之间，当前帧的对齐关注到的文本隐藏向量只可能是从上一解码帧关注的文本隐藏向量或者再下一个文本隐藏向量，因此保证对齐是单调而连续地移动，而不容易跳过任何文本隐藏向量，提高了合成语音的自然度和可懂度，缓解了对齐中的文本与声学帧不匹配造成的重复，跳字，注意力崩溃的问题，提高语音合成方法自然度和真实度。[0084]在本发明的一些实施方式中，外部韵律表示，是通过对真实语音进行强制对齐音频和音素后提取每个字素的持续时间信息得到。具体地，由于mfa模块提取到的持续时间是浮点数，因此本发明将其按照长短快慢进行三分类。持续时间小于0.09秒的标记为等级1，持续时间在0.09到0.14秒之间的标记为等级2，持续时间在0.14秒以上的标记为等级3。将每个字素的持续信息按照等级进行分类后，可以对于输入的字素序列得到等长的持续时间等级序列。[0085]在本发明的一些实施方式中，所述细粒度韵律可控的情感语音合成方法的步骤还包括，将第二隐藏状态序列输入到第二线性映射层，输出停止参数，将停止参数与预设的停止阈值进行对比，判定当前帧是否为最后一帧，若是，停止循环；若否，继续循环。[0086]在本发明的一些实施方式中，若停止参数大于预设的停止阈值，则当前帧为最后一帧；若停止参数不大于预设的停止阈值，则当前帧不为最后一帧，所述停止参数大于0小于1，即图2中的stoptoken(停止令牌)模块。[0087]在本发明的一些实施方式中，将初始文本数据转化为对应的拼音字符的步骤包括；[0088]获取所述初始文本数据的每个字，在预设的第一匹配库中为每个字匹配对应的拼音字符，根据初始文本数据中字的顺序将拼音字符连接为拼音序列。[0089]在本发明的一些实施方式中，所述第一匹配库可以为pypinyin库的匹配库。[0090]在本发明的一些实施方式中，将初始文本数据和对应的音频数据输入第二编码模型得到韵律向量序列的步骤包括：[0091]通过强制对齐方法获取文本中每个字素对应持续时间，按照持续时间长短对字素进行三类等级的划分：持续时间小于第一时间长度(如相对较少的预定秒数)的字素标记为快速字素，持续时间中等的字素标记为正常字素，持续时间在第二时间长度(如相对较多的预定秒数)以上的字素标记为慢速字素，其中，所述第二时间长度大于所述第一时间长度。将每个字素按照持续时间进行等级划分后，基于输入的字素序列可以得到等长的持续时间等级序列。最后，根据预设的第二匹配库，将持续时间等级序列转换为韵律向量序列。[0092]作为示例，若所述初始文本数据为“虽然早已须发皆白”则韵律向量序列可以为“2112232122122123”，其中数字分别用于代表声母或者韵母的持续时间，时间越长则参数越大。[0093]在本发明的一些实施方式中，所述韵律向量序列包含的韵律信息为语速信息，指当前字符所在音节或单词的语速；语速信息包括：正常，慢速，快速。[0094]在本发明的一些实施方式中，根据如下公式，基于第一隐藏状态序列与文本隐藏向量序列计算能量值：[0095]ei,j＝tanh(si hj)；[0096]其中，ei,j表示第i帧的第j个字素的能量值，si表示第i帧的第一隐藏状态序列，hj表示第j个字素的文本隐藏向量序列，tanh表示双曲正切函数。[0097]在本发明的一些实施方式中，将能量值和韵律向量序列输入注意力机制利用递推算法得到当前帧的对齐向量的步骤包括：[0098]将能量值与所述韵律向量序列相加，并通过一个线性投影层，得到第一转移概率；[0099][0100]其中，表示第i帧的对齐向量中第j个字素对应的位置的第一转移概率，dnn表示线性投影层，li,j表示第i帧的对齐向量中第j个字素对应的位置的韵律向量序列。[0101]将所述第一转移概率通过sigmoid激活函数进行处理，得到第二转移概率；[0102][0103]其中，wi,j表示第i帧的对齐向量中第j个字素对应的位置的第二转移概率，sigmoid()表示sigmoid激活函数。[0104]基于第二转移概率和上一帧的对齐向量计算当前帧的对齐向量。[0105]基于第二转移概率和上一帧的对齐向量计算当前帧的对齐向量。[0106]在本发明的一些实施方式中，所述激活函数可以为sigmoid函数。[0107]在本发明的一些实施方式中，根据如下公式，基于第二转移概率和上一帧的对齐向量计算当前帧的对齐向量：[0108]ai,j＝(1-wi,j)ai-1,j wi,jai-1,j-1；[0109]其中，ai,j表示第i个帧的对齐向量中第j个字素对应的位置的值，wi,j表示第i个帧的对齐向量中第j个字素对应的位置的第二转移概率，ai-1,j表示第i-1个帧的对齐向量中第j个字素对应的位置的值，ai-1,j-1表示第i-1个帧的对齐向量中第j-1个字素对应的位置的值。[0110]在本发明的一些实施方式中，根据如下公式，将对齐向量与文本隐藏向量序列进行加权求和得到上下文向量：[0111][0112]其中，ci表示第i个帧的上下文向量，ai,j表示当前第i个帧的对齐向量中第j个字素对应的位置的值，hj表示第j个字素的文本隐藏向量序列。[0113]在本发明的一些实施方式中，将声学特征序列输入到声码器的步骤包括：[0114]将声学特征序列通过postnet网络，将postnet网络输出的序列与初始的声学特征序列相加，得到更新后的声学特征序列。[0115]如图4所示，本发明的第二方面提供了一种细粒度韵律可控的情感语音合成系统，该系统包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现上述方法的步骤。[0116]本发明的第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现上述方法的步骤。[0117]实验例[0118]本方案的实验例用于评估实测音质各项指标；[0119]本发明的评估实验，针对合成系统的两方面性能进行评估：鲁棒性和韵律控制能力，采用客观和主观的相结合方式进行综合的评价如下：[0120](1)以采用统计合成音频字错误数量的方法，作为客观评价指标，来衡量合成系统的鲁棒性。[0121]错误数量统计，为衡量合成语音鲁棒性的一项常用客观评估指标，其统计合成句子中的重复、跳跃以及注意力崩溃的次数。[0122]如下表一所示，从所选模型中统计的字错误量[0123][0124]上述表一的名词解释如下：[0125]baseline：原始的tacotron2结构，其采用的是位置敏感注意力机制；[0126]gmm：采用gmmv2b替换原本tacotron2中的注意力机制；[0127]fa：采用forwardattention(前向注意力)机制替换原本tacotron2中的注意力机制；[0128]proposed：采用rc-attention(representationcorrectattention，表征纠错注意力)机制替换原本tacotron2中的注意力机制；[0129]gmmv2b：graves等人在2013年的文章“generatingsequenceswithrecurrentneuralnetworks”中提出的注意力机制。[0130]forwardattention：zhang等人在2018年提出的一个对齐注意力机制，以加快对齐收敛速度，同时，能够控制推理阶段的合成语速。[0131]在本评估中，分别在四个模型下合成40条话语，以提供给受试者进行随机错误统计抽查，其中每个模型在每个情感下合成40条相同文本的域外长难句。该长难句从近期的新闻通稿中选择，每句包含汉字平均为147，与训练文本的平均长度14相比，属于长难句范围。结果如上图所示，数值越低表示鲁棒性越好，粗体表示所有模型中性能最好的。可以看出，即使是测试文本也比训练文本长近十倍，所提出的注意方法也获得了最好的鲁棒性。尽管gmmv2b的注意力具有几乎相同的鲁棒性，但它没有控制韵律的能力。[0132](2)采用偏好测试作为主观评价指标，来衡量合成语音的韵律自然度。[0133]偏好测试是评估合成语音各方面表现的一个常用主观指标，受试者按照一定的偏好规则，在预先提供的成对音频上做出偏好选择。[0134]在偏好测试中，受试者根据偏好规则，从a选项、b选项或者无偏好中进行选择，如表2所示。[0135]参与者被要求根据测试样本对节奏的自然度的总体印象来选择偏好的样本。选择偏好选项时，主要依据的规则有以下两点：(1)音频的准确度，音质：判断音频是否存在错字，漏字，模糊听不清的情况。(2)韵律，语速自然度：判断音频是否有不恰当的语速或者停顿。[0136]表2偏好测试选项说明[0137][0138]结果如下表3所示，在大多是情况下获得了更多的偏好，表示本发明所提出的模型能够更好地合成出韵律自然的语音。[0139]表3偏好测试结果[0140][0141](3)采用主观平均意见打分作为主观评价指标，来评估合成语音的情感表达能力。[0142]由于持续时间是情绪的一个重要体现，不同情绪对韵律节奏的有着不同的控制。反之，良好的韵律控制能够促进情感表现力的表达。因此，本评估也探究了在各个先进的注意力机制下合成的音频中存在的情感表现力的差异，并且利用主观平均意见评分进行了评估。[0143]本工作采用主观平均意见评分作为指标，对情感表现力进行评估。主观平均意见评分是广泛认同的一种量化评价标准，通过该指标，人类对语音的主观感知被量化。在进行主观打分的过程中，受试者需要遵循相同的评分规则，并且保持各个受试者的设备和实验环境保持一致。[0144]本次评估规则主要依据合成语音的整体情感表现力，即根据所给音频的整体情感表达给出综合的分数。[0145]主观平均意见评分的评分标准细节如下所示：[0146]表4主观平均意见打分分值说明[0147][0148]表5高兴情绪下各模型的平均意见得分[0149][0150]表6生气情绪下各模型的平均意见得分[0151][0152][0153]结果如表5和表6所示。可知，在高兴和生气情绪下，本研究所提出的注意力机制均获得了最好的平均意见得分，分别为3.71和3.79。在同一情绪下，gmmv2b模型的情感表现力是最接近本发明模型的，其次是基线模型，最后是forwardattention模型。本研究把forwardattention在情感表现力方面的失败归结于其生硬的韵律控制。[0154]有益效果说明：[0155]以上的实测音质的各项评估均验证本发明模型具有更强的鲁棒性和自然的韵律节奏控制能力，对合成系统的鲁棒性和可控性两方面均有提升。[0156]首先，对于语音合成的鲁棒性，本文采用客观评价指标‑‑字错误统计，来衡量各个注意力机制对于合成语音鲁棒性的影响，实验表明，所提出的注意机制可以提高合成语音的鲁棒性。[0157]其次，对于韵律节奏的自然控制，由于在本发明提出的迭代注意力算法中，除了声学信息、风格信息、文本信息作为输入外，还考虑到音素级别的持续时间信息，通过控制每一个解码时间步下，对齐帧的前进速度，来控制合成语音的节奏和韵律。实验结果表明，所提出的注意机制实现了更自然的节奏控制，并且可以提升各种情绪的表现力。[0158]本发明可以在合成情感语音时进行细粒度的韵律节奏控制，以提高情感表现力。该方法包括以下步骤：将待合成文本对应的字符转化为字符表示向量；将字符表示向量通过文本编码器，得到文本隐藏向量序列；外部韵律表示通过节奏控制编码器得到韵律表示向量；将参考情感语音的声学特征梅尔谱通过情感编码器，得到情感表示向量；情感表示向量与上一帧的声学特征进行相加相继通过解码器中的预处理网络和第一层循环神经网络；文本隐藏向量序列和第一层循环神经网络的隐藏细胞状态进行能量值计算；韵律表示向量和能量值通过细粒度韵律可控注意力机制得到上下文向量，送入解码器中的第二层循环神经网络；解码器依据上下文向量、情感表示向量和上一帧的声学特征解码出当前帧的声学特征和预测停止点；将预测出的声学特征转化为具备韵律节奏的情感语音输出。[0159]本发明可实现细粒度的韵律控制，提高语音情感的表现力，并且有效缓解自回归语音合成中的文本与声学帧不匹配的对齐问题，加速对齐收敛速度。[0160]本发明的细粒度韵律可控的情感语音合成方法和系统由于提高了语音合成方法自然度和真实度，可以与虚拟现实(vr)、增强现实(ar)和混合现实(mr)技术相结合，从而可以应用于元宇宙中。在元宇宙中目前已经产生了高表现力高逼真度的数字虚拟人，与本发明的细粒度韵律可控的情感语音合成技术相结合，可以让虚拟世界越来越逼近真实世界，使得虚拟与现实的距离进一步缩小，让虚拟世界和现实世界的边界越来越模糊，进一步增强用户在虚拟世界的沉浸感，实现数字物品、虚拟环境和人之间更加真实的多模式交互。[0161]本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。[0162]需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，做出各种改变、修改和添加，或者改变步骤之间的顺序。[0163]本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。[0164]以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页12当前第1页12
再多了解一些
本文用于创业者技术爱好者查询，仅供学习研究，如用于商业用途，请联系技术所有人。
