本公开涉及电子信息处理
技术领域：
：，具体地，涉及一种语音合成方法、装置、可读介质及电子设备。
背景技术：
：：随着电子信息处理技术的不断发展，语音作为人们获取信息的重要载体，已经被广泛应用于日常生活和工作中。涉及语音的应用场景中，通常会包括语音合成的处理，语音合成是指将用户指定的文本，合成为音频。语音合成过程中，可以指定具体的情感类型，来合成具有相应情感的语音。在真实的说话场景中，同一种情感也会有不同的情感强度、情感表现，例如一个说话人按照相同的情感，两次朗读同一句话，其中的情感强度、情感表现均会发生变化。然而，通常情况下，合成出的语音，在情感强度、情感表现方面通常是一致的，导致语音的表现力过于单一，很难满足用户的需求。技术实现要素：提供该
发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。第一方面，本公开提供一种语音合成方法，所述方法包括：获取待合成文本和指定情感类型；提取所述待合成文本对应的音素序列，所述音素序列中包括多个音素；将所述音素序列和所述指定情感类型，输入预先训练的语音合成模型，以得到所述语音合成模型输出的，所述待合成文本对应的具有所述指定情感类型的目标音频，所述目标音频中每个所述音素对应的音频帧，与声学特征序列中该音素对应的声学特征匹配，所述声学特征序列为所述语音合成模型根据所述音素序列确定的，所述声学特征序列包括每个所述音素对应的声学特征，所述声学特征用于指示该音素的韵律特征。第二方面，本公开提供一种语音合成装置，所述装置包括：第一获取模块，用于获取待合成文本和指定情感类型；提取模块，用于提取所述待合成文本对应的音素序列，所述音素序列中包括多个音素；合成模块，用于将所述音素序列和所述指定情感类型，输入预先训练的语音合成模型，以得到所述语音合成模型输出的，所述待合成文本对应的具有所述指定情感类型的目标音频，所述目标音频中每个所述音素对应的音频帧，与声学特征序列中该音素对应的声学特征匹配，所述声学特征序列为所述语音合成模型根据所述音素序列确定的，所述声学特征序列包括每个所述音素对应的声学特征，所述声学特征用于指示该音素的韵律特征。第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第一方面所述方法的步骤。第四方面，本公开提供一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面所述方法的步骤。通过上述技术方案，本公开首先获取待合成文本和指定情感类型，之后提取待合成文本对应的，包括了多个音素的音素序列，最后将音素序列和指定情感类型作为预先训练的语音合成模型的输入，从而得到语音合成模型输出的待合成文本对应的目标音频，目标音频具有指定情感类型，且目标音频中每个音素对应的音频帧，与声学特征序列中该音素对应的声学特征匹配。其中，声学特征序列为语音合成模型根据音素序列确定的，且声学特征序列包括每个音素对应的声学特征。本公开通过指定情感类型来控制目标音频具有的情感，同时能够预测文本对应的每个音素的声学特征，从而通过声学特征来控制目标音频中音素级别的韵律，能够实现语音合成过程中文本级别的情感类型，和音素级别的声学特征两个维度的控制，提高了目标音频的表现力。本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。附图说明结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：图1是根据一示例性实施例示出的一种语音合成方法的流程图；图2是根据一示例性实施例示出的另一种语音合成方法的流程图；图3是根据一示例性实施例示出的另一种语音合成方法的流程图；图4是根据一示例性实施例示出的一种语音合成模型的处理流程图；图5是根据一示例性实施例示出的一种语音合成模型的框图；图6是根据一示例性实施例示出的另一种语音合成模型的处理流程图；图7是根据一示例性实施例示出的一种训练语音合成模型的流程图；图8是根据一示例性实施例示出的另一种训练语音合成模型的流程图；图9是根据一示例性实施例示出的一种语音合成装置的框图；图10是根据一示例性实施例示出的另一种语音合成装置的框图；图11是根据一示例性实施例示出的另一种语音合成装置的框图；图12是根据一示例性实施例示出的一种电子设备的框图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。图1是根据一示例性实施例示出的一种语音合成方法的流程图，如图1所示，该方法包括：步骤101，获取待合成文本和指定情感类型。举例来说，首先获取需要进行合成的待合成文本。待合成文本例如可以是用户指定的文本文件中的一个或多个语句，也可以是文本文件中的一个或多个段落、一个或多个章节，还可以是一个文本文件中的一个或多个词语。文本文件例如可以是一部电子书，也可以是其他类型的文件，例如新闻、公众号文章、博客等。同时，还可以获取指定情感类型，指定情感类型可以理解为，用户指定的，期望将待合成文本合成为具有指定情感类型的音频(即后文提及的目标音频)。指定情感类型可以是情感标签的形式，例如开心对应0001，惊讶对应0011，憎恶对应1010，生气对应1011，害羞对应0101，恐惧对应0100，悲伤对应1000，不屑对应1001。步骤102，提取待合成文本对应的音素序列，音素序列中包括多个音素。示例的，可以将待合成文本输入预先训练的识别模型，以得到识别模型输出的，待合成文本对应的音素序列。也可以在预先建立的字典中，查找待合成文本中的每个字对应的音素，然后将每个字对应的音素作为待合成文本对应的音素序列。其中，音素可以理解为根据每个字的发音划分出的语音单位，也可以理解为每个字对应的拼音中的元音和辅音。音素序列中，包括了待合成文本中每个字对应的音素(一个字可以对应一个或多个音素)。例如，待合成文本为“阳光洒在草地上”，可以依次在字典中查找每个字对应的音素，从而确定音素序列为“yangguangsazaicaodishang”。步骤103，将音素序列和指定情感类型，输入预先训练的语音合成模型，以得到语音合成模型输出的，待合成文本对应的具有指定情感类型的目标音频，目标音频中每个音素对应的音频帧，与声学特征序列中该音素对应的声学特征匹配，声学特征序列为语音合成模型根据音素序列确定的，声学特征序列包括每个音素对应的声学特征，声学特征用于指示该音素的韵律特征。示例的，在得到音素序列之后，可以将音素序列和指定情感类型，作为预先训练的语音合成模型的输入，语音合成模型首先可以根据音素序列确定对应的声学特征序列，声学特征序列中包括了每个音素对应的声学特征。其中，声学特征可以理解为用于表征每个音素的韵律特征。声学特征可以包括多个维度，例如可以包括基频(英文：pitch)、音量(英文：energy)、语速(英文：duration)中的一种或多种，还可以包括：噪声水平(可以理解为能够反映音频中噪声大小的特征)、音调、音色、响度等，本公开对此不作具体限定。可以理解为，语音合成模型能够根据输入的音素序列，预测每个音素对应的声学特征。之后，语音合成模型可以根据音素序列、声学特征序列和指定情感类型，输出待合成文本对应的，具有指定情感类型的目标音频，并且，目标音频中每个音素对应的音频帧，与声学特征序列中该音素对应的声学特征匹配。可以理解为，目标音频中包括多个音频帧，将目标音频按照音素序列中包括的音素进行划分，可以得到每个音素对应的一个或多个音频帧，每个音素对应的音频帧，都满足该音素对应的声学特征。例如某个音素对应的声学特征中基频为50hz，音量为30db，语速(可以理解为该音素持续的时长)为60ms。若目标音频的帧速率为20ms/帧，那么目标音频中该音素对应的音频帧的个数为3，并且对应的3个该音频帧的基频均为50hz，音量均为30db。其中，上述语音合成模型是预先训练的，可以理解成一种tts(英文：texttospeech，中文：从文本到语音)模型，能够根据音素序列和指定情感类型，生成待合成文本对应的，具有指定情感类型，且与声学特征序列匹配的目标音频。具体的，语音合成模型可以是基于tacotron模型、deepvoice3模型、tacotron2模型等训练得到的，本公开对此不作具体限定。这样，语音合成模型可以根据指定情感类型，来控制目标音频具有的情感，同时能够根据待合成文本对应的音素序列，预测每个音素对应的声学特征，从而根据每个音素对应的声学特征来控制目标音频中音素级别的韵律。因此，本公开能够实现语音合成过程中文本级别的情感类型，和音素级别的声学特征两个维度的控制，提高了目标音频的表现力，同时也使得目标音频在具有指定情感类型的基础上，表现出多种情感强度、情感表现，从而更接近真实的语音，改善了用户的听觉体验。综上所述，本公开首先获取待合成文本和指定情感类型，之后提取待合成文本对应的，包括了多个音素的音素序列，最后将音素序列和指定情感类型作为预先训练的语音合成模型的输入，从而得到语音合成模型输出的待合成文本对应的目标音频，目标音频具有指定情感类型，且目标音频中每个音素对应的音频帧，与声学特征序列中该音素对应的声学特征匹配。其中，声学特征序列为语音合成模型根据音素序列确定的，且声学特征序列包括每个音素对应的声学特征。本公开通过指定情感类型来控制目标音频具有的情感，同时能够预测文本对应的每个音素的声学特征，从而通过声学特征来控制目标音频中音素级别的韵律，能够实现语音合成过程中文本级别的情感类型，和音素级别的声学特征两个维度的控制，提高了目标音频的表现力。图2是根据一示例性实施例示出的另一种语音合成方法的流程图，如图2所示，该方法还可以包括：步骤104，获取指定说话人对应的音色编码。相应的，步骤103的实现方式为：将音素序列、指定情感类型和音色编码，输入语音合成模型，以得到语音合成模型输出的目标音频，目标音频具有指定说话人的音色，语音合成模型为根据多个说话人对应的语料训练得到的，多个说话人包括指定说话人。在一种应用场景中，还可以获取指定说话人对应的音色编码，指定说话人可以理解为，用户指定的，期望将待合成文本合成为具有指定说话人的音色的目标音频。相应的，在生成目标音频时，可以将音素序列、指定情感类型和音色编码一起输入语音合成模型，从而使语音合成模型输出，具有指定说话人的音色的目标音频。可以理解为，语音合成模型是预先根据多个说话人对应的语料训练得到的，能够生成具有不同说话人的音色的音频，指定说话人可以是多个说话人中的任一个。其中，音色编码可以理解为用于指示指定说话人的音色的编码，例如，语音合成模型是根据说话人甲、说话人乙和说话人丙的语料训练得到的，那么说话人甲对应的音色编码可以为001，说话人乙对应的音色编码可以为010，说话人丙对应的音色编码可以为100。若指定说话人为说话人丙，那么对应的音色编码为100，可以将音素序列、指定情感类型和100一同输入语音合成模型，以得到具有说话人丙的音色的目标音频。图3是根据一示例性实施例示出的另一种语音合成方法的流程图，如图3所示，该方法还可以包括：步骤105，获取指定声学特征序列，指定声学特征序列包括每个音素对应的指定声学特征。相应的，步骤103的实现方式为：将音素序列、指定情感类型和指定声学特征序列，输入语音合成模型，以得到语音合成模型输出的目标音频，目标音频中每个音素对应的音频帧，与指定声学特征序列中该音素对应的指定声学特征匹配。在另一种应用场景中，还可以获取指定声学特征序列，其中包括了每个音素对应的指定声学特征。指定声学特征序列可以理解为，用户指定的，期望将待合成文本合成与指定声学特征序列匹配的目标音频。相应的，在生成目标音频时，可以将音素序列、指定情感类型和指定声学特征序列一起输入语音合成模型，从而使语音合成模型输出的目标音频中每个音素对应的音频帧，与指定声学特征序列中该音素对应的指定声学特征匹配。可以理解为，若将指定声学特征序列输入语音合成模型，那么语音合成模型就不需要再根据音素序列确定对应的声学特征序列，可以直接根据音素序列、指定声学特征序列和指定情感类型，生成目标音频。这样，能够实现语音合成过程中文本级别的情感类型，和音素级别的声学特征两个维度的显式控制，进一步提高了目标音频的表现力。例如，对于音频制作工作室来说，设计人员可以逐个调整每个音素的指定声学特征，从而调整目标音频表现出的情感强度、情感表现，进一步提高了目标音频的表现力，同时也提高了音频制作的灵活度和可操作程度。图4是根据一示例性实施例示出的一种语音合成模型的处理流程图，如图4所示，上述语音合成模型可以用于执行以下步骤：步骤a，根据音素序列确定待合成文本对应的文本特征序列，文本特征序列包括每个音素对应的文本特征。步骤b，根据文本特征序列，确定声学特征序列。步骤c，确定指定情感类型对应的指定情感特征，并将指定情感特征按照音素序列进行扩展，得到情感特征序列。步骤d，根据文本特征序列、声学特征序列和情感特征序列，生成目标音频。举例来说，语音合成模型合成目标音频的具体过程，可以先根据音素序列，提取待合成文本对应的文本特征序列(即textembedding)，文本特征序列中包括了音素序列中每个音素对应的文本特征，文本特征可以理解为能够表征该音素的文本向量。例如，音素序列中包括100个音素，每个音素对应的文本向量为1*80维的向量，那么文本特征序列可以为100*80维的向量。之后可以根据文本特征序列，确定声学特征序列。可以理解为，语音合成模型能够根据每个音素对应的文本特征，预测该音素对应的声学特征，从而得到声学特征序列。然后，语音合成模型还可以根据指定情感类型，确定对应的指定情感特征，指定情感特征可以理解为能够表征指定情感类型的情感向量。在一种方式中，语音合成模型可以包括一个查找表(英文：lookuptable)，查找表可以将指定情感类型对应的标签，映射成一个多维度的情感向量。例如，指定情感类型为害羞，对应的标签为0101，那么查找表可以将0101映射为一个1*50维的情感向量，作为用于表征害羞的指定情感特征。在另一种应用场景中，语音合成模型中可以包括一个gst模块，gst模块包括了多个gst(英文：globalstyletoken，中文：全局风格标志)，gst模块可以用预先训练的多个gst来表征指定情感类型，即指定情感向量可以是多个gst进行加权求和得到的。gst模块可以是预先根据大量的训练样本独立训练的，也可以是和语音合成模型联合训练得到的，本公开对此不作具体限定。进一步的，在得到指定情感类型对应的指定情感特征之后，还可以将指定情感特征按照音素序列进行扩展，得到情感特征序列，情感特征序列中，包括了音素序列中每个音素对应的情感特征。例如，可以先确定音素序列的长度，即音素序列中包括的音素的数量。然后对指定情感特征进行复制，得到一个与音素序列的长度相同的情感特征序列，其中，每个情感特征都与指定情感特征相同，也就是说，情感特征序列中每个音素对应的情感特征均为指定情感特征。例如，音素序列的长度为100(即其中包括100个音素)，那么可以将每个音素对应的情感特征都确定为指定情感特征，那么可以将100个音素对应的情感特征组成情感特征序列。以指定情感特征为1*50维的向量来举例，那么情感特征序列包括100个1*50维的向量，可以组成100*50维的向量。在获得文本特征序列、声学特征序列和情感特征序列之后，可以将文本特征序列、情感特征序列与声学特征序列进行结合，以生成具有指定情感类型，且每个音素对应的音频帧，与该音素对应的声学特征匹配的目标音频。例如，可以将文本特征序列、声学特征序列、情感特征序列进行拼接，得到一个组合序列，然后根据组合序列生成目标音频。例如，音素序列中包括100个音素，文本特征序列可以为100*80维的向量，相应的声学特征序列为100*5维的向量，情感特征序列为100*50维的向量，那么组合序列可以为100*135维的向量。可以根据这个100*135维的向量，生成目标音频。以图5所示的语音合成模型来举例，语音合成模型可以为一个基于gst的tacotron模型，其中包括：文本编码器(即encoder)、声学特征编码器、gst模块和合成器，合成器中可以包括注意力网络、解码器(即decoder)和后处理网络。gst模块可以根据指定情感类型，确定多个gst分别对应的权重，然后对多个gst进行加权求和，从而得到指定情感向量。之后可以将指定情感特征进行扩展，得到情感特征序列。文本编码器可以包括嵌入层(即characterembedding层)、预处理网络(pre-net)子模型和cbhg(英文：convolutionbank highwaynetwork bidirectionalgatedrecurrentunit，中文：卷积层 高速网络 双向递归神经网络)子模型。可以将音素序列输入文本编码器，首先，通过嵌入层将音素序列转换为词向量，然后将词向量输入至pre-net子模型，以对词向量进行非线性变换，从而提升语音合成模型的收敛和泛化能力，最后，通过cbhg子模型根据非线性变换后的词向量，获得能够表征待合成文本的文本特征序列。之后，可以将文本特征序列输入声学特征编码器，声学特征编码器可以预测每个音素对应的声学特征，从而得到声学特征序列。声学编码器的结构例如可以包括3层lstm(英文：longshort-termmemory，中文：长短期记忆网络)和一个线性层。声学编码器可以是预先根据大量的训练样本独立训练的，也可以是和语音合成模型联合训练得到的，本公开对此不作具体限定。最后可以将声学特征序列、情感特征序列和文本特征序列进行拼接，得到组合序列，再将组合序列输入注意力网络，注意力网络可以为组合序列中的每个元素增加一个注意力权重。具体的，注意力网络可以为位置敏感注意力(英文：locativesensitiveattention)网络，也可以为gmm(英文：gaussianmixturemodel，缩写gmm)attention网络，还可以是multi-headattention网络，本公开对此不作具体限定。再将注意力网络的输出作为解码器的输入。解码器可以包括预处理网络子模型(可以与编码器中包括的预处理网络子模型的相同)、attention-rnn、decoder-rnn。预处理网络子模型用于对输入进行非线性变换，attention-rnn的结构为一层单向的、基于zoneout的lstm，能够将预处理网络子模型的输出作为输入，经过lstm单元后输出到decoder-rnn中。decode-rnn为两层单向的、基于zoneout的lstm，经过lstm单元输出梅尔频谱信息，梅尔频谱信息中可以包括一个或多个梅尔频谱特征。最后将梅尔频谱信息输入后处理网络，后处理网络可以包括声码器(例如，wavenet声码器、griffin-lim声码器等)，用于对梅尔频谱特征信息进行转换，以得到目标音频。进一步的，在语音合成模型能够生成具有不同说话人的音色的音频的场景中，语音合成模型还可以包括一个音色高维映射表，可以将指定说话人对应的音色编码，映射成一个多维度的、能够表征指定说话人的音色的音色向量，并将音色向量输入到合成器包括的解码器中。图6是根据一示例性实施例示出的另一种语音合成模型的处理流程图，如图6所示，语音合成模型中包括预先训练的多个gst，相应的步骤c的实现方式可以包括：步骤c1，确定指定情感类型的情感编码。步骤c2，将指定情感类型的情感编码作为多个gst的加权系数，以得到指定情感特征。举例来说，可以先根据指定情感类型，确定对应的情感编码，情感编码可以理解为用于标识指定情感类型的编码。可以通过one-hot编码得到情感编码，例如，针对开心、惊讶、憎恶、生气、害羞、恐惧、悲伤、不屑共8种情感来说，那么可以用一个8位的二进制编码来表示这8种情感，具体的开心对应的情感编码可以为00000001，惊讶对应的情感编码可以为00000010，憎恶对应的情感编码可以为00000100，生气对应的情感编码可以为00001000，以此类推。通常情况下，gst模块包括参考编码器、注意力模块和多个gst，要得到能够表征指定情感类型的指定情感向量，需要将具备指定情感类型的音频(或者该音频的梅尔频谱信息)输入参考编码器，由参考编码器输出一个能够表征该音频的声学特征的高维向量，然后将高维向量和多个gst输入注意力模块，由注意力模块输出多个gst对应的权重，并对多个gst进行加权求和，从而得到指定情感向量。然而按照这种方式获取指定情感向量的稳定性较低，例如输入都具有开心情感的两个不同的音频，gst模块输出的指定情感向量往往不同，因此使用这种方式来表征指定情感类型的稳定性较低。本公开在训练gst模块的过程中，可以获取注意力模块输出的多个gst对应的权重，与情感编码的交叉熵损失，并以降低交叉熵损失为目标，利用反向传播算法来修正gst模块中的神经元的参数，在交叉熵损失收敛的情况下，能够使得多个gst与多种情感类型一一对应，即每个gst对应一种情感类型。因此可以直接将步骤c1中确定的指定情感类型的情感编码作为多个gst的加权系数，以得到指定情感特征。例如，gst模块中包括8个gst，憎恶对应的情感编码为00000100，那么以00000100作为加权系数，得到憎恶对应的情感特征即为第3个gst。这样，同一种情感类型，gst模块得到的情感特征是相同的，有效提高了gst模块的稳定性。图7是根据一示例性实施例示出的一种训练语音合成模型的流程图，如图7所示，上述语音合成模型是通过如下方式训练获得的：步骤e，根据训练文本对应的训练音频，和训练文本对应的训练音素序列，确定真实声学特征序列，真实声学特征序列中包括：训练音素序列中每个训练音素对应的真实声学特征。步骤f，获取情感音频，情感音频具有的情感类型，与训练音频具有的情感类型相同。步骤g，将训练音素序列、情感音频、真实声学特征序列输入语音合成模型，并根据语音合成模型的输出与训练音频，训练语音合成模型，语音合成模型用于根据情感音频，确定训练情感特征，训练情感特征用于表征情感音频具有的情感类型。下面对语音合成模型的训练过程进行具体说明。首先，需要获取训练文本、训练文本对应的训练音频、训练文本对应的训练音素序列，训练文本可以有多个，相应的，训练音频、训练音素序列也有多个。例如可以通过在互联网上抓取大量的文本作为训练文本，然后将训练文本对应的音频，作为训练音频，之后还可以确定训练音素序列，训练音素序列中包括训练文本中的每个字对应的训练音素。进一步的，可以根据训练音频和训练音素序列，提取对应的训练声学特征序列，其中包括每个训练音素对应的真实声学特征。例如，可以通过信号处理、标注等方式，得到训练音频中每个音频帧的真实声学特征。其中，每个音频帧的真实声学特征用于指示该音频帧的韵律特征，可以包括：该音频帧的基频、音量、语速中的至少一种，还可以包括：噪声水平、音调、音色、响度等。之后，根据训练音素序列确定每个训练音素对应的一个或多个音频帧，确定该训练音素对应的真实声学特征，从而得到训练声学特征序列。训练声学特征序列中包括了每个训练音素对应的真实声学特征。例如，某个训练音素对应3个音频帧，那么可以将这3个音频帧的真实声学特征的均值(或者最大值、最小值)作为该训练音素对应的真实声学特征。然后，可以获取情感音频，情感音频具有的情感类型，与训练音频具有的情感类型相同。也就是说，情感音频只需要和训练音频具有相同的情感类型即可，情感音频可以是训练音频，也可以与训练音频不同。例如，情感音频可以从预设的音库中，按照训练音频具有的情感类型来获取。最后，将训练音素序列、情感音频、真实声学特征序列，作为语音合成模型的输入，并根据语音合成模型的输出与训练音频，训练语音合成模型。同时，语音合成模型，还能够根据情感音频，确定训练情感特征，其中，训练情感特征用于表征情感音频具有的情感类型。训练语音合成模型的过程例如，可以根据语音合成模型的输出，与训练音频的差(或者均方差)作为语音合成模型的损失函数，以降低损失函数为目标，利用反向传播算法来修正语音合成模型中的神经元的参数，神经元的参数例如可以是神经元的权重(英文：weight)和偏置量(英文：bias)。重复上述步骤，直至损失函数满足预设条件，例如损失函数小于预设的损失阈值。图8是根据一示例性实施例示出的另一种训练语音合成模型的流程图，如图8所示，以图5所示的语音合成模型来举例，语音合成模型包括：文本编码器、声学特征编码器、gst模块和合成器。gst模块包括参考编码器和情感标志层(图5中未示出)，情感标志层包括多个gst。进一步的，文本编码器和声学特征编码器之间设置有阻止结构，阻止结构用于阻止声学特征编码器将梯度回传至文本编码器。其中，阻止结构例如可以为stop_gradient()，用于截断声学特征编码器的损失，从而阻止声学特征编码器将梯度回传至文本编码器。也就是说，在声学特征编码器根据相应的损失函数(即后文提及的第二损失)进行调整时，不会影响到文本编码器，从而避免了语音合成模型训练不稳定的问题。相应的，步骤g的实现方式可以包括：步骤g1，通过文本编码器提取训练文本对应的训练文本特征序列，训练文本特征序列包括每个训练音素对应的训练文本特征。步骤g2，通过声学特征编码器提取训练文本特征序列对应的预测声学特征序列，预测声学特征序列中包括每个训练音素对应的预测声学特征。步骤g3，通过参考编码器提取情感音频对应的参考向量，并通过情感标志层根据参考向量，确定多个gst对应的训练加权系数。步骤g4，通过合成器，根据训练文本特征序列、真实声学特征序列和训练情感特征序列，生成语音合成模型的输出，训练情感特征序列为训练情感特征按照训练音素序列进行扩展得到的，训练情感特征为根据训练加权系数和多个gst确定的。举例来说，在训练语音合成模型时，可以先将训练文本输入文本编码器，以得到文本编码器输出的，包括了每个训练音素对应的训练文本特征的训练文本特征序列，训练文本特征可以理解为能够表征该训练音素的文本向量。之后，可以将训练文本特征序列输入声学特征编码器，以得到声学编码器输出的预测声学特征序列，其中，预测声学特征序列中包括每个训练音素对应的预测声学特征，预测声学特征可以理解为声学编码器对该训练音素对应的声学特征的预测值。声学编码器可以是预先根据大量的训练样本独立训练的，也可以是和语音合成模型联合训练得到的。例如，可以在训练语音合成模型的同时，根据预测声学特征序列和步骤e中确定的真实声学特征序列，确定一个损失函数(即后文提及的第二损失)，并利用这个损失函数来训练声学编码器。然后，可以将情感音频输入参考编码器，以得到参考编码器输出的参考向量，参考向量可以理解为能够表征情感音频的声学特征的向量。再将参考向量输入情感标志层，以得到情感标志层输出的，多个gst对应的训练加权系数。其中，情感标志层可以包括注意力模块和多个gst。得到训练加权系数后，可以按照训练加权系数对多个gst进行加权求和，以得到表征情感音频具有的情感类型的训练情感特征，例如，情感标志层包括3个gst：a、b、c，训练加权系数为0.65、0.2、0.15，那么训练情感特征即为0.65a 0.2b 0.15c。之后再按照训练音素序列进行扩展，得到训练情感特征序列，其中包括了每个训练音素对应的训练情感特征。gst模块可以是预先根据大量的训练样本独立训练的，也可以是和语音合成模型联合训练得到的。例如，可以在训练语音合成模型的同时，根据训练加权系数和情感音频具有的情感类型，确定一个损失函数(即后文提及的第三损失)，并利用这个损失函数来训练gst模块。最后，将训练文本特征序列、真实声学特征序列和训练情感特征序列进行拼接，一同输入合成器，以生成语音合成模型的输出。在一种应用场景中，上述语音合成模型的损失函数由第一损失、第二损失和第三损失确定，第一损失由语音合成模型的输出，与训练音频确定，第二损失由预测声学特征序列，与真实声学特征序列确定，第三损失由训练加权系数，与情感音频具有的情感类型的情感编码确定。示例的，语音合成模型的损失函数可以是由第一损失、第二损失和第三损失共同确定的，例如可以是第一损失、第二损失和第三损失的加权求和，还可以是第一损失、第二损失和第三损失的平均值。其中，第一损失可以理解为，根据语音合成模型的输出，与训练文本对应的训练音频的差值(也可以是均方误差)来确定的损失函数。第二损失可以理解为，声学编码器的损失函数，即根据声学编码器输出的预测声学特征序列，与真实声学特征序列的差值(也可以是均方误差)来确定的损失函数。第三损失可以理解为gst模块的损失函数，即根据情感标志层输出的训练加权系数，与情感音频具有的情感类型来确定的损失函数。具体的，可以设置一个情感分类器，分别将训练加权系数，与情感音频具有的情感类型对应的情感编码(例如可以是one-hot编码)输入情感分类器，以得到训练加权系数，与情感编码的交叉熵损失，并将交叉熵损失作为第三损失。这样，在对语音合成模型进行训练的过程中，既可以从整体上调整语音合成模型中神经元的权重和连接关系，同时还可以对声学编码器、gst模块中的神经元的权重和连接关系进行调整，保证了语音合成模型、声学编码器、gst模块的准确度和有效性。综上所述，本公开首先获取待合成文本和指定情感类型，之后提取待合成文本对应的，包括了多个音素的音素序列，最后将音素序列和指定情感类型作为预先训练的语音合成模型的输入，从而得到语音合成模型输出的待合成文本对应的目标音频，目标音频具有指定情感类型，且目标音频中每个音素对应的音频帧，与声学特征序列中该音素对应的声学特征匹配。其中，声学特征序列为语音合成模型根据音素序列确定的，且声学特征序列包括每个音素对应的声学特征。本公开通过指定情感类型来控制目标音频具有的情感，同时能够预测文本对应的每个音素的声学特征，从而通过声学特征来控制目标音频中音素级别的韵律，能够实现语音合成过程中文本级别的情感类型，和音素级别的声学特征两个维度的控制，提高了目标音频的表现力。图9是根据一示例性实施例示出的一种语音合成装置的框图，如图9所示，该装置200包括：第一获取模块201，用于获取待合成文本和指定情感类型。提取模块202，用于提取待合成文本对应的音素序列，音素序列中包括多个音素。合成模块203，用于将音素序列和指定情感类型，输入预先训练的语音合成模型，以得到语音合成模型输出的，待合成文本对应的具有指定情感类型的目标音频，目标音频中每个音素对应的音频帧，与声学特征序列中该音素对应的声学特征匹配，声学特征序列为语音合成模型根据音素序列确定的，声学特征序列包括每个音素对应的声学特征，声学特征用于指示该音素的韵律特征。图10是根据一示例性实施例示出的另一种语音合成装置的框图，如图10所示，该装置200还包括：第二获取模块204，用于获取指定说话人对应的音色编码。相应的，合成模块203用于：将音素序列、指定情感类型和音色编码，输入语音合成模型，以得到语音合成模型输出的目标音频，目标音频具有指定说话人的音色，语音合成模型为根据多个说话人对应的语料训练得到的，多个说话人包括指定说话人。图11是根据一示例性实施例示出的另一种语音合成装置的框图，如图11所示，该装置200还包括：第三获取模块205，用于获取指定声学特征序列，指定声学特征序列包括每个音素对应的指定声学特征。相应的，合成模块203用于：将音素序列、指定情感类型和指定声学特征序列，输入语音合成模型，以得到语音合成模型输出的目标音频，目标音频中每个音素对应的音频帧，与指定声学特征序列中该音素对应的指定声学特征匹配。在一种应用场景中，声学特征包括：基频、音量、语速中的至少一种。在一种应用场景中，上述语音合成模型可以用于执行以下步骤：步骤a，根据音素序列确定待合成文本对应的文本特征序列，文本特征序列包括每个音素对应的文本特征。步骤b，根据文本特征序列，确定声学特征序列。步骤c，确定指定情感类型对应的指定情感特征，并将指定情感特征按照音素序列进行扩展，得到情感特征序列。步骤d，根据文本特征序列、声学特征序列和情感特征序列，生成目标音频。在一种实现方式中，步骤c的实现方式可以包括：步骤c1，确定指定情感类型的情感编码。步骤c2，将指定情感类型的情感编码作为多个gst的加权系数，以得到指定情感特征。在一种应用场景中，上述语音合成模型是通过如下方式训练获得的：步骤e，根据训练文本对应的训练音频，和训练文本对应的训练音素序列，确定真实声学特征序列，真实声学特征序列中包括：训练音素序列中每个训练音素对应的真实声学特征。步骤f，获取情感音频，情感音频具有的情感类型，与训练音频具有的情感类型相同。步骤g，将训练音素序列、情感音频、真实声学特征序列输入语音合成模型，并根据语音合成模型的输出与训练音频，训练语音合成模型，语音合成模型用于根据情感音频，确定训练情感特征，训练情感特征用于表征情感音频具有的情感类型。在一种实现方式中，语音合成模型包括：文本编码器、声学特征编码器、gst模块和合成器。gst模块包括参考编码器和情感标志层，情感标志层包括多个gst。进一步的，文本编码器和声学特征编码器之间设置有阻止结构，阻止结构用于阻止声学特征编码器将梯度回传至文本编码器。相应的，步骤g的实现方式可以包括：步骤g1，通过文本编码器提取训练文本对应的训练文本特征序列，训练文本特征序列包括每个训练音素对应的训练文本特征。步骤g2，通过声学特征编码器提取训练文本特征序列对应的预测声学特征序列，预测声学特征序列中包括每个训练音素对应的预测声学特征。步骤g3，通过参考编码器提取情感音频对应的参考向量，并通过情感标志层根据参考向量，确定多个gst对应的训练加权系数。步骤g4，通过合成器，根据训练文本特征序列、真实声学特征序列和训练情感特征序列，生成语音合成模型的输出，训练情感特征序列为训练情感特征按照训练音素序列进行扩展得到的，训练情感特征为根据训练加权系数和多个gst确定的。在另一种实现方式中，上述语音合成模型的损失函数由第一损失、第二损失和第三损失确定，第一损失由语音合成模型的输出，与训练音频确定，第二损失由预测声学特征序列，与真实声学特征序列确定，第三损失由训练加权系数，与情感音频具有的情感类型的情感编码确定。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。综上所述，本公开首先获取待合成文本和指定情感类型，之后提取待合成文本对应的，包括了多个音素的音素序列，最后将音素序列和指定情感类型作为预先训练的语音合成模型的输入，从而得到语音合成模型输出的待合成文本对应的目标音频，目标音频具有指定情感类型，且目标音频中每个音素对应的音频帧，与声学特征序列中该音素对应的声学特征匹配。其中，声学特征序列为语音合成模型根据音素序列确定的，且声学特征序列包括每个音素对应的声学特征。本公开通过指定情感类型来控制目标音频具有的情感，同时能够预测文本对应的每个音素的声学特征，从而通过声学特征来控制目标音频中音素级别的韵律，能够实现语音合成过程中文本级别的情感类型，和音素级别的声学特征两个维度的控制，提高了目标音频的表现力。下面参考图12，其示出了适于用来实现本公开实施例的电子设备(例如可以上述实施例中的执行主体，可以是终端设备或服务器)300的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图12示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。如图12所示，电子设备300可以包括处理装置(例如中央处理器、图形处理器等)301，其可以根据存储在只读存储器(rom)302中的程序或者从存储装置308加载到随机访问存储器(ram)303中的程序而执行各种适当的动作和处理。在ram303中，还存储有电子设备300操作所需的各种程序和数据。处理装置301、rom302以及ram303通过总线304彼此相连。输入/输出(i/o)接口305也连接至总线304。通常，以下装置可以连接至i/o接口305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置307；包括例如磁带、硬盘等的存储装置308；以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图12示出了具有各种装置的电子设备300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置308被安装，或者从rom302被安装。在该计算机程序被处理装置301执行时，执行本公开实施例的方法中限定的上述功能。需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。在一些实施方式中，终端设备、服务器可以利用诸如http(hypertexttransferprotocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“lan”)，广域网(“wan”)，网际网(例如，互联网)以及端对端网络(例如，adhoc端对端网络)，以及任何当前已知或未来研发的网络。上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取待合成文本和指定情感类型；提取所述待合成文本对应的音素序列，所述音素序列中包括多个音素；将所述音素序列和所述指定情感类型，输入预先训练的语音合成模型，以得到所述语音合成模型输出的，所述待合成文本对应的具有所述指定情感类型的目标音频，所述目标音频中每个所述音素对应的音频帧，与声学特征序列中该音素对应的声学特征匹配，所述声学特征序列为所述语音合成模型根据所述音素序列确定的，所述声学特征序列包括每个所述音素对应的声学特征，所述声学特征用于指示该音素的韵律特征。可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言——诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，第一获取模块还可以被描述为“获取待合成文本和指定情感类型的模块”。本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。根据本公开的一个或多个实施例，示例1提供了一种语音合成方法，包括：获取待合成文本和指定情感类型；提取所述待合成文本对应的音素序列，所述音素序列中包括多个音素；将所述音素序列和所述指定情感类型，输入预先训练的语音合成模型，以得到所述语音合成模型输出的，所述待合成文本对应的具有所述指定情感类型的目标音频，所述目标音频中每个所述音素对应的音频帧，与声学特征序列中该音素对应的声学特征匹配，所述声学特征序列为所述语音合成模型根据所述音素序列确定的，所述声学特征序列包括每个所述音素对应的声学特征，所述声学特征用于指示该音素的韵律特征。根据本公开的一个或多个实施例，示例2提供了示例1的方法，所述方法还包括：获取指定说话人对应的音色编码；所述将所述音素序列和所述指定情感类型，输入预先训练的语音合成模型，以得到所述语音合成模型输出的，所述待合成文本对应的具有所述指定情感类型的目标音频，包括：将所述音素序列、所述指定情感类型和所述音色编码，输入所述语音合成模型，以得到所述语音合成模型输出的所述目标音频，所述目标音频具有所述指定说话人的音色，所述语音合成模型为根据多个说话人对应的语料训练得到的，所述多个说话人包括所述指定说话人。根据本公开的一个或多个实施例，示例3提供了示例1的方法，所述方法还包括：获取指定声学特征序列，所述指定声学特征序列包括每个所述音素对应的指定声学特征；所述将所述音素序列和所述指定情感类型，输入预先训练的语音合成模型，以得到所述语音合成模型输出的，所述待合成文本对应的具有所述指定情感类型的目标音频，包括：将所述音素序列、所述指定情感类型和所述指定声学特征序列，输入所述语音合成模型，以得到所述语音合成模型输出的所述目标音频，所述目标音频中每个所述音素对应的音频帧，与所述指定声学特征序列中该音素对应的指定声学特征匹配。根据本公开的一个或多个实施例，示例4提供了示例1至示例3的方法，所述语音合成模型用于：根据所述音素序列确定所述待合成文本对应的文本特征序列，所述文本特征序列包括每个所述音素对应的文本特征；根据所述文本特征序列，确定所述声学特征序列；确定所述指定情感类型对应的指定情感特征，并将所述指定情感特征按照所述音素序列进行扩展，得到情感特征序列；根据所述文本特征序列、所述声学特征序列和所述情感特征序列，生成所述目标音频。根据本公开的一个或多个实施例，示例5提供了示例4的方法，所述语音合成模型中包括预先训练的多个全局风格标志gst，所述确定所述指定情感类型对应的指定情感特征，包括：确定所述指定情感类型的情感编码；将所述指定情感类型的情感编码作为多个所述gst的加权系数，以得到所述指定情感特征。根据本公开的一个或多个实施例，示例6提供了示例1的方法，所述声学特征包括：基频、音量、语速中的至少一种。根据本公开的一个或多个实施例，示例7提供了示例1至示例3的方法，所述语音合成模型是通过如下方式训练获得的：根据训练文本对应的训练音频，和所述训练文本对应的训练音素序列，确定真实声学特征序列，所述真实声学特征序列中包括：所述训练音素序列中每个训练音素对应的真实声学特征；获取情感音频，所述情感音频具有的情感类型，与所述训练音频具有的情感类型相同；将所述训练音素序列、所述情感音频、所述真实声学特征序列输入所述语音合成模型，并根据所述语音合成模型的输出与所述训练音频，训练所述语音合成模型，所述语音合成模型用于根据所述情感音频，确定训练情感特征，所述训练情感特征用于表征所述情感音频具有的情感类型。根据本公开的一个或多个实施例，示例8提供了示例7的方法，所述语音合成模型包括：文本编码器、声学特征编码器、gst模块和合成器；所述gst模块包括参考编码器和情感标志层，所述情感标志层包括多个gst；所述文本编码器和所述声学特征编码器之间设置有阻止结构，所述阻止结构用于阻止所述声学特征编码器将梯度回传至所述文本编码器；所述将所述训练音素序列、所述情感音频、所述真实声学特征序列输入所述语音合成模型，并根据所述语音合成模型的输出与所述训练音频，训练所述语音合成模型，包括：通过所述文本编码器提取所述训练文本对应的训练文本特征序列，所述训练文本特征序列包括每个所述训练音素对应的训练文本特征；通过所述声学特征编码器提取所述训练文本特征序列对应的预测声学特征序列，所述预测声学特征序列中包括每个所述训练音素对应的预测声学特征；通过所述参考编码器提取所述情感音频对应的参考向量，并通过所述情感标志层根据所述参考向量，确定多个所述gst对应的训练加权系数；通过所述合成器，根据所述训练文本特征序列、所述真实声学特征序列和训练情感特征序列，生成所述语音合成模型的输出，所述训练情感特征序列为所述训练情感特征按照所述训练音素序列进行扩展得到的，所述训练情感特征为根据所述训练加权系数和多个所述gst确定的。根据本公开的一个或多个实施例，示例9提供了示例8的方法，所述语音合成模型的损失函数由第一损失、第二损失和第三损失确定，所述第一损失由所述语音合成模型的输出，与所述训练音频确定，所述第二损失由所述预测声学特征序列，与所述真实声学特征序列确定，所述第三损失由所述训练加权系数，与所述情感音频具有的情感类型的情感编码确定。根据本公开的一个或多个实施例，示例10提供了一种语音合成装置，包括：第一获取模块，用于获取待合成文本和指定情感类型；提取模块，用于提取所述待合成文本对应的音素序列，所述音素序列中包括多个音素；合成模块，用于将所述音素序列和所述指定情感类型，输入预先训练的语音合成模型，以得到所述语音合成模型输出的，所述待合成文本对应的具有所述指定情感类型的目标音频，所述目标音频中每个所述音素对应的音频帧，与声学特征序列中该音素对应的声学特征匹配，所述声学特征序列为所述语音合成模型根据所述音素序列确定的，所述声学特征序列包括每个所述音素对应的声学特征，所述声学特征用于指示该音素的韵律特征。根据本公开的一个或多个实施例，示例11提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现示例1至示例9中所述方法的步骤。根据本公开的一个或多个实施例，示例12提供了一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现示例1至示例9中所述方法的步骤。以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。当前第1页12当前第1页12
技术领域：
：，具体地，涉及一种语音合成方法、装置、可读介质及电子设备。
背景技术：
：：随着电子信息处理技术的不断发展，语音作为人们获取信息的重要载体，已经被广泛应用于日常生活和工作中。涉及语音的应用场景中，通常会包括语音合成的处理，语音合成是指将用户指定的文本，合成为音频。语音合成过程中，可以指定具体的情感类型，来合成具有相应情感的语音。在真实的说话场景中，同一种情感也会有不同的情感强度、情感表现，例如一个说话人按照相同的情感，两次朗读同一句话，其中的情感强度、情感表现均会发生变化。然而，通常情况下，合成出的语音，在情感强度、情感表现方面通常是一致的，导致语音的表现力过于单一，很难满足用户的需求。技术实现要素：提供该
发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。第一方面，本公开提供一种语音合成方法，所述方法包括：获取待合成文本和指定情感类型；提取所述待合成文本对应的音素序列，所述音素序列中包括多个音素；将所述音素序列和所述指定情感类型，输入预先训练的语音合成模型，以得到所述语音合成模型输出的，所述待合成文本对应的具有所述指定情感类型的目标音频，所述目标音频中每个所述音素对应的音频帧，与声学特征序列中该音素对应的声学特征匹配，所述声学特征序列为所述语音合成模型根据所述音素序列确定的，所述声学特征序列包括每个所述音素对应的声学特征，所述声学特征用于指示该音素的韵律特征。第二方面，本公开提供一种语音合成装置，所述装置包括：第一获取模块，用于获取待合成文本和指定情感类型；提取模块，用于提取所述待合成文本对应的音素序列，所述音素序列中包括多个音素；合成模块，用于将所述音素序列和所述指定情感类型，输入预先训练的语音合成模型，以得到所述语音合成模型输出的，所述待合成文本对应的具有所述指定情感类型的目标音频，所述目标音频中每个所述音素对应的音频帧，与声学特征序列中该音素对应的声学特征匹配，所述声学特征序列为所述语音合成模型根据所述音素序列确定的，所述声学特征序列包括每个所述音素对应的声学特征，所述声学特征用于指示该音素的韵律特征。第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第一方面所述方法的步骤。第四方面，本公开提供一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面所述方法的步骤。通过上述技术方案，本公开首先获取待合成文本和指定情感类型，之后提取待合成文本对应的，包括了多个音素的音素序列，最后将音素序列和指定情感类型作为预先训练的语音合成模型的输入，从而得到语音合成模型输出的待合成文本对应的目标音频，目标音频具有指定情感类型，且目标音频中每个音素对应的音频帧，与声学特征序列中该音素对应的声学特征匹配。其中，声学特征序列为语音合成模型根据音素序列确定的，且声学特征序列包括每个音素对应的声学特征。本公开通过指定情感类型来控制目标音频具有的情感，同时能够预测文本对应的每个音素的声学特征，从而通过声学特征来控制目标音频中音素级别的韵律，能够实现语音合成过程中文本级别的情感类型，和音素级别的声学特征两个维度的控制，提高了目标音频的表现力。本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。附图说明结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：图1是根据一示例性实施例示出的一种语音合成方法的流程图；图2是根据一示例性实施例示出的另一种语音合成方法的流程图；图3是根据一示例性实施例示出的另一种语音合成方法的流程图；图4是根据一示例性实施例示出的一种语音合成模型的处理流程图；图5是根据一示例性实施例示出的一种语音合成模型的框图；图6是根据一示例性实施例示出的另一种语音合成模型的处理流程图；图7是根据一示例性实施例示出的一种训练语音合成模型的流程图；图8是根据一示例性实施例示出的另一种训练语音合成模型的流程图；图9是根据一示例性实施例示出的一种语音合成装置的框图；图10是根据一示例性实施例示出的另一种语音合成装置的框图；图11是根据一示例性实施例示出的另一种语音合成装置的框图；图12是根据一示例性实施例示出的一种电子设备的框图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。图1是根据一示例性实施例示出的一种语音合成方法的流程图，如图1所示，该方法包括：步骤101，获取待合成文本和指定情感类型。举例来说，首先获取需要进行合成的待合成文本。待合成文本例如可以是用户指定的文本文件中的一个或多个语句，也可以是文本文件中的一个或多个段落、一个或多个章节，还可以是一个文本文件中的一个或多个词语。文本文件例如可以是一部电子书，也可以是其他类型的文件，例如新闻、公众号文章、博客等。同时，还可以获取指定情感类型，指定情感类型可以理解为，用户指定的，期望将待合成文本合成为具有指定情感类型的音频(即后文提及的目标音频)。指定情感类型可以是情感标签的形式，例如开心对应0001，惊讶对应0011，憎恶对应1010，生气对应1011，害羞对应0101，恐惧对应0100，悲伤对应1000，不屑对应1001。步骤102，提取待合成文本对应的音素序列，音素序列中包括多个音素。示例的，可以将待合成文本输入预先训练的识别模型，以得到识别模型输出的，待合成文本对应的音素序列。也可以在预先建立的字典中，查找待合成文本中的每个字对应的音素，然后将每个字对应的音素作为待合成文本对应的音素序列。其中，音素可以理解为根据每个字的发音划分出的语音单位，也可以理解为每个字对应的拼音中的元音和辅音。音素序列中，包括了待合成文本中每个字对应的音素(一个字可以对应一个或多个音素)。例如，待合成文本为“阳光洒在草地上”，可以依次在字典中查找每个字对应的音素，从而确定音素序列为“yangguangsazaicaodishang”。步骤103，将音素序列和指定情感类型，输入预先训练的语音合成模型，以得到语音合成模型输出的，待合成文本对应的具有指定情感类型的目标音频，目标音频中每个音素对应的音频帧，与声学特征序列中该音素对应的声学特征匹配，声学特征序列为语音合成模型根据音素序列确定的，声学特征序列包括每个音素对应的声学特征，声学特征用于指示该音素的韵律特征。示例的，在得到音素序列之后，可以将音素序列和指定情感类型，作为预先训练的语音合成模型的输入，语音合成模型首先可以根据音素序列确定对应的声学特征序列，声学特征序列中包括了每个音素对应的声学特征。其中，声学特征可以理解为用于表征每个音素的韵律特征。声学特征可以包括多个维度，例如可以包括基频(英文：pitch)、音量(英文：energy)、语速(英文：duration)中的一种或多种，还可以包括：噪声水平(可以理解为能够反映音频中噪声大小的特征)、音调、音色、响度等，本公开对此不作具体限定。可以理解为，语音合成模型能够根据输入的音素序列，预测每个音素对应的声学特征。之后，语音合成模型可以根据音素序列、声学特征序列和指定情感类型，输出待合成文本对应的，具有指定情感类型的目标音频，并且，目标音频中每个音素对应的音频帧，与声学特征序列中该音素对应的声学特征匹配。可以理解为，目标音频中包括多个音频帧，将目标音频按照音素序列中包括的音素进行划分，可以得到每个音素对应的一个或多个音频帧，每个音素对应的音频帧，都满足该音素对应的声学特征。例如某个音素对应的声学特征中基频为50hz，音量为30db，语速(可以理解为该音素持续的时长)为60ms。若目标音频的帧速率为20ms/帧，那么目标音频中该音素对应的音频帧的个数为3，并且对应的3个该音频帧的基频均为50hz，音量均为30db。其中，上述语音合成模型是预先训练的，可以理解成一种tts(英文：texttospeech，中文：从文本到语音)模型，能够根据音素序列和指定情感类型，生成待合成文本对应的，具有指定情感类型，且与声学特征序列匹配的目标音频。具体的，语音合成模型可以是基于tacotron模型、deepvoice3模型、tacotron2模型等训练得到的，本公开对此不作具体限定。这样，语音合成模型可以根据指定情感类型，来控制目标音频具有的情感，同时能够根据待合成文本对应的音素序列，预测每个音素对应的声学特征，从而根据每个音素对应的声学特征来控制目标音频中音素级别的韵律。因此，本公开能够实现语音合成过程中文本级别的情感类型，和音素级别的声学特征两个维度的控制，提高了目标音频的表现力，同时也使得目标音频在具有指定情感类型的基础上，表现出多种情感强度、情感表现，从而更接近真实的语音，改善了用户的听觉体验。综上所述，本公开首先获取待合成文本和指定情感类型，之后提取待合成文本对应的，包括了多个音素的音素序列，最后将音素序列和指定情感类型作为预先训练的语音合成模型的输入，从而得到语音合成模型输出的待合成文本对应的目标音频，目标音频具有指定情感类型，且目标音频中每个音素对应的音频帧，与声学特征序列中该音素对应的声学特征匹配。其中，声学特征序列为语音合成模型根据音素序列确定的，且声学特征序列包括每个音素对应的声学特征。本公开通过指定情感类型来控制目标音频具有的情感，同时能够预测文本对应的每个音素的声学特征，从而通过声学特征来控制目标音频中音素级别的韵律，能够实现语音合成过程中文本级别的情感类型，和音素级别的声学特征两个维度的控制，提高了目标音频的表现力。图2是根据一示例性实施例示出的另一种语音合成方法的流程图，如图2所示，该方法还可以包括：步骤104，获取指定说话人对应的音色编码。相应的，步骤103的实现方式为：将音素序列、指定情感类型和音色编码，输入语音合成模型，以得到语音合成模型输出的目标音频，目标音频具有指定说话人的音色，语音合成模型为根据多个说话人对应的语料训练得到的，多个说话人包括指定说话人。在一种应用场景中，还可以获取指定说话人对应的音色编码，指定说话人可以理解为，用户指定的，期望将待合成文本合成为具有指定说话人的音色的目标音频。相应的，在生成目标音频时，可以将音素序列、指定情感类型和音色编码一起输入语音合成模型，从而使语音合成模型输出，具有指定说话人的音色的目标音频。可以理解为，语音合成模型是预先根据多个说话人对应的语料训练得到的，能够生成具有不同说话人的音色的音频，指定说话人可以是多个说话人中的任一个。其中，音色编码可以理解为用于指示指定说话人的音色的编码，例如，语音合成模型是根据说话人甲、说话人乙和说话人丙的语料训练得到的，那么说话人甲对应的音色编码可以为001，说话人乙对应的音色编码可以为010，说话人丙对应的音色编码可以为100。若指定说话人为说话人丙，那么对应的音色编码为100，可以将音素序列、指定情感类型和100一同输入语音合成模型，以得到具有说话人丙的音色的目标音频。图3是根据一示例性实施例示出的另一种语音合成方法的流程图，如图3所示，该方法还可以包括：步骤105，获取指定声学特征序列，指定声学特征序列包括每个音素对应的指定声学特征。相应的，步骤103的实现方式为：将音素序列、指定情感类型和指定声学特征序列，输入语音合成模型，以得到语音合成模型输出的目标音频，目标音频中每个音素对应的音频帧，与指定声学特征序列中该音素对应的指定声学特征匹配。在另一种应用场景中，还可以获取指定声学特征序列，其中包括了每个音素对应的指定声学特征。指定声学特征序列可以理解为，用户指定的，期望将待合成文本合成与指定声学特征序列匹配的目标音频。相应的，在生成目标音频时，可以将音素序列、指定情感类型和指定声学特征序列一起输入语音合成模型，从而使语音合成模型输出的目标音频中每个音素对应的音频帧，与指定声学特征序列中该音素对应的指定声学特征匹配。可以理解为，若将指定声学特征序列输入语音合成模型，那么语音合成模型就不需要再根据音素序列确定对应的声学特征序列，可以直接根据音素序列、指定声学特征序列和指定情感类型，生成目标音频。这样，能够实现语音合成过程中文本级别的情感类型，和音素级别的声学特征两个维度的显式控制，进一步提高了目标音频的表现力。例如，对于音频制作工作室来说，设计人员可以逐个调整每个音素的指定声学特征，从而调整目标音频表现出的情感强度、情感表现，进一步提高了目标音频的表现力，同时也提高了音频制作的灵活度和可操作程度。图4是根据一示例性实施例示出的一种语音合成模型的处理流程图，如图4所示，上述语音合成模型可以用于执行以下步骤：步骤a，根据音素序列确定待合成文本对应的文本特征序列，文本特征序列包括每个音素对应的文本特征。步骤b，根据文本特征序列，确定声学特征序列。步骤c，确定指定情感类型对应的指定情感特征，并将指定情感特征按照音素序列进行扩展，得到情感特征序列。步骤d，根据文本特征序列、声学特征序列和情感特征序列，生成目标音频。举例来说，语音合成模型合成目标音频的具体过程，可以先根据音素序列，提取待合成文本对应的文本特征序列(即textembedding)，文本特征序列中包括了音素序列中每个音素对应的文本特征，文本特征可以理解为能够表征该音素的文本向量。例如，音素序列中包括100个音素，每个音素对应的文本向量为1*80维的向量，那么文本特征序列可以为100*80维的向量。之后可以根据文本特征序列，确定声学特征序列。可以理解为，语音合成模型能够根据每个音素对应的文本特征，预测该音素对应的声学特征，从而得到声学特征序列。然后，语音合成模型还可以根据指定情感类型，确定对应的指定情感特征，指定情感特征可以理解为能够表征指定情感类型的情感向量。在一种方式中，语音合成模型可以包括一个查找表(英文：lookuptable)，查找表可以将指定情感类型对应的标签，映射成一个多维度的情感向量。例如，指定情感类型为害羞，对应的标签为0101，那么查找表可以将0101映射为一个1*50维的情感向量，作为用于表征害羞的指定情感特征。在另一种应用场景中，语音合成模型中可以包括一个gst模块，gst模块包括了多个gst(英文：globalstyletoken，中文：全局风格标志)，gst模块可以用预先训练的多个gst来表征指定情感类型，即指定情感向量可以是多个gst进行加权求和得到的。gst模块可以是预先根据大量的训练样本独立训练的，也可以是和语音合成模型联合训练得到的，本公开对此不作具体限定。进一步的，在得到指定情感类型对应的指定情感特征之后，还可以将指定情感特征按照音素序列进行扩展，得到情感特征序列，情感特征序列中，包括了音素序列中每个音素对应的情感特征。例如，可以先确定音素序列的长度，即音素序列中包括的音素的数量。然后对指定情感特征进行复制，得到一个与音素序列的长度相同的情感特征序列，其中，每个情感特征都与指定情感特征相同，也就是说，情感特征序列中每个音素对应的情感特征均为指定情感特征。例如，音素序列的长度为100(即其中包括100个音素)，那么可以将每个音素对应的情感特征都确定为指定情感特征，那么可以将100个音素对应的情感特征组成情感特征序列。以指定情感特征为1*50维的向量来举例，那么情感特征序列包括100个1*50维的向量，可以组成100*50维的向量。在获得文本特征序列、声学特征序列和情感特征序列之后，可以将文本特征序列、情感特征序列与声学特征序列进行结合，以生成具有指定情感类型，且每个音素对应的音频帧，与该音素对应的声学特征匹配的目标音频。例如，可以将文本特征序列、声学特征序列、情感特征序列进行拼接，得到一个组合序列，然后根据组合序列生成目标音频。例如，音素序列中包括100个音素，文本特征序列可以为100*80维的向量，相应的声学特征序列为100*5维的向量，情感特征序列为100*50维的向量，那么组合序列可以为100*135维的向量。可以根据这个100*135维的向量，生成目标音频。以图5所示的语音合成模型来举例，语音合成模型可以为一个基于gst的tacotron模型，其中包括：文本编码器(即encoder)、声学特征编码器、gst模块和合成器，合成器中可以包括注意力网络、解码器(即decoder)和后处理网络。gst模块可以根据指定情感类型，确定多个gst分别对应的权重，然后对多个gst进行加权求和，从而得到指定情感向量。之后可以将指定情感特征进行扩展，得到情感特征序列。文本编码器可以包括嵌入层(即characterembedding层)、预处理网络(pre-net)子模型和cbhg(英文：convolutionbank highwaynetwork bidirectionalgatedrecurrentunit，中文：卷积层 高速网络 双向递归神经网络)子模型。可以将音素序列输入文本编码器，首先，通过嵌入层将音素序列转换为词向量，然后将词向量输入至pre-net子模型，以对词向量进行非线性变换，从而提升语音合成模型的收敛和泛化能力，最后，通过cbhg子模型根据非线性变换后的词向量，获得能够表征待合成文本的文本特征序列。之后，可以将文本特征序列输入声学特征编码器，声学特征编码器可以预测每个音素对应的声学特征，从而得到声学特征序列。声学编码器的结构例如可以包括3层lstm(英文：longshort-termmemory，中文：长短期记忆网络)和一个线性层。声学编码器可以是预先根据大量的训练样本独立训练的，也可以是和语音合成模型联合训练得到的，本公开对此不作具体限定。最后可以将声学特征序列、情感特征序列和文本特征序列进行拼接，得到组合序列，再将组合序列输入注意力网络，注意力网络可以为组合序列中的每个元素增加一个注意力权重。具体的，注意力网络可以为位置敏感注意力(英文：locativesensitiveattention)网络，也可以为gmm(英文：gaussianmixturemodel，缩写gmm)attention网络，还可以是multi-headattention网络，本公开对此不作具体限定。再将注意力网络的输出作为解码器的输入。解码器可以包括预处理网络子模型(可以与编码器中包括的预处理网络子模型的相同)、attention-rnn、decoder-rnn。预处理网络子模型用于对输入进行非线性变换，attention-rnn的结构为一层单向的、基于zoneout的lstm，能够将预处理网络子模型的输出作为输入，经过lstm单元后输出到decoder-rnn中。decode-rnn为两层单向的、基于zoneout的lstm，经过lstm单元输出梅尔频谱信息，梅尔频谱信息中可以包括一个或多个梅尔频谱特征。最后将梅尔频谱信息输入后处理网络，后处理网络可以包括声码器(例如，wavenet声码器、griffin-lim声码器等)，用于对梅尔频谱特征信息进行转换，以得到目标音频。进一步的，在语音合成模型能够生成具有不同说话人的音色的音频的场景中，语音合成模型还可以包括一个音色高维映射表，可以将指定说话人对应的音色编码，映射成一个多维度的、能够表征指定说话人的音色的音色向量，并将音色向量输入到合成器包括的解码器中。图6是根据一示例性实施例示出的另一种语音合成模型的处理流程图，如图6所示，语音合成模型中包括预先训练的多个gst，相应的步骤c的实现方式可以包括：步骤c1，确定指定情感类型的情感编码。步骤c2，将指定情感类型的情感编码作为多个gst的加权系数，以得到指定情感特征。举例来说，可以先根据指定情感类型，确定对应的情感编码，情感编码可以理解为用于标识指定情感类型的编码。可以通过one-hot编码得到情感编码，例如，针对开心、惊讶、憎恶、生气、害羞、恐惧、悲伤、不屑共8种情感来说，那么可以用一个8位的二进制编码来表示这8种情感，具体的开心对应的情感编码可以为00000001，惊讶对应的情感编码可以为00000010，憎恶对应的情感编码可以为00000100，生气对应的情感编码可以为00001000，以此类推。通常情况下，gst模块包括参考编码器、注意力模块和多个gst，要得到能够表征指定情感类型的指定情感向量，需要将具备指定情感类型的音频(或者该音频的梅尔频谱信息)输入参考编码器，由参考编码器输出一个能够表征该音频的声学特征的高维向量，然后将高维向量和多个gst输入注意力模块，由注意力模块输出多个gst对应的权重，并对多个gst进行加权求和，从而得到指定情感向量。然而按照这种方式获取指定情感向量的稳定性较低，例如输入都具有开心情感的两个不同的音频，gst模块输出的指定情感向量往往不同，因此使用这种方式来表征指定情感类型的稳定性较低。本公开在训练gst模块的过程中，可以获取注意力模块输出的多个gst对应的权重，与情感编码的交叉熵损失，并以降低交叉熵损失为目标，利用反向传播算法来修正gst模块中的神经元的参数，在交叉熵损失收敛的情况下，能够使得多个gst与多种情感类型一一对应，即每个gst对应一种情感类型。因此可以直接将步骤c1中确定的指定情感类型的情感编码作为多个gst的加权系数，以得到指定情感特征。例如，gst模块中包括8个gst，憎恶对应的情感编码为00000100，那么以00000100作为加权系数，得到憎恶对应的情感特征即为第3个gst。这样，同一种情感类型，gst模块得到的情感特征是相同的，有效提高了gst模块的稳定性。图7是根据一示例性实施例示出的一种训练语音合成模型的流程图，如图7所示，上述语音合成模型是通过如下方式训练获得的：步骤e，根据训练文本对应的训练音频，和训练文本对应的训练音素序列，确定真实声学特征序列，真实声学特征序列中包括：训练音素序列中每个训练音素对应的真实声学特征。步骤f，获取情感音频，情感音频具有的情感类型，与训练音频具有的情感类型相同。步骤g，将训练音素序列、情感音频、真实声学特征序列输入语音合成模型，并根据语音合成模型的输出与训练音频，训练语音合成模型，语音合成模型用于根据情感音频，确定训练情感特征，训练情感特征用于表征情感音频具有的情感类型。下面对语音合成模型的训练过程进行具体说明。首先，需要获取训练文本、训练文本对应的训练音频、训练文本对应的训练音素序列，训练文本可以有多个，相应的，训练音频、训练音素序列也有多个。例如可以通过在互联网上抓取大量的文本作为训练文本，然后将训练文本对应的音频，作为训练音频，之后还可以确定训练音素序列，训练音素序列中包括训练文本中的每个字对应的训练音素。进一步的，可以根据训练音频和训练音素序列，提取对应的训练声学特征序列，其中包括每个训练音素对应的真实声学特征。例如，可以通过信号处理、标注等方式，得到训练音频中每个音频帧的真实声学特征。其中，每个音频帧的真实声学特征用于指示该音频帧的韵律特征，可以包括：该音频帧的基频、音量、语速中的至少一种，还可以包括：噪声水平、音调、音色、响度等。之后，根据训练音素序列确定每个训练音素对应的一个或多个音频帧，确定该训练音素对应的真实声学特征，从而得到训练声学特征序列。训练声学特征序列中包括了每个训练音素对应的真实声学特征。例如，某个训练音素对应3个音频帧，那么可以将这3个音频帧的真实声学特征的均值(或者最大值、最小值)作为该训练音素对应的真实声学特征。然后，可以获取情感音频，情感音频具有的情感类型，与训练音频具有的情感类型相同。也就是说，情感音频只需要和训练音频具有相同的情感类型即可，情感音频可以是训练音频，也可以与训练音频不同。例如，情感音频可以从预设的音库中，按照训练音频具有的情感类型来获取。最后，将训练音素序列、情感音频、真实声学特征序列，作为语音合成模型的输入，并根据语音合成模型的输出与训练音频，训练语音合成模型。同时，语音合成模型，还能够根据情感音频，确定训练情感特征，其中，训练情感特征用于表征情感音频具有的情感类型。训练语音合成模型的过程例如，可以根据语音合成模型的输出，与训练音频的差(或者均方差)作为语音合成模型的损失函数，以降低损失函数为目标，利用反向传播算法来修正语音合成模型中的神经元的参数，神经元的参数例如可以是神经元的权重(英文：weight)和偏置量(英文：bias)。重复上述步骤，直至损失函数满足预设条件，例如损失函数小于预设的损失阈值。图8是根据一示例性实施例示出的另一种训练语音合成模型的流程图，如图8所示，以图5所示的语音合成模型来举例，语音合成模型包括：文本编码器、声学特征编码器、gst模块和合成器。gst模块包括参考编码器和情感标志层(图5中未示出)，情感标志层包括多个gst。进一步的，文本编码器和声学特征编码器之间设置有阻止结构，阻止结构用于阻止声学特征编码器将梯度回传至文本编码器。其中，阻止结构例如可以为stop_gradient()，用于截断声学特征编码器的损失，从而阻止声学特征编码器将梯度回传至文本编码器。也就是说，在声学特征编码器根据相应的损失函数(即后文提及的第二损失)进行调整时，不会影响到文本编码器，从而避免了语音合成模型训练不稳定的问题。相应的，步骤g的实现方式可以包括：步骤g1，通过文本编码器提取训练文本对应的训练文本特征序列，训练文本特征序列包括每个训练音素对应的训练文本特征。步骤g2，通过声学特征编码器提取训练文本特征序列对应的预测声学特征序列，预测声学特征序列中包括每个训练音素对应的预测声学特征。步骤g3，通过参考编码器提取情感音频对应的参考向量，并通过情感标志层根据参考向量，确定多个gst对应的训练加权系数。步骤g4，通过合成器，根据训练文本特征序列、真实声学特征序列和训练情感特征序列，生成语音合成模型的输出，训练情感特征序列为训练情感特征按照训练音素序列进行扩展得到的，训练情感特征为根据训练加权系数和多个gst确定的。举例来说，在训练语音合成模型时，可以先将训练文本输入文本编码器，以得到文本编码器输出的，包括了每个训练音素对应的训练文本特征的训练文本特征序列，训练文本特征可以理解为能够表征该训练音素的文本向量。之后，可以将训练文本特征序列输入声学特征编码器，以得到声学编码器输出的预测声学特征序列，其中，预测声学特征序列中包括每个训练音素对应的预测声学特征，预测声学特征可以理解为声学编码器对该训练音素对应的声学特征的预测值。声学编码器可以是预先根据大量的训练样本独立训练的，也可以是和语音合成模型联合训练得到的。例如，可以在训练语音合成模型的同时，根据预测声学特征序列和步骤e中确定的真实声学特征序列，确定一个损失函数(即后文提及的第二损失)，并利用这个损失函数来训练声学编码器。然后，可以将情感音频输入参考编码器，以得到参考编码器输出的参考向量，参考向量可以理解为能够表征情感音频的声学特征的向量。再将参考向量输入情感标志层，以得到情感标志层输出的，多个gst对应的训练加权系数。其中，情感标志层可以包括注意力模块和多个gst。得到训练加权系数后，可以按照训练加权系数对多个gst进行加权求和，以得到表征情感音频具有的情感类型的训练情感特征，例如，情感标志层包括3个gst：a、b、c，训练加权系数为0.65、0.2、0.15，那么训练情感特征即为0.65a 0.2b 0.15c。之后再按照训练音素序列进行扩展，得到训练情感特征序列，其中包括了每个训练音素对应的训练情感特征。gst模块可以是预先根据大量的训练样本独立训练的，也可以是和语音合成模型联合训练得到的。例如，可以在训练语音合成模型的同时，根据训练加权系数和情感音频具有的情感类型，确定一个损失函数(即后文提及的第三损失)，并利用这个损失函数来训练gst模块。最后，将训练文本特征序列、真实声学特征序列和训练情感特征序列进行拼接，一同输入合成器，以生成语音合成模型的输出。在一种应用场景中，上述语音合成模型的损失函数由第一损失、第二损失和第三损失确定，第一损失由语音合成模型的输出，与训练音频确定，第二损失由预测声学特征序列，与真实声学特征序列确定，第三损失由训练加权系数，与情感音频具有的情感类型的情感编码确定。示例的，语音合成模型的损失函数可以是由第一损失、第二损失和第三损失共同确定的，例如可以是第一损失、第二损失和第三损失的加权求和，还可以是第一损失、第二损失和第三损失的平均值。其中，第一损失可以理解为，根据语音合成模型的输出，与训练文本对应的训练音频的差值(也可以是均方误差)来确定的损失函数。第二损失可以理解为，声学编码器的损失函数，即根据声学编码器输出的预测声学特征序列，与真实声学特征序列的差值(也可以是均方误差)来确定的损失函数。第三损失可以理解为gst模块的损失函数，即根据情感标志层输出的训练加权系数，与情感音频具有的情感类型来确定的损失函数。具体的，可以设置一个情感分类器，分别将训练加权系数，与情感音频具有的情感类型对应的情感编码(例如可以是one-hot编码)输入情感分类器，以得到训练加权系数，与情感编码的交叉熵损失，并将交叉熵损失作为第三损失。这样，在对语音合成模型进行训练的过程中，既可以从整体上调整语音合成模型中神经元的权重和连接关系，同时还可以对声学编码器、gst模块中的神经元的权重和连接关系进行调整，保证了语音合成模型、声学编码器、gst模块的准确度和有效性。综上所述，本公开首先获取待合成文本和指定情感类型，之后提取待合成文本对应的，包括了多个音素的音素序列，最后将音素序列和指定情感类型作为预先训练的语音合成模型的输入，从而得到语音合成模型输出的待合成文本对应的目标音频，目标音频具有指定情感类型，且目标音频中每个音素对应的音频帧，与声学特征序列中该音素对应的声学特征匹配。其中，声学特征序列为语音合成模型根据音素序列确定的，且声学特征序列包括每个音素对应的声学特征。本公开通过指定情感类型来控制目标音频具有的情感，同时能够预测文本对应的每个音素的声学特征，从而通过声学特征来控制目标音频中音素级别的韵律，能够实现语音合成过程中文本级别的情感类型，和音素级别的声学特征两个维度的控制，提高了目标音频的表现力。图9是根据一示例性实施例示出的一种语音合成装置的框图，如图9所示，该装置200包括：第一获取模块201，用于获取待合成文本和指定情感类型。提取模块202，用于提取待合成文本对应的音素序列，音素序列中包括多个音素。合成模块203，用于将音素序列和指定情感类型，输入预先训练的语音合成模型，以得到语音合成模型输出的，待合成文本对应的具有指定情感类型的目标音频，目标音频中每个音素对应的音频帧，与声学特征序列中该音素对应的声学特征匹配，声学特征序列为语音合成模型根据音素序列确定的，声学特征序列包括每个音素对应的声学特征，声学特征用于指示该音素的韵律特征。图10是根据一示例性实施例示出的另一种语音合成装置的框图，如图10所示，该装置200还包括：第二获取模块204，用于获取指定说话人对应的音色编码。相应的，合成模块203用于：将音素序列、指定情感类型和音色编码，输入语音合成模型，以得到语音合成模型输出的目标音频，目标音频具有指定说话人的音色，语音合成模型为根据多个说话人对应的语料训练得到的，多个说话人包括指定说话人。图11是根据一示例性实施例示出的另一种语音合成装置的框图，如图11所示，该装置200还包括：第三获取模块205，用于获取指定声学特征序列，指定声学特征序列包括每个音素对应的指定声学特征。相应的，合成模块203用于：将音素序列、指定情感类型和指定声学特征序列，输入语音合成模型，以得到语音合成模型输出的目标音频，目标音频中每个音素对应的音频帧，与指定声学特征序列中该音素对应的指定声学特征匹配。在一种应用场景中，声学特征包括：基频、音量、语速中的至少一种。在一种应用场景中，上述语音合成模型可以用于执行以下步骤：步骤a，根据音素序列确定待合成文本对应的文本特征序列，文本特征序列包括每个音素对应的文本特征。步骤b，根据文本特征序列，确定声学特征序列。步骤c，确定指定情感类型对应的指定情感特征，并将指定情感特征按照音素序列进行扩展，得到情感特征序列。步骤d，根据文本特征序列、声学特征序列和情感特征序列，生成目标音频。在一种实现方式中，步骤c的实现方式可以包括：步骤c1，确定指定情感类型的情感编码。步骤c2，将指定情感类型的情感编码作为多个gst的加权系数，以得到指定情感特征。在一种应用场景中，上述语音合成模型是通过如下方式训练获得的：步骤e，根据训练文本对应的训练音频，和训练文本对应的训练音素序列，确定真实声学特征序列，真实声学特征序列中包括：训练音素序列中每个训练音素对应的真实声学特征。步骤f，获取情感音频，情感音频具有的情感类型，与训练音频具有的情感类型相同。步骤g，将训练音素序列、情感音频、真实声学特征序列输入语音合成模型，并根据语音合成模型的输出与训练音频，训练语音合成模型，语音合成模型用于根据情感音频，确定训练情感特征，训练情感特征用于表征情感音频具有的情感类型。在一种实现方式中，语音合成模型包括：文本编码器、声学特征编码器、gst模块和合成器。gst模块包括参考编码器和情感标志层，情感标志层包括多个gst。进一步的，文本编码器和声学特征编码器之间设置有阻止结构，阻止结构用于阻止声学特征编码器将梯度回传至文本编码器。相应的，步骤g的实现方式可以包括：步骤g1，通过文本编码器提取训练文本对应的训练文本特征序列，训练文本特征序列包括每个训练音素对应的训练文本特征。步骤g2，通过声学特征编码器提取训练文本特征序列对应的预测声学特征序列，预测声学特征序列中包括每个训练音素对应的预测声学特征。步骤g3，通过参考编码器提取情感音频对应的参考向量，并通过情感标志层根据参考向量，确定多个gst对应的训练加权系数。步骤g4，通过合成器，根据训练文本特征序列、真实声学特征序列和训练情感特征序列，生成语音合成模型的输出，训练情感特征序列为训练情感特征按照训练音素序列进行扩展得到的，训练情感特征为根据训练加权系数和多个gst确定的。在另一种实现方式中，上述语音合成模型的损失函数由第一损失、第二损失和第三损失确定，第一损失由语音合成模型的输出，与训练音频确定，第二损失由预测声学特征序列，与真实声学特征序列确定，第三损失由训练加权系数，与情感音频具有的情感类型的情感编码确定。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。综上所述，本公开首先获取待合成文本和指定情感类型，之后提取待合成文本对应的，包括了多个音素的音素序列，最后将音素序列和指定情感类型作为预先训练的语音合成模型的输入，从而得到语音合成模型输出的待合成文本对应的目标音频，目标音频具有指定情感类型，且目标音频中每个音素对应的音频帧，与声学特征序列中该音素对应的声学特征匹配。其中，声学特征序列为语音合成模型根据音素序列确定的，且声学特征序列包括每个音素对应的声学特征。本公开通过指定情感类型来控制目标音频具有的情感，同时能够预测文本对应的每个音素的声学特征，从而通过声学特征来控制目标音频中音素级别的韵律，能够实现语音合成过程中文本级别的情感类型，和音素级别的声学特征两个维度的控制，提高了目标音频的表现力。下面参考图12，其示出了适于用来实现本公开实施例的电子设备(例如可以上述实施例中的执行主体，可以是终端设备或服务器)300的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图12示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。如图12所示，电子设备300可以包括处理装置(例如中央处理器、图形处理器等)301，其可以根据存储在只读存储器(rom)302中的程序或者从存储装置308加载到随机访问存储器(ram)303中的程序而执行各种适当的动作和处理。在ram303中，还存储有电子设备300操作所需的各种程序和数据。处理装置301、rom302以及ram303通过总线304彼此相连。输入/输出(i/o)接口305也连接至总线304。通常，以下装置可以连接至i/o接口305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置307；包括例如磁带、硬盘等的存储装置308；以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图12示出了具有各种装置的电子设备300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置308被安装，或者从rom302被安装。在该计算机程序被处理装置301执行时，执行本公开实施例的方法中限定的上述功能。需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。在一些实施方式中，终端设备、服务器可以利用诸如http(hypertexttransferprotocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“lan”)，广域网(“wan”)，网际网(例如，互联网)以及端对端网络(例如，adhoc端对端网络)，以及任何当前已知或未来研发的网络。上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取待合成文本和指定情感类型；提取所述待合成文本对应的音素序列，所述音素序列中包括多个音素；将所述音素序列和所述指定情感类型，输入预先训练的语音合成模型，以得到所述语音合成模型输出的，所述待合成文本对应的具有所述指定情感类型的目标音频，所述目标音频中每个所述音素对应的音频帧，与声学特征序列中该音素对应的声学特征匹配，所述声学特征序列为所述语音合成模型根据所述音素序列确定的，所述声学特征序列包括每个所述音素对应的声学特征，所述声学特征用于指示该音素的韵律特征。可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言——诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，第一获取模块还可以被描述为“获取待合成文本和指定情感类型的模块”。本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。根据本公开的一个或多个实施例，示例1提供了一种语音合成方法，包括：获取待合成文本和指定情感类型；提取所述待合成文本对应的音素序列，所述音素序列中包括多个音素；将所述音素序列和所述指定情感类型，输入预先训练的语音合成模型，以得到所述语音合成模型输出的，所述待合成文本对应的具有所述指定情感类型的目标音频，所述目标音频中每个所述音素对应的音频帧，与声学特征序列中该音素对应的声学特征匹配，所述声学特征序列为所述语音合成模型根据所述音素序列确定的，所述声学特征序列包括每个所述音素对应的声学特征，所述声学特征用于指示该音素的韵律特征。根据本公开的一个或多个实施例，示例2提供了示例1的方法，所述方法还包括：获取指定说话人对应的音色编码；所述将所述音素序列和所述指定情感类型，输入预先训练的语音合成模型，以得到所述语音合成模型输出的，所述待合成文本对应的具有所述指定情感类型的目标音频，包括：将所述音素序列、所述指定情感类型和所述音色编码，输入所述语音合成模型，以得到所述语音合成模型输出的所述目标音频，所述目标音频具有所述指定说话人的音色，所述语音合成模型为根据多个说话人对应的语料训练得到的，所述多个说话人包括所述指定说话人。根据本公开的一个或多个实施例，示例3提供了示例1的方法，所述方法还包括：获取指定声学特征序列，所述指定声学特征序列包括每个所述音素对应的指定声学特征；所述将所述音素序列和所述指定情感类型，输入预先训练的语音合成模型，以得到所述语音合成模型输出的，所述待合成文本对应的具有所述指定情感类型的目标音频，包括：将所述音素序列、所述指定情感类型和所述指定声学特征序列，输入所述语音合成模型，以得到所述语音合成模型输出的所述目标音频，所述目标音频中每个所述音素对应的音频帧，与所述指定声学特征序列中该音素对应的指定声学特征匹配。根据本公开的一个或多个实施例，示例4提供了示例1至示例3的方法，所述语音合成模型用于：根据所述音素序列确定所述待合成文本对应的文本特征序列，所述文本特征序列包括每个所述音素对应的文本特征；根据所述文本特征序列，确定所述声学特征序列；确定所述指定情感类型对应的指定情感特征，并将所述指定情感特征按照所述音素序列进行扩展，得到情感特征序列；根据所述文本特征序列、所述声学特征序列和所述情感特征序列，生成所述目标音频。根据本公开的一个或多个实施例，示例5提供了示例4的方法，所述语音合成模型中包括预先训练的多个全局风格标志gst，所述确定所述指定情感类型对应的指定情感特征，包括：确定所述指定情感类型的情感编码；将所述指定情感类型的情感编码作为多个所述gst的加权系数，以得到所述指定情感特征。根据本公开的一个或多个实施例，示例6提供了示例1的方法，所述声学特征包括：基频、音量、语速中的至少一种。根据本公开的一个或多个实施例，示例7提供了示例1至示例3的方法，所述语音合成模型是通过如下方式训练获得的：根据训练文本对应的训练音频，和所述训练文本对应的训练音素序列，确定真实声学特征序列，所述真实声学特征序列中包括：所述训练音素序列中每个训练音素对应的真实声学特征；获取情感音频，所述情感音频具有的情感类型，与所述训练音频具有的情感类型相同；将所述训练音素序列、所述情感音频、所述真实声学特征序列输入所述语音合成模型，并根据所述语音合成模型的输出与所述训练音频，训练所述语音合成模型，所述语音合成模型用于根据所述情感音频，确定训练情感特征，所述训练情感特征用于表征所述情感音频具有的情感类型。根据本公开的一个或多个实施例，示例8提供了示例7的方法，所述语音合成模型包括：文本编码器、声学特征编码器、gst模块和合成器；所述gst模块包括参考编码器和情感标志层，所述情感标志层包括多个gst；所述文本编码器和所述声学特征编码器之间设置有阻止结构，所述阻止结构用于阻止所述声学特征编码器将梯度回传至所述文本编码器；所述将所述训练音素序列、所述情感音频、所述真实声学特征序列输入所述语音合成模型，并根据所述语音合成模型的输出与所述训练音频，训练所述语音合成模型，包括：通过所述文本编码器提取所述训练文本对应的训练文本特征序列，所述训练文本特征序列包括每个所述训练音素对应的训练文本特征；通过所述声学特征编码器提取所述训练文本特征序列对应的预测声学特征序列，所述预测声学特征序列中包括每个所述训练音素对应的预测声学特征；通过所述参考编码器提取所述情感音频对应的参考向量，并通过所述情感标志层根据所述参考向量，确定多个所述gst对应的训练加权系数；通过所述合成器，根据所述训练文本特征序列、所述真实声学特征序列和训练情感特征序列，生成所述语音合成模型的输出，所述训练情感特征序列为所述训练情感特征按照所述训练音素序列进行扩展得到的，所述训练情感特征为根据所述训练加权系数和多个所述gst确定的。根据本公开的一个或多个实施例，示例9提供了示例8的方法，所述语音合成模型的损失函数由第一损失、第二损失和第三损失确定，所述第一损失由所述语音合成模型的输出，与所述训练音频确定，所述第二损失由所述预测声学特征序列，与所述真实声学特征序列确定，所述第三损失由所述训练加权系数，与所述情感音频具有的情感类型的情感编码确定。根据本公开的一个或多个实施例，示例10提供了一种语音合成装置，包括：第一获取模块，用于获取待合成文本和指定情感类型；提取模块，用于提取所述待合成文本对应的音素序列，所述音素序列中包括多个音素；合成模块，用于将所述音素序列和所述指定情感类型，输入预先训练的语音合成模型，以得到所述语音合成模型输出的，所述待合成文本对应的具有所述指定情感类型的目标音频，所述目标音频中每个所述音素对应的音频帧，与声学特征序列中该音素对应的声学特征匹配，所述声学特征序列为所述语音合成模型根据所述音素序列确定的，所述声学特征序列包括每个所述音素对应的声学特征，所述声学特征用于指示该音素的韵律特征。根据本公开的一个或多个实施例，示例11提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现示例1至示例9中所述方法的步骤。根据本公开的一个或多个实施例，示例12提供了一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现示例1至示例9中所述方法的步骤。以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
