声学特征提取方法、装置、设备及存储介质与流程

1.本申请实施例涉及人工智能技术领域，特别涉及一种声学特征提取方法、装置、设备及存储介质。


背景技术：

2.声学特征是指表示语音声学特性的物理量，也是声音诸要素声学表现的统称。如表示音色的能量集中区、共振峰频率、共振峰强度和带宽，以及表示语音韵律特性的时长、基频、平均语声功率等。
3.在相关技术中，提供了基于深度学习模型从音频片段中提取声学特征的方案，但已有方案所提取的声学特征的效果不佳，无法准确全面地反映音频的相关特性。


技术实现要素：

4.本申请实施例提供了一种声学特征提取方法、装置、设备及存储介质。所述技术方案如下：
5.根据本申请实施例的一个方面，提供了一种声学特征提取方法，所述方法包括：
6.对目标音频片段进行分帧处理，得到多个音频帧；
7.提取各个所述音频帧分别对应的音高和音素，得到所述目标音频片段的音高序列信息、音素序列信息和音素位置信息；其中，所述音高序列信息包括各个所述音频帧对应的音高，所述音素序列信息包括各个所述音频帧对应的音素，所述音素位置信息包括各个所述音频帧对应的音素在所述目标音频片段中的位置编码；
8.对所述音高序列信息、所述音素序列信息和所述音素位置信息进行合成处理，得到所述目标音频片段的合成属性信息；
9.对所述合成属性信息进行编解码处理，得到所述目标音频片段的声学特征。
10.根据本申请实施例的一个方面，提供了一种声学特征提取模型的训练方法，所述方法包括：
11.获取训练样本，所述训练样本包括样本音频片段以及所述样本音频片段对应的目标声学特征；
12.提取所述样本音频片段的音高序列信息、音素序列信息和音素位置信息；其中，所述音高序列信息包括所述样本音频片段中的各个音频帧对应的音高，所述音素序列信息包括各个所述音频帧对应的音素，所述音素位置信息包括各个所述音频帧对应的音素在所述样本音频片段中的位置编码；
13.对所述音高序列信息、所述音素序列信息和所述音素位置信息进行合成处理，得到所述样本音频片段的合成属性信息；
14.通过所述声学特征提取模型对所述合成属性信息进行编解码处理，得到所述样本音频片段的预测声学特征；
15.基于所述预测声学特征和所述目标声学特征，计算所述声学特征提取模型的损失
函数值；
16.基于所述损失函数值对所述声学特征提取模型的参数进行调整。
17.根据本申请实施例的一个方面，提供了一种声学特征提取装置，所述装置包括：
18.分帧处理模块，用于对目标音频片段进行分帧处理，得到多个音频帧；
19.属性提取模块，用于提取各个所述音频帧分别对应的音高和音素，得到所述目标音频片段的音高序列信息、音素序列信息和音素位置信息；其中，所述音高序列信息包括各个所述音频帧对应的音高，所述音素序列信息包括各个所述音频帧对应的音素，所述音素位置信息包括各个所述音频帧对应的音素在所述目标音频片段中的位置编码；
20.属性合成模块，用于对所述音高序列信息、所述音素序列信息和所述音素位置信息进行合成处理，得到所述目标音频片段的合成属性信息；
21.特征提取模块，用于对所述合成属性信息进行编解码处理，得到所述目标音频片段的声学特征。
22.根据本申请实施例的一个方面，提供了一种声学特征提取模型的训练装置，所述装置包括：
23.样本获取模块，用于获取训练样本，所述训练样本包括样本音频片段以及所述样本音频片段对应的目标声学特征；
24.属性提取模块，用于提取所述样本音频片段的音高序列信息、音素序列信息和音素位置信息；其中，所述音高序列信息包括所述样本音频片段中的各个音频帧对应的音高，所述音素序列信息包括各个所述音频帧对应的音素，所述音素位置信息包括各个所述音频帧对应的音素在所述样本音频片段中的位置编码；
25.属性合成模块，用于对所述音高序列信息、所述音素序列信息和所述音素位置信息进行合成处理，得到所述样本音频片段的合成属性信息；
26.特征提取模块，用于通过所述声学特征提取模型对所述合成属性信息进行编解码处理，得到所述样本音频片段的预测声学特征；
27.损失计算模块，用于基于所述预测声学特征和所述目标声学特征，计算所述声学特征提取模型的损失函数值；
28.参数调整模块，用于基于所述损失函数值对所述声学特征提取模型的参数进行调整。
29.根据本申请实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现上述声学特征提取方法，或者上述声学特征提取模型的训练方法。
30.根据本申请实施例的一个方面，提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述声学特征提取方法，或者上述声学特征提取模型的训练方法。
31.根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述声学特征提取方法，或者上述声学特征提取模型的训练方法。
32.本申请实施例提供的技术方案至少包括如下有益效果：
33.通过获取目标音频片段的音高序列信息、音素序列信息和音素位置信息，然后对基于上述各项信息进行合成处理后得到的合成属性信息进行编解码处理，得到目标音频片段的声学特征，在进行声学特征提取时，除了考虑音素、音高这类基本特征，还考虑了音素位置信息，使得最终提取得到的声学特征更具准确性。
附图说明
34.图1是本申请一个实施例提供的方案实施环境的示意图；
35.图2是本申请一个实施例提供的声学特征提取方法的流程图；
36.图3是本申请另一个实施例提供的声学特征提取方法的流程图；
37.图4是本申请一个实施例提供的声学特征提取方法的架构图；
38.图5是本申请一个实施例提供的声学特征提取模型的训练方法的流程图；
39.图6是本申请一个实施例提供的声学特征提取装置的框图；
40.图7是本申请一个实施例提供的声学特征提取模型的训练装置的框图；
41.图8是本申请一个实施例提供的计算机设备的结构示意图。
具体实施方式
42.为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
43.请参考图1，其示出了本申请一个实施例提供的方案实施环境的示意图。该方案实施环境可以包括模型训练设备10和模型使用设备20。
44.模型训练设备10可以是诸如电脑、服务器等计算机设备，用于对声学特征提取模型进行训练。在本申请实施例中，声学特征提取模型是用于从音频片段中提取声学特征的神经网络模型，模型训练设备10可以采用机器学习的方式对该声学特征提取模型进行训练，以使得其具备较好的声学特征提取性能。
45.训练完成的声学特征提取模型可部署在模型使用设备20中使用。模型使用设备20可以是诸如手机、平板电脑、pc(personal computer，个人计算机)、智能电视、多媒体播放设备等终端设备，也可以是服务器。在需要提取目标音频片段的声学特征时，模型使用设备20可以通过声学特征提取模型提取该目标音频片段的声学特征。
46.从音频片段中提取的声学特征可以在多种场景中使用。例如，在语音识别场景下，通过从目标音频片段中提取声学特征，将该声学特征与一些预设用户的声学特征进行匹配，可以确定出该目标音频片段的发音用户。又例如，在歌声合成场景下，通过从目标音频片段中提取声学特征，然后采用声码器基于该声学特征合成出相应的歌曲演唱音频，从而实现虚拟歌手等产品功能。当然，上述两个应用场景仅是示例性和解释性的，声学特征还可在其他多种场景下应用，本申请对此不作限定。
47.请参考图2，其示出了本申请一个实施例提供的声学特征提取方法的流程图。该方法各步骤的执行主体可以是诸如手机、平板电脑、pc等终端设备，也可以是服务器。该方法可以包括如下几个步骤(210～240)：
48.步骤210，对目标音频片段进行分帧处理，得到多个音频帧。
49.目标音频片段可以是某一个发音者说出一句/一段话的音频片段，也可以是某一个发音者演唱一句歌词/一首歌的音频片段。
50.可选地，在时域上对目标音频片段进行分帧处理，每一个音频帧为设定时长(比如10ms)。在一个示例中，假设目标音频片段的时长为5s，按照每帧10ms对其进行分帧处理，可以得到500个音频帧。
51.步骤220，提取各个音频帧分别对应的音高和音素，得到目标音频片段的音高序列信息、音素序列信息和音素位置信息。
52.音高序列信息包括各个音频帧对应的音高。音高是声音的一种基本特征，即音的高度。声音的本质是机械波，所以音的高低是由机械波的频率决定的，声速一定时，和波长也有关系。频率高、波长短，则音“高”；反之，频率低、波长长，则音“低”。
53.音素序列信息包括各个音频帧对应的音素。音素是根据语音的自然属性划分出来的最小语音单位，依据音节里的发音动作来分析，一个动作构成一个音素。
54.延续上述举例，假设目标音频片段被划分为500个音频帧，分别提取每个音频帧对应的音高和音素。需要说明的是，一个音频帧对应于一个音高，以及一个音素。500个音频帧能够得到500个音高，这500个音高按照音频帧的顺序排列，构成音高序列信息。类似地，500个音频帧能够得到500个音素，这500个音素按照音频帧的顺序排列，构成音素序列信息。在本申请实施例中，对音高和音素的提取方式，不作具体限定。
55.音素位置信息包括各个音频帧对应的音素在目标音频片段中的位置编码。位置编码是位置的表示信息，以实现对位置的数值化表达。对于同一个音素来讲，其在不同的音频帧中的声学特征可能也会有所不同，会受到上下文信息的影响，因此本申请在声学特征提取时，除了考虑音素本身(也即上述音素序列信息)之外，还考虑了音素位置信息，以使得最终提取得到的声学特征更具准确性。
56.示例性地，通过如下方式获取音素位置信息：
57.1、对于每一个音频帧，获取该音频帧在相同音素连续帧序列中的位置信息，相同音素连续帧序列是指与该音频帧具有相同音素且连续的多个音频帧所形成的序列；
58.例如，目标音频片段的前50个音频帧对应的音素相同，均为音素1；第51～70个音频帧对应的音素相同，均为音素2。那么对于目标音频片段的第1个音频帧而言，其对应的相同音素连续帧序列即为第1～50帧，该第1个音频帧的位置信息即为该第1个音频帧在第1～50帧中的位置信息，如在第1～50帧这一组相同音素连续帧序列中的第1帧位置。对于目标音频片段的第5个音频帧而言，其对应的相同音素连续帧序列也是第1～50帧，该第5个音频帧的位置信息即为该第5个音频帧在第1～50帧中的位置信息，如在第1～50帧这一组相同音素连续帧序列中的第5帧位置。再例如，对于目标音频片段的第52个音频帧而言，其对应的相同音素连续帧序列是第51～70帧，该第52个音频帧的位置信息即为该第52个音频帧在第51～70帧中的位置信息，如在第51～70帧这一组相同音素连续帧序列中的第2帧位置。
59.2、基于位置信息，生成音频帧对应的音素的位置编码；
60.在得到音频帧在相同音素连续帧序列中的位置信息之后，对该位置信息进行数值编码处理，得到该音频帧对应的音素的位置编码。
61.可选地，基于位置信息和相同音素连续帧序列中包含的音频帧数量，确定位置编码的元参数；基于该元参数生成音频帧对应的音素的位置编码，该位置编码是一个包括多
个元素的向量。
62.例如，音频帧对应的音素的位置编码为：[f1(x),f2(x),f3(x)]；其中，
[0063]
f1(x)＝x
[0064]
f2(x)＝0.5
‑
abs(0.5
‑
x)
[0065]
f3(x)＝1
‑
x
[0066]
其中，x为位置编码的元参数，用于表示音频帧在相同音素连续帧序列中的位置信息，abs()表示取绝对值。示例性地，x＝n/n，n表示音频帧在相同音素连续帧序列中的位置，n表示相同音素连续帧序列中包含的音频帧数量。
[0067]
继续以上述例子说明，对于目标音频片段的第1个音频帧而言，其位置编码的元参数x＝1/50＝0.02，该第1个音频帧对应的音素的位置编码为[0.02,0.02,0.98]。对于目标音频片段的第5个音频帧而言，其位置编码的元参数x＝5/50＝0.10，该第5个音频帧对应的音素的位置编码为[0.10,0.10,0.90]。对于目标音频片段的第52个音频帧而言，其位置编码的元参数x＝2/20＝0.10，该第52个音频帧对应的音素的位置编码为[0.10,0.10,0.90]。
[0068]
上述示例中，音频帧对应的音素的位置编码是一个3维向量，在一些其他实施例中，位置编码也可以是一个2维、4维或者其他维数的向量，或者也可以是一个一维数值(如一个取值在0～1之间的数值)。在实际应用中，可以通过实验等手段，选择位置编码的合适表征方式，以尽可能地提升声学特征的提取效果，包括效率、准确度等多方面因素的平衡。
[0069]
另外，通过实验发现，使用连续值来表示位置编码，相比于采用诸如嵌入向量(embedding)这样的离散表达方式，能够更好地学习发音(特别是歌声中长音的发音)，使得发音更加自然。另外，采用3维向量作为位置编码，能够使得特征学习地更加充分，比一维连续值获得更快的收敛速度。
[0070]
3、合并各个音频帧对应的音素的位置编码，得到音素位置信息。
[0071]
在得到各个音频帧对应的音素的位置编码之后，对其进行简单的拼接合并处理，即可得到音素位置信息。
[0072]
步骤230，对音高序列信息、音素序列信息和音素位置信息进行合成处理，得到目标音频片段的合成属性信息。
[0073]
合成处理是指将上述多个方面信息进行整合，得到包含上述多个方面信息的合成属性信息。
[0074]
在示例性实施例中，本步骤包括如下几个子步骤：
[0075]
1、获取各个音频帧对应的音高的嵌入向量，得到第一嵌入向量序列；
[0076]
在一个示例中，将音高序列信息中的各个音高转换为嵌入向量后得到第一嵌入向量序列，然后将该第一嵌入向量序列与其他信息进行合成。
[0077]
可选地，对各个音频帧对应的音高分别进行数值转换处理，得到各个音频帧对应的转换后音高值；对各个音频帧对应的转换后音高值分别进行取整处理，得到各个音频帧对应的取整值；基于各个音频帧对应的取整值，确定各个音频帧对应的音高的嵌入向量；合并各个音频帧对应的音高的嵌入向量，得到第一嵌入向量序列。
[0078]
可选地，上述数值转换处理可以是将原始的音高值转换至log域，得到转换后音高值。然后，对该转换后音高值进行取整处理，此处的取整处理可以是向上取整、向下取整或者四舍五入取整等方式，本申请对此不作限定。之后，基于取整值查询第一嵌入向量查询表
得到相应的嵌入向量。第一嵌入向量查询表是用于提供音高的嵌入向量的表格，其包括了若干组数值(如1、2、3等整数值)与嵌入向量之间的对应关系。对于某一个音频帧来说，假设通过上述方式对该音频帧对应的音高进行数值转换处理和取整处理之后，得到的取整值为5，那么就从第一嵌入向量查询表中查询得到5对应的嵌入向量，作为该音频帧对应的音高的嵌入向量。以此类推，得到各个音频帧对应的音高的嵌入向量之后，进行合并，得到第一嵌入向量序列。
[0079]
示例性地，上述将原始的音高值转换至log域可采用如下公式：
[0080]
f0
log
＝64
×
log2(x/80)
[0081]
其中，x代表音频帧对应的音高(也即原始的音高值)，f0
log
代表转换后音高值。
[0082]
由于原始的音高值的取值范围通常在80～1100(单位：赫兹hz)之间，如果直接基于该原始的音高值查表获取相应的嵌入向量的话，需要预先得到大量的音高值与嵌入向量之间的对应关系来构建查询表，且临近音高值之间在声学特征上区别度不大，没必要映射到不同的嵌入向量。在本申请实施例中，通过对原始的音高值进行数值转换处理和取整处理，然后查表得到相应的嵌入向量，一方面可以充分降低查询表中所需包含的嵌入向量的数量，这有助于提升嵌入向量的查询效率且降低存储需求，另一方面能够将临近音高值映射到相同的嵌入向量，更加符合声学特征的特点，使得音准更加稳定。
[0083]
另外，在本申请实施例中，通过基于音频中提取的实际音高值来作为声学特征提取的输入信息，相比于采用音符来表示音高，能够获得更加细粒度的音高信息，有助于提升最终合成得到的声学特征的稳定性和音质。另外，通过实验也验证发现，音高采用嵌入向量的形式作为输入，而不是直接采用连续值的形式作为输入，能够获得更加清晰的音频。
[0084]
2、获取各个音频帧对应的音素的嵌入向量，得到第二嵌入向量序列；
[0085]
在一个示例中，将音素序列信息中的各个音素转换为嵌入向量后得到第二嵌入向量序列，然后将该第二嵌入向量序列与其他信息进行合成。
[0086]
可选地，获取各个音频帧对应的音素的标识信息；基于各个音频帧对应的音素的标识信息，确定各个音频帧对应的音素的嵌入向量；合并各个音频帧对应的音素的嵌入向量，得到第二嵌入向量序列。
[0087]
在得到音素的标识信息之后，可以查询第二嵌入向量查询表得到相应的嵌入向量。第二嵌入向量查询表是用于提供音素的嵌入向量的表格，其包括了若干组标识信息(如1、2、3等数值)与嵌入向量之间的对应关系。对于某一个音频帧来说，假设该音频帧对应的音素的标识信息为7，那么就从第二嵌入向量查询表中查询得到7对应的嵌入向量，作为该音频帧对应的音素的嵌入向量。以此类推，得到各个音频帧对应的音素的嵌入向量之后，进行合并，得到第二嵌入向量序列。
[0088]
需要说明的是，上文介绍的第一嵌入向量查询表和第二嵌入向量查询表是两个不同的表格，第一嵌入向量查询表用于提供音高对应的嵌入向量，第二嵌入向量查询表用于提供音素对应的嵌入向量。并且，本申请对上述生成第一嵌入向量序列和第二嵌入向量序列这两个步骤的执行先后顺序不作限定，两者可以依次先后执行，也可以同步执行。
[0089]
3、对音素位置信息进行线性变换处理，得到处理后的音素位置信息；
[0090]
可选地，通过对音素位置信息进行线性变换处理，将低维特征转换为高维特征，得到处理后的音素位置信息。上述线性变换处理可以通过一个或多个全连接层实现，本申请
对此不作限定。
[0091]
4、对第一嵌入向量序列、第二嵌入向量序列和处理后的音素位置信息进行合成处理，得到合成属性信息。
[0092]
最后，通过将第一嵌入向量序列、第二嵌入向量序列和处理后的音素位置信息进行简单的拼接合成处理，得到合成属性信息。
[0093]
可选地，合成属性信息还包括目标音频片段的发音者标识对应的嵌入向量。以目标音频片段为歌曲片段为例，那么其发音者标识即为歌手标识。在示例性实施例中，构建第三嵌入向量查询表，该第三嵌入向量查询表中包括多组发音者标识与嵌入向量之间的对应关系，从该第三嵌入向量查询表中可以查询获取目标音频片段的发音者标识对应的嵌入向量。之后，将目标音频片段的发音者标识对应的嵌入向量、第一嵌入向量序列、第二嵌入向量序列和处理后的音素位置信息进行合成处理，得到合成属性信息。
[0094]
可选地，第二嵌入向量序列并不直接参与合成，而是经过转换后再与其他信息进行合成得到合成属性信息。可选地，采用音素特征转换网络对第二嵌入向量序列进行转换处理，得到转换后的第二嵌入向量序列；其中，音素特征转换网络用于在对第二嵌入向量序列进行转换处理的过程中，去除发音者信息。该转换后的第二嵌入向量序列用于生成合成属性信息。音素特征转换网络可以是一个卷积神经网络，在对该音素特征转换网络进行训练时，通过grl(gradient reversal layer，梯度反向层)以最大化目标函数为目标，使得音素特征转换网络无法有效分辨出不同发音者信息，从而达到去除发音者信息的目的。
[0095]
通过上述方式，将第二嵌入向量序列中的发音者信息去除，由发音者标识提供准确的发音者信息，使得最终合成得到的合成属性信息中包括准确的发音者信息，这有助于提升最终获得的声学特征的准确性。
[0096]
需要说明的是，在本申请中，对上述生成第一嵌入向量序列、生成第二嵌入向量序列以及生成处理后的音素位置信息这几个步骤的执行先后顺序不作限定，可以依次先后执行，也可以同步执行。例如，可以按序依次执行上述步骤1、2、3和4；也可以按序依次执行上述步骤3、1、2和4；还可以同步执行1、2和3，最后执行步骤4；也可以同步执行1和2，再执行步骤3，最后执行步骤4，等等。总之，各步骤之间的执行先后顺序，本领域技术人员可以结合实际情况和需求进行合理设定，本申请对此不作限定。
[0097]
步骤240，对合成属性信息进行编解码处理，得到目标音频片段的声学特征。
[0098]
本步骤中的编解码处理可以由预先训练好的声学特征提取模型来执行。声学特征提取模型是用于提取声学特征的机器学习模型，其可以是编解码结构的神经网络模型，如包括编码网络和解码网络。采用编码网络对合成属性信息进行编码处理得到编码特征向量，然后采用解码网络对编码特征向量进行解码处理，得到声学特征。
[0099]
可选地，声学特征可以是梅尔谱图，也可以是其他形式表示，本申请不作限定。
[0100]
综上所述，本申请实施例提供的技术方案，通过获取目标音频片段的音高序列信息、音素序列信息和音素位置信息，然后对基于上述各项信息进行合成处理后得到的合成属性信息进行编解码处理，得到目标音频片段的声学特征，在进行声学特征提取时，除了考虑音素、音高这类基本特征，还考虑了音素位置信息，使得最终提取得到的声学特征更具准确性。
[0101]
另外，音素的位置编码采用连续值来表示，相比于采用诸如嵌入向量这样的离散
表达方式，能够更好地学习发音(特别是歌声中长音的发音)。另外，采用多维向量作为位置编码，能够使得特征学习地更加充分，比一维连续值获得更快的收敛速度。
[0102]
另外，通过对原始的音高值进行数值转换处理和取整处理，然后查表得到相应的嵌入向量，一方面可以充分降低查询表中所需包含的嵌入向量的数量，这有助于提升嵌入向量的查询效率且降低存储需求，另一方面能够将临近音高值映射到相同的嵌入向量，更加符合声学特征的特点，使得音准更加稳定。
[0103]
另外，还通过将第二嵌入向量序列中的发音者信息去除，由发音者标识提供准确的发音者信息，使得最终合成得到的合成属性信息中包括准确的发音者信息，这有助于提升最终获得的声学特征的准确性。
[0104]
下面，结合图3，对采用声学特征提取模型(该模型包括编码网络和解码网络)对目标音频片段的合成属性信息进行编解码处理，得到目标音频片段的声学特征的方法流程进行介绍说明。如图3所示，该过程可以包括如下几个步骤(310～340)：
[0105]
步骤310，采用编码网络对合成属性信息进行编码处理，得到编码特征向量。
[0106]
有关获取目标音频片段的合成属性信息的具体过程，请参见上文实施例中的介绍说明，此处不再赘述。
[0107]
由于合成属性信息中包含的是一些序列信息，rnn(recurrent neural network，循环神经网络)对于序列信息具有较好的特征提取能力，能够学习到序列信息的上下文信息。因此，编码网络可以采用rnn来实现。
[0108]
在一个示例中，编码网络包括lstm(long short
‑
term memory，长短期记忆)网络和cnn(convolutional neural network，卷积神经网络)。例如，编码网络可以由2层双向lstm网络和3层cnn网络按序级联构成。由于lstm网络相比于普通的rnn能够学习长的依赖关系，且双向lstm能够有效学习到上下文信息，因此采用双向lstm网络对合成属性信息进行编码处理，能够充分考虑长短期的上下文信息，使得最终提取的声学特征更具连贯性。
[0109]
步骤320，对编码特征向量进行下采样处理，得到下采样后的编码特征向量。
[0110]
下采样处理用于降低编码特征向量的维度，从而减少后续解码处理时所需的计算量，提升解码效率。下采样处理可以采用cnn来实现，本申请对此不作限定。需要说明的是，在一些实施例中，该下采样处理是非必要的，也可以直接将编码特征向量送入下述特征重组处理的步骤，或者直接送入解码处理的步骤。
[0111]
步骤330，采用注意力机制对下采样后的编码特征向量进行特征重组处理，得到重组后的编码特征向量。
[0112]
为了进一步提升声学特征提取性能，专注于从一些重要特征中提取信息，本申请在编码网络和解码网络之间引入注意力机制，通过采用注意力机制对下采样后的编码特征向量进行特征重组处理，得到重组后的编码特征向量。
[0113]
可选地，采用基于gmm(gaussian mixed model，高斯混合模型)的注意力机制对下采样后的编码特征向量进行特征重组处理。采用gmm在对特征进行重组处理时，需要计算特征的方差和均值，通常采用的方式是使用神经网络进行预估得到上述方差和均值，在本实施例中，均值参数由已知的时间信息(如特征所对应的音频帧的时间戳)来确定，既能够保证声学特征合成时的稳定性，又能保留注意力机制的灵活性，提升合成质量。
[0114]
步骤340，采用解码网络对重组后的编码特征向量进行解码处理，得到目标音频片
段的声学特征。
[0115]
解码网络同样采用rnn结构，如采用lstm网络构建解码网络。采用递归结构的神经网络生成声学特征，能够充分考虑序列信息的上下文信息，提升声学特征提取的准确性。
[0116]
在一些实施例中，解码网络得到的目标音频片段的声学特征即为最终提取得到的声学特征。该声学特征可以结合实际应用的需求，进行相应的后处理。例如，在语音识别场景下，通过从目标音频片段中提取声学特征，将该声学特征与一些预设用户的声学特征进行匹配，可以确定出该目标音频片段的发音用户。又例如，在歌声合成场景下，通过从目标音频片段中提取声学特征，然后采用声码器基于该声学特征合成出相应的歌曲演唱音频，从而实现虚拟歌手等产品功能。
[0117]
在一些实施例中，为了进一步提升声学特征的准确性，如图3所示，步骤340之后还可以包括如下步骤350～360：
[0118]
步骤350，采用残差预估网络对解码网络得到的目标音频片段的声学特征进行残差预估处理，得到残差信息。
[0119]
步骤360，基于残差信息对目标音频片段的声学特征进行修正，得到修正后的声学特征。
[0120]
残差预估网络可以是一个预训练好的卷积神经网络，残差预估网络用于确定解码网络输出的声学特征与真实声学特征之间的残差信息。通过基于残差预估网络输出的残差信息对解码网络输出的声学特征进行修正，能够得到更加接近真实的声学特征。在本申请中，对卷积神经网络的卷积层数量不作限定，如可以是5层或者其他数量，这都可以结合实际情况进行设置和调整。
[0121]
在一个示例中，将残差信息与解码网络得到的目标音频片段的声学特征进行相加处理，得到修正后的声学特征。
[0122]
结合图4，对本申请提供的声学特征提取方法进行介绍说明。提取音频片段的发音者标识、音高序列信息、音素序列信息和音素位置信息之后，发音者标识、音高序列信息和音素序列信息分别转化为嵌入向量，音素位置信息经过线性变换处理，然后合成得到合成属性信息输入至编码网络。可选地，音素序列信息对应的嵌入向量序列会经过音素特征转换网络去除发音者信息之后，再与其他信息进行合成。编码网络对合成属性信息进行编码处理，得到编码特征向量。然后对编码特征向量进行下采样处理，得到下采样后的编码特征向量。编码特征向量经过基于gmm的注意力机制进行特征重组处理，得到重组后的编码特征向量。最后，采用解码网络对重组后的编码特征向量进行解码处理，得到音频片段的声学特征。可选地，为了进一步提升声学特征的准确性，可以采用残差预估网络对解码网络得到的声学特征进行残差预估处理，得到残差信息，然后基于该残差信息对解码网络得到的声学特征进行修正，得到修正后的声学特征，该修正后的声学特征作为最终的输出结果。在本申请中，编码网络和解码网络都可以采用lstm网络进行构建，以充分考虑序列信息的上下文信息，提升声学特征提取的准确性。
[0123]
综上所述，本申请实施例提供的技术方案，通过采用声学特征提取模型对目标音频片段的合成属性信息进行编解码处理，得到目标音频片段的声学特征，提供了一种基于深度学习模型从音频片段中提取声学特征的方案。由于合成属性信息中包括了音高序列信息、音素序列信息和音素位置信息等多方面的信息，因此采用声学特征提取模型基于该合
成属性信息进行声学特征提取，能够使得最终提取得到的声学特征更具准确性。
[0124]
另外，声学特征提取模型的编码网络和解码网络之间引入注意力机制，专注于从一些重要特征中提取信息，进一步提升声学特征的提取性能。
[0125]
另外，通过对编码特征向量进行下采样处理，能够减少后续解码处理时所需的计算量，提升解码效率。
[0126]
另外，还通过残差预估网络确定解码网络输出的声学特征与真实声学特征之间的残差信息，基于该残差预估网络输出的残差信息对解码网络输出的声学特征进行修正，能够得到更加接近真实的声学特征。
[0127]
下面，通过实施例对声学特征提取模型的训练流程进行介绍说明，有关该声学特征提取模型使用过程中涉及的内容和训练过程中涉及的内容是相互对应的，两者互通，如在一侧未作详细说明的地方，可以参考另一侧的描述说明。
[0128]
请参考图5，其示出了本申请一个实施例提供的声学特征提取模型的训练方法的流程图。该方法各步骤的执行主体可以是电脑、服务器等计算机设备。该方法可以包括如下几个步骤(510～560)：
[0129]
步骤510，获取训练样本，该训练样本包括样本音频片段以及样本音频片段对应的目标声学特征。
[0130]
训练样本的数量通常为多个。每一个训练样本包括一个样本音频片段以及该样本音频片段对应的目标声学特征。目标声学特征作为模型的标签信息，用于指导模型的训练。
[0131]
步骤520，提取样本音频片段的音高序列信息、音素序列信息和音素位置信息。
[0132]
其中，音高序列信息包括样本音频片段中的各个音频帧对应的音高，音素序列信息包括各个音频帧对应的音素，音素位置信息包括各个音频帧对应的音素在样本音频片段中的位置编码。
[0133]
同样地，可以对样本音频片段进行分帧处理，得到多个音频帧，然后提取各个音频帧分别对应的音高和音素，得到样本音频片段的音高序列信息、音素序列信息和音素位置信息。
[0134]
步骤530，对音高序列信息、音素序列信息和音素位置信息进行合成处理，得到样本音频片段的合成属性信息。
[0135]
有关样本音频片段的合成属性信息的生成方式，与上文介绍的目标音频片段的合成属性信息的生成方式相同，具体可参见上文实施例中的介绍说明，此处不再赘述。
[0136]
步骤540，通过声学特征提取模型对合成属性信息进行编解码处理，得到样本音频片段的预测声学特征。
[0137]
声学特征提取模型可以参见上文图3和图4实施例中的介绍说明。该声学特征提取模型可以包括编码网络和解码网络。可选地，采用编码网络对样本音频片段的合成属性信息进行编码处理，得到编码特征向量；对编码特征向量进行下采样处理，得到下采样后的编码特征向量；采用注意力机制对下采样后的编码特征向量进行特征重组处理，得到重组后的编码特征向量；采用解码网络对所述重组后的编码特征向量进行解码处理，得到样本音频片段的预测声学特征。在本实施例中，将声学特征提取模型输出的声学特征称作预测声学特征，以和目标声学特征进行区分。
[0138]
步骤550，基于预测声学特征和目标声学特征，计算声学特征提取模型的损失函数
值。
[0139]
步骤560，基于损失函数值对声学特征提取模型的参数进行调整。
[0140]
模型的损失函数用于衡量预测声学特征和目标声学特征之间的差异。可选地，以最小化该损失函数值为优化目标，通过对声学特征提取模型(包括编码网络和解码网络)的参数进行调整，以尽可能地减小该损失函数值，在损失函数值符合预设条件(如小于某一门限值)时，完成模型训练。
[0141]
可选地，如果声学特征提取模型还包括残差预估网络，则可以采用残差预估网络对解码网络得到的预测声学特征进行残差预估处理得到残差信息，然后基于该残差信息对预测声学特征进行修正，得到修正后的预测声学特征，后续基于修正后的预测声学特征和目标声学特征，计算声学特征提取模型的损失函数值。在此情况下，还可以基于损失函数值对残差预估网络的参数进行调整。当然，在一些其他实施例中，残差预估网络也可以是一个预训练好的模型，即在声学特征提取模型的训练过程中，不需要对该残差预估网络的参数进行优化调整，仅需优化调整编码网络和解码网络的参数即可。
[0142]
综上所述，本申请实施例提供的技术方案，通过训练声学特征提取模型，提供了一种基于声学特征提取模型从音频片段中提取声学特征的方案。由于合成属性信息中包括了音高序列信息、音素序列信息和音素位置信息等多方面的信息，因此采用声学特征提取模型基于该合成属性信息进行声学特征提取，能够使得最终提取得到的声学特征更具准确性。
[0143]
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
[0144]
请参考图6，其示出了本申请一个实施例提供的声学特征提取装置的框图。该装置具有实现上述声学特征提取方法的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是计算机设备，也可以设置在计算机设备中。该装置600可以包括：分帧处理模块610、属性提取模块620、属性合成模块630和特征提取模块640。
[0145]
分帧处理模块610，用于对目标音频片段进行分帧处理，得到多个音频帧；
[0146]
属性提取模块620，用于提取各个所述音频帧分别对应的音高和音素，得到所述目标音频片段的音高序列信息、音素序列信息和音素位置信息；其中，所述音高序列信息包括各个所述音频帧对应的音高，所述音素序列信息包括各个所述音频帧对应的音素，所述音素位置信息包括各个所述音频帧对应的音素在所述目标音频片段中的位置编码；
[0147]
属性合成模块630，用于对所述音高序列信息、所述音素序列信息和所述音素位置信息进行合成处理，得到所述目标音频片段的合成属性信息；
[0148]
特征提取模块640，用于对所述合成属性信息进行编解码处理，得到所述目标音频片段的声学特征。
[0149]
在示例性实施例中，所述属性合成模块630，用于：
[0150]
获取各个所述音频帧对应的音高的嵌入向量，得到第一嵌入向量序列；
[0151]
获取各个所述音频帧对应的音素的嵌入向量，得到第二嵌入向量序列；
[0152]
对所述音素位置信息进行线性变换处理，得到处理后的音素位置信息；
[0153]
对所述第一嵌入向量序列、所述第二嵌入向量序列和所述处理后的音素位置信息进行合成处理，得到所述合成属性信息。
[0154]
在示例性实施例中，所述属性合成模块630，用于：
[0155]
对各个所述音频帧对应的音高分别进行数值转换处理，得到各个所述音频帧对应的转换后音高值；
[0156]
对各个所述音频帧对应的转换后音高值分别进行取整处理，得到各个所述音频帧对应的取整值；
[0157]
基于各个所述音频帧对应的取整值，确定各个所述音频帧对应的音高的嵌入向量；
[0158]
合并各个所述音频帧对应的音高的嵌入向量，得到所述第一嵌入向量序列。
[0159]
在示例性实施例中，所述合成属性信息还包括所述目标音频片段的发音者标识对应的嵌入向量；
[0160]
所述属性合成模块630，还用于采用音素特征转换网络对所述第二嵌入向量序列进行转换处理，得到转换后的第二嵌入向量序列；其中，所述音素特征转换网络用于在对所述第二嵌入向量序列进行转换处理的过程中，去除发音者信息；
[0161]
其中，所述转换后的第二嵌入向量序列用于生成所述合成属性信息。
[0162]
在示例性实施例中，所述属性提取模块620，用于：
[0163]
对于每一个所述音频帧，获取所述音频帧在相同音素连续帧序列中的位置信息，所述相同音素连续帧序列是指与所述音频帧具有相同音素且连续的多个音频帧所形成的序列；
[0164]
基于所述位置信息，生成所述音频帧对应的音素的位置编码；
[0165]
合并各个所述音频帧对应的音素的位置编码，得到所述音素位置信息。
[0166]
在示例性实施例中，所述属性提取模块620，用于：
[0167]
基于所述位置信息和所述相同音素连续帧序列中包含的音频帧数量，确定所述位置编码的元参数；
[0168]
基于所述元参数生成所述音频帧对应的音素的位置编码，所述位置编码是一个包括多个元素的向量。
[0169]
在示例性实施例中，所述编解码处理由声学特征提取模型执行，所述声学特征提取模型包括编码网络和解码网络；
[0170]
所述特征提取模块640，用于：
[0171]
采用所述编码网络对所述合成属性信息进行编码处理，得到编码特征向量；
[0172]
对所述编码特征向量进行下采样处理，得到下采样后的编码特征向量；
[0173]
采用注意力机制对所述下采样后的编码特征向量进行特征重组处理，得到重组后的编码特征向量；
[0174]
采用所述解码网络对所述重组后的编码特征向量进行解码处理，得到所述目标音频片段的声学特征。
[0175]
在示例性实施例中，所述特征提取模块640，还用于：
[0176]
采用残差预估网络对所述解码网络得到的所述目标音频片段的声学特征进行残差预估处理，得到残差信息；
[0177]
基于所述残差信息对所述目标音频片段的声学特征进行修正，得到修正后的声学特征。
[0178]
综上所述，本申请实施例提供的技术方案，通过获取目标音频片段的音高序列信息、音素序列信息和音素位置信息，然后对基于上述各项信息进行合成处理后得到的合成属性信息进行编解码处理，得到目标音频片段的声学特征，在进行声学特征提取时，除了考虑音素、音高这类基本特征，还考虑了音素位置信息，使得最终提取得到的声学特征更具准确性。
[0179]
请参考图7，其示出了本申请一个实施例提供的声学特征提取模型的训练装置的框图。该装置具有实现上述声学特征提取模型的训练方法的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是计算机设备，也可以设置在计算机设备中。该装置700可以包括：样本获取模块710、属性提取模块720、属性合成模块730、特征提取模块740、损失计算模块750和参数调整模块760。
[0180]
样本获取模块710，用于获取训练样本，所述训练样本包括样本音频片段以及所述样本音频片段对应的目标声学特征。
[0181]
属性提取模块720，用于提取所述样本音频片段的音高序列信息、音素序列信息和音素位置信息；其中，所述音高序列信息包括所述样本音频片段中的各个音频帧对应的音高，所述音素序列信息包括各个所述音频帧对应的音素，所述音素位置信息包括各个所述音频帧对应的音素在所述样本音频片段中的位置编码。
[0182]
属性合成模块730，用于对所述音高序列信息、所述音素序列信息和所述音素位置信息进行合成处理，得到所述样本音频片段的合成属性信息。
[0183]
特征提取模块740，用于通过所述声学特征提取模型对所述合成属性信息进行编解码处理，得到所述样本音频片段的预测声学特征。
[0184]
损失计算模块750，用于基于所述预测声学特征和所述目标声学特征，计算所述声学特征提取模型的损失函数值。
[0185]
参数调整模块760，用于基于所述损失函数值对所述声学特征提取模型的参数进行调整。
[0186]
综上所述，本申请实施例提供的技术方案，通过训练声学特征提取模型，提供了一种基于声学特征提取模型从音频片段中提取声学特征的方案。由于合成属性信息中包括了音高序列信息、音素序列信息和音素位置信息等多方面的信息，因此采用声学特征提取模型基于该合成属性信息进行声学特征提取，能够使得最终提取得到的声学特征更具准确性。
[0187]
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0188]
请参考图8，其示出了本申请一个实施例提供的计算机设备的结构示意图。该计算机设备可以是任何具备数据计算、处理和存储功能的电子设备，如手机、平板电脑、pc(personal computer，个人计算机)或服务器等。该计算机设备用于实施上述实施例中提供的声学特征提取方法或声学特征提取模型的训练方法。具体来讲：
[0189]
该计算机设备800包括中央处理单元(如cpu(central processing unit，中央处
理器)、gpu(graphics processing unit，图形处理器)和fpga(field programmable gate array，现场可编程逻辑门阵列)等)801、包括ram(random
‑
access memory，随机存储器)802和rom(read
‑
only memory，只读存储器)803的系统存储器804，以及连接系统存储器804和中央处理单元801的系统总线805。该计算机设备800还包括帮助服务器内的各个器件之间传输信息的基本输入/输出系统(input output system，i/o系统)806，和用于存储操作系统813、应用程序814和其他程序模块815的大容量存储设备807。
[0190]
该基本输入/输出系统806包括有用于显示信息的显示器808和用于用户输入信息的诸如鼠标、键盘之类的输入设备809。其中，该显示器808和输入设备809都通过连接到系统总线805的输入输出控制器810连接到中央处理单元801。该基本输入/输出系统806还可以包括输入输出控制器810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器810还提供输出到显示屏、打印机或其他类型的输出设备。
[0191]
该大容量存储设备807通过连接到系统总线805的大容量存储控制器(未示出)连接到中央处理单元801。该大容量存储设备807及其相关联的计算机可读介质为计算机设备800提供非易失性存储。也就是说，该大容量存储设备807可以包括诸如硬盘或者cd
‑
rom(compact disc read
‑
only memory，只读光盘)驱动器之类的计算机可读介质(未示出)。
[0192]
不失一般性，该计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、eprom(erasable programmable read
‑
only memory，可擦写可编程只读存储器)、eeprom(electrically erasable programmable read
‑
only memory，电可擦写可编程只读存储器)、闪存或其他固态存储技术，cd
‑
rom、dvd(digital video disc，高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知该计算机存储介质不局限于上述几种。上述的系统存储器804和大容量存储设备807可以统称为存储器。
[0193]
根据本申请实施例，该计算机设备800还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备800可以通过连接在该系统总线805上的网络接口单元811连接到网络812，或者说，也可以使用网络接口单元811来连接到其他类型的网络或远程计算机系统(未示出)。
[0194]
所述存储器还包括计算机程序，该计算机程序存储于存储器中，且经配置以由一个或者一个以上处理器执行，以实现上述声学特征提取方法或声学特征提取模型的训练方法。
[0195]
在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序在被计算机设备的处理器执行时实现上述声学特征提取方法或声学特征提取模型的训练方法。
[0196]
可选地，该计算机可读存储介质可以包括：rom(read
‑
only memory，只读存储器)、ram(random
‑
access memory，随机存储器)、ssd(solid state drives，固态硬盘)或光盘等。其中，随机存取记忆体可以包括reram(resistance random access memory，电阻式随机存取记忆体)和dram(dynamic random access memory，动态随机存取存储器)。
[0197]
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质中读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行上述声学特征提取方法或声学特征提取模型的训练方法。
[0198]
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。
[0199]
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。