检索音频和训练声学模型的方法、终端及存储介质与流程

1.本技术涉及互联网技术领域，特别涉及一种检索音频和训练声学模型的方法、终端及存储介质。


背景技术：

2.随着科技的发展，网络上的多媒体资源量非常巨大，人们需要高效的搜索引擎从浩如烟海的数据中找出需要的音乐资源。
3.在现有技术中，往往是基于待检索的歌曲的名称，在歌曲库中检索出与该名称相同的歌曲。
4.然而，当用户不知道歌曲的名称时，无法进行检索。


技术实现要素：

5.本技术实施例提供了一种检索音频和训练声学模型的方法、终端及存储介质，可以直接通过音频片段进行检索，避免了当用户不知道歌曲的名称时，无法进行检索的问题。该技术方案如下：
6.一方面，本技术实施例提供了一种检索音频的方法，该方法包括：
7.提取待检索的目标音频片段的目标频谱数据；
8.基于所述目标频谱数据，确定目标特征信息；
9.将所述目标特征信息分别输入所述训练完成的声学模型中的第一解码器和第二解码器，得到第一目标概率矩阵和第二目标概率矩阵，其中，所述第一目标解码器和所述第二目标解码器为不同类型的解码器；
10.根据所述第一目标概率矩阵和所述第二目标概率矩阵，确定音节序列；
11.确定所述音节序列分别和参考音节序列库中每个参考音节序列之间的相似度，并确定相似度最大的预设数目个目标参考音节序列，将所述目标参考音节序列对应的目标音频标识确定为检索结果，其中，所述参考音节序列库中存储有多个参考音节序列以及每个参考音节序列对应的音频标识。
12.可选的，所述根据所述第一目标概率矩阵和所述第二目标概率矩阵，确定音节序列，包括：
13.根据所述第一目标概率矩阵和所述第二目标概率矩阵，确定第三目标概率矩阵，其中，所述第三目标概率矩阵由多个向量组成，对于每个向量，所述向量中的每个数值位的取值分别用于表示一个指定音节对应的分值；
14.对于所述第三目标概率矩阵中的每个向量，确定分值最大的目标数值位，将所述目标数值位对应的指定音节确定为所述向量对应的音节；
15.将多个向量分别对应的音节按照所述多个向量在所述第三目标概率矩阵中的顺序进行排序，得到音节序列。
16.可选的，所述根据所述第一目标概率矩阵和所述第二目标概率矩阵，确定第三目
标概率矩阵，包括：
17.根据所述第一目标概率矩阵、所述第二目标概率矩阵以及第一公式，确定第三目标概率矩阵；
18.所述第一公式为：c＝α*loga (1
‑
α)*logb；
19.其中，a为所述第一目标概率矩阵，b为所述第二目标概率矩阵，c为所述第三目标概率矩阵，α为预设数值。
20.可选的，所述声学模型包括特征提取模块，
21.所述基于所述目标频谱数据，确定目标特征信息，包括：
22.对所述目标频谱数据进行降维处理，得到降维处理后的目标频谱数据；
23.将所述降维处理后的目标频谱数据输入训练完成的声学模型中的特征提取模块，得到目标特征信息。
24.可选的，所述特征提取模块包括编码器和自注意学习子模块；
25.所述将所述降维处理后的目标频谱数据输入训练完成的声学模型中的特征提取模块，得到目标特征信息，包括：
26.将所述降维处理后的目标频谱数据输入训练完成的声学模型中的编码器，得到中间特征信息；
27.将所述中间特征信息输入训练完成的声学模型中的自注意学习子模块，得到目标特征信息。
28.一方面，本技术实施例提供了一种训练声学模型的方法，所述方法包括：
29.获取样本音频对应的音节序列，作为所述样本音频的基准音节序列；
30.提取所述样本音频的样本频谱数据；
31.基于所述样本频谱数据，确定样本特征信息；
32.将所述样本特征信息和所述基准音节序列，输入所述初始声学模型中的第一解码器和第二解码器，得到第一样本概率矩阵和第二样本概率矩阵，其中，所述第一解码器和所述第二解码器为不同类型的解码器；
33.根据所述第一样本概率矩阵和所述第二样本概率矩阵，确定损失信息；
34.基于所述损失信息对所述初始声学模型进行调参；
35.若满足预设的训练结束条件，则将调参后的初始声学模型确定为训练完成的声学模型；
36.若不满足预设的训练结束条件，则继续基于其他样本音频对调参后的初始声学模型进行调参。
37.可选的，所述根据所述第一样本概率矩阵和所述第二样本概率矩阵，确定损失信息，包括：
38.根据所述第一样本概率矩阵和所述第二样本概率矩阵，确定第三样本概率矩阵；
39.确定所述第三样本概率矩阵中所有数值的平均值，作为损失信息。
40.可选的，所述根据所述第一样本概率矩阵和所述第二样本概率矩阵，确定第三样本概率矩阵，包括：
41.根据所述第一样本概率矩阵、所述第二样本概率矩阵以及第二公式，确定第三样本概率矩阵；
42.所述第二公式为：g＝
‑
αloge
‑
(1
‑
α)logf；
43.其中，e为所述第一样本概率矩阵，f为所述第二样本概率矩阵，g为所述第三样本概率矩阵，α为预设数值。
44.一方面，本技术实施例提供了一种检索音频的装置，该装置包括：
45.第一提取模块，被配置为提取待检索的目标音频片段的目标频谱数据；
46.第一确定模块，被配置为基于所述目标频谱数据，确定目标特征信息；
47.第一输入模块，被配置为将所述目标特征信息分别输入所述训练完成的声学模型中的第一解码器和第二解码器，得到第一目标概率矩阵和第二目标概率矩阵，其中，所述第一目标解码器和所述第二目标解码器为不同类型的解码器；
48.第二确定模块，被配置为根据所述第一目标概率矩阵和所述第二目标概率矩阵，确定音节序列；
49.第三确定模块，被配置为确定所述音节序列分别和参考音节序列库中每个参考音节序列之间的相似度，并确定相似度最大的预设数目个目标参考音节序列，将所述目标参考音节序列对应的目标音频标识确定为检索结果，其中，所述参考音节序列库中存储有多个参考音节序列以及每个参考音节序列对应的音频标识。
50.可选的，所述第二确定模块，被配置为：
51.根据所述第一目标概率矩阵和所述第二目标概率矩阵，确定第三目标概率矩阵，其中，所述第三目标概率矩阵由多个向量组成，对于每个向量，所述向量中的每个数值位的取值分别用于表示一个指定音节对应的分值；
52.对于所述第三目标概率矩阵中的每个向量，确定分值最大的目标数值位，将所述目标数值位对应的指定音节确定为所述向量对应的音节；
53.将多个向量分别对应的音节按照所述多个向量在所述第三目标概率矩阵中的顺序进行排序，得到音节序列。
54.可选的，所述第二确定模块，被配置为：
55.根据所述第一目标概率矩阵、所述第二目标概率矩阵以及第一公式，确定第三目标概率矩阵；
56.所述第一公式为：c＝α*loga (1
‑
α)*logb；
57.其中，a为所述第一目标概率矩阵，b为所述第二目标概率矩阵，c为所述第三目标概率矩阵，α为预设数值。
58.可选的，所述声学模型还包括特征提取模块；
59.所述第一确定模块，被配置为：
60.对所述目标频谱数据进行降维处理，得到降维处理后的目标频谱数据；
61.将所述降维处理后的目标频谱数据输入训练完成的声学模型中的特征提取模块，得到目标特征信息。
62.可选的，所述特征提取模块包括编码器和自注意学习子模块；
63.所述第一确定模块，被配置为：
64.将所述降维处理后的目标频谱数据输入训练完成的声学模型中的编码器，得到中间特征信息；
65.将所述中间特征信息输入训练完成的声学模型中的自注意学习子模块，得到目标
特征信息。
66.一方面，本技术实施例提供一种训练声学模型的装置，该装置包括：
67.获取模块，被配置为获取样本音频对应的音节序列，作为所述样本音频的基准音节序列；
68.第二提取模块，被配置为提取所述样本音频的样本频谱数据；
69.第四确定模块，被配置为基于所述样本频谱数据，确定样本特征信息；
70.第二输入模块，被配置为将所述样本特征信息和所述基准音节序列，输入所述初始声学模型中的第一解码器和第二解码器，得到第一样本概率矩阵和第二样本概率矩阵，其中，所述第一解码器和所述第二解码器为不同类型的解码器；
71.第五确定模块，被配置为根据所述第一样本概率矩阵和所述第二样本概率矩阵，确定损失信息；
72.调参模块，被配置为基于所述损失信息对所述初始声学模型进行调参；若满足预设的训练结束条件，则将调参后的初始声学模型确定为训练完成的声学模型；若不满足预设的训练结束条件，则继续基于其他样本音频对调参后的初始声学模型进行调参。
73.可选的，所述第五确定模块，被配置为：
74.根据所述第一样本概率矩阵和所述第二样本概率矩阵，确定第三样本概率矩阵；
75.确定所述第三样本概率矩阵中所有数值的平均值，作为损失信息。
76.可选的，所述第五确定模块，被配置为：
77.根据所述第一样本概率矩阵、所述第二样本概率矩阵以及第二公式，确定第三样本概率矩阵；
78.所述第二公式为：g＝
‑
αloge
‑
(1
‑
α)logf；
79.其中，e为所述第一样本概率矩阵，f为所述第二样本概率矩阵，g为所述第三样本概率矩阵，α为预设数值。
80.一方面，提供了一种终端，该终端包括处理器和存储器，该存储器中存储有至少一条程序代码，该至少一条程序代码由该处理器加载并执行以实现上述方法。
81.一方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行以实现上述方法。
82.一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序代码，该计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机程序代码，处理器执行该计算机程序代码，使得该计算机设备执行上述方法。
83.在获取到待检索的目标音频片段之后，提取目标音频片段的目标频谱数据，并将目标频谱数据输入训练完成的声学模型，得到音节序列，通过该音节序列，在参考音节序列库中确定出与音节序列相似度最大的预设数目个目标参考音节序列，并确定出这些参考音节序列对应的目标音频标识，将这些目标音频标识作为检索结果。可见，本技术可以直接通过音频片段进行检索，避免了当用户不知道歌曲的名称时，无法进行检索的问题。
84.同时，本技术中的第一目标概率矩阵是基于第一解码器获得到的，第二目标概率矩阵是基于第二解码器获得到的。且本技术实施例中的第一解码器和第二解码器是不同类型的解码器。这样，基于第一目标概率矩阵、第二目标概率矩阵和第一公式得到的第三目标
概率矩阵更加的接近真实音节序列对应的概率矩阵，进而使得基于第三目标概率矩阵得到音节序列更加的准确。
附图说明
85.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
86.图1是本技术实施例提供的一种实施环境的示意图；
87.图2是本技术实施例提供的一种检索音频的方法的流程图；
88.图3是本技术实施例提供的一种检索音频的方法的示意图；
89.图4是本技术实施例提供的一种训练声学模型的方法的流程图；
90.图5是本技术实施例提供的一种训练声学模型的方法的示意图；
91.图6是本技术实施例提供的一种检索音频的装置的结构示意图；
92.图7是本技术实施例提供的一中训练声学模型的装置的结构示意图；
93.图8是本技术实施例提供的一种终端的结构示意图；
94.图9是本技术实施例提供的一种服务器的结构示意图。
具体实施方式
95.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
96.图1是本技术实施例提供的一种检索音频的方法的实施环境的示意图。如图1所示，该方法可以由终端101或服务器102实现。
97.终端101可以包括处理器、存储器等部件。处理器，可以为cpu(central processing unit，中央处理单元)等，可以用于提取待检索的目标音频片段的目标频谱数据、基于目标频谱数据和训练完成的声学模型中的特征提取模块，确定目标特征信息、将目标特征信息分别输入训练完成的声学模型中的第一解码器和第二解码器，得到第一目标概率矩阵和第二目标概率矩阵、根据第一目标概率矩阵和第二目标概率矩阵，确定音节序列、确定音节序列分别和参考音节序列库中每个参考音节序列之间的相似度，并确定相似度最大的预设数目个目标参考音节序列，将目标参考音节序列对应的目标音频标识确定为检索结果等处理。存储器，可以为ram(random access memory，随机存取存储器)，flash(闪存)等，可以用于存储参考音节序列库等。终端101还可以包括收发器、图像检测部件、屏幕、音频输出部件和音频输入部件等。其中，音频输出部件可以是音箱、耳机等。音频输入部件可以是麦克风等。
98.服务器102可以包括处理器、存储器等部件。处理器，可以为cpu(central processing unit，中央处理单元)等，可以用于提取待检索的目标音频片段的目标频谱数据、基于目标频谱数据和训练完成的声学模型中的特征提取模块，确定目标特征信息、将目标特征信息分别输入训练完成的声学模型中的第一解码器和第二解码器，得到第一目标概率矩阵和第二目标概率矩阵、根据第一目标概率矩阵和第二目标概率矩阵，确定音节序列、
确定音节序列分别和参考音节序列库中每个参考音节序列之间的相似度，并确定相似度最大的预设数目个目标参考音节序列，将目标参考音节序列对应的目标音频标识确定为检索结果等处理。存储器，可以为ram(random access memory，随机存取存储器)，flash(闪存)等，可以用于存储参考音节序列库等。
99.在实际使用过程中，终端响应于音乐应用程序的打开指令，并显示音乐应用程序的主界面，该主界面包括多个歌曲推荐选项和搜索栏。终端响应于搜索栏上的输入指令，并输入待检索的目标音频片段。当终端响应于目标音频片段的搜索指令后，在终端界面上显示搜索到的至少一个音频标识。终端响应于任一音频标识的播放指令，获取该音频标识对应的歌曲数据，并基于该歌曲数据，进行音乐播放。
100.图2是本技术实施例提供的一种检索音频的方法的流程图。参见图2，该实施例包括：
101.步骤201、提取待检索的目标音频片段的目标频谱数据。
102.其中，目标音频片段为待检索的音频片段，可以为歌曲音频对应的音频段，也可以为哼唱音频，此处不做限定。频谱数据为梅尔倒频谱。其中，梅尔倒频谱(mel
‑
frequency spectrum,mfc)是一个可用来代表短期音讯的频谱。
103.在实施中，将目标音频片段输入频谱提取模型，得到目标频谱数据。
104.需要说明的是，频谱提取模型可以为现有技术中提取梅尔倒频谱的算法模型。该算法模型的具体原理不再赘述。
105.步骤202、基于目标频谱数据，确定目标特征信息。
106.可选的，声学模型包括特征提取模块，进而可以基于目标频谱数据和训练完成的声学模型中的特征提取模块，来确定出目标特征信息。同时，为了节约计算资源，可以先对目标频谱数据进行降维处理，再基于降维处理后的目标频谱数据，得到目标特征信息。具体步骤为：对目标频谱数据进行降维处理，得到降维处理后的目标频谱数据。将降维处理后的目标频谱数据输入训练完成的声学模型中的特征提取模块，得到目标特征信息。
107.在实施中，将目标频谱数据输入3
×
3的卷积核中，得到降维处理后的目标频谱数据。再将降维处理后的目标频谱数据输入训练完成的声学模型中的特征提取模块，得到目标特征信息。
108.需要说明的是，本技术中的声学模型可以为transformer模型，也可以为其他模型。
109.可选的，如图3所示，还可以对特征提取模块进行进一步划分，得到编码器和自注意学习子模块。在将特征提取模块划分为编码器和自注意学习子模块之后，将降维处理后的目标频谱数据输入训练完成的声学模型中的特征提取模块，得到目标特征信息，包括：将降维处理后的目标频谱数据输入训练完成的声学模型中的编码器，得到中间特征信息。将中间特征信息输入训练完成的声学模型中的自注意学习子模块，得到目标特征信息。
110.其中，中间特征信息为多维特征矩阵，编码器用于对频谱数据进行编码，得到多维特征矩阵。自注意学习子模块对编码器输出的多维特征矩阵进行自注意学习处理，得到目标特征信息。在本技术实施例中，自注意学习子模块不仅关注当前帧信息，还关注其前后其他帧信息，使得每一帧输出包含了整个句子上下文信息，这样使得目标特征信息蕴含更多的信息，进而使得得到的音节序列更加的准确。
111.步骤203、将目标特征信息分别输入训练完成的声学模型中的第一解码器和第二解码器，得到第一目标概率矩阵和第二目标概率矩阵。
112.其中，第一解码器和第二解码器为不同类型的解码器，且解码器均为神经网络模型。第一目标概率矩阵由多个向量组成，对于每个向量，该向量中的每个数值位的取值分别用于表示一个指定音节对应的分值。第二目标概率矩阵也是由多个向量组成，对于每个向量，该向量中的每个数值位的取值分别用于表示一个指定音节对应的分值。第一目标概率矩阵和第二目标概率矩阵均为m*n的矩阵。且第一目标概率矩阵和第二目标概率矩阵中相同位置对应的指定音节相同。
113.如图3所示，将特征提取模块输出的目标特征信息输入第一编码器，得到第一目标概率矩阵。将目标特征信息输入第二编码器，得到第二目标概率矩阵。
114.步骤204、根据第一目标概率矩阵和第二目标概率矩阵，确定音节序列。
115.其中，音节由拼音和音调组成。音调包括第一声(阴平)、第二声(阳平)、第三声(上声)和第四声(去声)。
116.可选的，确定音节序列的具体过程为：根据第一目标概率矩阵和第二目标概率矩阵，确定第三目标概率矩阵。对于第三目标概率矩阵中的每个向量，确定分值最大的目标数值位，将目标数值位对应的指定音节确定为向量对应的音节。将多个向量分别对应的音节按照多个向量在第三目标概率矩阵中的顺序进行排序，得到音节序列。
117.其中，第三目标概率矩阵由多个向量组成，对于每个向量，向量中的每个数值位的取值分别用于表示一个指定音节对应的分值，即，数值位和该数值位对应的指定音节是一一对应的。
118.例如，表1所示，第三目标概率矩阵由向量a，向量b和向量c。对于向量a，第一个数值位对应的数值最高，将第一个数值位对应的ni3作为向量a对应的音节，3用于指示ni的音调为三声。对于向量b，第二个数值位对应的数值最高，将第二个数值位对应的hao3作为向量b对应的音节，3用于指示hao的音调为三声。对于向量c，第三个数值位对应的数值最高，将第三个数值位对应的ya1作为向量a对应的音节，1用于指示ya的音调为一声。在确定出向量a、b、c分别对应的音节后，将向量a对应的ni3、向量b对应的hao3以及向量c对应的ya1按照向量a、向量b和向量c的顺序进行排序，得到音节序列ni3hao3ya1。
119.表1
[0120] 向量a向量b向量cni30.60.110.05hao30.350.90.27ya10.220.360.8
[0121]
进一步的，根据第一目标概率矩阵、第二目标概率矩阵以及第一公式，确定第三目标概率矩阵。第一公式为：c＝α*loga (1
‑
α)*logb；其中，a为第一目标概率矩阵，b为第二目标概率矩阵，c为第三目标概率矩阵，α为预设数值。
[0122]
上述过程中的第一目标概率矩阵、第二目标概率矩阵和第三目标概率矩阵均为n*
m位特征矩阵，n和m均为正整数。α的取值范围为[0，1]。
[0123]
在实施中，将第一目标概率矩阵和第二目标概率矩阵中位于相同位置的取值按照第一公式进行计算，得到第三目标概率矩阵中该位置对应的取值，进而得到第三目标概率矩阵中每个位置对应的取值，得到第三目标概率矩阵。
[0124]
需要说明的是，第一目标概率矩阵是基于第一解码器获得到的，第二目标概率矩阵是基于第二解码器获得到的。而第一解码器和第二解码器是不同类型的解码器。这样，基于第一目标概率矩阵、第二目标概率矩阵和第一公式得到的第三目标概率矩阵更加的接近真实音节序列对应的概率矩阵，进而使得基于第三目标概率矩阵得到音节序列更加的准确。
[0125]
步骤205、确定音节序列分别和参考音节序列库中每个参考音节序列之间的相似度，并确定相似度最大的预设数目个目标参考音节序列，将目标参考音节序列对应的目标音频标识确定为检索结果。
[0126]
其中，参考音节序列库中存储有多个参考音节序列以及每个参考音节序列对应的音频标识。计算相似度的公式可以是距离计算公式，还可以是其他相似度计算公式，此处不作限定。
[0127]
在实施中，计算音节序列分别和参考音节序列库中每个参考音节序列之间的相似度，并在多个相似度中筛选出相似度最大的预设数目个目标参考音节序列，并基于每个参考音节序列对应的音频标识，确定出每个目标参考音节序列对应的目标音频标识，并将其作为检索结果。
[0128]
如图3所示，在获取到待检索的目标音频片段之后，将目标音频片段输入频谱提取模型，得到目标音频片段的目标频谱数据，并将目标频谱数据输入训练完成的声学模型，得到第三目标概率矩阵，并基于第三目标概率矩阵，得到音节序列。通过该音节序列，在参考音节序列库中确定出与音节序列相似度最大的预设数目个目标参考音节序列，并确定出这些参考音节序列对应的目标音频标识，将这些目标音频标识作为检索结果。可见，本技术可以直接通过音频片段获得的音节序列之间进行检索，避免了当用户不知道歌曲的名称时，无法进行检索的问题。
[0129]
图4是本技术实施例提供的一种训练声学模型的方法的流程图，该方法可以应用于电子设备，该电子设备可以为技术人员所使用的终端，也可以为服务器。参见图4，该实施例包括：
[0130]
步骤401、获取样本音频对应的音节序列，作为样本音频的基准音节序列。
[0131]
其中，电子设备存储有样本训练集，该样本训练集中包括多个样本音频和每个样本音频对应的基准音节序列。
[0132]
电子设备获取每个样本音频对应的基准音节序列的方法为：技术人员可以对样本音频进行标注，进而得到样本音频对应的音节序列。
[0133]
步骤402、提取样本音频的样本频谱数据。
[0134]
在实施中，将样本音频片段输入频谱提取模型，得到样本频谱数据。
[0135]
需要说明的是，本技术实施例中的频谱数据可以为梅尔倒频谱。频谱提取模型可以为现有技术中提取梅尔倒频谱的算法模型。该算法模型的具体原理不再赘述。
[0136]
步骤403、基于样本频谱数据，确定样本特征信息。
[0137]
在实施中，对样本频谱数据进行降维处理，得到降维处理后的样本频谱数据。将降维处理后的样本频谱数据输入训练完成的初始声学模型中的特征提取模块，得到样本特征信息。
[0138]
需要说明的是，本步骤涉及到降维方法与步骤202涉及到的降维方法相同，此处不再赘述。
[0139]
本技术实施例中的特征提取模块包括编码器和自注意学习子模块，且编码器和自注意学习子模块均为神经网络模型。基于样本频谱数据和特征提取模块，得到目标特征信息的具体步骤为：将降维处理后的样本频谱数据输入初始声学模型中的编码器，得到中间样本特征信息。将中间样本特征信息输入初始声学模型中的自注意学习子模块，得到样本特征信息。
[0140]
步骤404、将样本特征信息和基准音节序列，输入初始声学模型中的第一解码器和第二解码器，得到第一样本概率矩阵和第二样本概率矩阵。
[0141]
其中，第一解码器和第二解码器为不同类型的解码器，且解码器均为神经网络模型。第一样本概率矩阵由多个向量组成，对于每个向量，该向量中的每个数值位的取值分别用于表示一个指定音节对应的分值。第二样本概率矩阵也是由多个向量组成，对于每个向量，该向量中的每个数值位的取值分别用于表示一个指定音节对应的分值。第一样本概率矩阵和第二样本概率矩阵均为m*n的矩阵。且第一样本概率矩阵和第二样本概率矩阵中相同位置对应的指定音节相同。
[0142]
步骤405、根据第一样本概率矩阵和第二样本概率矩阵，确定损失信息。
[0143]
可选的，在本技术实施例中，确定损失信息的具体步骤为：根据第一样本概率矩阵和第二样本概率矩阵，确定第三样本概率矩阵。确定第三样本概率矩阵中所有数值的平均值，作为损失信息。
[0144]
其中，第一样本概率矩阵、第二样本概率矩阵以及第三样本概率矩阵均为行数为n，列数为m的特征矩阵，n和m均为正整数。
[0145]
在实施中，将第一样本概率矩阵和第二样本概率矩阵中相同位置的数值进行相加，得到第三样本概率矩阵。将第三样本概率矩阵中的所有数值进行相加，得到第三样本概率对应的和，同时，确定n和m之间的乘积，得到第三样本概率矩阵中数值位的数目。确定该和与该数目之间的比值，得到第三样本概率矩阵中所有数值的平均值，作为损失信息。
[0146]
例如，第三样本概率矩阵为则第三样本概率矩阵中所有数值为0.6 0.35 0.22 0.11 0.9 0.36 0.05 0.27 0.8＝3.66，损失信息为3.66/9＝2.95。
[0147]
可选的，根据第一样本概率矩阵、第二样本概率矩阵以及第二公式，确定第三样本概率矩阵。第二公式为：g＝
‑
α*loge
‑
(1
‑
α)*logf。其中，e为第一样本概率矩阵，f为第二样本概率矩阵，g为第三样本概率矩阵，α为预设数值，其中，α的取值范围为[0，1]。
[0148]
步骤406、基于损失信息对初始声学模型进行调参。
[0149]
在实施中，根据确定出的损失信息，对初始声学模型中的特征提取模块、第一解码器和第二解码器进行调参。其中，对特征提取模块进行调参包括对编码器调参和对自注意
学习子模块进行调参。
[0150]
步骤407、若满足预设的训练结束条件，则将调参后的初始声学模型确定为训练完成的声学模型。
[0151]
在实施中，若满足预设的训练结束条件，则将调参后的特征提取模块作为训练完成的特征提取模块，将调参后的第一编码器和第二编码器作为训练完成的第一编码器和第二编码器。
[0152]
其中，预设的训练结束条件可以是损失信息收敛，也可以是完成预设次训练过程，本技术实施例并不做限定。
[0153]
步骤408、若不满足预设的训练结束条件，则继续基于其他样本音频对调参后的初始声学模型进行调参。
[0154]
在实施中，若不满足预设的训练结束条件，则继续基于样本训练集中的其他样本音频对调参后的初始声学模型中的特征提取模块、第一编码器和第二编码器进行调参，直到调参后的初始声学模型满足预设条件为止。
[0155]
如图5所示，将样本音频输入频谱提取模型，得到样本音频对应的样本频谱数据。对样本频谱数据进行降维，得到降维后的样本频谱数据。将降维后的样本频谱数据输入初始声学模型中的编码器，得到中间样本特征信息。将中间样本特征信息输入自注意学习子模块，得到样本特征信息。将样本特征信息和基准音节序列，输入第一编码器和第二编码器，得到第一样本概率矩阵和第二样本概率矩阵。通过预先设置的第二公式对第一样本概率矩阵和第二样本概率矩阵进行计算，得到第三样本概率矩阵。根据第三样本概率矩阵，得到损失信息。
[0156]
图6是本技术实施例提供的一种检索音频的装置的结构示意图，参见图6，该装置包括：
[0157]
第一提取模块610，被配置为提取待检索的目标音频片段的目标频谱数据；
[0158]
第一确定模块620，被配置为基于所述目标频谱数据和训练完成的声学模型中的特征提取模块，确定目标特征信息；
[0159]
第一输入模块630，被配置为将所述目标特征信息分别输入所述训练完成的声学模型中的第一解码器和第二解码器，得到第一目标概率矩阵和第二目标概率矩阵，其中，所述第一目标解码器和所述第二目标解码器为不同类型的解码器；
[0160]
第二确定模块640，被配置为根据所述第一目标概率矩阵和所述第二目标概率矩阵，确定音节序列；
[0161]
第三确定模块650，被配置为确定所述音节序列分别和参考音节序列库中每个参考音节序列之间的相似度，并确定相似度最大的预设数目个目标参考音节序列，将所述目标参考音节序列对应的目标音频标识确定为检索结果，其中，所述参考音节序列库中存储有多个参考音节序列以及每个参考音节序列对应的音频标识。
[0162]
可选的，第二确定模块640，被配置为：
[0163]
根据所述第一目标概率矩阵和所述第二目标概率矩阵，确定第三目标概率矩阵，其中，所述第三目标概率矩阵由多个向量组成，对于每个向量，所述向量中的每个数值位的取值分别用于表示一个指定音节对应的分值；
[0164]
对于所述第三目标概率矩阵中的每个向量，确定分值最大的目标数值位，将所述
目标数值位对应的指定音节确定为所述向量对应的音节；
[0165]
将多个向量分别对应的音节按照所述多个向量在所述第三目标概率矩阵中的顺序进行排序，得到音节序列。
[0166]
可选的，第二确定模块640，被配置为：
[0167]
根据所述第一目标概率矩阵、所述第二目标概率矩阵以及第一公式，确定第三目标概率矩阵；
[0168]
所述第一公式为：c＝α*loga (1
‑
α)*logb；
[0169]
其中，a为所述第一目标概率矩阵，b为所述第二目标概率矩阵，c为所述第三目标概率矩阵，α为预设数值。
[0170]
可选的，所述声学模型还包括特征提取模块；
[0171]
所述第一确定模块620，被配置为：
[0172]
对所述目标频谱数据进行降维处理，得到降维处理后的目标频谱数据；
[0173]
将所述降维处理后的目标频谱数据输入训练完成的声学模型中的特征提取模块，得到目标特征信息。
[0174]
可选的，所述特征提取模块包括编码器和自注意学习子模块；
[0175]
所述第一确定模块620，被配置为：
[0176]
将所述降维处理后的目标频谱数据输入训练完成的声学模型中的编码器，得到中间特征信息；
[0177]
将所述中间特征信息输入训练完成的声学模型中的自注意学习子模块，得到目标特征信息。
[0178]
需要说明的是：上述实施例提供的检索音频的装置在检索音频时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的检索音频的装置与检索音频的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0179]
图7是本技术实施例提供的一种训练声学模型的装置的结构示意图，参见图7，该装置包括：
[0180]
获取模块710，被配置为获取样本音频对应的音节序列，作为所述样本音频的基准音节序列；
[0181]
第二提取模块720，被配置为提取所述样本音频的样本频谱数据；
[0182]
第四确定模块730，被配置为基于所述样本频谱数据，确定样本特征信息；
[0183]
第二输入模块740，被配置为将所述样本特征信息和基准音节序列，输入所述初始声学模型中的第一解码器和第二解码器，得到第一样本概率矩阵和第二样本概率矩阵，其中，所述第一解码器和所述第二解码器为不同类型的解码器；
[0184]
第五确定模块750，被配置为根据所述第一样本概率矩阵和所述第二样本概率矩阵，确定损失信息；
[0185]
调参模块760，被配置为基于所述损失信息对所述初始声学模型进行调参；若满足预设的训练结束条件，则将调参后的初始声学模型确定为训练完成的声学模型；若不满足预设的训练结束条件，则继续基于其他样本音频对调参后的初始声学模型进行调参。
[0186]
可选的，所述第五确定模块750，被配置为：
[0187]
根据所述第一样本概率矩阵和所述第二样本概率矩阵，确定第三样本概率矩阵；
[0188]
确定所述第三样本概率矩阵中所有数值的平均值，作为损失信息。
[0189]
可选的，所述第五确定模块750，被配置为：
[0190]
根据所述第一样本概率矩阵、所述第二样本概率矩阵以及第二公式，确定第三样本概率矩阵；
[0191]
所述第二公式为：g＝
‑
αloge
‑
(1
‑
α)logf；
[0192]
其中，e为所述第一样本概率矩阵，f为所述第二样本概率矩阵，g为所述第三样本概率矩阵，α为预设数值。
[0193]
需要说明的是：上述实施例提供的训练声学模型的装置在对声学模型进行训练时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的训练声学模型的装置与训练声学模型的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0194]
图8示出了本技术一个示例性实施例提供的终端800的结构框图。该终端800可以是：智能手机、平板电脑、mp3播放器(moving picture experts group audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving picture experts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
[0195]
通常，终端800包括有：处理器801和存储器802。
[0196]
处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
[0197]
存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器801所执行以实现本技术中方法实施例提供的检索音频的方法。
[0198]
在一些实施例中，终端800还可选包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地，外围设备包括：射频电路804、显示屏805、摄像头组件806、音频电路807、定位组件808和电源809中的至少一种。
[0199]
外围设备接口803可被用于将i/o(input/output，输入/得到)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中，处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上；在一些其他实施例中，处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
[0200]
射频电路804用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路804包括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路804还可以包括nfc(near field communication，近距离无线通信)有关的电路，本技术对此不加以限定。
[0201]
显示屏805用于显示ui(user interface，用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏805可以为一个，设置在终端800的前面板；在另一些实施例中，显示屏805可以为至少两个，分别设置在终端800的不同表面或呈折叠设计；在另一些实施例中，显示屏805可以是柔性显示屏，设置在终端800的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以采用lcd(liquid crystal display，液晶显示屏)、oled(organic light
‑
emitting diode,有机发光二极管)等材质制备。
[0202]
摄像头组件806用于采集图像或视频。可选地，摄像头组件806包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
[0203]
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器801进行处理，或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路807还可以包括
耳机插孔。
[0204]
定位组件808用于定位终端800的当前地理位置，以实现导航或lbs(location based service，基于位置的服务)。定位组件808可以是基于美国的gps(global positioning system，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
[0205]
电源809用于为终端800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
[0206]
在一些实施例中，终端800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于：加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。
[0207]
加速度传感器811可以检测以终端800建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号，控制显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
[0208]
陀螺仪传感器812可以检测终端800的机体方向及转动角度，陀螺仪传感器812可以与加速度传感器811协同采集用户对终端800的3d动作。处理器801根据陀螺仪传感器812采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
[0209]
压力传感器813可以设置在终端800的侧边框和/或显示屏805的下层。当压力传感器813设置在终端800的侧边框时，可以检测用户对终端800的握持信号，由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在显示屏805的下层时，由处理器801根据用户对显示屏805的压力操作，实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
[0210]
指纹传感器814用于采集用户的指纹，由处理器801根据指纹传感器814采集到的指纹识别用户的身份，或者，由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器801授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置在终端800的正面、背面或侧面。当终端800上设置有物理按键或厂商logo时，指纹传感器814可以与物理按键或厂商logo集成在一起。
[0211]
光学传感器815用于采集环境光强度。在一个实施例中，处理器801可以根据光学传感器815采集的环境光强度，控制显示屏805的显示亮度。具体地，当环境光强度较高时，调高显示屏805的显示亮度；当环境光强度较低时，调低显示屏805的显示亮度。在另一个实施例中，处理器801还可以根据光学传感器815采集的环境光强度，动态调整摄像头组件806的拍摄参数。
[0212]
接近传感器816，也称距离传感器，通常设置在终端800的前面板。接近传感器816用于采集用户与终端800的正面之间的距离。在一个实施例中，当接近传感器816检测到用户与终端800的正面之间的距离逐渐变小时，由处理器801控制显示屏805从亮屏状态切换
为息屏状态；当接近传感器816检测到用户与终端800的正面之间的距离逐渐变大时，由处理器801控制显示屏805从息屏状态切换为亮屏状态。
[0213]
本领域技术人员可以理解，图8中示出的结构并不构成对终端800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
[0214]
本技术实施例提供的计算机设备可提供为一种服务器。图9是本技术实施例提供的一种服务器的结构示意图，该服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)901和一个或一个以上的存储器902，其中，该存储器902中存储有至少一条程序代码，该至少一条程序代码由该处理器901加载并执行以实现上述各个方法实施例提供的检索音频的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入得到接口等部件，以便进行输入得到，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
[0215]
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括程序代码的存储器，上述程序代码可由终端或服务器中的处理器执行以完成上述实施例中的检索音频的方法。例如，所述计算机可读存储介质可以是只读内存(read
‑
only memory，rom)、随机存取存储器(random access memory)，ram)、只读光盘(compact
‑
disc read
‑
only memory)、磁带、软盘和光数据存储设备等。
[0216]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来程序代码相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0217]
以上所述仅为本技术的可选实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。