语音声学模型的训练方法、后处理方法和相关设备与流程

1.本技术涉及语音识别技术领域，特别涉及一种语音声学模型的训练方法、后处理方法和相关设备。


背景技术：

2.智能语音的很多任务中都要用到“声学模型”，比如语音识别和关键词识别。语音识别一般包含声学模型和语言模型两个模块，其中声学模型用于识别，语言模型用于解码。现有语音识别为了保证具有较高的识别效果，其声学模型和语言模型的体量都比较大，无法应用于资源有限的硬件设备。


技术实现要素：

3.本技术的主要目的为提供一种语音声学模型的训练方法、后处理方法和相关设备，旨在解决现有的语音识别的声学模型和语音模型体量较大的弊端。
4.为实现上述目的，本技术提供了一种语音声学模型的训练方法，包括：获取样本数据和所述样本数据对应的标签数据；将所述样本数据和所述标签数据作为训练数据输入第一神经网络和第二神经网络进行联合模型训练，在模型训练过程中，所述标签数据作为所述样本数据的监督学习目标，所述训练数据作为所述第一神经网络的输入，所述第一神经网络模型使用的损失函数为ctc loss；所述第一神经网络的输出作为所述第二神经网络的输入，所述第二神经网络使用的损失函数为统一多标签交叉熵损失函数；循环迭代联合模型训练直至模型收敛，得到所述语音声学模型。
5.本技术还提供了一种后处理方法，包括：获取用户输入的语音数据；将所述语音数据输入语音声学模型中，通过序列预测得到初始概率序列，并通过多标签分类得到概率向量，其中，所述语音声学模型为如上所述的语音声学模型的训练方法训练得到的模型；将所述概率向量的各个元素与所述初始概率序列的对应行进行乘积计算，得到加权后的概率序列；对所述概率序列进行解码，得到所述语音数据包含的内容。
6.本技术还提供了一种语音声学模型的训练装置，包括：第一获取模块，用于获取样本数据和所述样本数据对应的标签数据；训练模块，用于将所述样本数据和所述标签数据作为训练数据输入第一神经网络和第二神经网络进行联合模型训练，在模型训练过程中，所述标签数据作为所述样本数据的监督学习目标，所述训练数据作为所述第一神经网络的输入，所述第一神经网络模型使用的损失函数为ctc loss；所述第一神经网络的输出作为所述第二神经网络的输入，所述第二神经网络使用的损失函数为统一多标签交叉熵损失函数；循环迭代联合模型训练直至
模型收敛，得到所述语音声学模型。
7.本技术还提供了一种命令词的识别装置，包括：第二获取模块，用于获取用户输入的语音数据；预测模块，用于将所述语音数据输入语音声学模型中，通过序列预测得到初始概率序列，并通过多标签分类得到概率向量，其中，所述语音声学模型为如上所述的语音声学模型的训练方法训练得到的模型；加权模块，用于将所述概率向量的各个元素与所述初始概率序列的对应行进行乘积计算，得到加权后的概率序列；解码模块，用于对所述概率序列进行解码，得到所述语音数据包含的内容。
8.本技术还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
9.本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
10.本技术中提供的一种语音声学模型的训练方法、后处理方法和相关设备，模型训练时，首先获取样本数据和该样本数据对应的标签数据，然后将样本数据和标签数据作为训练数据输入第一神经网络和第二神经网络进行联合模型训练。在模型训练过程中，标签数据作为样本数据的监督学习目标，训练数据作为第一神经网络的输入，第一神经网络模型使用的损失函数为ctc loss；第一神经网络的输出作为第二神经网络的输入，第二神经网络使用的损失函数为统一多标签交叉熵损失函数；循环迭代联合模型训练直至模型收敛，得到所需的语音声学模型。模型应用时，将语音声学模型部署到终端设备上，终端设备获取用户输入的语音数据，将语音数据输入语音声学模型中，通过序列预测得到初始概率序列，并通过多标签分类得到概率向量；再将概率向量的各个元素与初始概率序列的对应行进行乘积计算，得到加权后的概率序列。最后对概率序列进行解码，得到语音数据包含的内容。本技术中，在进行模型训练时，将基于ctc的语音序列预测任务（即第一神经网络的处理任务）和基于多标签分类任务（即第二神经网络的处理任务）结合，进行多任务学习（即联合模型训练），从而有效优化语音声学模型的识别效果。在此基础上，在进行后处理时，用多标签分类的输出来调整序列预测任务输出的概率分布特征，从而将序列预测任务输出中可能漏掉的部分内容加权放大，使其更容易被识别解码出来，从而简化了解码所需的计算，大幅度降低对硬件设备的资源需求。
附图说明
11.图1是本技术一实施例中语音声学模型的训练方法的步骤示意图；图2是本技术一实施例中后处理方法的步骤示意图；图3是本技术一实施例中语音声学模型的训练装置的整体结构框图；图4是本技术一实施例中后处理装置的整体结构框图；图5是本技术一实施例的计算机设备的结构示意框图。
12.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
13.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
14.参照图1，本技术一实施例中提供了一种语音声学模型的训练方法，包括：s1:获取样本数据和所述样本数据对应的标签数据；s2:将所述样本数据和所述标签数据作为训练数据输入第一神经网络和第二神经网络进行联合模型训练，在模型训练过程中，所述标签数据作为所述样本数据的监督学习目标，所述训练数据作为所述第一神经网络的输入，所述第一神经网络模型使用的损失函数为ctc loss；所述第一神经网络的输出作为所述第二神经网络的输入，所述第二神经网络使用的损失函数为统一多标签交叉熵损失函数；循环迭代联合模型训练直至模型收敛，得到所述语音声学模型。
15.本实施例中，训练系统首先调取预先录入的样本数据，该样本数据为大规模词表的语音数据，包含多个单词语音数据（即单个词语的语音数据）。训练系统将样本数据中的各个单词语音数据转化为音素，得到各个单词语音数据分别对应改的单词音素序列。最后，将这些单词音素序列进行汇总，形成样本数据对应的标签数据。训练系统将样本数据和标签数据作为训练数据输入第一神经网络和第二神经网络进行联合模型训练，其中，第一神经网络可以是cnn/rnn等神经网络，样本数据经特征提取后得到对应的声学特征序列，声学特征序列进经第一神经网络处理后得到足够长的数据序列，满足ctc（connectionist temporal classification）计算需求即可；第二神经网络则为具有学习时序特征能力的神经网络。在模型训练过程中，分为语音序列预测任务和多标签分类任务。具体地，语音序列预测任务对应第一神经网络，样本数据和标签数据作为训练数据输入第一神经网络中进行模型训练，标签数据转化为标签数据中各个单音素对应的单音素向量，作为样本数据的监督学习目标，并使用ctc方法计算得到表征样本数据和标签数据之间差距的第一损失值。多标签分类任务对应第一神经网络加上第二神经网络，样本数据和标签数据同样作为训练数据首先输入第一神经网络中进行模型训练，标签数据转化为标签数据中各个单词音素序列对应的多音素向量，作为样本数据的监督学习目标，训练样本输入第一神经网络后处理，得到标签概率序列；再将标签概率序列输入第二神经网络使用统一多标签交叉熵损失函数计算得到第二损失值。模型训练过程中，语音序列预测任务和多标签分类任务同步进行，梯度计算和反向传播同步处理，根据每次计算所得的第一损失值和第二损失值的总和对第一神经网络的参数和第二神经网络的参数进行优化，循环迭代联合模型训练，直至模型收敛，得到语音声学模型。
16.本实施例中，在进行模型训练时，将基于ctc的语音序列预测任务（即第一神经网络的处理任务）和基于多标签分类任务（即第二神经网络的处理任务）结合，进行多任务学习（即联合模型训练），用多标签分类任务来辅助序列预测任务的训练，从而有效优化语音声学模型的识别效果。
17.进一步的，所述获取样本数据和所述样本数据对应的标签数据的步骤，包括：s101:获取所述样本数据，所述样本数据包括多个单词语音数据；s102:将各所述单词语音数据转化为音素，得到各所述单词语音数据分别对应的
单词音素序列；s103:将各所述单词音素序列进行汇总，得到所述标签数据。
18.本实施例中，训练系统获取大规模词表的语音数据形成的样本数据，该样本数据包括多个单词语音数据。训练系统将样本数据中的各个单词语音数据转化为音素，得到各个单词语音数据分别对应的单词音素序列（比如样本数据中包含单词“你好”、“空调”，“你好”转化后对应的单词音素序列为[n，i，h，ao]，“空调”转化后对应的单词音素序列为[k，ong，t，i，ao]）。训练系统将各个单词音素序列进行汇总，得到样本数据对应的标签数据。
[0019]
进一步的，所述将所述样本数据和所述标签数据作为训练数据输入第一神经网络和第二神经网络进行联合模型训练的步骤，包括：s201:将所述样本数据和所述标签数据输入所述第一神经网络，使用ctc方法计算得到第一损失值；s202:将所述第一神经网络输出的标签概率序列输入所述第二神经网络，使用统一多标签交叉熵损失函数计算得到第二损失值；s203:根据所述第一损失值和所述第二损失值的总和对所述第一神经网络的参数和所述第二神经网络的参数进行优化，循环迭代联合模型训练，直至模型收敛，得到所述语音声学模型。
[0020]
本实施例中，训练系统在联合模型训练过程中，同步进行语音序列预测任务和多标签分类任务。具体地，在进行语音序列预测任务时，训练系统对样本数据进行特征提取得到音频的声学特征序列；并对标签数据进行独热编码，得到标签数据中各个单音素对应的单音素向量。然后，训练系统将声学特征序列和各个单音素向量输入第一神经网络中，各个单音素向量作为声学特征序列的监督学习目标，使用ctc方法计算得到声学特征序列和各个单音素向量之间的第一损失值。在进行多标签分类任务时，训练系统对样本数据进行特征提取，得到音频的声学特征序列；并对标签数据进行独热编码，得到标签数据中各个单词音素序列对应的多音素向量。训练系统将声学特征序列和各个多音素向量输入第一神经网络进行处理，得到标签概率序列。然后将标签概率序列输入第二神经网络，使用统一多标签交叉熵损失函数进行计算，得到第二损失值。训练系统每得到一个第一损失值和第二损失值，则计算第一损失值和第二损失值的损失值总和，并使用该损失值综合对第一神经网络的参数和第二神经网络的参数进行优化。训练系统训练迭代上述的联合模型训练，直至模型收敛，得到语音声学模型。
[0021]
进一步的，所述将所述样本数据和所述标签数据输入所述第一神经网络，使用ctc方法计算得到第一损失值的步骤，包括：s2011:对所述样本数据进行特征提取，得到声学特征序列；并对所述标签数据进行转化，得到所述标签数据中各个单音素对应的单音素向量；s2012:将所述声学特征序列和各所述单音素向量输入所述第一神经网络，使用ctc方法计算得到所述声学特征序列和各所述单音素向量之间的第一损失值。
[0022]
本实施例中，训练系统首先对样本数据进行特征提取，从而得到音频的声学特征序列。并且，训练系统将标签数据转化为音素的索引列表，得到标签数据中各个单音素对应的单音素向量（比如样本数据中的单词“你好”转化后对应的单词音素序列为[n，i，h，ao]，则音素“n”对应的单音素向量为[1,0,0,0]，音素“i”对应的单音素向量为[0,1,0,0]，音素“h”对应的单音素向量为[0,0,1,0]，音素“ao”对应的单音素向量为[0,0,0,1]）。训练系统将声学特征序列和各个单音素向量输入第一神经网络，使用ctc方法计算得到表征声学特征序列和各个单音素向量之间的第一损失值。
[0023]
进一步的，所述将所述第一神经网络输出的标签概率序列输入所述第二神经网络，使用统一多标签交叉熵损失函数计算得到第二损失值的步骤，包括：s2021:对所述样本数据进行特征提取，得到声学特征序列；对所述标签数据进行转化，得到所述标签数据中各个单词音素序列对应的多音素向量；s2022:将所述声学特征序列和各所述多音素向量输入第一神经网络进行处理，得到所述标签概率序列；s2023:将所述标签概率序列输入所述第二神经网络，使用所述统一多标签交叉熵损失函数进行计算，得到所述第二损失值。
[0024]
本实施例中，训练系统首先对样本数据进行特征提取，得到音频的声学特征序列；并将标签数据处理成音素的k-hot向量，得到标签数据中各个单词音素序列对应的多音素向量（比如样本数据中的单词“你好”转化后对应的单词音素序列为[n，i，h，ao]，则该单词“你好”对应的多音素向量为[1,1,1,1]）。训练系统将样本数据的声学特征序列和各个多音素向量输入第一神经网络进行处理，得到标签概率序列。然后将第一神经网络输出的标签概率序列输入第二神经网络中，使用同一多标签交叉熵损失函数进行损失计算（在多标签分类任务的处理过程中，第一神经网络和第二神经网络视为一个完整的模型网络，即第一神经网络和第二神经网络均为该模型网络的其中一部分），得到多标签分类任务对应的第二损失值。
[0025]
参照图2，本技术一实施例还提供了一种后处理方法，包括：a1:获取用户输入的语音数据；a2:将所述语音数据输入语音声学模型中，通过序列预测得到初始概率序列，并通过多标签分类得到概率向量，其中，所述语音声学模型为如上所述的语音声学模型的训练方法训练得到的模型；a3:将所述概率向量的各个元素与所述初始概率序列的对应行进行乘积计算，得到加权后的概率序列；a4:对所述概率序列进行解码，得到所述语音数据包含的内容。
[0026]
本实施例中，上述语音声学模型的训练方法训练所得的语音声学模型应用时，部署在硬件设备上。硬件设备的识别系统实时采集用户输入的语音数据，然后将语音数据输入该语音声学模型中，首先通过基于ctc的序列预测任务处理得到初始概率序列，该初始概率序列的每一列都输出当前列对应到每一个音素的概率值；并通过多标签分类任务处理得到概率向量，从中得到音频中最优可能存在的n个音素，以及n个音素各自对应的概率值。进一步的；将多标签分类任务所得的概率向量的每个元素与序列预测任务所得的初始概率序列的对应行进行乘积计算，从而得到加权后的新的概率序列（该新的概率序列即为语音声学模型最终输出的概率序列）。具体地，识别系统将用户的语音数据输入语音声学模型中，首先通过基于ctc的序列预测任务进行处理得到初始概率序列，该初始概率序列的每一列都输出当前列对应到每一个音素的概率值。并同步通过多标签分类任务处理得到概率向量，从中得到音频中最优可能存在的n个音素，以及n个音素各自对应的概率值。再将概率向
量的各个元素与初始概率序列的对应行进行乘积计算，从而得到加权计算后新的概率序列。比如总共有9个音素标签，语音数据的音频内容为[1,6,7,8]，通过多标签分类任务预测出了1、6、7、8四个音素标签出现的概率较大，其他类别的音素标签概率很小。在将概率向量的各个元素与序列预测任务所得的初始概率序列的对应行（比如概率向量中音素标签“1”与初始概率序列中音素标签“1”对应行）进行加权运算，从而使得序列中音素标签1、6、7、8的概率被放大，而其他行的概率被缩小，进而更容易找到加权计算后新的概率序列中最该概率的解码路径，大幅度降低后续在概率序列上进行解码的难度。
[0027]
同样的，在联合模型训练过程中，由于第一神经网络是由多标签分类任务和序列预测任务共同优化的（即根据第一损失值和第二损失值的总和对第一神经网络的参数进行优化），多标签分类任务会促使第一神经网络学习到命令词的音素标签相关的内容，从而诱导序列预测任务相比单独训练时可以更多注意被漏掉的内容。比如序列预测任务单独训练时，只能识别到1、6、8的概率较大，遗漏了音素标签“7”。在多标签分类任务的诱导下，序列预测任务会更多注意到音素标签“7”的信息内容，从而使得音素标签“7”更容易被识别出来，提高最终训练所得的语音声学模型的识别准确度。
[0028]
识别系统使用较为简单的解码算法（比如维特比解码算法、贪婪算法）对该概率序列进行解码，从而得到概率序列中具有最大概率值的解码路径，进而根据该解码路径得到用户输入的语音数据中所包含的命令词（或者说语音数据中所包含的单词）。
[0029]
本实施例中，在进行后处理时，用多标签分类的输出来调整序列预测任务输出的概率分布特征，从而将序列预测任务输出中可能漏掉的部分内容加权放大，使其更容易被识别解码出来，因此在进行解码时不需要使用复杂的语言模型，而是使用简单的解码算法即可，从而简化了解码所需的计算，大幅度降低对硬件设备的资源需求，以及提高了语音识别的速度。
[0030]
参照图3，本技术一实施例中还提供了一种语音声学模型的训练装置，包括：第一获取模块1，用于获取样本数据和所述样本数据对应的标签数据；训练模块2，用于将所述样本数据和所述标签数据作为训练数据输入第一神经网络和第二神经网络进行联合模型训练，在模型训练过程中，所述标签数据作为所述样本数据的监督学习目标，所述训练数据作为所述第一神经网络的输入，所述第一神经网络模型使用的损失函数为ctc loss；所述第一神经网络的输出作为所述第二神经网络的输入，所述第二神经网络使用的损失函数为统一多标签交叉熵损失函数；循环迭代联合模型训练直至模型收敛，得到所述语音声学模型。
[0031]
进一步的，所述第一获取模块1，包括：获取单元，用于获取所述样本数据，所述样本数据包括多个单词语音数据；转化单元，用于将各所述单词语音数据转化为音素，得到各所述单词语音数据分别对应的单词音素序列；汇总单元，用于将各所述单词音素序列进行汇总，得到所述标签数据。
[0032]
进一步的，所述训练模块2，包括：第一计算单元，用于将所述样本数据和所述标签数据输入所述第一神经网络，使用ctc方法计算得到第一损失值；第二计算单元，用于将所述第一神经网络输出的标签概率序列输入所述第二神经
网络，使用统一多标签交叉熵损失函数计算得到第二损失值；优化单元，用于根据所述第一损失值和所述第二损失值的总和对所述第一神经网络的参数和所述第二神经网络的参数进行优化，循环迭代联合模型训练，直至模型收敛，得到所述语音声学模型。
[0033]
进一步的，所述第一计算单元，包括：第一编码子单元，用于对所述样本数据进行特征提取，得到声学特征序列；并对所述标签数据进行转化，得到所述标签数据中各个单音素对应的单音素向量；第一计算子单元，用于将所述声学特征序列和各所述单音素向量输入所述第一神经网络，使用ctc方法计算得到所述声学特征序列和各所述单音素向量之间的第一损失值。
[0034]
进一步的，所述第二计算单元，包括：第二编码子单元，用于对所述样本数据进行特征提取，得到声学特征序列；对所述标签数据进行转化，得到所述标签数据中各个单词音素序列对应的多音素向量；处理子单元，用于将所述声学特征序列和各所述多音素向量输入第一神经网络进行处理，得到所述标签概率序列；第二计算子单元，用于将所述标签概率序列输入所述第二神经网络，使用所述统一多标签交叉熵损失函数进行计算，得到所述第二损失值。
[0035]
本实施例中，语音声学模型的训练装置中各模块、单元、子单元用于对应执行与上述语音声学模型的训练方法中的各个步骤，其具体实施过程在此不做详述。
[0036]
参照图4，本技术一实施例中还提供了一种后处理别装置，包括：第二获取模块3，用于获取用户输入的语音数据；预测模块4，用于将所述语音数据输入语音声学模型中，通过序列预测得到初始概率序列，并通过多标签分类得到概率向量，其中，所述语音声学模型为如上所述的语音声学模型的训练方法训练得到的模型；加权模块5，用于将所述概率向量的各个元素与所述初始概率序列的对应行进行乘积计算，得到加权后的概率序列；解码模块6，用于对所述概率序列进行解码，得到所述语音数据包含的内容。
[0037]
本实施例中，命令词的识别装置中各模块用于对应执行与上述后处理方法中的各个步骤，其具体实施过程在此不做详述。
[0038]
本实施例提供的一种语音声学模型的训练装置和后处理装置，模型训练时，首先获取样本数据和该样本数据对应的标签数据，然后将样本数据和标签数据作为训练数据输入第一神经网络和第二神经网络进行联合模型训练。在模型训练过程中，标签数据作为样本数据的监督学习目标，训练数据作为第一神经网络的输入，第一神经网络模型使用的损失函数为ctc loss；第一神经网络的输出作为第二神经网络的输入，第二神经网络使用的损失函数为统一多标签交叉熵损失函数；循环迭代联合模型训练直至模型收敛，得到所需的语音声学模型。模型应用时，将语音声学模型部署到终端设备上，终端设备获取用户输入的语音数据，然后将语音数据输入语音声学模型进行处理，得到概率序列。最后对该概率序列进行解码，得到当前次的语音数据包含的命令词。本技术中，在进行模型训练时，将基于ctc的语音序列预测任务（即第一神经网络的处理任务）和基于多标签分类任务（即第二神经网络的处理任务）结合，进行多任务学习（即联合模型训练），从而有效优化语音声学模型
的识别效果。在此基础上，在进行后处理时，用多标签分类的输出来调整序列预测任务输出的概率分布特征，从而将序列预测任务输出中可能漏掉的部分内容加权放大，使其更容易被识别解码出来，从而简化了解码所需的计算，大幅度降低对硬件设备的资源需求。
[0039]
参照图5，本技术实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储样本数据等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种语音声学模型的训练方法和一种后处理方法。
[0040]
上述处理器执行上述语音声学模型的训练方法的步骤：s1:获取样本数据和所述样本数据对应的标签数据；s2:将所述样本数据和所述标签数据作为训练数据输入第一神经网络和第二神经网络进行联合模型训练，在模型训练过程中，所述标签数据作为所述样本数据的监督学习目标，所述训练数据作为所述第一神经网络的输入，所述第一神经网络模型使用的损失函数为ctc loss；所述第一神经网络的输出作为所述第二神经网络的输入，所述第二神经网络使用的损失函数为统一多标签交叉熵损失函数；循环迭代联合模型训练直至模型收敛，得到所述语音声学模型。
[0041]
进一步的，所述获取样本数据和所述样本数据对应的标签数据的步骤，包括：s101:获取所述样本数据，所述样本数据包括多个单词语音数据；s102:将各所述单词语音数据转化为音素，得到各所述单词语音数据分别对应的单词音素序列；s103:将各所述单词音素序列进行汇总，得到所述标签数据。
[0042]
进一步的，所述将所述样本数据和所述标签数据作为训练数据输入第一神经网络和第二神经网络进行联合模型训练的步骤，包括：s201:将所述样本数据和所述标签数据输入所述第一神经网络，使用ctc方法计算得到第一损失值；s202:将所述第一神经网络输出的标签概率序列输入所述第二神经网络，使用统一多标签交叉熵损失函数计算得到第二损失值；s203:根据所述第一损失值和所述第二损失值的总和对所述第一神经网络的参数和所述第二神经网络的参数进行优化，循环迭代联合模型训练，直至模型收敛，得到所述语音声学模型。
[0043]
进一步的，所述将所述样本数据和所述标签数据输入所述第一神经网络，使用ctc方法计算得到第一损失值的步骤，包括：s2011:对所述样本数据进行特征提取，得到声学特征序列；并对所述标签数据进行转化，得到所述标签数据中各个单音素对应的单音素向量；s2012:将所述声学特征序列和各所述单音素向量输入所述第一神经网络，使用ctc方法计算得到所述声学特征序列和各所述单音素向量之间的第一损失值。
[0044]
进一步的，所述将所述第一神经网络输出的标签概率序列输入所述第二神经网络，使用统一多标签交叉熵损失函数计算得到第二损失值的步骤，包括：s2021:对所述样本数据进行特征提取，得到声学特征序列；对所述标签数据进行转化，得到所述标签数据中各个单词音素序列对应的多音素向量；s2022:将所述声学特征序列和各所述多音素向量输入第一神经网络进行处理，得到所述标签概率序列；s2023:将所述标签概率序列输入所述第二神经网络，使用所述统一多标签交叉熵损失函数进行计算，得到所述第二损失值。
[0045]
上述处理器执行上述后处理方法的步骤：a1:获取用户输入的语音数据；a2:将所述语音数据输入语音声学模型中，通过序列预测得到初始概率序列，并通过多标签分类得到概率向量，其中，所述语音声学模型为如上所述的语音声学模型的训练方法训练得到的模型；a3:将所述概率向量的各个元素与所述初始概率序列的对应行进行乘积计算，得到加权后的概率序列；a4:对所述概率序列进行解码，得到所述语音数据包含的内容。
[0046]
本技术一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种语音声学模型的训练方法和一种后处理方法，所述语音声学模型的训练方法具体为：s1:获取样本数据和所述样本数据对应的标签数据；s2:将所述样本数据和所述标签数据作为训练数据输入第一神经网络和第二神经网络进行联合模型训练，在模型训练过程中，所述标签数据作为所述样本数据的监督学习目标，所述训练数据作为所述第一神经网络的输入，所述第一神经网络模型使用的损失函数为ctc loss；所述第一神经网络的输出作为所述第二神经网络的输入，所述第二神经网络使用的损失函数为统一多标签交叉熵损失函数；循环迭代联合模型训练直至模型收敛，得到所述语音声学模型。
[0047]
进一步的，所述获取样本数据和所述样本数据对应的标签数据的步骤，包括：s101:获取所述样本数据，所述样本数据包括多个单词语音数据；s102:将各所述单词语音数据转化为音素，得到各所述单词语音数据分别对应的单词音素序列；s103:将各所述单词音素序列进行汇总，得到所述标签数据。
[0048]
进一步的，所述将所述样本数据和所述标签数据作为训练数据输入第一神经网络和第二神经网络进行联合模型训练的步骤，包括：s201:将所述样本数据和所述标签数据输入所述第一神经网络，使用ctc方法计算得到第一损失值；s202:将所述第一神经网络输出的标签概率序列输入所述第二神经网络，使用统一多标签交叉熵损失函数计算得到第二损失值；s203:根据所述第一损失值和所述第二损失值的总和对所述第一神经网络的参数和所述第二神经网络的参数进行优化，循环迭代联合模型训练，直至模型收敛，得到所述语
音声学模型。
[0049]
进一步的，所述将所述样本数据和所述标签数据输入所述第一神经网络，使用ctc方法计算得到第一损失值的步骤，包括：s2011:对所述样本数据进行特征提取，得到声学特征序列；并对所述标签数据进行转化，得到所述标签数据中各个单音素对应的单音素向量；s2012:将所述声学特征序列和各所述单音素向量输入所述第一神经网络，使用ctc方法计算得到所述声学特征序列和各所述单音素向量之间的第一损失值。
[0050]
进一步的，所述将所述第一神经网络输出的标签概率序列输入所述第二神经网络，使用统一多标签交叉熵损失函数计算得到第二损失值的步骤，包括：s2021:对所述样本数据进行特征提取，得到声学特征序列；对所述标签数据进行转化，得到所述标签数据中各个单词音素序列对应的多音素向量；s2022:将所述声学特征序列和各所述多音素向量输入第一神经网络进行处理，得到所述标签概率序列；s2023:将所述标签概率序列输入所述第二神经网络，使用所述统一多标签交叉熵损失函数进行计算，得到所述第二损失值。
[0051]
上述处理器执行上述后处理方法的步骤：a1:获取用户输入的语音数据；a2:将所述语音数据输入语音声学模型中，通过序列预测得到初始概率序列，并通过多标签分类得到概率向量，其中，所述语音声学模型为如上所述的语音声学模型的训练方法训练得到的模型；a3:将所述概率向量的各个元素与所述初始概率序列的对应行进行乘积计算，得到加权后的概率序列；a4:对所述概率序列进行解码，得到所述语音数据包含的内容。
[0052]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram通过多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双速据率sdram（ssrsdram）、增强型sdram（esdram）、同步链路（synchlink）dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
[0053]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、第一物体或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、第一物体或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、第一物体或者方法中还存在另外的相同要素。
[0054]
以上所述仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用
本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本技术的专利保护范围内。