一种基于长短时记忆网络快速识别语音情感类别的方法与流程

1.本发明涉及语音情感识别技术领域，特别涉及一种基于长短时记忆网络快速识别语音情感类别的方法。


背景技术：

2.语音是人类表达情感的重要方式之一，以其为媒介的情感识别对智能化的人机交互研究具有重要意义。早前语音情感识别的工作主要聚焦于机器学习算法，如支持向量机，贝叶斯分类器和k近邻算法。而当前随着深度学习的提出，语音情感识别得到了进一步的发展。
3.虽然早期的工作促进了语音情感的研究，但受传统机器学习只能接受固定长度数据作为输入的影响，目前具有固定维度的静态语音情感特征是使用最多的。例如schuller提出了一系列的interspeech情感特征集合，这类特征通过静态统计函数计算了语音特征在时间维度的统计特性，最终可获得一个与语音持续时间无关的固定维度的特征向量。虽然这种特征可以满足传统机器学习只能接受确定维度的数据作为输入的要求，但也导致了统计分析处理后的语音特征丧失了原始语音中的时序信息。为解决上诉问题，我们采用了在计算统计函数之前的帧级语音特征，该特征维度是随语音长度而变化的，且通过帧之间的序列关系保留了原始语音的时序信息。
4.另一方面，虽然传统机器学习算法因记忆能力较差很难学习时间信息，但随着深度学习算法在情感识别领域中的成功应用，尤其是长短时记忆网络(long short
‑
term memory，lstm)的提出，为处理语音的时序信息以及变长序列提供了可行性。近些年来，为强化lstm在特定任务中处理数据的能力，提出了很多lstm的变体结构。例如：gers提出了窥视连接,将细胞状态也作为了输入信息。shi使用卷积操作替换了原始lstm中部分乘法操作，使得网络能更好的挖掘时空信息。daniel通过振荡频率稀疏化更新以加快lstm的收敛速度。上述这些算法在优化lstm记忆能力的同时也增加了其计算复杂度。
5.注意力机制最早应用于图像处理领域，并取得了非常好的效果。其核心思想是人脑对整幅图的关注并不是均衡的，是存在一定的区分权重的。在了机器翻译领域，bahdanau提出了软注意力模型。所谓的“软”是指求取编码后每个单词的概率分布，然后进行加权，即当前待翻译的单词对其他单词的依赖程度(即权重)是有区别的。同样，在lstm中，可以通过注意力机制为历史细胞状态与候选细胞状态进行加权计算，取代原始的遗忘门与输入控制门。


技术实现要素：

6.发明目的：本发明公开了一种基于长短时记忆网络快速识别语音情感类别的方法，在常规型lstm基础上，通过注意力机制优化了常规型lstm内部的遗忘门和输入控制门的计算方式，提出了基于注意力机制的改进型lstm模型，在保证性能的前提下，有效减少了矩阵计算量，提高语音情感识别的性能。
7.技术方案：本发明采用如下技术方案：一种基于长短时记忆网络快速识别语音情感类别的方法，包括以下步骤：
8.s1、从原始语音数据样本中提取具有时序信息的帧级语音特征；
9.s2、通过软注意力模型创建基于注意力机制的改进型lstm模型；
10.s3、用已知的原始语音数据样本及其语音情感类别对步骤s2中创建好的改进型lstm模型进行训练，训练好后得到情感类别识别模型；
11.s4、对步骤s3得到的情感类别识别模型进行情感识别测试验证；
12.s5、将未知的原始语音数据样本输入情感类别识别模型进行识别，输出对应的语音情感类别。
13.优选的，步骤s2中通过软注意力模型创建基于注意力机制的改进型lstm模型，包括以下步骤：
14.s21、用软注意力模型中的注意力门替代常规型lstm模型中的遗忘门以得到新遗忘门；
15.s22、以步骤s21得到的新遗忘门与常规型lstm模型中输入控制门的对偶关系，取代常规型lstm模型中的输入控制门，得到注意力机制的改进型lstm模型。
16.优选的，步骤s21中，用软注意力模型中的注意力门替代常规型lstm模型中的遗忘门以得到新遗忘门，包括如下步骤：
17.s21.1、对常规型lstm模型进行分析，利用lstm引入细胞结构,通过自循环方式，使得常规型lstm模型能够关联rnn过去的历史序列，其具体计算公式如下：
18.f
t
＝σ(w
f
·
[h
t
‑1,x
t
,c
t
‑1] b
f
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0019]
i
t
＝σ(w
i
·
[h
t
‑1,x
t
,c
t
‑1] b
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0020][0021][0022]
o
t
＝σ(w
o
·
[h
t
‑1,x
t
,c
t
] b
o
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0023]
h
t
＝o
t
*tanh(c
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0024]
其中，σ为sigmoid激活函数，其取值范围在[0,1]之间，代表了遗忘历史细胞状态的概率；tanh为双曲正切激活函数；h
t
‑1为t
‑
1时刻的隐层输出，f
t
、i
t
、o
t
分别为遗忘门，输入控制门和输出门，w
f
和b
f
分别是遗忘门的权重和偏置，w
i
和b
i
分别是输入控制门的权重和偏置，w
c
和b
c
分别是细胞状态的权重和偏置，w
o
和b
o
分别是输出门的权重和偏置，它们是常规型lstm模型的待训练参数，x
t
为t时刻的输入，c
t
和c
t
‑1分别为t与t
‑
1时刻的细胞状态，为t时刻的细胞状态候选值；
[0025]
s21.2、通过注意力机制优化了常规型lstm内部的遗忘门计算方式，f
t
与i
t
取值在0到1之间，它们分别是历史细胞状态与候选细胞状态的加权分数，如公式(4)所示；
[0026]
步骤s22中，以步骤s21得到的新遗忘门与常规型lstm模型中输入控制门的对偶关系，取代常规型lstm模型中的输入控制门，得到注意力机制的改进型lstm模型，包括以下步骤：
[0027]
s22.1、通过注意力机制来计算历史细胞状态与候选细胞状态的加权分数，替代常规型lstm模型中的遗忘门与输入控制门，得到新的细胞状态，新的细胞状态更新公式如下：
[0028][0029][0030][0031]
其中s
h
和s
c
分别是历史细胞状态和候选细胞状态的加权系数，它们是依据历史细胞状态与当前候选细胞状态进行计算的，与当前输入和历史输出无关，其中w
h
与w
c
均是注意力公式里的待学习权重参数，exp是以e为底的指数函数。
[0032]
优选的，步骤s22.1中的公式(8)和(9)与步骤s21.1的公式(1)和(2)中的权重参数相比可得,注意力公式中的权重参数w
h
与w
c
具有更小的维度,因为它们只与单个细胞状态进行矩阵相乘,而不是组合矩阵[h
t
‑1,x
t
,c
t
‑1]相乘，此外,从公式(8)与(9)还可以得出如下结论
[0033]
s
h
s
c
＝1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0034]
其中等式右边是一个元素全为1的矩阵，为了进一步减少计算复杂度,s
c
可由1
‑
s
h
代替,即由减法计算替代了除法计算，最终的细胞状态更新公式如下：
[0035][0036]
优选的，步骤s4中，用召回率对情感类别识别模型进行测试验证：
[0037][0038]
其中，recall为召回率；tp是预测为正，实际为正的数量；tn是预测为负，实际为正的数量。
[0039]
优选的，步骤s1中，提取的语音特征通过语音帧之间的序列关系保留了原始语音数据样本中的时序信息，且语音特征的维度随原始语音数据样本的实际长度而变化。
[0040]
有益效果：本发明具有如下有益效果：
[0041]
本发明的一种基于长短时记忆网络快速识别语音情感类别的方法，通过注意力机制优化了常规型lstm内部的遗忘门和输入控制门的计算方式，通过注意力机制来计算历史细胞状态与候选细胞状态的加权分数，替代常规型lstm模型中的遗忘门与输入控制门，有效减少了矩阵计算量，提高语音情感识别的性能，通过加权系数间的对偶关系可进一步减少计算复杂度；而在性能方面，改进型lstm模型具有更稳定的收敛性和更高的识别率；因为注意力门是直接根据历史细胞状态与候选细胞状态进行加权分数的计算，而不是依赖当前输入与历史输出来间接计算两种细胞状态的权重系数，因而能够更有效评估历史细胞状态与候选细胞状态的相对信息量，所以基于注意力机制的改进型lstm模型可以在保证性能的前提下，减少其计算的复杂度，具有良好的应用前景。
附图说明
[0042]
图1是本发明基于长短时记忆网络快速识别语音情感类别的方法的流程图；
[0043]
图2是enterface数据库收敛曲线；
[0044]
图3是gemep数据库收敛曲线；
[0045]
图4是收敛后模型的稳定性；
[0046]
图5是传统lstm计算框架图；
[0047]
图6是优化后的lstm计算框架图。
具体实施方式
[0048]
下面结合附图对本发明作更进一步的说明。
[0049]
本发明公开了一种基于长短时记忆网络快速识别语音情感类别的方法，包括如下步骤：
[0050]
步骤a、从原始语音数据中提取具有时序信息的帧级语音特征，其中，该语音特征通过语音帧之间的序列关系保留了原始语音数据中的时序信息，且该语音特征的维度是随原始语音数据的实际长度而变化的。详细的语音特征集合如下表1所示：
[0051]
表1
[0052]
语音特征描述voiceprob浊音占比率hnr声门谐噪比f0基频f0raw无清音门限的原始基频f0envf0包络jitterlocal周期一阶差分均值jitterddp周期二阶差分均值shimmerlocal幅度峰值一阶差分均值harmonicerms声门谐波能量noiseerms声门噪声能量pcm_loudness_sma响度pcm_loudness_sma_de响度的回归系数mfcc_sma[0]
‑
[14]14阶梅尔倒谱系数mfcc_sma_de[0]
‑
[14]梅尔倒谱的回归系数pcm_mag[0]
‑
[25]梅尔谱logmelfreqband[0]
‑
[7]梅尔频宽lpccoeff[0]
‑
[7]线性预测系数lspfreq[0]
‑
[7]线性谱频率pcm_zcr过零率
[0053]
步骤b、对常规型lstm模型进行分析，lstm(long short
‑
term memory)是长短期记忆网络，是rnn的一种变体，在一般的rnn中，当关联步长较大时，往往容易出现梯度消失，因为导数的链式法则导致了连乘使得梯度按指数级消失。lstm引入细胞结构(cell),通过自循环方式解决了这个问题，使得rnn能够关联过去的历史序列，具有了更强的长程依赖性，本实验引用了gers所提出的窥视链接网络，其具体计算公式如下：
[0054]
f
t
＝σ(w
f
·
[h
t
‑1,x
t
,c
t
‑1] b
f
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0055]
i
t
＝σ(w
i
·
[h
t
‑1,x
t
,c
t
‑1] b
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14)
[0056][0057][0058]
o
t
＝σ(w
o
·
[h
t
‑1,x
t
,c
t
] b
o
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16)
[0059]
h
t
＝o
t
*tanh(c
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(17)
[0060]
其中，σ为sigmoid激活函数，其取值范围在[0,1]之间，代表了遗忘历史细胞状态的概率；tanh为双曲正切激活函数。h
t
‑1为t
‑
1时刻的隐层输出，f
t
、i
t
、o
t
分别为遗忘门，输入控制门和输出门，w
f
和b
f
分别是遗忘门的权重和偏置，w
i
和b
i
分别是输入控制门的权重和偏置，w
c
和b
c
分别是细胞状态的权重和偏置，w
o
和b
o
分别是输出门的权重和偏置，它们是常规型lstm模型的待训练参数，x
t
为t时刻的输入，c
t
和c
t
‑1分别为t与t
‑
1时刻的细胞状态，为t时刻的细胞状态候选值；由公式(4)可以看出，当初细胞状态c
t
由历史细胞状态和当前候选细胞状态决定，f
t
与i
t
则是它们对应的各自权重，表示了各自有多少的信息量被记忆了。
[0061]
步骤c、在常规型lstm模型基础上，通过注意力机制优化了lstm内部的遗忘门的计算方式，提出了基于注意力机制的改进型lstm模型，在保证性能的前提下，有效减少了矩阵计算量；由与sigmod函数的特征，f
t
与i
t
取值在0到1之间，它们分别是历史细胞状态与候选细胞状态的加权分数，如公式(4)所示；本实验通过注意力机制来计算两者的加权分数，取缔了常规型lstm模型中原始遗忘门与输入控制门；新的细胞状态更新公式如下：
[0062][0063]
其中s
h
和s
c
是依据历史细胞状态与当前候选细胞状态进行计算的，与当前输入和历史输出无关。
[0064][0065][0066]
其中s
h
和s
c
分别是历史细胞状态和候选细胞状态的加权系数，它们是依据历史细胞状态与当前候选细胞状态进行计算的，与当前输入和历史输出无关，其中w
h
与w
c
均是注意力公式里的待学习权重参数；exp是以e为底的指数函数。
[0067]
步骤d、将步骤c中公式(8)与(9)与公式(1)和(2)中的权重参数相比,注意力公式中的权重参数w
h
与w
c
具有更小的维度,因为它们只与单个细胞状态进行矩阵相乘,而不是组合矩阵[h
t
‑1,x
t
,c
t
‑1]相乘；此外,从公式(8)与(9)还可以得出如下结论:
[0068]
s
h
s
c
＝1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0069]
其中等式右边是一个元素全为1的矩阵，为了进一步减少计算复杂度,s
c
可由1
‑
s
h
代替,即由减法计算替代了除法计算；最终的细胞状态更新公式如下:
[0070][0071]
因此最终得出结论，改进型lstm模型的权重矩阵的维度远小于常规型lstm模型中的权重矩阵，因而减少了计算复杂度。
[0072]
步骤e、将已知的原始语音数据样本及其语音情感类别对如步骤a至d中所述的情感识别模型；训练情感识别模型，并对训练好的情感识别模型的识别性能进行评测；将未知
的原始语音数据样本输入情感类别识别模型中，输出对应的语音情感类别。
[0073]
为评价模型性能，本发明通过情感识别中常用的召回率(recall)对比了传统缩放点注意力机制算法，总体评价指标为无加权平均召回率(unweighted average recall,uar)。
[0074][0075]
其中，tp是预测为正，实际为正的数量；tn是预测为负，实际为正的数量。
[0076]
为验证本发明的有效性，在enterface和gemep两个情感数据库上进行了测试,。enterface是一种音视频情感数据库，由来自14个国家的43人用英语完成录制，包含了以下6中情感：生气，厌恶，害怕，高兴，伤心和惊讶.本文仅使用该数据库中的语音作情感识别研究，获得了1260条有效语音样本，其中260条作为测试集。gemep是法语数据库，本文使用了12种情感数据，共1080条样本，其中200条作为测试数据。而模型由2层lstm构成，相关参数设置如表2所示。为对比计算复杂度，基于注意力机制的改进型lstm模型(lstm
‑
at)和常规型lstm模型使用相同的参数。
[0077]
表2模型参数
[0078][0079]
为验证注意力门在时间复杂度上的优越性，实验在训练相同的迭代次数下，对比了lstm
‑
at模型与常规型lstm模型所需要的时间代价。图1和图2分别给出了两个模型在enterface和gemep数据库上的收敛曲线，其中图(a)表明这两个模型具有相同的迭代步数。图(b)可以看出，基于注意力机制的改进型lstm模型的算法在相同条件下所需要的训练时间要小于常规型lstm模型，证明了所提算法减少了计算复杂度。因为注意力门中待训练的权重矩阵的维度要小于原始模型中的权重，且通过减法运算直接取缔了原始的输入控制门(如公式(11)所示)，所以降低了计算复杂度。
[0080]
为了更好的比较模型收敛后的性能，enterface和gemep分别取500步和2000步之后的测试结果作为分析对象，并将结果绘制成图3。其中矩形框的高度反应了收敛曲线的波动性，即收敛后模型的稳定性。框的高度越小模型的波动就越小，性能越稳定。而矩形框框内的水平线表示了稳定的识别率。两侧的虚线代表了模型所获得的极值。由此可见，基于注意力机制的改进型lstm模型具有较小的矩形框，收敛后的模型更加稳定，在enterface上获得了75％的稳定识别率比传统lstm高约8％，并能达到80％的最佳识别率。在gemep上，基于注意力机制的改进型lstm模型算法比常规型lstm模型提高了约4％，最佳可达50％的识别率。因而改进型lstm模型比常规型lstm模型具有更稳定的收敛性与更高的识别率。
[0081]
相比于常规型lstm模型，所提出的改进型lstm模型通过注意力机制直接对历史细
胞状态与候选细胞状态进行注意力加权分数的计算，其加权分数与历史输入以及当前输入无关，因而矩阵运算是在低维空间中完成的，具有较少的矩阵运算量。基于注意力机制的改进型lstm模型合并了常规型lstm模型的遗忘门与输入控制门的功能，通过加权系数间的对偶关系可进一步减少计算复杂度。而在性能方面，基于注意力机制的改进型lstm模型具有更稳定的收敛性和更高的识别率。因为注意力机制中的注意力门是直接根据历史细胞状态与候选细胞状态进行加权分数的计算，而不是依赖当前输入与历史输出来间接计算两种细胞状态的权重系数。因而能够更有效评估历史细胞状态与候选细胞状态的相对信息量。所以基于注意力机制的改进型lstm模型可以在保证性能的前提下，减少模型计算的复杂度。