基于互补特征学习框架的语音情感识别方法及装置与流程

1.本发明涉及语音情感识别领域，特别是涉及一种基于互补特征学习框架的语音情感识别方法及装置。


背景技术：

2.深度学习是机器学习领域的一个部分，它模拟人脑进行学习和解释数据，在图像、声音和文本方面都有广泛的研究。相较于机器学习，深度学习擅于使用更多的数据或是更好的算法来提高学习的结果。目前，传统的深度学习框架主要分为单一特征和融合特征框架。单一特征是框架利用最传统的训练方式，而特征融合框架是指独立提取不同层次或分支的特征，在通过不同的融合方案后共同进行训练。与只使用一种特征的深度学习任务相比，融合特征的深度学习方法更能提高任务性能。然而，现有的研究都只注重融合在特征表达方面的优势发挥，却忽视了独立提取特征在情感识别中的表达方式不同，在一个softmax层内进行融合训练可能存在干扰的。基于此考虑，有研究者也提出了一种能够充分享手工制作特征优势和深度学习模型强大学习能力的独立训练框架，用不同的损失函数反馈来优化不同的模型，在深度学习的语音情感识别任务中性能有了很大的提升。
3.但独立训练的方法也有一定的不足：
4.1、没有充分考虑不同特征之间的相关性，忽视了共同训练方法的优势互补的特点，导致情绪信息的丢失。
5.2、独立训练通过简单的连接操作来实现不同通道的聚合，但这可能不是最好的选择。


技术实现要素：

6.基于此，本发明的目的在于，提供一种基于互补特征学习框架的语音情感识别方法及装置、智能设备、存储介质，使用互补特征学习框架完成梅尔频率倒谱系数和手工制作特征的学习，方法综合了独立训练和融合训练提取特征的优势。
7.第一方面，本发明提供一种基于互补特征学习框架的语音情感识别方法，包括以下步骤：
8.构建互补特征学习框架，所述框架包括相互并行的第一独立特征学习通道、第二独立特征学习通道和融合特征学习通道，所述框架还包括注意力融合模块；
9.获取待识别语音的mfcc系数和手工制作特征；
10.将所述mfcc系数输入所述第一独立特征学习通道进行特征提取，得到特征f1；
11.将所述手工制作特征输入所述第二独立特征学习通道进行特征提取，得到特征f2；
12.将所述mfcc系数和所述手工制作特征同时输入所述融合特征学习通道进行特征提取，得到特征f3；
13.将所述特征f1、所述特征f2和所述特征f3输入所述注意力融合模块进行特征提取
和细化，得到分类特征；
14.对所述分类特征进行分类，得到最终的情感识别与分类结果。
15.进一步地，将所述mfcc系数输入所述第一独立特征学习通道进行特征提取，得到特征f1，包括：
16.将所述mfcc系数输入两层二维卷积层中进行特征提取，得到mfcc特征图，其中，每个卷积层后连接一个归一化层；
17.所述mfcc特征图进行展平处理后，使用全连接层进行特征提取，使用softmax层输出，得到特征f1。
18.进一步地，将所述手工制作特征输入所述第二独立特征学习通道进行特征提取，得到特征f2，包括：
19.将所述手工制作特征输入三层全连接层中进行特征提取，得到手工制作特征图，其中，每个全连接层后面连接一个归一化层；
20.将所述手工制作特征图使用softmax输出，得到特征f2。
21.进一步地，将所述mfcc系数和所述手工制作特征同时输入所述融合特征学习通道进行特征提取，得到特征f3，包括：
22.对所述手工制作特征进行零填充后进行一维卷积处理，对所述mfcc系数进行一维卷积处理，将所述经过一维卷积处理后的手工制作特征和mfcc特征进行拼接得到特征g(x)；
23.对所述特征g(x)沿信道轴进行两层一维卷积，得到特征g1(x)；
24.将特征g(x)进行转置，沿空间轴进行两层一维卷积，得到特征g2(x)；
25.将所述特征g(x)、所述特征g1(x)和所述特征g2(x)进行拼接和展平处理；
26.使用全连接层对所述拼接和展平处理的结果进行特征提取，使用softmax层输出，得到特征f3。
27.进一步地，将所述特征f1、所述特征f2和所述特征f3输入所述注意力融合模块进行特征提取和细化，得到分类特征，包括：
28.将所述特征f1、特征f2和特征f3拼接后展平，并进行逐点卷积得到聚合特征f(x)；
29.计算所述聚合特征f(x)的注意融合权值w(x)，将所述聚合特征f(x)和所述注意融合权值w(x)相乘，得到分类特征。
30.进一步地，所述计算所述聚合特征f(x)的注意融合权值w(x)，包括：
31.对所述聚合特征f(x)进行全局平均池化处理和归一化处理，得到通道维度的描述子和符号维度描述子；
32.将所述通道维度的描述子和所述描述子与f(x)相乘，进行全局平均池化处理，生成信道符号的注意融合权值；
33.重复前述步骤连续进行三次，得到最终的权值w(x)。
34.进一步地，对所述分类特征进行分类，得到最终的情感识别与分类结果，包括：
35.使用svm对所述分类特征进行分类，得到最终的情感识别与分类结果。
36.进一步地，所述获取待识别语音的mfcc系数，包括：
37.对待识别的原始语音信号进行分帧、加窗、傅里叶变换后堆叠起来，通过梅尔尺度滤波器组；
38.将每个梅尔尺度滤波器的对数能量带入离散余弦变换，得到mfcc系数。
39.进一步地，所述获取待识别语音的手工制作特征，包括：
40.使用opensmile工具箱提取对待识别的原始语音信号进行处理，得到待识别语音的384维的opensmile特征。
41.第二方面，本发明提供一种基于互补特征学习框架的语音情感识别装置，包括：
42.学习框架构建模块，用于构建互补特征学习框架，所述框架包括相互并行的第一独立特征学习通道、第二独立特征学习通道和融合特征学习通道，所述框架还包括注意力融合模块；
43.语音信号处理模块，用于获取待识别语音的mfcc系数和手工制作特征；
44.mfcc特征提取模块，用于将所述mfcc系数输入所述第一独立特征学习通道进行特征提取，得到特征f1；
45.手工制作特征提取模块，用于将所述手工制作特征输入所述第二独立特征学习通道进行特征提取，得到特征f2；
46.融合特征提取模块，用于将所述mfcc系数和所述手工制作特征同时输入所述融合特征学习通道进行特征提取，得到特征f3；
47.分类特征获取模块，用于将所述特征f1、所述特征f2和所述特征f3输入所述注意力融合模块进行特征提取和细化，得到分类特征；
48.分类模块，用于对所述分类特征进行分类，得到最终的情感识别与分类结果。
49.为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
50.图1为本发明提供的一种基于互补特征学习框架的语音情感识别方法的流程示意图；
51.图2为本发明提供的一种基于互补特征学习框架的语音情感识别方法所使用的互补特征学习框架的结构示意图；
52.图3为本发明提供的一种基于互补特征学习框架的语音情感识别方法所使用的互补特征学习框架的afb注意力模块的结构和流程示意图；
53.图4为本发明提供的一种基于互补特征学习框架的语音情感识别方法在三个公共的语料库上的语音情感识别任务结果与其他识别方法的结果对比示意图；
54.图5为本发明提供的一种基于互补特征学习框架的语音情感识别方法在三个公共的语料库上的语音情感识别任务结果与不使用afb注意力模块方法的结果对比示意图；
55.图6为本发明提供的一种基于互补特征学习框架的语音情感识别装置的结构示意图。
具体实施方式
56.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施例方式作进一步地详细描述。
57.应当明确，所描述的实施例仅仅是本技术实施例一部分实施例，而不是全部的实施例。基于本技术实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下
所获得的所有其它实施例，都属于本技术实施例保护的范围。
58.在本技术实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术实施例。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
59.下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。在本技术的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
60.此外，在本技术的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
61.语音情感识别是指由计算机自动识别输入语音的情感状态。一般来说，不同语言声调表情的语言信号在其时间构造、振幅构造、基频构造和共振峰构造等特征方面也有着不同的构造特点和分布规律。由此，只要把各种具体模式的语言声调表情在时间构造、振幅构造、基频构造和共振峰构造等特征方面的构造特点和分布规律进行测算和分析，并以此为基础或模板，就可以识别出所有语言声调中所隐含的情感内容。
62.如图1所示，本发明提供的一种基于互补特征学习框架的语音情感识别方法包括以下步骤：
63.s1：构建互补特征学习框架，所述框架包括相互并行的第一独立特征学习通道、第二独立特征学习通道和融合特征学习通道，所述框架还包括注意力融合模块。
64.如图2所示，在一个优选的实施例中，本发明所使用的互补特征学习框架包括：
65.第一独立特征学习通道：由卷积层、全连接层和归一化层组成的cnn(卷积神经网络)模型；其中，每个卷积层后连接一个归一化层。
66.第二独立特征学习通道：由3个全连接层组成的dnn(深度神经网络)模型；其中，每个全连接层后面连接一个归一化层。
67.融合特征学习通道：由卷积层、拼接层组成。
68.注意力融合模块：由池化层、归一化层、卷积层组成。
69.以上3条特征学习通道分别提取得到不同的特征，输入注意力融合模块进行下一步的特征融合和提取。
70.s2：获取待识别语音的mfcc系数和手工制作特征。
71.其中，mfcc系数(梅尔频率倒谱系数)是指利用与频率成非线性的对应关系计算得到的频谱特征。在一个具体的实施例中，获取mfcc系数的步骤为：
72.对待识别的原始语音信号进行分帧、加窗、傅里叶变换后堆叠起来，通过梅尔尺度滤波器组；
73.将每个梅尔尺度滤波器的对数能量带入离散余弦变换，得到mfcc系数。
74.区别于深度学习特征，手工制作特征(hand crafted features)是指人为设计的
特征，即直接设计特征本身，根据仿照人类视觉的特点对什么样的特征敏感，什么样的特征不敏感，提取图像中有区分能力的特征，因此提取出来的特征每一维往往都有具体的物理含义。
75.在一个具体的实施例中，获取手工制作特征的步骤为：使用opensmile工具箱提取对待识别的原始语音信号进行处理，得到待识别语音的384维的opensmile特征。
76.s3：将所述mfcc系数输入所述第一独立特征学习通道进行特征提取，得到特征f1。
77.基于图2所示的互补特征学习框架，在一个具体的实施例中，提取得到特征f1的具体步骤包括：
78.s301：将所述mfcc系数输入两层二维卷积层中进行特征提取，得到mfcc特征图，其中，每个卷积层后连接一个归一化层。连接归一化层可减少内部变量漂移，加快训练过程。
79.s302：将所述mfcc特征图进行展平处理后，使用全连接层进行特征提取，使用softmax层输出，得到特征f1。
80.s4：将所述手工制作特征输入所述第二独立特征学习通道进行特征提取，得到特征f2。
81.基于图2所示的互补特征学习框架，在一个具体的实施例中，提取得到特征f2的具体步骤包括：
82.s401：将所述手工制作特征输入三层全连接层中进行特征提取，得到手工制作特征图，其中，每个全连接层后面连接一个归一化层。
83.s402：将所述手工制作特征图使用softmax输出，得到特征f2。
84.s5：将所述mfcc系数和所述手工制作特征同时输入所述融合特征学习通道进行特征提取，得到特征f3。
85.基于图2所示的互补特征学习框架，在一个优选的实施例中，提取得到特征f3的具体步骤包括：
86.s501：对所述手工制作特征进行零填充后进行一维卷积处理，对所述mfcc系数进行一维卷积处理，将所述经过一维卷积处理后的手工制作特征和mfcc特征进行拼接得到特征g(x)；
87.s502：对所述特征g(x)沿信道轴进行两层一维卷积，得到特征g1(x)；
88.s503：将特征g(x)进行转置，沿空间轴进行两层一维卷积，得到特征g2(x)；
89.s504：将所述特征g(x)、所述特征g1(x)和所述特征g2(x)进行拼接和展平处理；
90.s505：使用全连接层对所述拼接和展平处理的结果进行特征提取，使用softmax层输出，得到特征f3。
91.s6：将所述特征f1、所述特征f2和所述特征f3输入所述注意力融合模块进行特征提取和细化，得到分类特征。
92.在一个优选的实施例中，如图3所示，本发明所使用的注意力融合模块为afb注意力模块，提取分类特征的具体步骤包括：
93.s601：将所述特征f1、所述特征f2和所述特征f3拼接后展平，并进行逐点卷积得到聚合特征f(x)。
94.s602：对所述聚合特征f(x)进行全局平均池化处理和归一化处理，得到通道维度的描述子和符号维度描述子。
95.s603：将所述通道维度描述子和所述符号维度描述子与f(x)相乘，进行全局平均池化处理，生成信道符号的注意融合权值。
96.s604：重复步骤s602
‑
s603三次，得到最终的权值w(x)。
97.s605：将所述聚合特征f(x)和所述注意融合权值w(x)相乘，得到分类特征。
98.s7：对所述分类特征进行分类，得到最终的情感识别与分类结果。
99.在一个具体的实施例中，使用svm对所述分类特征进行分类，得到最终的情感识别与分类结果。
100.借助以往的独立训练方案，本技术实施例对不同的特征学习采用独立的损失反馈来进行深度学习的迭代优化。在两个独立的特征提取通道中，选取的mfcc和手工制作特征(hcf)分别作为cnn和dnn模型的输入。在cnn模型的设计上，采用二维卷积块挖掘mfcc在时间和频率域内的空间关系。该块由卷积层、最大池化层和批处理归一化层组成，并在生成的基于mfcc的独立特征表示中加入全连接层获得更多的有用信息。将独立cnn模型的输出记为f1。同时，dnn模型的体系结构由三个全连接层组成，每个全连接层后面连接一层归一化层。将独立的dnn模型输出记为f2。
101.与独立训练方法不同的是，为了充分利用所选特征的潜在优势，本发明使用的互补特征学习框架增加了第三条融合特征学习通道来学习两个不同特征间的交互特征。具体的，将mfcc和hcf结合到深度融合特征提取通道中。与二维cnn和dnn模型不同的是，为了生成更多的互补特征，分别采用了一维卷积过程来获得mfcc和hcf的高抽象特征表示。随后，将得到的特征图进行拼接。
102.紧接着，本发明使用一维卷积来从通道和空间上感知拼接后特征图的上下文。在信道相互作用卷积过程中，会沿信道轴进行卷积，而在空间卷积中，首先将拼接的特征图进行转置，沿着空间轴进行卷积过程得到空间感知特征。
103.将得到的从通道和空间上学习得到的特征和原始拼接的特征再拼接后使用全连接层进行学习，得到mfcc和hcf的交互特征f3。
104.基于如图2和图3所示的互补特征学习框架，在一个优选的实施例中，本发明提供的一种基于互补特征学习框架的语音情感识别方法具体包括如下步骤：
105.s11：对一个原始语音信号进行分帧、加窗、傅里叶变换后堆叠起来，再通过梅尔尺度滤波器组，再将每个滤波器的对数能量带入离散余弦变换得到mfcc系数。并使用opensmile工具箱提取每个语音文件的384维的opensmile特征。
106.s12：将得到的mfcc系数送入简单的两层二维卷积层中进行特征提取，每个卷积层后连接一个归一化层，减少内部变量漂移，加快训练过程。将得到的特征图展平后，使用全连接层和softmax层得到充分的特征f1。
107.s13：将得到的opensmile手工提取特征送入三层简单的全连接层中提取特征，使用softmax层得到f2，每个全连接层后面连接一个归一化层。
108.s14：将得到的opensmile首先进行零填充，并和mfcc特征单独进行一维的卷积提取特征。之后将二者的特征进行拼接得到g(x)。紧接着，会沿信道轴进行两层的一维卷积得到g1(x)，并将g(x)进行转置，沿空间轴进行两层一维卷积g2(x)。
109.之后将得到的g1(x)、g2(x)和g(x)进行拼接和展平，并使用四层全连接层进行特征提取，每个全连接层后面连接一层归一化层，并使用softmax层得到f3。
110.s15：将得到的f1,f2,f3拼接后展平，并进行逐点卷积得到聚合结果为f(x)。
111.接着分别从通道和符号维度对f(x)进行全局平均池化，再使用sigmoid函数进行归一化，得到通道和符号维度的描述子，并将两个描述子与f(x)相乘后全局平均池化生成信道符号的注意融合权值。此过程连续进行三次，得到最终的权值w(x)。
112.最后利用跳跃连接对特征进行细化，尽可能保持提取的情感表征。具体来说，将f(x)和w(x)相乘的得到最终结果。
113.s16：最后使用svm得到最后的情感识别与分类结果。
114.本发明所使用的互补特征学习框架相比于传统的融合训练方法和独立训练方法能够获得更多的判别性特征，如图4所示，在三个公共的语料库上的语音情感识别任务上能够获得更好的性能。并且，本发明在不同通道输出的聚合方案上提出了一个新颖的特征注意力模块，能够有效的计算特征向量的描述子，使得语音情感识别任务具有更好的性能。
115.如图5所示，本发明在三个公共的语料库上做出了对比实验。其中，融合特征学习通道的建立能够为语音情感识别任务获取更多的有用信息；并且，使用afb模块来替代传统的拼接方法聚合不同通道的输出，在语音情感识别任务上具有更好的效果。
116.第二方面，如图6所示，与前述方法对应，本发明还提供一种基于互补特征学习框架的语音情感识别装置，包括：
117.学习框架构建模块，用于构建互补特征学习框架，所述框架包括相互并行的第一独立特征学习通道、第二独立特征学习通道和融合特征学习通道，所述框架还包括注意力融合模块；
118.语音信号处理模块，用于获取待识别语音的mfcc系数和手工制作特征；
119.mfcc特征提取模块，用于将所述mfcc系数输入所述第一独立特征学习通道进行特征提取，得到特征f1；
120.手工制作特征提取模块，用于将所述手工制作特征输入所述第二独立特征学习通道进行特征提取，得到特征f2；
121.融合特征提取模块，用于将所述mfcc系数和所述手工制作特征同时输入所述融合特征学习通道进行特征提取，得到特征f3；
122.分类特征获取模块，用于将所述特征f1、所述特征f2和所述特征f3输入所述注意力融合模块进行特征提取和细化，得到分类特征；
123.分类模块，用于对所述分类特征进行分类，得到最终的情感识别与分类结果。
124.优选的，mfcc特征提取模块包括：
125.卷积单元，用于将所述mfcc系数输入两层二维卷积层中进行特征提取，得到mfcc特征图，其中，每个卷积层后连接一个归一化层；
126.全连接单元，用于将所述mfcc特征图进行展平处理后，使用全连接层进行特征提取，使用softmax层输出，得到特征f1。
127.优选的，手工制作特征提取模块包括：
128.手工制作特征图获取单元，用于将所述手工制作特征输入三层全连接层中进行特征提取，得到手工制作特征图，其中，每个全连接层后面连接一个归一化层；
129.特征f2输出单元，用于将所述手工制作特征图使用softmax输出，得到特征f2。
130.优选的，融合特征提取模块包括：
131.卷积拼接单元，用于对所述手工制作特征进行零填充后进行一维卷积处理，对所述mfcc系数进行一维卷积处理，将所述经过一维卷积处理后的手工制作特征和mfcc特征进行拼接得到特征g(x)；
132.信道轴卷积单元，用于对所述特征g(x)沿信道轴进行两层一维卷积，得到特征g1(x)；
133.空间轴卷积单元，用于将特征g(x)进行转置，沿空间轴进行两层一维卷积，得到特征g2(x)；
134.拼接展平单元，用于将所述特征g(x)、所述特征g1(x)和所述特征g2(x)进行拼接和展平处理；
135.特征f3输出单元，用于使用全连接层对所述拼接和展平处理的结果进行特征提取，使用softmax层输出，得到特征f3。
136.优选的，分类特征获取模块包括：
137.聚合特征获取单元，用于将所述特征f1、所述特征f2和所述特征f3拼接后展平，并进行逐点卷积得到聚合特征f(x)；
138.分类特征获取单元，用于计算所述聚合特征f(x)的注意融合权值w(x)，将所述聚合特征f(x)和所述注意融合权值w(x)相乘，得到分类特征。
139.优选的，分类特征获取模块还包括：
140.描述子获取单元，用于对所述聚合特征f(x)进行全局平均池化处理和归一化处理，得到通道维度的描述子和符号维度描述子；
141.注意融合权值计算单元，用于将所述通道维度描述子和所述符号维度描述子与f(x)相乘，进行全局平均池化处理，生成信道符号的注意融合权值；
142.重复执行单元，用于重复前述步骤连续进行三次，得到最终的权值w(x)。
143.优选的，分类模块包括：
144.svm分类单元，用于使用svm对所述分类特征进行分类，得到最终的情感识别与分类结果。
145.优选的，语音信号处理模块包括：
146.mfcc系数获取单元，用于对待识别的原始语音信号进行分帧、加窗、傅里叶变换后堆叠起来，通过梅尔尺度滤波器组；并将每个梅尔尺度滤波器的对数能量带入离散余弦变换，得到mfcc系数；
147.手工制作特征获取单元，用于使用opensmile工具箱提取对待识别的原始语音信号进行处理，得到待识别语音的384维的opensmile特征。
148.本发明提供的一种基于互补特征学习框架的语音情感识别方法及装置，针对不同的特征提取模型，设计相对独立的反馈机制，这有利于学习特征间的独立信息，减少模型的相互干扰，提高深度模型的特征表达能力；同时，为了充分借助独立信息和互补信息的特征表征能力，并行设计不同特征的融合反馈机制，采用同一个反馈优化机制训练，并且最后与独立训练的两个结果一同再结合不同分类器进行分类。
149.因此，本发明提供的一种基于互补特征学习框架的语音情感识别方法及装置，可用在适合的深度学习多通道语音情感识别模型中，结合了独立训练和融合训练的特点，有利于学习不同特征之间的独立信息和交互信息，提高模型的特征表征能能力。
150.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。