一种基于注意力的多尺度卷积语音情感识别方法及装置与流程

技术特征：
1.一种基于注意力的多尺度卷积语音情感识别方法，其特征在于，包括以下步骤：构建语音情感识别模型，其中，所述模型包括第一卷积神经网络层、两个由注意力层和第二卷积神经网络层组成的并行通道、第一全连接层、空间注意力层、第二全连接层和softmax分类器；将待识别语音对应的语谱图输入到训练好的所述语音情感识别模型中，使得所述第一卷积神经网络层对所述语谱图进行提取低层次的语音特征，得到第一特征图；将所述第一特征图分割为两个子特征图，将两个所述子特征图分别馈入到两个所述并行通道中，使得每个所述并行通道对其中一个子特征图进行并行的注意力加权处理和低层特征提取处理；将两个所述并行通道的处理结果输入所述第一全连接层，进行特征融合处理，得到第二特征图；将所述第二特征图输入所述空间注意力层，进行注意力加权处理；将所述空间注意力层的输出结果输入所述第二全连接层，进行特征降维处理；将所述第二全连接层的输出结果输入softmax分类器，得到待识别语音的情感分类结果。2.根据权利要求1所述的一种基于注意力的多尺度卷积语音情感识别方法，其特征在于，将所述第一特征图分割为两个子特征图，包括：设置参数α，将特征图以1
‑
α：α的比例进行通道上的分割，并对占比为
ɑ
的特征图进行平均池化的下采样处理；将两个并行通道的处理结果输入所述特征融合层之前，还包括：对占比为
ɑ
的特征图进行上采样处理。3.根据权利要求2所述的一种基于注意力的多尺度卷积语音情感识别方法，其特征在于：α＝0.8。4.根据权利要求1所述的一种基于注意力的多尺度卷积语音情感识别方法，其特征在于，所述对子特征图进行注意力加权处理，包括：将所子述特征图输入所述注意力层，得到新特征图；将所述新特征图与所述原子特征图相乘，得到注意力加权特征图。5.根据权利要求1所述的一种基于注意力的多尺度卷积语音情感识别方法，其特征在于：所述第二卷积神经网络层包括两个5
×
5的卷积层，两个卷积层后都连接一个2
×
2的最大池化层。6.根据权利要求1所述的一种基于注意力的多尺度卷积语音情感识别方法，其特征在于：所述第一卷积神经网络层包括5
×
5的卷积层和批标准化层。7.根据权利要求1所述的一种基于注意力的多尺度卷积语音情感识别方法，其特征在于，将所述第二特征图输入所述空间注意力层，进行注意力加权处理，包括：计算所述第二特征图的注意力分数：使用softmax信息选择机制，计算在给定任务相关的查询向量q和输入x下，选择第i个
输入信息的概率α
i
。8.根据权利要求1所述的一种基于注意力的多尺度卷积语音情感识别方法，其特征在于：所述第二全连接层中包括dropout层。9.一种基于注意力的多尺度卷积语音情感识别装置，其特征在于，包括：模型构建模块，用于构建语音情感识别模型，其中，所述模型包括第一卷积神经网络层、两个由注意力层和第二卷积神经网络层组成的并行通道、第一全连接层、空间注意力层、第二全连接层和softmax分类器；特征图提取模块，用于将待识别语音对应的语谱图输入到训练好的所述语音情感识别模型中，使得所述第一卷积神经网络层对所述语谱图进行提取低层次的语音特征，得到第一特征图；特征图分割模块，用于将所述第一特征图分割为两个子特征图，将两个所述子特征图分别馈入到两个所述并行通道中，使得每个所述并行通道对其中一个子特征图进行并行的注意力加权处理和低层特征提取处理；特征图融合模块，用于将两个所述并行通道的处理结果输入所述第一全连接层，进行特征融合处理，得到第二特征图；注意力加权模块，用于将所述第二特征图输入所述空间注意力层，进行注意力加权处理；特征降维模块，用于将所述空间注意力层的输出结果输入所述第二全连接层，进行特征降维处理；情感分类结果输出模块，用于将所述第二全连接层的输出结果输入softmax分类器，得到待识别语音的情感分类结果。

技术总结
本发明涉及一种基于注意力的多尺度卷积语音情感识别方法及装置。本发明所述的一种基于注意力的多尺度卷积语音情感识别方法包括：构建语音情感识别模型，其中，所述模型包括第一卷积神经网络层、两个由注意力层和第二卷积神经网络层组成的并行通道、第一全连接层、空间注意力层、第二全连接层和softmax分类器；将待识别语音对应的语谱图输入到训练好的所述语音情感识别模型中，得到待识别语音的情感分类结果。本发明所述的一种基于注意力的多尺度卷积语音情感识别方法在深度学习神经网络中嵌入两个并行的通道注意力机制以及融合通道的空间注意力机制，增强有用信息并抑制对当前任务无用的信息，识别结果更为准确。识别结果更为准确。识别结果更为准确。


技术研发人员：唐小煜 陈嘉仪 程慧慧 郑梦云
受保护的技术使用者：华南师范大学
技术研发日：2021.08.11
技术公布日：2021/12/13