一种面部表情识别方法

1.本技术主要涉及表情识别技术领域，更具体地说是涉及一种面部表情识别方法。


背景技术：

2.在众多的非语言成分中，面部表情承载着情感的意义，是人际交流的主要信息渠道之一，在过去的几十年里，面部情绪的研究不仅在知觉和认知科学中得到了广泛的应用，在情感计算和计算机动画中也得到了广泛的关注，随着人工智能的发展，人机交互更好地促进了面部表情识别的研究。
3.目前，面部表情识别方法已较为成熟，但是，在面部表情特征提取方面，特征提取缺乏多样性，识别精度不高，稳定性较差。


技术实现要素：

4.本发明的目的在于克服现有技术中的不足，提供一种面部表情识别方法。
5.本发明提供了一种图像去雾方法，所述方法包括：
6.获取待识别图像；
7.对所述待识别图像进行预处理，获得预处理图像；
8.将所述预处理图像输入预先训练的识别模型，输出识别结果；
9.所述预先训练的识别模型包括第一提取单元、第二提取单元和识别单元，所述第一提取单元用于提取所述预处理图像的图像特征，所述第二提取单元用于提取所述第一提取单元提取的图像特征，所述识别单元用于识别所述第二提取单元提取的图像特征，所述第二提取单元包括深度卷积模块和卷积注意模块，所述卷积注意模块包括通道注意子模块和空间注意子模块。
10.进一步的，所述待识别图像的预处理包括对待识别图像进行随机变换，所述随机变化包括对所述待识别图像进行随机旋转、放大、剪切变化和水平翻转。
11.进一步的，所述第一提取单元包括2个卷积层。
12.进一步的，所述深度卷积模块包括多个叠加的卷积块，所述卷积块包括深度卷积残差块和1个深度可分离卷积层。
13.进一步的，所述卷积块为4个。
14.进一步的，所述深度卷积残差块包括深度卷积块和1个1*1的卷积层；
15.进一步的，所述深度卷积块包括2个深度可分离卷积层和1个最大池化层组成。
16.进一步的，所述识别单元包括分类模块，所述分类模块包括1个3*3的卷积层、1个全局平均池化层和分类层。
17.进一步的，所述识别模型的训练包括：
18.获取历史数据集，基于历史数据集构建训练样本集；
19.利用训练样本集，对预先设立的深度卷积神经网络进行训练。
20.进一步的，所述深度卷积神经网络的损失函数为am-softmax分类函数。
21.与现有技术相比，本发明的有益效果为：在识别模型中引入卷积注意模块，从通道和空间维度，提取图像特征，提高了识别的精准度；同时，在识别模型中引入损失函数am-softmax，提高了识别的精准度。
附图说明
22.图1是本发明实施例面部表情识别方法识别模型结构示意图。
具体实施方式
23.下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
24.如图1所示，本发明提供了一种面部表情识别方法，具体包括：
25.获取历史数据集，基于历史数据集构建训练样本集，利用训练样本集，基于深度卷积神经网络(dnn)构建识别模型，深度卷积神经网络的损失函数为am-softmax分类函数。
26.识别模型包括第一提取单元、第二提取单元和识别单元，第一提取单元用于提取所述预处理图像的图像特征，第二提取单元用于提取第一提取单元提取的图像特征，识别单元用于识别第二提取单元提取的图像特征。
27.第一提取单元包括2个叠加的卷积层，卷积层用于提取图像的图像特征，卷积过程中，利用卷积层得出的输出特征映射y
p
表示为：
[0028][0029]
用卷积核w
p，1
,
…
,w
p，d
分别对输入特征映射x1,
…
,xd进行卷积，然后将卷积结果相加，并加上一个标量偏置b，再经过非线性激活函数后得到输出特征映射y
p
，非线性激活函数一般用relu函数。
[0030]
第二提取单元包括深度卷积模块和卷积注意模块，第二提取单元每层后需要添加批归一化(batch normalization)和relu激活函数，其中，批量归一化层的作用是让数据归一化到一定范围内，减少数据的大幅波动，提高网络的泛化能力。
[0031]
批归一化层按照每个训练批次对上一层传入的数据进行归一化处理，将每个批次中的传入的样本数据归一化为标准正态分布(均值为0，方差为1)，假设批处理(mini-batch)的传入数据x为：b＝{x
i，...，m
}，则经过批归一化后的响应为：yi＝bn
γ，β
(xi)；
[0032]
批归一化层对单位批次的传入数据的计算具体步骤如下：
[0033]
(1)计算每一个批次传入的样本数据的均值：
[0034][0035]
其中m指的是单位批次传入的样本数据的数量，xi为单位批次传入的样本数据；
[0036]
(2)计算每一个批次传入的样本数据的方差：
[0037][0038]
其中μb为单位批次的样本数据均值；
[0039]
(3)使用第一步和第二部计算求得的均值与方差对此批次的传入的样本数据进行归一化处理，获得0-1分布：
[0040][0041]
其中为单位批次的样本数据的方差，ε是为了避免除数为零而添加的一个极小的正数ε；
[0042]
(4)尺度变换和偏移：将归一化的数据乘以一个参数γ用以尺度变换，在加上数值为β的偏移量，得到单位批次输入的样本数据的输出为：
[0043][0044]
其中参数γ是尺度因子，参数β是偏移因子，这两个参数都是神经网络在训练过程中自我学习得出的。
[0045]
深度卷积模块用于对图像进行深层次提取，深度卷积模块包括4个叠加的卷积块，卷积块包括深度卷积残差块和1个深度可分离卷积层，深度卷积残差块包括深度卷积块和1个1*1的卷积层，深度卷积块包括2个深度可分离卷积层和1个最大池化层组成，4个叠加的卷积块中的深度可分离卷积层卷积核的数目分别为16、32、64、128。
[0046]
深度可分离卷积分两步完成卷积：深度卷积(depthwise conv)和一个1
×
1的卷积(pointwise conv)，深度卷积对每个通道进行卷积，1
×
1的卷积为1*1的卷积核，使用深度可分离卷积可以大大减少模型的参数量，较少训练时间。
[0047]
深度卷积模块后构建有卷积注意模块，为了强调或选择输入图片的重要信息并且抑制一些无关的细节信息，卷积注意模块包括通道注意子模块和空间注意子模块，卷积注意模块依次沿着通道和空间维度对给定的图像特征图计算注意力图，然后再将输入的图像特征图与注意力图相乘以进行自适应特征求精，从而提高模型的特征表达能力。
[0048]
从深度卷积模块输出的特征图为为f∈rc×h×w(即，c代表通道数，h代表特征地图的高度，w代表特征地图的宽度),卷积注意模块中的通道注意子模块和空间注意子模块对f进行如下处理：
[0049][0050][0051]
其中，表示逐元素乘法，mc和ms分别是一维通道注意力图和二维空间注意力图，f
″
是最终的精炼输出，卷积注意模块(cbam)使得注意模块可以同时应用于通道维度和空间维度。
[0052]
识别单元包括分类模块，分类模块包括1个3*3的卷积层、1个全局平均池化层和分类层。
[0053]
具体识别方法操作如下：
[0054]
获取待识别图像，为了增加训练的数据量，提高模型的泛化能力，通过一系列随机变换对图像进行预处理，具体操作将图片随机地旋转，放大，剪切变换，水平翻转，像素填充等达到扩充数据集的目的；
[0055]
将预处理后的图像输入训练好的识别模型；
[0056]
输出识别结果。
[0057]
实例分析：
[0058]
实验环境为windows10 64bit操作系统，cpu为intel i7-8700，gpu为nvidia geforce rtx 2070，内存为16gb，实验基于深度学习框架keras上实现，实验的开发语言为python。
[0059]
实验的超参数设置，批量设置为32，即每次训练向网络中输入32张图片；学习率设为α0＝10-4
，迭代次数设置为200，实施上述面部表情识别方法，使用fer2013公共数据集评估本发明面部表情识别方法的性能。
[0060]
本发明在fer2013公共数据集的准确率，相比于初始的dnn模型、vggnet、和liu等人提出的模型分别提高了2.2％、2％和2.1％的准确率，由此可知，在面部表情识别任务中，基于注意力机制dnn-cbam模型有效地提高表情的特征识别能力，进而提高识别率。
[0061]
模型准确率dnn69.3％dnn cbam70.5％dnn cbam am-softmax71.5％cnn svm loss(liu)69.4％vggnet69.5％
[0062]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0063]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0064]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0065]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0066]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。