一种基于注意力遮挡机制的表情识别方法

1.本发明涉及一种表情识别方法，尤其是一种基于注意力遮挡机制的表情识别方法。


背景技术：

2.目前，面部表情识别（facial expression recognition）已应用于刑事审讯、心理咨询、教育及挖掘销售客户等多个领域。现有面部表情识别方法是采用残差网络（resnet_layer）或基于注意力网络模型（cbam_layer）对图像进行识别，然而由于输入图像能用于处理表情识别的部分只有如眼睛，嘴角等特征，脸部的绝大多数信息为冗余信息，因此，现有模型可能会陷入过拟合，导致在某些手部等遮挡情况下识别失效，即不能有效的精细识别分类。


技术实现要素：

3.本发明是为了解决现有技术所存在的上述技术问题，提供一种基于注意力遮挡机制的表情识别方法。
4.本发明的技术解决方案是：一种基于注意力遮挡机制的表情识别方法，是将待识别图像输入至经过微调训练的网络模型中进行识别，所述经过微调训练的网络模型依次按照如下步骤构建而成：步骤1：图像预处理将数据集图像分为训练集及测试集，对训练集图像进行增广处理，得到增广训练集；步骤2：建立网络模型并初始化，所述网络模型由四组交替设置的残差层和注意力层、记事本亲和字典及全连接层构成；步骤3：将增广训练集图像expression_ patches输入至网络模型中进行训练步骤3.1约定变量epoch为网络模型循环训练次数，初始为0；步骤3.2将图像expression_ patches依次输入至四组交替设置的残差层和注意力层，每组按照如下步骤进行：步骤3.2.1输入图像进入残差层：首先将图像依次通过一个3*3大小的滤波器卷积层conv1、批量归一化bn1、激活层relu1、3*3大小的滤波器卷积层conv2、批量归一化层bn2，将处理结果和图像数据做残差连接，最终过激活层relu2，得到图像特征向量i1；步骤3.2.2输入图像特征向量i1进入注意力层：首先将图像特征向量i1通过通道注意模块，得到图像特征向量i2，然后将图像特征向量i2与图像特征向量i1做残差连接后过激活函数层relu3，得到图像特征向量i3，再将图像特征向量i3通过空间注意模块，得到图像特征向量i4，将图像特征向量i4与图像特征向量i3做残差连接后，过激活函数层relu4，得到图像特征向量i5；步骤3.3输入各层网络得到的图像特征向量进入全连接层，得到分类类别，所述分
类类别用数字表示；步骤3.4将步骤3.2所得到的图像特征向量保存至记事本亲和字典中，计算所有图像特征向量维度之间的记事本亲和损失，并将记事本亲和损失除以图像特征向量之间的方差，其商记为la；步骤3.5采用l1 loss计算方法求取全连接层的输出结果和数据集相应标签的交叉熵损失lc，置epoch =epoch 1，当epoch 达到设定次数，网络停止训练，保存训练模型model.pt文件并进入步骤4，否则将loss=lc la值反向传播，通过adam优化算法更新参数，进入步骤3.1，循环重复训练；步骤4：将增广训练集图像expression_ patches输入至训练模型model.pt中，得到生成注意力部分图像并对生成的注意力部分进行遮挡处理，形成遮挡注意力部分图像，以遮挡注意力部分图像及相应标签形成新的数据对，构成新的训练集；步骤5：将新的训练集图像输入至网络模型中进行训练步骤5.1约定变量epoch为网络模型model循环训练的次数，初始为0；步骤5.2 将新的训练集图像依次输入至四组交替设置的残差层和注意力层，每组按照如下步骤进行：步骤5.3.1输入图像进入残差层：首先将图像依次通过一个3*3大小的滤波器卷积层conv1、批量归一化bn1、激活层relu1、3*3大小的滤波器卷积层conv2、批量归一化层bn2，将处理结果和图像数据做残差连接，最终过激活层relu2，得到图像特征向量i1＇；步骤5.3.2输入图像特征向量i1＇进入注意力层：首先将图像特征向量i1＇通过通道注意模块，得到图像特征向量i2＇，然后将图像特征向量i2＇与图像特征向量i1＇做残差连接后过激活函数层relu3，得到图像特征向量i3＇，再将图像特征向量i3＇通过空间注意模块，得到图像特征向量i4＇，将图像特征向量i4与图像特征向量i3＇做残差连接后，过激活函数层relu4，得到图像特征向量i5＇；步骤5.3.3输入各层网络得到的图像特征向量进入全连接层，得到最终分类类别classification，所述最终分类类别classification用数字表示；步骤5.4：通过l1 loss计算方法求取最终分类类别classification和数据对中相应标签的交叉熵损失crossentropyloss，记为loss，置epoch =epoch 1，当epoch 达到设定次数，网络停止训练，并保存训练模型model.pt＇文件，即得到经过微调训练的网络模型，否则将loss值反向传播，通过adam优化算法更新参数，进入步骤5.1，循环重复训练。
5.本发明采用了训练-微调的架构，通过注意力回馈-遮挡模式实现对模型注意力的再训练。在训练阶段，基于模型在训练过程中不同特征向量之间具有很强的关联性，对网络处理后的特征向量进行聚类同时使用记事本亲和字典缓存，使用记事本亲和损失和交叉熵损失去辅助训练表情识别网络模型；在微调阶段，使用遮挡注意力部分微调法去提升表情识别网络的性能。本发明加强了网络的泛化性，克服了现有技术所存在的过拟合、表情特征向量聚集、遮挡图像识别失效等问题，使得表情识别具有更高的准确率。
附图说明
6.图1 是本发明实施例网络模型结构图。
7.图2是本发明实施例交替设置的残差层和注意力层结构示意图。
具体实施方式
8.本发明的一种基于注意力遮挡机制的表情识别方法，是将待识别图像输入至经过微调训练的网络模型中进行识别，所述经过微调训练的网络模型依次按照如下步骤构建而成：步骤1：图像预处理分别将数据集（raf-db，affectnet-7或affectnet-8）的原始图像分为训练集及测试集，将训练集图像对其并切成224
×
224像素大小的块，通过随机横向翻转、随机在-20到20之间的旋转、随机裁剪等增广处理，得到增广训练集；步骤2：建立如图1所示的网络模型并初始化，所述网络模型由四组交替设置的残差层（resnet_layer）和注意力层（cbam_layer）、记事本亲和字典（memo_affinity_buff）及全连接层（fully_connected_layer）构成；步骤3：将增广训练集图像expression_ patches输入至网络模型中进行训练步骤3.1约定变量epoch为网络模型循环训练次数，初始为0；步骤3.2将图像expression_ patches依次输入至四组交替设置的残差层和注意力层，每组均如图2所示按照如下步骤进行：步骤3.2.1输入图像进入残差层：首先将图像依次通过一个3*3大小的滤波器卷积层conv1、批量归一化bn1、激活层relu1、3*3大小的滤波器卷积层conv2、批量归一化层bn2，将处理结果和图像数据做残差连接，最终过激活层relu2，得到图像特征向量i1；步骤3.2.2输入图像特征向量i1进入注意力层：首先将图像特征向量i1通过通道注意模块，得到图像特征向量i2，然后将图像特征向量i2与图像特征向量i1做残差连接后过激活函数层relu3，得到图像特征向量i3，再将图像特征向量i3通过空间注意模块，得到图像特征向量i4，将图像特征向量i4与图像特征向量i3做残差连接后，过激活函数层relu4，得到图像特征向量i5；步骤3.3输入各层网络得到的图像特征向量进入全连接层，得到分类类别，所述分类类别用数字表示，不同的数字对应于一个全新的类别；步骤3.4将步骤3.2所得到的图像特征向量保存至记事本亲和字典中，计算所有图像特征向量维度之间的记事本亲和损失，并将记事本亲和损失除以图像特征向量之间的方差，其商记为la；步骤3.5采用l1 loss计算方法求取全连接层的输出结果和数据集相应标签的交叉熵损失lc，置epoch =epoch 1，当epoch 达到设定次数（300次），网络停止训练，保存训练模型model.pt文件并进入步骤4，否则将loss=lc la值反向传播，通过adam优化算法更新参数，进入步骤3.1，循环重复训练；步骤4：将增广训练集图像expression_ patches输入至训练模型model.pt中，得到生成注意力部分（attention_part）图像并对生成的注意力部分进行遮挡处理，形成遮挡注意力部分图像（被遮挡图像），以遮挡注意力部分图像及相应标签形成新的数据对，构成新的训练集（attention_blind_data_pair）；步骤5：将新的训练集图像输入至如图1所示网络模型中进行训练步骤5.1约定变量epoch为网络模型model循环训练的次数，初始为0；步骤5.2 将新的训练集图像依次输入至四组交替设置的残差层和注意力层，每组
均如图2所示按照如下步骤进行：步骤5.3.1输入图像进入残差层：首先将图像依次通过一个3*3大小的滤波器卷积层conv1、批量归一化bn1、激活层relu1、3*3大小的滤波器卷积层conv2、批量归一化层bn2，将处理结果和图像数据做残差连接，最终过激活层relu2，得到图像特征向量i1＇；步骤5.3.2输入图像特征向量i1＇进入注意力层：首先将图像特征向量i1＇通过通道注意模块，得到图像特征向量i2＇，然后将图像特征向量i2＇与图像特征向量i1＇做残差连接后过激活函数层relu3，得到图像特征向量i3＇，再将图像特征向量i3＇通过空间注意模块，得到图像特征向量i4＇，将图像特征向量i4与图像特征向量i3＇做残差连接后，过激活函数层relu4，得到图像特征向量i5＇；步骤5.3.3输入各层网络得到的图像特征向量进入全连接层，得到最终分类类别classification，所述最终分类类别classification用数字表示，不同的数字对应于一个全新的类别；步骤5.4：通过l1 loss计算方法求取最终分类类别classification和数据对中相应标签的交叉熵损失crossentropyloss，记为loss，置epoch =epoch 1，当epoch 达到设定次数（100次），网络停止训练，并保存训练模型model.pt文件，及得到经过微调训练的网络模型，否则将loss值反向传播，通过adam优化算法更新参数，进入步骤5.1，循环重复训练。
9.实验：将数据集（raf-db，affectnet-7和affectnet-8）的测试集图像分别作为待识别图像输入至经过微调训练的网络模型中进行识别，得到识别结果，并保存识别准确率。
10.在raf-db测试集上，本发明实施例与现有技术识别准确率对比如表1。
11.在affectnet-7测试集上，本发明实施例与现有技术识别准确率对比如表2。
12.在affectnet-8测试集上，本发明实施例与现有技术识别准确率对比如表3。
13.从对比结果可以看出，本发明使在表情识别性能上确实优于同类型算法。
14.同时，在raf-db测试集上对于aar、mal、maft进行了消融实验，结果见表4。
15.结果表明本发明实施例各个模块的有效性。