一种基于标记分布学习的面部表情识别方法

1.本发明属于深度学习与面部表情识别技术领域，具体涉及一种基于标记分布学习的面部表情识别方法。


背景技术：

2.面部表情是人类表达情绪状态和意图的最自然、最有力、最普遍的信号之一，是人类沟通交流的重要手段。面部表情识别因其在现实世界应用中的部分重要性而受到越来越多的关注，例如人机交互、医疗保健、驾驶员疲劳检测等。面部表情的自动识别是机器学习领域内的热门研究方向，具有重要的理论研究意义和广泛的实际应用价值。早在二十世纪，ekman和friesen就根据跨文化研究定义了六种基本情绪：愤怒(anger)、厌恶(disgust)、恐惧(fear)、快乐(happiness)、悲伤(sadness)和惊讶(surprise)。轻蔑(contempt)随后被添加为基本情绪之一。在过去的几十年里，相当多的深度学习方法被应用于面部表情识别，这些方法多数使用单个或者某几个基本表情描述一张表情图像。近年来，研究表明真实世界的表情可能是模棱两可的，并且混合了多种基本表情。
3.基于标记分布学习的方法将多个不同强度的标签作为ground-truth来缓解标签模糊性的问题，很适合解决面部表情识别问题，并且获得了显著的效果。然而，由于大多数现有表情数据集都仅具有one-hot标签而不是标记分布，因此直接应用标记分布学习是不切实际的。一种方法是使用高斯函数为样本生成标记分布。已存的大多数方法将高斯函数中的标准差固定取值(如0.7,3等)，这会使得同类表情的标记分布相同，不能真实地表示出不同强度表情之间的差异。因此研究有效的标记分布生成方法为数据集生成更符合事实的标记分布显得尤为重要。


技术实现要素：

4.本发明公开了一种基于标记分布学习的面部表情识别方法，以提升基于深度学习的面部表情的识别性能。
5.本发明采用的技术方案为：
6.一种基于标记分布学习的面部表情识别方法，该方法包括下列步骤：
7.步骤1，构建面部表情图像数据集，并对面部表情图像数据集进行预处理：对图像数据集中的各图像进人脸检测与对齐处理，再归一化图像尺寸(例如224*224)，以与图像分类特征提取网络的输入相匹配，得到一幅图像样本，并为每个图像样本设置对应的面部表情标签；
8.步骤2，构建图像分类网络模型：在图像分类特征提取网络后依次连接一个全连接层和分类层，其中，全连接层的输出维度和表情类别数量相同，每个神经元均代表一个类，其输出为图像分类网络模型的输入图像(表情图像)属于各表情类别的可能性，即当前输入图像的表情类别概率，分类层将全连接层输出的表情类别概率归一化并使其符合高斯分布；
9.步骤3，基于一定数量的图像样本对图像分类网络模型进行网络参数训练，直到分类交叉熵损失变化量小于给定阈值时，执行步骤4；
10.步骤4，计算各图像样本的分类交叉熵损失，并将分类交叉熵损失值转换应用高斯函数计算获得对应表情图像的标记分布；
11.步骤5，以图像样本的标记分布作为图像样本的ground-truth标签，对步骤2构建的图像分类网络模型重新进行网络参数训练，训练时，以降低分类交叉熵损失和kl(相对熵)散度损失作为目标优化图像分类特征提取网络，即训练时，图像分类网络模型的损失为分类交叉熵与相对熵散度损失的加权和，当图像分类网络模型的损失的变化量小于给定阈值时停止，得到训练好的图像分类网络模型；
12.步骤6，对待识别人脸图像进行尺寸归一化，以匹配图像分类网络模型的输入，再将尺寸归一化后的待识别人脸图像输入训练好的图像分类网络模型，获取待识别人脸图像的面部表情识别结果：最大表情类别概率所对应的表情。
13.进一步的，对面部表情图像数据集进行预处理还包括：采用随机裁剪、随机水平翻转和随机擦除以避免过度拟合。
14.进一步的，图像分类特征提取网络可选取resnet18的第一层至倒数第二层，并在人脸识别数据集(例如ms-celeb-1m)上进行预训练。
15.进一步的，分类层输出的归一化后的表情类别概率为：其中，p
ij
表示归一化后的第i个输入图像属于类别j的概率，e表示自然底数，θk表示全连接层输出的各类别的概率，y表示类别数，θj表示全连接层输出的类别j的概率。
16.进一步的，步骤4中，将分类交叉熵损失值转换应用高斯函数计算获得对应表情图像的标记分布，具体为：
17.将分类交叉熵损失值转化成为标准差：其中，α表示预置的权重，lossi表示第i个输入图像的分类交叉熵损失值；
18.利用高斯函数计算标记分布：
[0019][0020]
其中，表示输入图像xi(样本)的标记分布，即类别j描述输入图像xi的程度，cj表示类别j，yi表示图像xi的面部表情标签(真实标签)，m表示归一化因子，且
[0021]
进一步的，步骤4中，通过高斯函数计算标记分布时，可采用mikels’wheel固定表情类别顺序。
[0022]
进一步的，步骤5中，图像分类网络模型的损失为：
[0023]
l＝(1-λ)lc(x,y) λld(x,l)
[0024]
其中，λ表示预置的权重，交叉熵损失kl损
失其中，n表示训练时一轮(epochs)的图像样本数量，c表示类别数，yi表示真实标签，x表示输入图像，y表示x的标签表示，l表示步骤4中计算所得x的标记分布表示。
[0025]
进一步的，步骤3和步骤5中，给定阈值均设置为0.001。
[0026]
本发明提供的技术方案至少带来如下有益效果：
[0027]
(1)基于高斯函数自动为表情数据集生成标记分布，节省人力与时间成本。
[0028]
(2)基于高斯函数自动生成标记分布，生成的标记分布不仅表示了各类表情描述图像中表情的程度，而且表示了表情的强度，更符合事实，有利于模型学习有意义的特征，提高面部表情识别模型的效果。
附图说明
[0029]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0030]
图1是本发明实施例提供的一种基于标记分布学习的面部表情识别方法的流程图。
具体实施方式
[0031]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
[0032]
本发明旨在解决现有基于标记分布学习的表情识别模型中，使用固定标准差的单变量高斯函数为表情图像生成标记分布使得同类表情的标记分布相同，不能真实地表示出不同强度表情之间的差异，影响模型识别效果的问题。为此，本发明提出了一种基于标记分布学习的面部表情识别方法，其通过训练深度学习模型学习表情图像特征，考虑将样本分类损失转化成为标准差，通过高斯函数计算其对应的标记分布，依此获得的标记分布不仅表示了各类表情描述样本的程度，而且更表示了表情的强度，更符合事实。后续通过将生成的标记分布作为一种ground-truth，训练模型，使模型学习到更有意义的表情特征。
[0033]
如图1所示，本发明实施例提供的基于标记分布学习的面部表情识别方法包括：1)对人脸图像预处理，进行人脸检测和对齐，得到表情图像；2)输入表情图像，提取表情图像特征；3)对特征分类并以降低特征分类熵为目标优化特征提取网络；4)利用高斯函数为表情图像生成标记分布，并将之作为一种ground-truth；5)重建网络模型，输入表情图像，提取表情图像特征；6)对图像进行分类并以降低交叉熵损失和kl散度损失为目标优化特征提取网络；7)分类损失小于停止迭代阈值，输出分类结果。
[0034]
作为一种可能的实现方式，本发明实施例提供的基于标记分布学习的面部表情识别方法包括了以下步骤：
[0035]
步骤1：构建实验用数据集，按照90％训练集，10％验证集将实验数据集分为训练集和验证集，本实施例选用的数据集为ck 数据集(extended cohn-kanade数据集)；
[0036]
步骤2：进行人脸检测与对齐，处理图像尺寸为224*224时，采用随机裁剪、随机水平翻转和随机擦除以避免过度拟合；
[0037]
步骤3：建立用于图像特征提取的resnet18网络模型，修改特征提取网络模型的全连接层和一层用于计算目标分布的分类层，在人脸识别数据集ms-celeb-1m上进行预训练；
[0038]
步骤4：将所有训练集样本输入进该模型，输出每个样本属于各个类的概率分布，根据公式：
[0039][0040]
步骤5：计算分类交叉熵损失，按照反向传播规则优化模型参数；
[0041]
步骤6：计算本次训练的损失和上一轮训练的损失的变化率：
[0042][0043]
其中，loss
pre
表示上一轮训练的损失，loss表示当前训练时的损失。若小于0.001，则训练结束，进入步骤8，否则进入步骤5；
[0044]
步骤7：利用高斯函数计算样本标记分布，将步骤5中样本损失值转化成为标准差，计算公式为：
[0045][0046][0047]
其中，
[0048][0049]
步骤8：按照步骤3重新构建模型；
[0050]
步骤9：将所有训练集样本输入进该模型，输出每个样本属于各个类的概率分布；
[0051]
步骤10：根据模型损失公式：l＝(1-λ)lc(x,y) λld(x,l)，计算模型损失，按照反向传播规则优化模型参数；
[0052]
步骤11：计算本次训练的损失和上一轮训练的损失的变化率，若小于0.001，则训练结束，进入步骤12，否则进入步骤9；
[0053]
步骤12：将验证集输入到训练完成的网络中，输出分类结果。
[0054]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
[0055]
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。