一种基于标记分布学习的面部表情识别方法

技术特征：
1.一种基于标记分布学习的面部表情识别方法，其特征在于，包括下列步骤：步骤1，构建面部表情图像数据集，并对面部表情图像数据集进行预处理：对图像数据集中的各图像进行人脸检测与对齐处理，再归一化图像尺寸，以与图像分类特征提取网络的输入相匹配，得到一幅图像样本，并为每个图像样本设置对应的面部表情标签；步骤2，构建图像分类网络模型：在图像分类特征提取网络后依次连接一个全连接层和分类层，其中，全连接层的输出维度和表情类别数量相同，其输出为当前输入图像的表情类别概率，分类层将全连接层输出的表情类别概率归一化并使其符合高斯分布；步骤3，基于一定数量的图像样本对图像分类网络模型进行网络参数训练，直到分类交叉熵损失变化量小于给定阈值时，执行步骤4；步骤4，计算各图像样本的分类交叉熵损失，并将分类交叉熵损失值转换应用高斯函数计算获得对应表情图像的标记分布；步骤5，以图像样本的标记分布作为图像样本的ground-truth标签，对步骤2构建的图像分类网络模型重新进行网络参数训练，训练时，图像分类网络模型的损失为分类交叉熵与相对熵散度损失的加权和，当图像分类网络模型的损失的变化量小于给定阈值时停止，得到训练好的图像分类网络模型；步骤6，对待识别人脸图像进行尺寸归一化，以匹配图像分类网络模型的输入，再将尺寸归一化后的待识别人脸图像输入训练好的图像分类网络模型，获取待识别人脸图像的面部表情识别结果：最大表情类别概率所对应的表情。2.如权利要求1所述的方法，其特征在于，对面部表情图像数据集进行预处理还包括：采用随机裁剪、随机水平翻转和随机擦除以避免过度拟合。3.如权利要求1所述的方法，其特征在于，图像分类特征提取网络选取resnet18的第一层至倒数第二层，并在人脸识别数据集上进行预训练。4.如权利要求1所述的方法，其特征在于，分类层输出的归一化后的表情类别概率为：其中，p
ij
表示归一化后的第i个输入图像属于类别j的概率，e表示自然底数，θ
k
表示全连接层输出的各类别的概率，y表示类别数，θ
j
表示全连接层输出的类别j的概率。5.如权利要求1至4任一项所述的方法，其特征在于，步骤4中，将分类交叉熵损失值转换应用高斯函数计算获得对应表情图像的标记分布，具体为：将分类交叉熵损失值转化成为标准差：其中，α表示预置的权重，loss
i
表示第i个输入图像的分类交叉熵损失值；利用高斯函数计算标记分布：其中，表示输入图像x
i
的标记分布，c
j
表示类别j，y
i
表示图像x
i
的面部表情标签，m表示归一化因子，且6.如权利要求1所述的方法，其特征在于，步骤5中，损失为分类交叉与相对熵散度损失的权重之和为1。
7.如权利要求1所述的方法，其特征在于，步骤3和步骤5中，给定阈值均设置为0.001。

技术总结
本发明公开了一种基于标记分布学习的面部表情识别方法，属于深度学习与面部表情识别技术领域。本发明包括：对人脸图像预处理以，进行人脸检测和对齐；输入表情图像，提取表情图像特征；对特征分类并以降低特征分类熵为目标优化特征提取网络；利用高斯函数为表情图像生成标记分布，并将之作为一种ground-truth；重建网络模型，输入表情图像，提取表情图像特征；对图像进行分类并以降低交叉熵损失和KL散度损失为目标优化特征提取网络；分类损失小于停止迭代阈值，输出分类结果。本发明将样本分类损失转化成为标准差，通过高斯函数为样本生成标记分布，获得的标记分布不仅表示了各类表情描述样本的程度，而且更表示了表情的强度，能够提高模型的识别效果。够提高模型的识别效果。够提高模型的识别效果。


技术研发人员：任亚洲 邵剑剑 蒲晓蓉
受保护的技术使用者：电子科技大学
技术研发日：2022.09.30
技术公布日：2022/12/16