一种基于自愈机制的真实场景下的人脸表情识别方法及系统

技术特征：
1.一种基于自愈机制的真实场景下的人脸表情识别方法，其特征在于，该方法包括以下步骤：s1.建立含有不确定表情类别标签的人脸样本集；s2.构建一个包含特征提取模块、全连接层和分类层的人脸表情识别模型；所述的特征提取模块由深度卷积神经网络的主干网络构成，用于提取人脸表情特征；所述的全连接层将特征提取模块输出的人脸表情特征全连接到v个神经元，经过非线性激励函数relu，映射得到一个v维的特征向量；所述的分类层采用softmax回归分类器，将全连接层输出的v维特征向量全连接到c个输出节点，每个节点对应一种表情类别，经过softmax回归后得到一个c维向量，向量中每一个维度的数值代表输入的人脸样本属于对应表情类别的预测概率，其中，c为表情类别数；s3.在对人脸表情识别模型进行训练的过程中，通过引入对具有不确定类别标签的样本进行重新标注的自愈机制，实现对不确定类别标签的自我修正，并通过误差反向传播算法调整表情识别模型的参数至最优；s4.将待测的人脸图像输入到训练好的人脸表情识别模型进行表情识别。2.根据权利要求1所述的一种基于自愈机制的真实场景下的人脸表情识别方法，其特征在于，所述的不确定表情类别标签是指对真实场景非受控环境下采集的姿态多变或被遮挡的人脸图像进行表情类别标注得到的不准确的类别标签。3.根据权利要求1所述的一种基于自愈机制的真实场景下的人脸表情识别方法，其特征在于，所述步骤s3的训练过程包括以下子步骤：s3.1利用注意力机制学习一个批量的n个训练样本中每个训练样本的重要性权重，其中，第n个训练样本的重要性权重为α
n
＝σ(w
t
v
n
)，n＝1,2,
…
,n，n为整数，n的值在8、16、32、64、128、256中选取，w为可学习的全连接层参数，w
t
为w的转置，σ(
·
)代表sigmoid激活函数，为第n个训练样本的特征向量；s3.2利用样本排序正则化对一个批量的n个训练样本按照重要性权重从大到小进行排序，并通过样本排序正则损失函数选择前m个权重较大的样本构成高重要性样本组，后n-m个权重较小的样本构成低重要性样本组，并且满足高重要性样本组的权重均值与低重要性样本组的权重均值之差大于一个预设的阈值δ1，确保注意力机制学习到有利于模型训练的样本重要性权重分布，其中，m为整数，m的取值受样本排序正则损失函数约束，α
i
为按照重要性权重从大到小进行排序后第i个训练样本的重要性权重，i＝1,2,
…
,n，δ1为实数；s3.3利用样本标签自我修正机制对低重要性样本组中样本的不确定表情类别标签进行重新标注，具体方法是：对于低重要性样本组中的每个训练样本，设分类层输出的对应于c种表情类别的预测概率分别为p1、p2、
……
、p
c
，对应于样本当前类别标签l
t
的预测概率为p
t
，p
t
∈{p1,p2,...,p
c
}，最大类别预测概率为p
max
＝max{p1,p2,...,p
c
}，如果p
max
与p
t
之差大于一个预设的阈值δ2，则将该训练样本的当前类别标签修正为最大类别预测概率p
max
所对应的类别标签l
max
，否则当前类别标签保持不变，即：
4.根据权利要求3所述的一种基于自愈机制的真实场景下的人脸表情识别方法，其特征在于，δ1取值范围为0.1～0.3。5.根据权利要求3所述的一种基于自愈机制的真实场景下的人脸表情识别方法，其特征在于，δ2取值范围为0.2～0.5。6.根据权利要求4或5所述的一种基于自愈机制的真实场景下的人脸表情识别方法，其特征在于，所述步骤s3中对人脸表情识别模型进行训练所用的损失函数定义为：l1＝βl
rr
(1-β)l
ce
其中，β是权重参数，用于调节l
rr
和l
ce
之间的平衡；l
rr
为样本排序正则损失函数，定义为l
ce
为分类损失函数，采用logit加权的交叉熵损失，定义为：其中，c是表情类别数，为第n个训练样本的特征向量，w
c
、为可学习的全连接层参数，为的转置，l
n
为第n个训练样本的当前类别标签所对应的索引，exp(
·
)为自然常数e为底的指数函数。7.根据权利要求6所述的一种基于自愈机制的真实场景下的人脸表情识别方法，其特征在于，β取值范围为0.3～0.7。8.一种基于自愈机制的真实场景下的人脸表情识别系统，其特征在于，包括至少一台计算设备，所述计算设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现根据权利要求1-7任一项所述的一种基于自愈机制的真实场景下的人脸表情识别方法。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1-7任一项所述的一种基于自愈机制的真实场景下的人脸表情识别方法。

技术总结
本发明公开了一种基于自愈机制的真实场景下的人脸表情识别方法及系统。该方法包括以下步骤：建立含有不确定表情类别标签的人脸样本集；构建一个包含特征提取模块、全连接层和分类层的人脸表情识别模型；在对人脸表情识别模型进行训练的过程中，通过引入对具有不确定类别标签的样本进行重新标注的自愈机制，实现对不确定类别标签的自我修正；将待测的人脸图像输入到训练好的人脸表情识别模型进行表情识别。该方法可以有效消除具有错误标签的训练样本导致模型过拟合的不利影响，可以在掺杂不准确或错误类别标签的人脸表情数据集中学习到鲁棒的表情特征，从而提升真实场景下人脸表情识别的准确率和鲁棒性。情识别的准确率和鲁棒性。情识别的准确率和鲁棒性。


技术研发人员：卢官明 宋培星 卢峻禾
受保护的技术使用者：南京邮电大学
技术研发日：2022.07.28
技术公布日：2022/11/11