一种全局多标量和局部片融合的双分支表情识别方法
本发明涉及表情识别方法,具体为一种全局多标量和局部片融合的双分支表情识别方法。
背景技术:
1、固定姿态表情识别是计算机视觉领域中一项具有重要研究意义和应用价值的任务,广泛应用于人机交互、情感计算、智能监控、医疗辅助诊断等多个领域。随着卷积神经网络在表情识别任务中的深度应用,研究学者证实,采用多分支多模型特征融合的方法能够有效降低姿态变化和自遮挡对表情识别精度的影响,通过提取全局和区域面片信息并进行融合,可增强网络对复杂环境的适应能力和泛化能力
2、然而,现有多分支多模型特征融合方法在实际应用中仍面临诸多挑战:其一,分步式的区域检测和模型训练操作,限制了自动化表情识别系统的构建效率,增加了系统部署的复杂度;其二,由于全局模型和局部模型对面部特征的描述能力存在差异,多模型特征整合过程中需要对融合方法和相关参数进行复杂的综合调优,操作繁琐且难以实现最优融合效果。
技术实现思路
1、本发明的目的是为了解决现有技术中存在的缺点,而提出的一种全局多标量和局部片融合的双分支表情识别方法。
2、为实现上述目的,本发明提供如下技术方案:
3、一种全局多标量和局部片融合的双分支表情识别方法,包括以下步骤:
4、s1:数据预处理:获取固定姿态面部表情数据集,对数据集中的面部图像进行离线数据增强和归一化处理,统一图像尺寸;s2:浅层特征提取:采用resnet50网络的conv_1至conv_3卷积块,对预处理后的面部图像进行特征提取,获得浅层特征图;s3:双分支特征学习:将浅层特征图分别送入全局多标量挤压激励(gms)分支和局部片注意力(lpa)分支,并行提取全局特征向量和局部特征向量;s4:模型级特征融合:设置超参数α=0.6,采用模型级特征融合方法,对全局特征向量和局部特征向量进行融合,得到特征融合向量;s5:表情分类与识别:将特征融合向量送入全连接层和分类器,完成固定姿态面部表情的分类识别。
5、优选地,s1中,所述固定姿态面部表情数据集包括可控环境数据集(bu-3dfep1、multi-piep1)和户外环境数据集(pose-raf-db、pose-affectnet),涵盖0°、15°、30°、45°、60°、75°、90°的极端观测视角,以及生气、厌恶、高兴、恐惧、悲伤、惊讶六种基本面部表情,部分数据集包含面部遮挡样本。
6、优选地,s2中,dcnn可以获得张浅层特征图,其中表示通道特征,表示空间尺寸特征。
7、优选地,s3中,所述gms分支的学习过程包括:
8、将浅层特征图沿通道轴等分为个子集,每个子集保持与输入特征图相同的空间维度;
9、每个子集分别采用正向和反向两个方向进行3×3卷积学习,获取不同尺度的全局语义特征;
10、将正向和反向学习得到的特征分别联合,通过1×1卷积操作整合为正向输出特征和反向输出特征,两者相加得到全局多标量特征;
11、将全局多标量特征送入挤压激励(se)模块,筛选全局显著特征,经全局均值池化层生成全局特征向量。
12、优选地,s3中,所述lpa分支的学习过程包括:
13、沿空间轴将浅层特征图分割为2×2的局部面片,得到4个局部子块;
14、每个局部子块送入cbam注意力模块,依次进行通道注意力学习和空间注意力学习,获得每个局部子块的注意力特征;
15、将4个局部子块的注意力特征沿空间轴重新连接,经全局均值池化层生成局部特征向量。
16、优选地,所述正向学习公式为:,反向学习公式为:,其中为第i个子集的输入特征,和分别为第i个子集的正向和反向输出特征,这里卷积核设置为,卷积操作用表示;正向输出特征和反向输出特征的整合公式为:。
17、优选地,所述cbam注意力模块的通道注意力操作公式为;空间注意力操作公式为:,其中表示激活函数,和分别表示最大池化和均值池化操作;和表示互享感知机(mlp)的权重;relu表示激活函数,为通道注意力特征图,空间域注意力操作采用最大池化和均值池化操作获得空间特征图,和分别表示最大池化和均值池化操作;和表示均值和最大空间特征图。
18、优选地,s4中,所述模型级特征融合的全局和局部的损失函数为:,单分支损失函数为,其中表示batchsize;表示表情类别;表示权重矩阵;表示偏置量;表示第个样本;输入类别标签。
19、优选地,s1中,所述固定姿态面部表情数据集包括可控环境数据集和户外环境数据集;可控环境数据集采用五折交叉验证方法进行训练和测试,户外环境数据集采用预设的训练集和测试集进行训练和测试。
20、本发明的有益效果是:本发明所提供的一种全局多标量和局部片融合的双分支表情识别方法,通过构建端到端的双分支网络架构,将浅层特征提取、双分支特征学习与模型级特征融合有机结合,有效简化了传统分步式区域检测与模型训练的复杂流程,显著提升了自动化表情识别系统的构建效率,降低了系统部署难度。该方法创新性地设计了全局多标量挤压激励(gms)分支和局部片注意力(lpa)分支,gms分支通过将浅层特征图沿通道轴等分并进行正反向卷积学习,能够充分捕捉面部图像的全局语义信息,再经se模块筛选全局显著特征,增强了对整体表情趋势的表征能力;lpa分支则通过将浅层特征图分割为局部面片并引入cbam注意力模块,依次进行通道和空间注意力学习,可精准聚焦于眼睛、嘴巴等关键表情区域的局部细节特征。在此基础上,通过设置模型级特征融合方法,将全局特征向量与局部特征向量进行有效融合,结合精心设计的损失函数,实现了全局与局部特征的优势互补,有效缓解了因全局与局部模型描述能力差异导致的融合难题,避免了复杂的参数调优过程,从而在多种固定姿态面部表情数据集上均能取得优异的分类识别效果,增强了网络对复杂环境的适应能力和泛化能力。
1.一种全局多标量和局部片融合的双分支表情识别方法,其特征在于:包括以下步骤:
2.根据权利要求1所述的一种全局多标量和局部片融合的双分支表情识别方法,其特征在于:s1中,所述固定姿态面部表情数据集包括可控环境数据集(bu-3dfep1、multi-piep1)和户外环境数据集(pose-raf-db、pose-affectnet),涵盖0°、15°、30°、45°、60°、75°、90°的极端观测视角,以及生气、厌恶、高兴、恐惧、悲伤、惊讶六种基本面部表情,部分数据集包含面部遮挡样本。
3.根据权利要求1所述的一种全局多标量和局部片融合的双分支表情识别方法,其特征在于:s2中,dcnn可以获得张浅层特征图,其中表示通道特征,表示空间尺寸特征。
4.根据权利要求1所述的一种全局多标量和局部片融合的双分支表情识别方法,其特征在于:s3中,所述gms分支的学习过程包括:
5.根据权利要求1所述的一种全局多标量和局部片融合的双分支表情识别方法,其特征在于:s3中,所述lpa分支的学习过程包括:
6.根据权利要求4所述的一种全局多标量和局部片融合的双分支表情识别方法,其特征在于:所述正向学习公式为:,反向学习公式为:,其中为第i个子集的输入特征,和分别为第i个子集的正向和反向输出特征,这里卷积核设置为,卷积操作用表示;正向输出特征和反向输出特征的整合公式为:。
7.根据权利要求5所述的一种全局多标量和局部片融合的双分支表情识别方法,其特征在于:所述cbam注意力模块的通道注意力操作公式为;空间注意力操作公式为:,其中表示激活函数,和分别表示最大池化和均值池化操作;和表示互享感知机(mlp)的权重;relu表示激活函数,为通道注意力特征图,空间域注意力操作采用最大池化和均值池化操作获得空间特征图,和分别表示最大池化和均值池化操作;和表示均值和最大空间特征图。
8.根据权利要求1所述的一种全局多标量和局部片融合的双分支表情识别方法,其特征在于:s4中,所述模型级特征融合的全局和局部的损失函数为:,单分支损失函数为,其中表示batchsize;表示表情类别;表示权重矩阵;表示偏置量;表示第个样本;输入类别标签。
9.根据权利要求1所述的一种全局多标量和局部片融合的双分支表情识别方法,其特征在于:s1中,所述固定姿态面部表情数据集包括可控环境数据集和户外环境数据集;可控环境数据集采用五折交叉验证方法进行训练和测试,户外环境数据集采用预设的训练集和测试集进行训练和测试。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com