一种基于深度融合增强的双向Mamba人脸表情识别方法

本发明属于计算机视觉与情感计算，尤其涉及一种基于深度融合增强的双向mamba人脸表情识别方法。

背景技术：

1、人脸表情识别作为计算机视觉与情感计算领域的重要研究方向，旨在通过深度学习模型自动分析并识别人脸图像中的情感状态，其技术成果已广泛应用于智能人机交互、辅助驾驶安全监测、智慧医疗情绪评估及安防监控等实际场景。现有技术中，基于卷积神经网络（convolutional neural network，cnn）的人脸表情识别方法能够有效提取图像的空间域局部纹理与边缘信息，在各类环境下取得了较好的识别性能；基于transformer架构的方法通过多头自注意力机制实现了全局上下文建模，有效捕捉面部各区域间的长程依赖关系；基于状态空间模型（如mamba）的方法凭借线性复杂度的序列建模能力，在保持全局感知能力的同时显著降低了计算开销，展现出良好的应用前景。此外，稀疏注意力机制通过筛选关键注意力连接，有效减少了冗余计算并提升了模型对判别性特征的聚焦能力；频域特征增强技术通过傅里叶变换将图像转换至频域进行处理，能够挖掘空间域难以直接获取的纹理细节与结构信息，上述技术从不同角度为人脸表情识别提供了有益的技术支撑。

2、然而，上述现有技术仍存在诸多不足。第一，传统卷积神经网络虽能提取局部空间特征，但受限于固定的局部感受野，难以充分建模面部肌肉运动在全局范围内的长程依赖关系，对恐惧与惊讶等细微表情差异的判别能力受限；transformer架构虽具备全局建模能力，但其自注意力机制的二次计算复杂度导致参数量与计算开销显著增加，且对局部细粒度特征的刻画精细度不足。第二，现有方法对频域信息的利用不充分，人脸表情变化同时体现为频域内高频细节（如皱纹、嘴角颤动）与低频结构（如面部轮廓）的协同变化，而常规空间域卷积操作难以实现多尺度频域分量的自适应分离与高效利用，制约了模型在复杂光照条件下的特征表达能力。第三，现有方法普遍缺乏空域特征提取、频域特征增强与全局依赖建模之间的有效协同机制，多尺度条带注意力、频域自适应增强与状态空间模型的融合架构未见报道。第四，现有方法对遮挡、姿态变化及光照不均等干扰因素的鲁棒性较差，缺乏有效的特征精炼机制以精准定位最具判别性的表情相关区域，同时普遍面临类别样本不均衡所引发的模型训练偏置与过拟合问题。因此，构建一种能够实现空频域特征协同增强、全局依赖高效建模与关键区域精准聚焦的人脸表情识别方法，仍构成本领域亟待解决的技术难题。

技术实现思路

1、为解决上述技术问题，本发明提出了一种基于深度融合增强的双向mamba人脸表情识别方法，以解决上述现有技术存在的问题。

2、为实现上述目的，第一方面，本发明提供了一种基于深度融合增强的双向mamba人脸表情识别方法，包括：

3、步骤s1：对训练集的人脸表情图像进行预处理与数据增强，对测试集的人脸表情图像进行预处理；

4、步骤s2：以resnet18为骨干网络，在所述resnet18的layer3后构建并行双分支结构，其中第一分支对中层空间特征依次进行多尺度条带门控注意力增强与复数频域自适应增强，第二分支对所述中层空间特征进行双向mamba序列长程依赖建模，将所述第一分支与所述第二分支的输出融合，得到融合增强特征；在所述resnet18的layer4后，将所述融合增强特征依次经二维空间双向mamba聚合处理与稀疏注意力精炼处理，得到高层语义特征；

5、步骤s3：对所述高层语义特征进行分类预测，采用融合标签平滑的焦点损失作为损失函数进行模型训练；

6、步骤s4：利用测试集对训练后的模型进行测试。

7、优选地，步骤s2中所述多尺度条带门控注意力增强通过多尺度条带注意力融合模块实现，所述多尺度条带注意力融合模块采用两个不同核尺度下的双池化条带门控注意力模块进行并行融合，每个所述双池化条带门控注意力模块由串联的水平条带门控注意力子模块与垂直条带门控注意力子模块构成。

8、优选地，所述水平条带门控注意力子模块配置第一核尺寸的水平条带卷积，所述垂直条带门控注意力子模块配置第二核尺寸的垂直条带卷积；各子模块内设置深度可分离卷积单元、点卷积单元及双池化门控单元，所述双池化门控单元并行设置自适应平均池化与自适应最大池化，两路输出经通道拼接及激活后与所述点卷积单元的输出逐元素相乘。

9、优选地，步骤s2中所述复数频域自适应增强通过复数频域自适应增强模块实现，所述复数频域自适应增强模块对输入特征执行二维傅里叶变换，基于可学习的截止频率参数将频域特征分离为低频分量与高频分量，分别经复数卷积单元处理后通过逆傅里叶变换恢复至空间域，再经实数卷积单元进行空域增强，将增强后的低频响应与高频响应进行通道拼接及通道注意力加权输出。

10、优选地，步骤s2中所述双向mamba序列长程依赖建模通过双向mamba融合模块实现，所述双向mamba融合模块接收序列格式输入特征，经多头自注意力单元进行全局依赖建模后，并行送入独立正向mamba单元与独立反向mamba单元，所述独立反向mamba单元通过对序列进行翻转实现反向扫描，两路输出相加融合后经多层感知机单元进行非线性变换。

11、优选地，步骤s2中所述二维空间双向mamba聚合处理通过增强双向mamba聚合模块实现，所述增强双向mamba聚合模块将经过多头自注意力的特征重塑为二维空间特征图，沿高度方向与宽度方向分别展开为序列后依次执行正向mamba扫描，进一步恢复为二维空间特征图进行维度翻转后沿高度方向与宽度方向依次执行反向mamba扫描，各方向扫描串行连接输出。

12、优选地，步骤s2中所述稀疏注意力精炼处理通过稀疏注意力精炼模块实现，所述稀疏注意力精炼模块包括topk稀疏注意力单元与全局上下文融合前馈单元，所述topk稀疏注意力单元在查询-键-值投影后保留top-k注意力分数进行加权输出，所述全局上下文融合前馈单元对输入特征进行全局上下文聚合与归一化增强通道注意力加权后融合输出。

13、优选地，所述全局上下文融合前馈单元对所述二维空间特征图进行空间池化处理得到全局上下文向量，并基于批归一化层的权重参数生成通道注意力权重并进行空间融合增强，利用所述增强通道注意力特征对所述二维空间特征图与所述全局上下文向量的组合进行加权调制。

14、优选地，步骤s3中所述融合标签平滑的焦点损失对模型预测的每一类别概率进行标签平滑处理，并基于聚焦参数对难分类样本赋予更高的损失权重，所述标签平滑处理用于抑制过拟合，所述聚焦参数用于调节难易样本的损失贡献比例。

15、第二方面，本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面所述方法的步骤。

16、与现有技术相比，本发明具有如下优点和技术效果：

17、本发明通过在resnet18的layer3后构建第一分支，其中多尺度条带门控注意力增强能够沿水平与垂直方向提取不同感受野下的空间注意力特征，有效增强了网络对跨区域面部纹理与轮廓信息的局部感知能力；复数频域自适应增强通过对频域高低频分量的自适应分离与复数卷积处理，深入挖掘空间域难以直接获取的频域细节信息，两者协同作用，使网络在中层特征提取阶段实现了空域局部特征与频域全局信息的互补增强，解决了常规空间域卷积难以充分挖掘频域信息的局限。

18、本发明通过在resnet18的layer3后构建第二分支，对中层空间特征进行双向mamba序列长程依赖建模，以线性计算复杂度捕获面部各区域间的远距离上下文关联，并将该分支与第一分支的输出融合，使网络在保持轻量化优势的同时兼具全局语义感知能力，弥补了纯卷积网络感受野受限的固有缺陷，且计算开销显著低于transformer架构的二次复杂度自注意力机制。

19、本发明通过在resnet18的layer4后将融合增强特征依次经二维空间双向mamba聚合处理与稀疏注意力精炼处理，其中二维空间双向mamba聚合沿高度方向与宽度方向分别依次执行正反双向扫描，以线性复杂度完成二维空间各方向的全局依赖建模，相较于常规一维序列mamba扫描，对人脸面部肌肉在二维空间内的非对称分布与协同变化具有更强的建模能力；稀疏注意力精炼通过topk机制筛选关键注意力连接并结合全局上下文进行通道重加权，使网络聚焦最具判别性的表情区域，有效抑制复杂背景、遮挡及姿态变化等干扰因素的影响，提升了模型在复杂场景下的识别鲁棒性。

20、本发明采用融合标签平滑的焦点损失作为损失函数，通过标签平滑机制软化真实标签分布以防止网络对训练集过度自信，同时通过聚焦参数对难分类样本赋予更高损失权重以强化网络对困难样本的学习，二者协同作用，有效改善了模型在类别样本不均衡条件下的训练稳定性与泛化性能。