一种基于微表情时空特征融合的面部情感状态评估方法及系统与流程

本申请属于图像处理与模式识别，具体涉及一种基于微表情时空特征融合的面部情感状态评估方法及系统。

背景技术：

1、面部情感识别在人机交互、驾驶安全监测、在线教育培训、心理健康辅助诊断及公共安防等场景中应用广泛。随着深度学习技术的快速发展，基于视觉的人脸表情识别已取得一定进展，现有技术能够在一定条件下对喜、怒、哀、乐等基本情绪实现较为准确的分类识别。然而，实际应用场景中，用户的情感状态并非仅表现为短暂、外显的基本情绪，更多情况下体现为持续且复杂的生理与认知状态，例如驾驶员的疲劳度、在线学习者的专注度、高压岗位人员的压力水平、人机交互过程中的困惑程度等。上述复合状态的准确评估对于提升系统智能化水平、保障作业安全、优化用户体验具有重要的实际意义，但现有技术在面向此类复合状态评估时仍存在较大不足。

2、已有研究者尝试通过提取面部动作单元或局部纹理特征进行情绪与状态识别，但现有技术方案仍存在以下缺陷：传统方法多依赖人工设计的几何特征或整体面部纹理特征，难以捕捉眉毛、眼周、口周等区域极其细微的肌肉运动变化，而疲劳、专注、压力等复合状态恰恰体现在微表情级别的肌肉微动模式中，细微特征的丢失直接导致评估精度不足。其次是现有方法多基于单帧图像或简单时序模型进行处理，忽略了面部微动在时间维度上的连续变化规律和空间分布特征，难以对状态的强度、持续时间和变化趋势进行有效量化。

3、因此，亟需一种能够精细化捕捉微表情时空特征、并有效建模其动态演变过程的面部复合状态评估方法，以弥补现有技术的不足。

技术实现思路

1、第一方面，本申请实施例提供一种基于微表情时空特征融合的面部情感状态评估方法,包括如下步骤：

2、s1.采集连续的人脸视频流，对人脸视频流中每一帧图像进行人脸检测与关键点对齐，提取面部区域图像序列；

3、s2.基于面部区域图像序列，提取眉毛、眼睛、嘴部区域的微动时空特征序列；

4、s3.将微动时空特征序列输入至预训练的时空注意力网络模型中，生成融合时空特征的复合状态特征向量；

5、s4.将复合状态特征向量输入至预训练的多层全连接分类器模型中，输出疲劳度、专注度、困惑度、压力水平的连续量化评估值。

6、第二方面，本申请实施例还提供一种基于微表情时空特征融合的面部情感状态评估系统，包括：

7、视频采集与预处理模块，用于采集连续的人脸视频流，对人脸视频流中每一帧图像进行人脸检测与关键点对齐，提取面部区域图像序列；

8、微动时空特征提取模块，用于基于面部区域图像序列，提取眉毛、眼睛、嘴部区域的微动时空特征序列；

9、时空注意力融合模块，用于将微动时空特征序列输入至预训练的时空注意力网络模型中，生成融合时空特征的复合状态特征向量；

10、复合状态评估模块，用于将复合状态特征向量输入至预训练的多层全连接分类器模型中，输出疲劳度、专注度、困惑度、压力水平的连续量化评估值。

11、从以上技术方案可以看出，本申请具有以下优点：

12、本申请提供的基于微表情时空特征融合的面部情感状态评估方法及系统中,通过精细化捕捉面部特定区域的微表情级别肌肉微动模式，并结合卷积lstm与自注意力机制进行时空特征的有效融合与全局依赖关系建模，克服了传统方法在细微特征感知不足、时序动态演变建模欠缺等方面的缺陷，实现了对疲劳度、专注度、困惑度及压力水平等多维度复合状态的准确量化评估，提升了复杂应用场景下情感计算的精度。

1.一种基于微表情时空特征融合的面部情感状态评估方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于微表情时空特征融合的面部情感状态评估方法，其特征在于，步骤s1具体步骤如下：

3.根据权利要求2所述的基于微表情时空特征融合的面部情感状态评估方法，其特征在于，步骤s2具体包括如下步骤：

4.根据权利要求3所述的基于微表情时空特征融合的面部情感状态评估方法，其特征在于，步骤s3具体步骤如下：

5.根据权利要求4所述的基于微表情时空特征融合的面部情感状态评估方法，其特征在于，步骤s31中时空注意力网络模型由两个堆叠的卷积长短期记忆网络层、一个自注意力层和一个时间注意力池化层依次串联构成；

6.根据权利要求4所述的基于微表情时空特征融合的面部情感状态评估方法，其特征在于，步骤s31中时空注意力网络模型的预训练过程如下：

7.根据权利要求4所述的基于微表情时空特征融合的面部情感状态评估方法，其特征在于，步骤s4具体步骤如下：

8.根据权利要求7所述的基于微表情时空特征融合的面部情感状态评估方法，其特征在于，步骤s41中多层全连接分类器模型由第一全连接层、第一relu激活层、dropout层、第二全连接层、第二relu激活层和输出层依次串联构成。

9.根据权利要求7所述的基于微表情时空特征融合的面部情感状态评估方法，其特征在于，步骤s41中多层全连接分类器模型的训练过程如下：

10.一种基于微表情时空特征融合的面部情感状态评估系统，其特征在于，包括：