一种微表情运动特征表征方法及系统

本发明属于微表情识别，涉及一种微表情运动特征表征方法及系统。

背景技术：

1、随着在线教育平台和智慧教学系统的快速发展，利用计算机视觉技术对学习者的情绪状态进行自动分析已成为教育智能化的重要研究方向。其中，微表情能够反映学习者在学习过程中的真实情绪变化，对于学习状态评估、个性化教学反馈以及教学质量提升具有重要意义。因此，基于微表情的学习者情绪识别逐渐受到广泛关注。

2、目前，主流的微表情识别方法主要包括基于卷积神经网络（cnn）、光流特征以及transformer等技术路线。基于cnn的方法通过学习面部纹理特征实现情绪分类，能够较好地提取局部空间信息；基于光流的方法利用连续帧之间的运动变化描述面部肌肉运动过程，相较于静态纹理特征更能反映微表情的动态特性；针对微表情主要发生于局部区域的特点，现有方法多利用眼部、眉毛和嘴角等关键区域进行识别，以减少背景区域干扰。此外，clahe等图像增强技术也被广泛应用于表情识别等领域，通过增强局部对比度提高低质量图像中的纹理细节可见性。

3、然而，现有微表情识别方法在在线教育场景中仍存在一定局限性。在线学习环境下采集的面部图像普遍存在光照变化、分辨率较低以及局部对比度不足等问题，导致微表情关键区域的纹理细节难以有效保留，微弱运动信息难以准确提取，关键运动区域易受背景干扰。因此，如何增强低质量图像中的局部纹理信息，实现更加准确和鲁棒的微表情运动特征表征，成为当前在线教育情绪分析领域亟待解决的重要问题。

技术实现思路

1、本发明的目的在于提供一种微表情运动特征表征方法及系统，以解决上述问题。

2、为实现上述目的，本发明采用以下技术方案：

3、第一方面，本发明提供一种微表情运动特征表征方法，包括以下步骤：

4、获取微表情视频序列中的起始帧图像和目标帧图像，对输入图像进行限制对比度自适应直方图均衡化clahe处理，获得增强后的连续帧图像；

5、将增强后的连续帧图像输入人脸关键点检测模块，对人脸区域进行定位，提取面部关键点坐标信息，并建立连续帧之间关键点的对应关系；

6、利用连续帧之间关键点的对应关系计算各关键点在时间维度上的运动位移，获得关键点运动轨迹，构建关键点稀疏光流特征；

7、将所述关键点稀疏光流特征输入运动特征提取模块，对关键点运动幅值、运动方向及局部运动响应进行编码，获得关键点运动特征表示；

8、构建光流引导关键点注意力模块，依据关键点运动响应信息自适应计算各关键点注意力权重，对运动特征进行加权增强；将加权后的关键点运动特征进行聚合，形成微表情运动特征表示，并输入微表情识别网络完成学习者微表情分类及情绪识别。

9、进一步的，所述获取微表情视频序列中的起始帧图像和目标帧图像，对输入图像进行限制对比度自适应直方图均衡化clahe处理，获得增强后的连续帧图像，包括：

10、将输入图像转换至亮度与颜色分离的颜色空间，仅对亮度分量进行增强处理；将亮度图像划分为多个局部子区域，分别统计各子区域灰度直方图；设置对比度限制阈值，对各局部子区域直方图进行裁剪，并将超出部分重新均匀分配至各灰度级；根据累计分布函数完成各子区域灰度映射，并采用双线性插值对相邻子区域进行平滑融合；将增强后的亮度信息与颜色信息重新融合，得到增强后的图像。

11、进一步的，所述将增强后的连续帧图像输入人脸关键点检测模块，对人脸区域进行定位，提取面部关键点坐标信息，并建立连续帧之间关键点的对应关系，包括：

12、利用人脸检测算法定位输入图像中的人脸区域；对检测到的人脸区域进行几何归一化处理；利用基于方向梯度直方图的人脸检测模型及基于集成回归树的关键点定位模型提取人脸关键点；获得连续帧对应的人脸关键点坐标。

13、进一步的，所述利用连续帧之间关键点的对应关系计算各关键点在时间维度上的运动位移，获得关键点运动轨迹，构建关键点稀疏光流特征，包括：

14、利用lucas–kanade稀疏光流算法建立连续帧对应关键点之间的运动匹配关系；计算各关键点在水平方向及垂直方向上的运动位移；根据水平位移和垂直位移计算关键点的运动幅值和运动方向；根据关键点邻域内增强后连续帧图像的灰度变化计算局部纹理响应；将关键点空间位置、运动位移、运动方向、运动幅值及局部纹理响应共同构建为关键点稀疏光流特征；采用金字塔光流策略对不同尺度下的关键点运动进行估计。

15、进一步的，所述运动特征提取模块包括：以关键点稀疏光流特征作为输入，对各关键点运动信息进行编码；分别学习关键点运动响应特征及局部纹理变化特征；融合运动响应信息与局部纹理信息，获得描述微表情运动状态的关键点运动特征表示；将各关键点运动特征统一映射至相同特征空间。

16、进一步的，所述光流引导关键点注意力模块包括：根据关键点运动响应信息计算各关键点运动显著性；结合局部纹理响应信息构建关键点综合响应特征；利用注意力机制计算各关键点对应的注意力权重，实现关键点重要程度的自适应分配；依据注意力权重对关键点运动特征进行加权，增强眉毛、眼部、嘴角等微表情主要激活区域，降低鼻梁、脸颊等低运动区域的特征响应；输出光流引导注意力增强后的关键点运动特征；所述注意力权重基于关键点运动幅值与局部纹理响应共同计算，采用softmax函数获得；各关键点对应的注意力权重根据运动信息与纹理信息之间的权重系数确定，所述权重系数的取值范围为0至1。

17、进一步的，所述微表情特征输出包括：将所有关键点加权后的运动特征进行聚合，形成整体微表情运动表示；将聚合后的运动表示输入微表情识别网络进行特征学习；输出不同微表情类别对应的分类结果；根据分类结果获得学习者情绪状态识别结果。

18、第二方面，本发明提供一种微表情运动特征表征系统，包括：

19、图像增强模块，用于获取微表情视频序列中的起始帧图像和目标帧图像，对输入图像进行限制对比度自适应直方图均衡化clahe处理，获得增强后的连续帧图像；

20、关键点检测模块，用于将增强后的连续帧图像输入人脸关键点检测模块，对人脸区域进行定位，提取面部关键点坐标信息，并建立连续帧之间关键点的对应关系；

21、光流引导关键点注意力模块，用于利用连续帧之间关键点的对应关系计算各关键点在时间维度上的运动位移，获得关键点运动轨迹，构建关键点稀疏光流特征；

22、关键点运动特征获取模块，用于将所述关键点稀疏光流特征输入运动特征提取模块，对关键点运动幅值、运动方向及局部运动响应进行编码，获得关键点运动特征表示；

23、输出模块，用于构建光流引导关键点注意力模块，依据关键点运动响应信息自适应计算各关键点注意力权重，对运动特征进行加权增强；将加权后的关键点运动特征进行聚合，形成微表情运动特征表示，并输入微表情识别网络完成学习者微表情分类及情绪识别。

24、第三方面，本发明提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的一种微表情运动特征表征方法的步骤。

25、第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种微表情运动特征表征方法的步骤。

26、与现有技术相比，本发明有以下技术效果：

27、本发明通过利用clahe增强提高低质量面部图像中局部纹理细节的可辨识度，能够为微弱运动分析提供更加清晰的输入；通过构建融合运动位移、运动幅值、运动方向及局部纹理响应的关键点稀疏光流特征，能够实现微表情运动信息的精细化表征；

28、通过引入光流引导关键点注意力机制，根据关键点运动响应和纹理变化自适应分配注意力权重，能够有效突出微表情敏感区域并抑制背景干扰，从而获得更加具有判别性的微表情运动特征，提升微表情识别模型的识别精度和鲁棒性。