一种基于深度学习的人脸眼部图像处理方法

摘要: 本发明涉及一种基于深度学习的人脸眼部图像处理方法,属于计算机视觉领域。背景技术:1、人脸眼部图像数据检测在视线追踪、疲劳驾驶检测与眼部微表情识别等领域存在重要作...
一种基于深度学习的人脸眼部图像处理方法

本发明涉及一种基于深度学习的人脸眼部图像处理方法,属于计算机视觉领域。

背景技术:

1、人脸眼部图像数据检测在视线追踪、疲劳驾驶检测与眼部微表情识别等领域存在重要作用。然而,采集的人脸图像数据集往往存在眼部出现反光、遮挡等质量问题,所以我们需要针对此类问题修改网络结构与模块,从而提升眼部图像分割的准确性。

2、目前已有的眼部图像研究方法所针对的图片数据中眼部通常占比较大且图像质量高。mehmet等[1]通过红外线led摄像头获取的驾驶人眼部图像数据集,研究了疲劳驾驶者在不同交通场景下的眼部结构变化;jonathan等基于openeds数据集,提出了一种缩小规模下的高效神经网络架构minenet,维持了分割的准确性;zhou等人使用feret、耶鲁大学和pie数据库中的图像数据,研究了一种基于粒子过滤算法的眼动追踪系统。由此可见,现有研究方法使用的数据集,眼部面积占比大且图像质量高,如附图1所示。针对此类数据集,由于其清晰度高,结构分明,噪声较少,所以眼部结构分割相对较为简单。

3、但是,我们使用的眼部图像数据具有以下特点,如附图2所示,1)整张图片囊括全部人脸,但眼部区域较小,与整张图片比例相差悬殊,而这是我们重点关注的局部区域;2)不同图像中眼部区域面积、结构与尺度的差异较大,这不利于分割模型的特征学习;3)眼部区域包含较多显著的睫毛遮挡、非均匀光照、皮肤纹理等复杂噪声干扰,这会对分割质量造成很大影响。

4、基于人脸眼部图片的特点,我们将对眼部区域进行裁剪,确保眼部区域面积的占比,从而降低无关背景的影响。而后,对网络中的卷积模块进行针对性替换,使其适用于多尺度下的眼部图像特征学习。同时,构建新的跳跃连接模块,抑制复杂噪声的干扰,更加聚焦于眼部结构特征。随后,在桥接层引入swin transformer机制,使模型在更好地捕捉眼部结构间的关联,以提高分割的准确性。最后,对于分割后的掩膜图像进行指标计算,包括:外展-内收露白距离、睑裂高度、瞳孔面积占比。

5、参考文献:

6、[1]m. c. catalbas, t. cegovnik, j. sodnik and a. gulten, "driverfatigue detection based on saccadic eye movements," 2017 10th internationalconference on electrical and electronics engineering (eleco), bursa, turkey,2017, pp. 913-917.

7、[2]j. perry and a. fernandez, "minenet: a dilated cnn for semanticsegmentation of eye features," 2019 ieee/cvf international conference oncomputer vision workshop (iccvw), seoul, korea (south), 2019, pp. 3671-3676,doi: 10.1109/iccvw.2019.00453.

8、[3]fengyi zhou, wenjie chen and hao fang, "robust eye tracking andlocation method based on particle filtering algorithm," 2014 ieee 3rdinternational conference on cloud computing and intelligence systems,shenzhen, 2014, pp. 247-252, doi: 10.1109/ccis.2014.7175737.

技术实现思路

1、现有眼部图像研究方法所针对的图片数据中眼部通常占比较大且质量高,这与我们使用的人脸眼部数据集并不相同。整张图片中的眼部区域较小,与整张图片比例相差悬殊,而这是我们重点关注的局部区域;眼部不同区域面积、结构与尺度的差异较大,这不利于特征学习;眼部区域包含较多显著的复杂噪声干扰,这会对分割质量造成很大影响;眼部结构间存在强空间依赖关系,深度分割语义难以挖掘。本发明针对这些问题,设计了一种基于深度学习的人脸眼部图像处理系统,具体而言,我们将增设图像预处理步骤提取眼部图像,并对分割网络中的卷积模块进行替换;同时构建新的跳跃连接模块;在桥接层引入swintransformer机制,最后对分割掩膜计算相关指标。结果显示,我们提出的流程和解决方案比现有研究方法的结果更加准确,可以更好地对面部图像中的眼部结构进行分割。

2、本发明采用如下技术方案:更针对性地关注人脸中的眼睛区域。我们将使用dlib库进行人脸关键点检测并对眼部区域进行裁剪,确保在裁剪后的图像中,眼部区域作为主体,将其作为预处理模块。分割网络结构以u型网络为基础,首先将单一卷积核替换为多尺度卷积模块;而后在跳跃连接中加入卷积块注意力模块;并在桥接层中引入swintransformer机制。多尺度卷积模块的核心由一个1×1卷积核与三个膨胀率不同3×3卷积核并联组成,利用其不同大小的感受野提取、学习不同尺度下眼部结构的特征。卷积块注意力模块由通道与空间两个串行子模块构成,输入特征首先经通道注意力模块,对关键通道进行加权增强,随后进入空间注意力模块,突出重要空间区域,得到精炼后的特征图像。桥接层引入的swin transformer模块,利用层级结构与滑动窗口机制,在保持计算效率的同时,实现对图像全局上下文的捕捉与各眼部结构间深度分割语义的挖掘。通过针对性修改后的模型,得到最终的眼部分割图像掩膜。最后,对分割掩膜进行三项指标的计算,外展-内收露白距离锚定视线追踪的方向、睑裂高度检测驾驶人的疲劳程度、瞳孔面积占比判别人物的微表情。我们在三个数据集上进行了广泛的实验,在三个数据集上分割的准确率分别达到了71.95%、85.49%与86.29%,验证了我们方法的有效性。

3、本发明的具体方案如附图3所示。

4、步骤1:图像预处理

5、此步骤主要任务是对原始面部图像进行眼部区域的精准定位与裁剪,以消除无关背景干扰。我们使用dlib库进行人脸关键点检测,根据关键点坐标确定眼部区域边界,并对该区域进行裁剪。通过这一操作,确保裁剪后的图像以眼部区域为主体,将其作为后续分割网络的输入。

6、步骤1.1 人脸关键点检测:利用dlib库加载预训练的人脸关键点检测模型,对输入的原始面部图像进行处理,提取出包含眼部轮廓的关键点坐标集合。

7、步骤1.2 眼部区域裁剪:根据提取的关键点坐标计算眼部区域的边界框(bounding box),并以此边界框对原始图像进行裁剪,得到仅包含眼部及其周边少量皮肤区域的图像。

8、步骤2:多尺度特征提取

9、在此步骤中,我们将预处理后的眼部图像输入改进的u型网络编码器部分。不同于传统卷积,我们在编码器的每一层引入多尺度卷积模块,利用不同大小的感受野并行提取眼部结构在不同尺度下的特征信息。

10、步骤2.1 构建多尺度卷积模块:该模块由一个1×1卷积核与三个膨胀率不同的3×3卷积核并联组成。通过设置不同的大小与膨胀率,使每个卷积核具有不同的感受野大小,从而分别捕捉眼部的局部微小细节(如瞳孔边缘)和较大范围语义信息(如眼睑整体形态)的特征。

11、步骤2.2 特征融合:将四个并联卷积核输出的特征图在通道维度上进行拼接融合,生成包含多尺度信息的综合特征图,增强网络对眼部复杂结构的特征表达能力,再送入3×3大小的卷积核,将通道数进行压缩,减少后续的计算代价并再次对重要特征进行融合。

12、步骤3:跳跃连接中的双重注意力精炼

13、此步骤在u型网络的编码器与解码器两个模块之间进行。我们利用由通道注意力与空间注意力共同组成的卷积块注意力模块(cbam),将其嵌入到每一层的跳跃连接中,将经过各层编码器的特征进行双重精炼,传入对应层级的解码器当中,使模型能够兼顾浅层细节特征与深层语义特征。

14、步骤3.1 通道注意力加权:输入特征首先经过通道注意力子模块。通过并行的全局最大池化与全局平均池化操作提取通道的统计信息,随后将这些信息输入共享全连接层(mlp)进行融合,生成通道权重图。最后将权重图与原特征相乘,对包含关键眼部信息的通道分配更高权重,抑制无效通道噪声。

15、步骤3.2 空间注意力精炼:将经通道加权的特征接着送入空间注意力子模块。对该特征并行执行最大池化与平均池化,沿通道维度拼接后经卷积层生成空间权重图,从而突出重要的空间区域(如眼部轮廓边缘),弱化背景噪声。

16、步骤3.3 跳跃连接融合:将经过上述双重注意力精炼后的特征图与解码器对应层级的上采样特征图进行拼接,实现编码器深层语义信息与解码器浅层空间信息的互补融合。

17、步骤4:桥接层swin transformer全局语义整合

18、此步骤位于u型网络编码器与解码器之间的桥接层,目的是弥补传统纯卷积桥接层局部感受野的局限,实现对眼部全局上下文信息的建模,挖掘不同眼部结构之间的深层语义关联,为后续精细分割提供更丰富的语义支撑。

19、步骤4.1 特征图分块与嵌入将编码器最深层输出的特征图划分为固定大小的非重叠图像块,通过线性嵌入层将每个图像块的特征维度映射为统一长度,转化为序列化的token输入,为后续自注意力计算提供基础。

20、步骤4.2 窗口自注意力与移位窗口自注意力交替计算采用两个连续的swintransformer block对token序列进行处理:第一个block使用窗口多头自注意力(w-msa),将token划分为固定大小的局部窗口,仅在窗口内部计算自注意力,降低计算复杂度,提升计算效率;第二个block使用移位窗口多头自注意力(sw-msa),将窗口划分边界偏移半个窗口大小,使当前层窗口跨越前一层窗口边界,实现跨窗口信息交互,同时采用循环移位与掩码机制保证批量计算的效率。两个block交替堆叠,逐步整合全局语义信息。

21、步骤4.3 全局语义特征输出经过连续swin transformer block处理后,桥接层输出的特征图同时包含眼部各结构的局部细节特征与全局上下文语义特征,充分挖掘瞳孔、虹膜、巩膜、泪阜之间的空间位置关系与语义依赖,作为解码器的输入,提升复杂场景下眼部结构的分割精度。

22、步骤5:三项量化指标计算

23、此步骤基于步骤4输出的眼部分割掩膜,计算三项关键量化指标,将分割结果转化为可直接应用于下游任务的参数,分别服务于视线追踪、疲劳驾驶检测与微表情识别。

24、步骤5.1 外展-内收露白距离计算(视线追踪方向锚定)在分割掩膜中分别定位内眦点与外眦点的坐标,计算眼球水平方向上内侧巩膜露白区域的外边缘至内眦点的距离,以及外侧巩膜露白区域的外边缘至外眦点的距离,将二者作差计算露白距离差值。根据差值的正负,判断视线的偏转方向,当差值为负时判定眼球向外侧偏转,当差值为正时判定眼球向内侧偏转。而差值的绝对值反映视线的偏转幅度,以此锚定视线追踪的水平方向。

25、步骤5.2 睑裂高度计算(疲劳程度检测)在分割掩膜中分别提取上眼睑下边缘与下眼睑上边缘的轮廓坐标,沿瞳孔中心垂直方向计算上下眼睑对应点之间的像素距离,取所有对应点距离的平均值作为睑裂高度h,当h低于预设的疲劳阈值时,判定驾驶人处于闭眼或半闭眼的疲劳状态,实现疲劳程度的客观量化检测。

26、步骤5.3 瞳孔面积占比计算(微表情判别)在分割掩膜中分别统计整个眼部区域的像素数量与瞳孔区域的像素数量,而后计算瞳孔面积占比,即瞳孔区域像素数量与眼部区域像素数量的比值。该指标可反映瞳孔在不同情绪刺激下的收缩与扩张变化,作为微表情识别的量化特征输入,提升微表情判别的精度。

27、与已有技术相比,本发明有益效果在于:

28、一、本发明通过人脸关键点检测与眼部区域裁剪的预处理策略,有效消除了复杂背景与无关面部区域的干扰,使得评价模型能够专注于眼部局部微小区域,从而更好地拟合了人脸图像中眼部占比小、尺度差异大的数据特征。

29、二、本发明在特征提取阶段使用多尺度卷积模块,在不增加过多计算代价的前提下,并行提取从瞳孔边缘等微小细节到眼睑整体形态等不同尺度的特征,有效解决了不同图像中眼部区域面积与结构尺度差异较大导致的特征学习困难问题。

30、三、本发明在跳跃连接引入卷积块注意力模块,通过通道注意力对关键特征通道进行加权增强,并结合空间注意力突出眼部轮廓等重要空间区域,能够自适应地抑制睫毛遮挡、皮肤纹理等复杂噪声的干扰,使网络在跳跃连接融合时能够更精准地传递与眼部解剖结构相关的高价值特征。

31、四、本发明在桥接层引入swin transformer模块,通过滑动窗口自注意力机制在保持计算效率的同时捕捉全局上下文信息,充分挖掘瞳孔、虹膜、巩膜、泪阜等眼部结构间的空间关联与深层语义依赖,显著提升了结构边界模糊及遮挡场景下的分割精度。

32、五、本发明基于分割掩膜计算三项量化指标:通过外展-内收露白距离锚定视线方向,通过睑裂高度量化疲劳程度,通过瞳孔面积占比捕捉微表情变化,形成了从眼部图像分割到多维度行为状态分析的完整技术链路。