复杂环境下的人脸识别门禁活体检测与防伪方法与流程

本技术涉及人脸识别，尤其涉及一种复杂环境下的人脸识别门禁活体检测与防伪方法。

背景技术：

1、佩戴护目镜和呼吸面罩的人员进行门禁身份认证时，可见光图像主要保留眼周区域，鼻部、口部和面颊区域受到呼吸防护件遮挡。人员呼出的湿热气体从呼吸防护件边缘逸出，一部分湿热气体到达透明眼部防护件表面并形成凝露，凝露遮挡眼部轮廓和眼周纹理；另一部分湿热气体在呼吸防护件边缘外侧扩散，并在热成像图像中形成连续热区域。因此，门禁认证需要在人员保持防护状态的情况下，从凝露逐渐消退的眼周区域取得身份数据，同时确认呼吸防护件边缘外侧的热变化来源于当前人员的实时呼吸。

2、佩戴透明眼部防护件和呼吸防护件通过门禁时，透明眼部防护件表面的凝露会遮挡眼部轮廓和眼周纹理，呼吸防护件会遮挡口鼻区域。可见光图像中可用于身份识别的人脸区域减少，热成像图像中与呼吸相关的热变化单独作为活体依据时可靠性不足。

3、现有门禁人脸识别通常利用可见光人脸图像进行身份比对，活体检测可以结合红外成像、动作配合或者温度变化判断真人状态。

4、在防护件持续佩戴且透明表面存在凝露的情况下，眼周可见范围不完整，口鼻区域又不能作为常规人脸比对依据，容易导致门禁身份认证和活体检测结果的可信度降低。

技术实现思路

1、本技术提供一种复杂环境下的人脸识别门禁活体检测与防伪方法，用以解决现有技术中由于透明眼部防护件凝露遮挡眼周且呼吸防护件遮挡口鼻，导致佩戴防护件人员的门禁人脸识别活体检测可信度不足的问题。

2、为解决上述技术问题，第一方面，本技术提供一种复杂环境下的人脸识别门禁活体检测与防伪方法，用于对佩戴透明眼部防护件和呼吸防护件的待识别人员进行门禁身份认证，包括：

3、响应于门禁认证请求，沿透明眼部防护件表面横向吹送定向气流；

4、在施加定向气流期间，按时间顺序获取待识别人员的多帧可见光图像和多帧热成像图像；

5、根据多帧可见光图像确定透明眼部防护件覆盖的眼周区域，并在透明眼部防护件图像区域内确定凝露区域、目标清晰区域以及凝露区域与目标清晰区域之间的凝露消退边界；

6、当凝露消退边界移动至眼周区域时，根据位于眼周区域内的目标清晰区域确定局部人脸特征；

7、基于多帧热成像图像，确定从呼吸防护件边缘向外延伸的呼气热迹，以及呼气热迹的源端位置和尾端移动方向；

8、若源端位置保持于呼吸防护件边缘，且尾端移动方向与定向气流的方向一致，则将局部人脸特征确定为活体身份特征；

9、将活体身份特征与预存眼周人脸特征进行匹配，以生成门禁识别结果。

10、可选地，在确认源端位置保持于呼吸防护件边缘且尾端移动方向与定向气流方向一致后，记录初始气流方向，并通过随机切换为验证气流的方式对呼气热迹进行二次验证。

11、响应于源端位置保持于呼吸防护件边缘且尾端移动方向与定向气流的方向一致，将定向气流的方向记录为初始气流方向；

12、将定向气流切换为方向与初始气流方向相反的验证气流；

13、在施加验证气流期间，按时间顺序获取待识别人员的多帧验证热成像图像；

14、根据多帧验证热成像图像确定从呼吸防护件边缘向外延伸的验证呼气热迹，以及验证呼气热迹的验证源端位置和验证尾端移动方向；

15、若源端位置和验证源端位置保持于呼吸防护件的同一边缘位置，尾端移动方向与初始气流方向一致，且验证呼气热迹对验证气流的方向切换响应有效，则将局部人脸特征确定为活体身份特征。

16、可选地，将定向气流切换为方向与初始气流方向相反的验证气流，包括：

17、将源端位置保持于呼吸防护件边缘且尾端移动方向与初始气流方向一致的时刻确定为验证起始时刻；

18、从验证起始时刻之后且定向气流尚未切换期间的至少两个预定热成像图像采集时刻中随机选取一个采集时刻，并将选取的采集时刻确定为验证切换时刻；

19、当达到验证切换时刻时，将定向气流切换为验证气流，并将自验证切换时刻起采集的热成像图像确定为验证热成像图像。

20、可选地，根据多帧验证热成像图像确定从呼吸防护件边缘向外延伸的验证呼气热迹，以及验证呼气热迹的验证源端位置和验证尾端移动方向，包括：

21、从每帧验证热成像图像中确定与呼吸防护件边缘相连的连续热区域；

22、将连续热区域与呼吸防护件边缘相连的位置确定为验证源端位置；

23、将连续热区域中距验证源端位置最远的位置确定为验证尾端位置；

24、根据不同采集时刻的验证尾端位置确定验证尾端移动方向，并确定验证尾端移动方向首次与验证气流的方向一致的热迹转向时刻；

25、根据验证切换时刻和热迹转向时刻确定验证响应时长；

26、若验证响应时长不超过预设响应时限，则判定验证呼气热迹对验证气流的方向切换响应有效。

27、可选地，确定源端位置和验证源端位置保持于呼吸防护件的同一边缘位置，包括：

28、根据多帧热成像图像和验证热成像图像确定呼吸防护件的边缘参考线；

29、将源端位置和验证源端位置分别映射至边缘参考线，得到两个边缘映射位置；

30、确定图像配准过程中控制点的映射误差，并根据映射误差确定沿边缘参考线方向的允许位置偏差；若两个边缘映射位置沿边缘参考线的距离不大于允许位置偏差，则确定源端位置和验证源端位置保持于呼吸防护件的同一边缘位置。

31、可选地，根据多帧可见光图像确定透明眼部防护件覆盖的眼周区域，以及凝露区域与目标清晰区域之间的凝露消退边界，包括：

32、从多帧可见光图像中提取透明眼部防护件的轮廓和眼部关键点，根据位于轮廓内的眼部关键点确定眼周区域；在透明眼部防护件的轮廓内按相邻图像块跟踪凝露消退过程，将显露眼周纹理或提取出眼部关键点的图像块确定为目标清晰区域，将与目标清晰区域相邻且仍遮挡眼周纹理的图像块确定为凝露区域，并将目标清晰区域与凝露区域之间的图像块交界线确定为凝露消退边界。

33、可选地，将活体身份特征与预存眼周人脸特征进行匹配，以生成门禁识别结果，包括：

34、根据门禁认证请求携带的人员身份标识以及活体身份特征在眼周区域内的位置，选取同一人员且对应位置的预存眼周人脸特征，确定活体身份特征与选取的预存眼周人脸特征之间的特征相似度，并在特征相似度达到预设匹配阈值时生成允许通行的门禁识别结果，否则生成拒绝通行的门禁识别结果。

35、可选地，当凝露消退边界移动至眼周区域时，根据位于眼周区域内的目标清晰区域确定局部人脸特征，包括：

36、确定目标清晰区域与眼周区域的交叠区域，当同一眼部对应的全部眼部关键点均位于交叠区域时，将交叠区域中由全部眼部关键点围成的区域确定为特征提取区域，并从特征提取区域提取局部人脸特征。

37、可选地，基于多帧热成像图像，确定从呼吸防护件边缘向外延伸的呼气热迹，以及呼气热迹的源端位置和尾端移动方向，包括：

38、从各帧热成像图像中提取与呼吸防护件边缘连通且温度高于相邻背景区域的连续热区域，将连续热区域确定为呼气热迹，将连续热区域与呼吸防护件边缘的连接位置确定为源端位置，并根据距源端位置最远的尾端位置在多个连续采集时刻内的累计位置变化确定尾端移动方向。

39、可选地，响应于门禁认证请求，沿透明眼部防护件表面横向吹送定向气流，包括：

40、获取门禁认证请求发生时的初始可见光图像，在初始可见光图像中提取出至少一个眼部关键点时，根据初始可见光图像确定初始眼周区域，并将初始眼周区域中提取出眼部关键点的区域确定为初始清晰区域；确定初始清晰区域至初始眼周区域左横向侧部和右横向侧部的距离，将两个距离中数值最小的距离对应的横向侧部确定为起始吹送侧；在两个距离数值相等、任一距离无法确定或者初始清晰区域不存在时，将预先登记的横向侧部确定为起始吹送侧，并沿从起始吹送侧指向初始眼周区域的方向吹送定向气流。

41、本技术提供的技术方案具有以下有益效果：

42、本技术沿透明眼部防护件表面吹送定向气流，使凝露消退边界在透明眼部防护件图像区域内随气流移动并进入回映后的眼周区域，从而形成显露眼周纹理或者能够提取出眼部关键点的目标清晰区域；同时，从呼吸防护件边缘延伸的呼气热迹尾端沿同一气流方向偏转，并可在气流反向后形成响应有效的转向结果。源端位置保持于呼吸防护件边缘且尾端移动方向与气流方向对应时，目标清晰区域产生的局部人脸特征才被确定为活体身份特征。由此，凝露消退结果、局部人脸特征和实时呼吸响应通过同一气流作用过程形成因果关联，在人员不摘除防护件的情况下提高门禁人脸识别结果抵抗照片、显示图像及独立热源伪造的能力。