一种多特征融合的人脸活体检测方法、装置及存储介质与流程

摘要: 本发明涉及软件领域,尤其涉及一种多特征融合的人脸活体检测方法、装置及存储介质。背景技术:1、人脸识别已经广泛应用于远程开户、移动支付、门禁通行、线上政务等实名制...
一种多特征融合的人脸活体检测方法、装置及存储介质与流程

本发明涉及软件领域,尤其涉及一种多特征融合的人脸活体检测方法、装置及存储介质。

背景技术:

1、人脸识别已经广泛应用于远程开户、移动支付、门禁通行、线上政务等实名制场景,但只靠人脸比对无法区分真人真实在场与照片、屏幕翻拍、视频回放甚至简单面具等攻击手段,因此活体检测已经成为身份认证系统里必不可少的一环。

2、目前业内采用的人脸活体检测方案主要有三类。第一类是基于单帧图像的静态特征检测,通过分析纹理、反光、清晰度或篡改痕迹来判断是否为真实人脸。这种方法实现简单,但对光照变化、摄像头品质、图像压缩和用户姿态特别敏感,单张图像的误判会直接决定最终结果,稳定性明显不足。第二类是动作挑战式检测,通常要求用户配合完成眨眼、摇头、张嘴等动作,用来确认被采集对象是实时配合的真人。相比纯静态方式,这种交互要求能挡住一部分简单的照片攻击,但如果只依赖一个动作(比如只检测眨眼),攻击者用一段包含眨眼动作的高清视频或屏幕回放就能绕过。第三类是基于多帧时序分析的检测,利用连续图像帧之间的动态变化提高判断的鲁棒性。虽然比单帧方案有所改善,但当没有明确动作约束时,面对精心构造的动态攻击仍然存在漏洞。

3、与本发明最接近的现有技术,大多可以归为单帧活体检测或单一眨眼动作检测这一类方案。这类方案在实际应用中暴露了四个突出问题。

4、其一,检测维度单一。只靠单帧纹理信息,或者只检验一个眨眼动作,无法同时覆盖照片打印攻击、屏幕翻拍攻击以及借助视频做的动态伪造攻击,攻击面收得不够。

5、其二,结果稳定性不够。单帧模型对图像模糊、头部偏转、光照突变、遮挡等因素很敏感,偶发的误检和漏检会直接拉低整体通过率和安全性,业务体验很差。

6、其三,缺少多条件联合校验。现有方案通常没有把眨眼行为、头部姿态变化和连续帧的活体分值放在同一个框架下进行融合判断,一旦单一条件被突破,整个活体检测即告失效,安全冗余很低。

7、其四,缺少工程化的会话级状态管理。在线上接口、批量处理和流式检测等场景中,大量不同用户的请求混杂在一起,如果不为每个检测会话维护独立的状态,不同任务的状态容易互相干扰,出现张冠李戴的误判,系统的准确性和可扩展性都受到影响。

8、这些不足的根源在于,现有技术大多数只从单一维度做活体判断,既没有把动作交互验证、姿态变化验证、深度模型反欺骗结果以及多帧统计信息进行统一设计,也没有针对在线服务这类真实部署环境,建立完整的会话状态管理和结果融合机制。因此,业内需要一种能同时兼顾实时性、准确性、鲁棒性和工程可部署性的活体检测方案。

技术实现思路

1、为了解决上述技术问题,本发明提供了一种多特征融合的人脸活体检测方法,包括如下步骤:

2、接收检测请求,所述检测请求包含会话标识、帧标识和图像数据,对所述图像数据进行解码以获取当前图像帧;

3、针对每一个所述会话标识创建独立的会话级检测状态实例,并在所述会话级检测状态实例中维护眨眼检测状态、头部姿态检测状态以及活体检测时序状态;

4、提取所述当前图像帧中的眼部关键点并计算眼部纵横比,基于所述眼部纵横比采用包含初始状态、睁眼确认状态和闭眼确认状态的三态状态机机制判定是否完成眨眼动作,并更新所述眨眼检测状态;

5、提取所述当前图像帧中的面部关键点,基于所述面部关键点与预设三维人脸参考点之间的对应关系求解旋转向量并将所述旋转向量转换为欧拉角,比较所述当前图像帧与前一帧的所述欧拉角的变化量判定是否发生头部转动动作,并更新所述头部姿态检测状态;

6、定位所述当前图像帧中的人脸区域并进行裁剪,调用多个反欺骗模型分别对裁剪后的人脸区域进行推理,集成多个所述反欺骗模型的预测结果得到单帧分类标签和单帧置信分值;当所述单帧分类标签指示为真实人脸且所述单帧置信分值大于或等于设定分值阈值时,将所述当前图像帧标记为真实活体帧,否则标记为非真实活体帧,并将所述当前图像帧的标记结果写入固定长度的滑动窗口中;

7、在所述滑动窗口达到预设长度后,统计所述滑动窗口内所述真实活体帧的比例,当所述比例大于或等于设定通过率阈值时,判定满足活体条件并更新所述活体检测时序状态;

8、获取预设检测模式,根据所述预设检测模式对更新后的所述眨眼检测状态、所述头部姿态检测状态和所述活体检测时序状态进行逻辑组合判定,当所述预设检测模式下关联的必要检测项均满足通过条件时,输出活体检测通过结果。

9、第二方面,本发明还包括一种多特征融合的人脸活体检测装置,包括:

10、请求接收与解码模块,用于接收检测请求,所述检测请求包含会话标识、帧标识和图像数据,对所述图像数据进行解码以获取当前图像帧;

11、会话管理模块,用于针对每一个所述会话标识创建独立的会话级检测状态实例,并在所述会话级检测状态实例中维护眨眼检测状态、头部姿态检测状态以及活体检测时序状态;

12、眨眼检测模块,用于提取所述当前图像帧中的眼部关键点并计算眼部纵横比,基于所述眼部纵横比采用包含初始状态、睁眼确认状态和闭眼确认状态的三态状态机机制判定是否完成眨眼动作,并更新所述眨眼检测状态;

13、头部姿态检测模块,用于提取所述当前图像帧中的面部关键点,基于所述面部关键点与预设三维人脸参考点之间的对应关系求解旋转向量并将所述旋转向量转换为欧拉角,比较所述当前图像帧与前一帧的所述欧拉角的变化量判定是否发生头部转动动作,并更新所述头部姿态检测状态;

14、活体模型验证与时序模块,用于定位所述当前图像帧中的人脸区域并进行裁剪,调用多个反欺骗模型分别对裁剪后的人脸区域进行推理,集成多个所述反欺骗模型的预测结果得到单帧分类标签和单帧置信分值;当所述单帧分类标签指示为真实人脸且所述单帧置信分值大于或等于设定分值阈值时,将所述当前图像帧标记为真实活体帧,否则标记为非真实活体帧,并将所述当前图像帧的标记结果写入固定长度的滑动窗口中;在所述滑动窗口达到预设长度后,统计所述滑动窗口内所述真实活体帧的比例,当所述比例大于或等于设定通过率阈值时,判定满足活体条件并更新所述活体检测时序状态;

15、融合判定模块,用于获取预设检测模式,根据所述预设检测模式对更新后的所述眨眼检测状态、所述头部姿态检测状态和所述活体检测时序状态进行逻辑组合判定,当所述预设检测模式下关联的必要检测项均满足通过条件时,输出活体检测通过结果。

16、第三方面,本发明还包括一种电子设备,其特征在于,包括处理器和存储器,所述存储器上存储有计算机程序,所述计算机程序被所述处理器执行时,实现前述的多特征融合的人脸活体检测方法。

17、第四方面,本发明还包括一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如前述的多特征融合的人脸活体检测方法。

18、与现有技术相比,本发明的有益效果如下:

19、本方案通过将眨眼动作检测、头部姿态变化检测和多模型集成的反欺骗判别,纳入一个会话级状态管理和时序融合框架,从多个层面提升了活体检测的实际表现。

20、在防伪能力上,由于同时校验了眨眼行为、头部转动动作和基于深度模型的活体分值,而不是仅仅依赖单一信息源,无论是静态照片、屏幕回放还是部分动态视频伪造攻击,都很难在三个维度上同时达标,攻击成功率被大幅压低。

21、在检测稳定性上,引入了固定长度的滑动窗口对连续帧的活体结果进行统计,只有当窗口内真实活体帧占比达到预设阈值才判定通过,这样即便个别帧因为短暂模糊、侧脸或强光出现误判,也不会直接推翻整个会话,有效克服了单帧检测起伏大的问题。

22、在动作验证的可靠性上,眨眼检测采用了初始-睁眼确认-闭眼确认的三态状态机,通过连续多帧观察眼睛纵横比的变化趋势,能精准识别一次完整的眨眼动作,滤掉了眼皮无意识抖动和瞬时噪声带来的误触发;头部姿态检测则通过比较前后帧偏航角等姿态变化量,确认用户是否做出了明显的转头动作,为活体检测增加了第二道显式动作防线。

23、在多模型泛化能力上,活体检测环节同时集成了多个反欺骗模型的推理结果,并对单帧输出设定置信度阈值,不同模型之间的优势互补可以适应更广泛的伪造样本类型,降低单模型过拟合的风险,使整体检测准确率和鲁棒性都比单一模型方案更好。