一种基于多尺度信息融合的人脸静默活体检测方法与流程

1.本发明涉及人脸活体检测技术领域，具体为一种基于多尺度信息融合的人脸静默活体检测方法。


背景技术：

2.随着刷脸应用的广泛普及，为了防止非法假冒他们刷脸的情况，人脸活体检测成为刷脸最必要的验证环节，静默活体由于其不需要用户配合，具有良好的体验，被广泛应用，静默活体根据硬件成像源的不同，可分为红外图像、3d结构光图像和rgb彩色图像等，实际使用中，根据硬件条件，可独立使用单种成像源数据，或者使用多模态数据同时参与活体检测，人脸静默活体检测，通过人脸面部的细节信息来判断是否为活体人脸，但是人脸面部的信息有限，通过外扩可以获取除面部以外更多的信息，包括：环境背景、脖子、部分上躯干、头发等部位的信息。
3.但是外扩会导致最重要的人脸面部的占比减小，在模型容量不变的情况下，人脸面部最重要的信息会丢失，使用复杂模型带来的问题是难以保证泛化性能，难以方便训练和使用。
4.为此，我们提出一种基于多尺度信息融合的人脸静默活体检测方法。


技术实现要素：

5.鉴于上述和/或现有一种基于多尺度信息融合的人脸静默活体检测方法中存在的问题，提出了本发明。
6.因此，本发明的目的是提供一种基于多尺度信息融合的人脸静默活体检测方法，通过一方面我们利用除面部以外的更多的信息，另一方面我们尽可能的利用好面部的信息，可以端到端训练的模型，并且可以尽可能的利用图片的中的信息，在实际应用中具有非常优良的性能，建立基于多尺度信息融合的人脸静默活体检测模型，并分别用不同的神经网络提取不同尺度下人脸的活体、假体特征，融合不同尺度的特征作为活体的判断依据，能够解决上述提出现有外扩会导致最重要的人脸面部的占比减小，在模型容量不变的情况下，人脸面部最重要的信息会丢失，使用复杂模型带来的问题是难以保证泛化性能，难以方便训练和使用的问题。
7.为解决上述技术问题，根据本发明的一个方面，本发明提供了如下技术方案：
8.一种基于多尺度信息融合的人脸静默活体检测方法，其包括：人脸检测和基于多尺度信息融合的人脸静默活体检测，具体步骤如下：
9.s1：进入刷脸流程模块，摄像头采集画面，开始人脸检测模块，当人脸出现在摄像头画面中，人脸检测模型计算得到人脸的检测框坐标，当摄像头画面中没有人脸时，则继续检测人脸，直到检测出人脸，检测出人脸的图片进行下一阶段；
10.s2：采集面部图，在人脸检测的基础上，获取多个尺度的人脸面部图片，分别采集较小尺度的面部图，采集中等尺度的面部图，采集较大尺度的面部图；
11.s3：通过得到不同尺度的人脸图片，建立基于多尺度信息融合的人脸静默活体检测模型，分别用不同的神经网络提取不同尺度下人脸的活体、假体特征，融合不同尺度的特征作为活体的判断依据；
12.s4：基于多尺度信息融合的人脸静默活体检测，先分别提取不同尺度的人脸信息，再进行融合，从而可以尽可能利用图片中的信息来进行活体判断；
13.s5：使用多个深度卷积神网络提取不同尺度人脸的深度特征，使用卷积层将不同尺度的特征进行融合，得到多尺度融合特征，把它作为人脸活体的分类依据；
14.s6：输入一张人脸图片后，进行活体检测模块，人脸静默活体检测模型计算得到活体得分，根据实际结果的统计分析，设定经验阈值，当得分大于等于阈值时，该图片中的人脸为活体，活体检测通过，否则该图片中的人脸为假体，活体检测不通过；
15.s7：将活体检测结果反馈给使用方，使用方根据结果进行后续判断和处理。
16.作为本发明所述的一种基于多尺度信息融合的人脸静默活体检测方法的一种优选方案，其中：步骤s2中，小尺度人脸包含较多的面部细节信息，中等尺度人脸包含头发和脖子的信息，大尺度人脸包含背景信息。
17.作为本发明所述的一种基于多尺度信息融合的人脸静默活体检测方法的一种优选方案，其中：步骤s5中，使用的深度卷积神经网络提取图像特征，网络使用的是开源网络。
18.作为本发明所述的一种基于多尺度信息融合的人脸静默活体检测方法的一种优选方案，其中：步骤s6中，人脸静默活体检测模型计算得到活体得分取值范围为0-1。
19.与现有技术相比：
20.一方面我们利用除面部以外的更多的信息，另一方面我们尽可能的利用好面部的信息，我们提出的一种基于多尺度信息融合的人脸静默活体检测方法，可以端到端训练的模型，并且可以尽可能的利用图片的中的信息，在实际应用中具有非常优良的性能，人脸检测可以检测图片中是否存在人脸，存在人脸时，计算得到面部的图像；进一步地，通过得到不同尺度的人脸图片，建立基于多尺度信息融合的人脸静默活体检测模型；并分别用不同的神经网络提取不同尺度下人脸的活体或者假体特征，融合不同尺度的特征作为活体的判断依据。
附图说明
21.图1为本发明一种基于多尺度信息融合的人脸静默活体检测方法的流程图；
22.图2为本发明一种基于多尺度信息融合的人脸静默活体检测方法中模型结构图。
具体实施方式
23.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
24.本发明提供一种基于多尺度信息融合的人脸静默活体检测方法，具有可以端到端训练的模型，并且可以尽可能的利用图片的中的信息，建立基于多尺度信息融合的人脸静默活体检测模型，并分别用不同的神经网络提取不同尺度下人脸的活体、假体特征，融合不同尺度的特征作为活体的判断依据的优点，请参阅图1，包括人脸检测和基于多尺度信息融合的人脸静默活体检测；
25.具体步骤如下：
26.s1：进入刷脸流程模块，摄像头采集画面，开始人脸检测模块，当人脸出现在摄像头画面中，人脸检测模型计算得到人脸的检测框坐标，当摄像头画面中没有人脸时，则继续检测人脸，直到检测出人脸，检测出人脸的图片进行下一阶段，人脸检测可以检测图片中是否存在人脸，存在人脸时，计算得到面部的图像；
27.s2：采集面部图，在人脸检测的基础上，获取多个尺度的人脸面部图片，分别采集较小尺度的面部图，采集中等尺度的面部图，采集较大尺度的面部图，小尺度人脸包含较多的面部细节信息，中等尺度人脸包含头发和脖子的信息，大尺度人脸包含背景信息，为了保证图片信息的最大化利用，根据人脸占据画面的比例计算得到外扩比例；
28.s3：通过得到不同尺度的人脸图片，建立基于多尺度信息融合的人脸静默活体检测模型，分别用不同的神经网络提取不同尺度下人脸的活体、假体特征，融合不同尺度的特征作为活体的判断依据；
29.s4：基于多尺度信息融合的人脸静默活体检测，先分别提取不同尺度的人脸信息，再进行融合，从而可以尽可能利用图片中的信息来进行活体判断；
30.s5：使用多个深度卷积神网络提取不同尺度人脸的深度特征，使用的深度卷积神经网络提取图像特征，网络使用的是开源网络，使用卷积层将不同尺度的特征进行融合，得到多尺度融合特征，把它作为人脸活体的分类依据，多尺度的范围按照实际经验来选择，我们选择小尺度图片i1，中尺度图片i2，大尺度图片i3；分别建立深度卷积神经网络n1，n2和n3，使用卷积层c融合不同尺度的人脸信息特征，融合特征作为分类器f的分类依据，我们可以得到分类结果r为:r＝f(c(n1(i1),n2(i2),n3(i3)))；
31.s6：输入一张人脸图片后，进行活体检测模块，人脸静默活体检测模型计算得到活体得分，人脸静默活体检测模型计算得到活体得分取值范围为0-1，模型可以端到端训练，模型学习多尺度人脸活体特征的融合过程，极大提升了模型的泛化性和鲁棒性，使用假体和活体两类数据训练我们所搭建的活体检测模型，让模型学习假体和活体数据之间的差异，训练结束获得可以使用的活体检测模型，根据实际结果的统计分析，设定经验阈值，当得分大于等于阈值时，该图片中的人脸为活体，活体检测通过，否则该图片中的人脸为假体，活体检测不通过；
32.s7：将活体检测结果反馈给使用方，使用方根据结果进行后续判断和处理。
33.在具体使用时，进入刷脸流程模块，摄像头采集画面，开始人脸检测模块，当人脸出现在摄像头画面中，人脸检测模型计算得到人脸的检测框坐标，当摄像头画面中没有人脸时，则继续检测人脸，直到检测出人脸，检测出人脸的图片进行下一阶段，进行采集面部图，在人脸检测的基础上，获取多个尺度的人脸面部图片，分别采集较小尺度的面部图，采集中等尺度的面部图，采集较大尺度的面部图，通过得到不同尺度的人脸图片，建立基于多尺度信息融合的人脸静默活体检测模型，分别用不同的神经网络提取不同尺度下人脸的活体、假体特征，融合不同尺度的特征作为活体的判断依据，基于多尺度信息融合的人脸静默活体检测，先分别提取不同尺度的人脸信息，再进行融合，从而可以尽可能利用图片中的信息来进行活体判断，使用多个深度卷积神网络提取不同尺度人脸的深度特征，使用卷积层将不同尺度的特征进行融合，得到多尺度融合特征，把它作为人脸活体的分类依据，输入一张人脸图片后，进行活体检测模块，人脸静默活体检测模型计算得到活体得分，根据实际结
果的统计分析，设定经验阈值，当得分大于等于阈值时，该图片中的人脸为活体，活体检测通过，否则该图片中的人脸为假体，活体检测不通过，将活体检测结果反馈给使用方，使用方根据结果进行后续判断和处理，一方面我们利用除面部以外的更多的信息，另一方面我们尽可能的利用好面部的信息，可以端到端训练的模型，并且可以尽可能的利用图片的中的信息，建立基于多尺度信息融合的人脸静默活体检测模型，并分别用不同的神经网络提取不同尺度下人脸的活体、假体特征，融合不同尺度的特征作为活体的判断依据。
34.虽然在上文中已经参考实施方式对本发明进行了描述，然而在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本发明所披露的实施方式中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本发明并不局限于文中公开的特定实施方式，而是包括落入权利要求的范围内的所有技术方案。