基于双目的活体检测方法、装置及存储介质与流程

1.本发明涉及活体检测技术，尤其涉及一种基于双目的活体检测方法、装置及存储介质。


背景技术：

2.基于人脸识别系统进行身份验证越来越多地被应用于安防、金融等领域、场景中。诸如银行系统中的远程开户、门禁系统、远程交易操作验证等。为防止恶意者伪造和窃取他人的人脸特征用于身份认证，人脸识别系统需具有活体检测功能，即判断提交的人脸特征是否来自有生命的个体。然而人脸极易用照片、视频等方式进行复制,因此对合法用户人脸的假冒是人脸识别与认证系统安全的重要威胁。
3.目前基于单一照片或视频帧的静默活体检测方法，已经取得了一定的进步。目前活体检测主要为动态活体检测，动态活体检测为防止恶意者伪造和窃取他人的生物特征用于身份认证，生物识别系统需具有活体检测功能，即判断提交的生物特征是否来自有生命的个体。一般活体检测技术利用的是人们的生理特征，例如活体指纹检测可以基于手指的温度、排汗、导电性能等信息，活体人脸检测可以基于头部的移动、呼吸、红眼效应等信息，活体虹膜检测可以基于虹膜振颤特性、睫毛和眼皮的运动信息、瞳孔对可见光源强度的收缩扩张反应特性等。动态人脸检测识别技术与其他生物特征识别技术相比，在实际应用中具有天然独到的优势：通过摄像头直接获取，可以非接触的方式完成识别过程，方便快捷。
4.目前动态人脸检测识别技术已应用在金融、教育、景区、旅运、社保等领域。实现过程主要通过眨眼、张嘴、摇头、点头等组合动作配合，确保操作的为真实活体人脸。但是其缺陷在于指令动作繁琐，需要人为主动配合，用户体验不佳。


技术实现要素：

5.本发明实施例提供一种基于双目的活体检测方法、装置及存储介质，通过双目进行人脸检测、识别，使得被检测人不需要进行繁琐的动作即可进行活体检测，缩短了检测时间、流程，提高了用户体验效果。
6.本发明实施例的第一方面，提供一种基于双目的活体检测方法，包括：
7.基于双目分别获取被检测人员的rgb图像和ir图像；
8.对所述rgb图像和ir图像中的人脸位置分别进行定位和提取，得到rgb人脸定位信息、ir人脸定位信息、rgb人脸提取信息以及ir人脸提取信息；
9.若所述rgb人脸定位信息和ir人脸定位信息相对应，则通过预先训练的分类器对所述rgb人脸提取信息和ir人脸提取信息进行处理得到rgb检测结果和ir检测结果；
10.基于所述rgb检测结果和ir检测结果判断被检测人员的活体检测是否通过。
11.可选地，在第一方面的一种可能实现方式中，基于所述rgb检测结果和ir检测结果判断被检测人员的活体检测是否通过包括：
12.将所述rgb检测结果和ir检测结果进行融合得到单帧检测结果；
13.若所述单帧检测结果大于等于预先设置的阈值，则被检测人员的活体检测为通过；
14.若所述单帧检测结果小于预先设置的阈值，则被检测人员的活体检测为未通过。
15.可选地，在第一方面的一种可能实现方式中，其中，所述rgb检测结果和ir检测结果分别为量化值；
16.所述rgb检测结果包括活体人的rgb检测概率，所述ir检测结果包括活体人的ir检测概率。
17.可选地，在第一方面的一种可能实现方式中，基于所述rgb检测结果和ir检测结果得到单帧检测结果包括：
18.通过以下公式进行计算，包括：
[0019][0020]
其中，x为单帧检测结果，s1为rgb检测结果，s2为ir检测结果。
[0021]
可选地，在第一方面的一种可能实现方式中，对所述rgb图像和ir图像中的人脸位置分别进行定位和提取包括：
[0022]
对所述rgb图像和ir图像中的人脸位置分别进行定位和提取，若存在任意一个图像不能定位或提取人脸，则停止当前的活体检测步骤后重新基于双目获取rgb图像和ir图像，再次进行活体检测步骤。
[0023]
可选地，在第一方面的一种可能实现方式中，基于双目分别获取被检测人员的rgb图像和ir图像包括：
[0024]
获取rgb图像和ir图像中的图像特征点；
[0025]
将所述图像特征点与标准图像的预设特征点进行结合求解出仿射变换矩阵，通过以下公式求解仿射变换矩阵、仿射变换后的图像，包括：
[0026][0027]
其中[x y z]表示输入坐标，[x
′ꢀy′ꢀz′
]表示变换后坐标；
[0028]
基于所述仿射变换矩阵对rgb图像和ir图像进行矫正得到矫正后的rgb图像和ir图像。
[0029]
可选地，在第一方面的一种可能实现方式中，对所述rgb图像和ir图像中的人脸位置分别进行定位和提取包括：
[0030]
当rgb图像和ir图像中都检测到人脸区域后，按人脸的面积大小对被检测到的人脸区域进行排序；
[0031]
分别提取rgb图像和ir图像中的最大人脸区域，通过iou判断最大人脸区域是否属于同一个人脸，通过以下公式求解iou：
[0032]
area1＝(right
1-left1)
·
(top
1-down1)
[0033]
area2＝(right
2-left2)
·
(top
2-down2)
[0034]
left＝max(left1，left2)
[0035]
right＝max(right1，right2)
[0036]
bottom＝max(down1，down2)
[0037]
top＝max(top1，top2)
[0038]
inter＝(right-left)
·
(top-bottom)
[0039][0040]
其中left1、right1、top1、bottom1表示rgb图像中人脸坐标，left2、right2、top2、bottom2表示ir图片中人脸坐标；
[0041]
若不属于，则停止当前的活体检测步骤后重新基于双目获取rgb图像和ir图像，再次进行活体检测步骤；
[0042]
若属于，则继续执行活体检测的步骤。
[0043]
本发明实施例的第二方面，提供一种基于双目的活体检测装置，包括：
[0044]
获取模块，用于基于双目分别获取被检测人员的rgb图像和ir图像；
[0045]
定位-提取模块，用于对所述rgb图像和ir图像中的人脸位置分别进行定位和提取，得到rgb人脸定位信息、ir人脸定位信息、rgb人脸提取信息以及ir人脸提取信息；
[0046]
处理模块，用于若所述rgb人脸定位信息和ir人脸定位信息相对应，则通过预先训练的分类器对所述rgb人脸提取信息和ir人脸提取信息进行处理得到rgb检测结果和ir检测结果；
[0047]
判断模块，用于基于所述rgb检测结果和ir检测结果判断被检测人员的活体检测是否通过。
[0048]
可选地，在第二方面的一种可能实现方式中，所述判断模块还用于执行以下步骤，包括：
[0049]
将所述rgb检测结果和ir检测结果进行融合得到单帧检测结果；
[0050]
若所述单帧检测结果大于等于预先设置的阈值，则被检测人员的活体检测为通过；
[0051]
若所述单帧检测结果小于预先设置的阈值，则被检测人员的活体检测为未通过
[0052]
本发明实施例的第三方面，提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能涉及的所述方法。
[0053]
本发明提供的一种基于双目的活体检测方法、装置及存储介质，能够基于双目分别对被检测人员的rgb图和ir图进行检测，结合rgb图和ir图的检测结果判断被检测人员是否为活体。在检测过程中不需要人员进行过多的动作配合，只是通过数据处理方式即可实现活体的检测。
[0054]
在活体检测过程中，会根据预设的检测逻辑进行不同信息的处理、比对，当任意一个步骤出现不对应、不匹配的情况时则认为是可能出现非活体的状态，则终止点前的检测步骤再次重新检测，该种方式检测准确率和效率都较高。
附图说明
[0055]
图1为基于双目的活体检测方法的第一种实施方式的流程图；
[0056]
图2为基于双目的活体检测方法的第二种实施方式的流程图；
[0057]
图3为基于双目的活体检测装置的第一种实施方式的结构图。
具体实施方式
[0058]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0059]
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
[0060]
应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0061]
应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0062]
应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含a、b和c”、“包含a、b、c”是指a、b、c三者都包含，“包含a、b或c”是指包含a、b、c三者之一，“包含a、b和/或c”是指包含a、b、c三者中任1个或任2个或3个。
[0063]
应当理解，在本发明中，“与a对应的b”、“与a相对应的b”、“a与b相对应”或者“b与a相对应”，表示b与a相关联，根据a可以确定b。根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其他信息确定b。a与b的匹配，是a与b的相似度大于或等于预设的阈值。
[0064]
取决于语境，如在此所使用的“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。
[0065]
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
[0066]
本发明提供一种基于双目的活体检测方法，其可通过rgb和ir相机对同一场景同时成像，保持同一物体在两幅图片中位置一致性。如图1和图2所示，包括：
[0067]
步骤s110、基于双目分别获取被检测人员的rgb图像和ir图像。rgb图像可以是正常的彩色图像，ir图像可以是灰度值图像、也可以是红外图像。本发明提供的技术方案在对被检测人员进行图像检测、识别时至少提取两种不同类型的图像。
[0068]
其中，步骤s110包括：
[0069]
获取rgb图像和ir图像中的图像特征点。其中，图像特征点优选为5个。5个特征点可以是眼睛、嘴、唇等等。
[0070]
将所述图像特征点与标准图像的预设特征点进行结合求解出仿射变换矩阵，通过以下公式求解仿射变换矩阵、仿射变换后的图像，
[0071]
包括：
[0072][0073]
其中[x y z]表示输入坐标，[x' y' z']表示变换后坐标；
[0074]
基于所述仿射变换矩阵对rgb图像和ir图像进行矫正得到矫正后的rgb图像和ir图像。
[0075]
将所述图像特征点与标准图像的预设特征点进行结合求解出仿射变换矩阵。本发明会预先设置标准图像的多个预设特征点，根据获取的图像特征点和预设特征点的结合求解出仿射变换矩阵。
[0076]
基于所述仿射变换矩阵对rgb图像和ir图像进行矫正得到矫正后的rgb图像和ir图像。
[0077]
大多数情况下图像获取与人脸检测模块检测到的人脸包含歪头和侧脸现象，但歪头和侧脸会影响活体检测的准确率。这两个问题可以通过仿射变换来解决，提升活体检测的准确率。
[0078]
通过上述的步骤，对每张检测到的人脸给出五个特征点，这五个特征点与标准人脸的五个特征点结合求解出仿射变换矩阵，然后对人脸图片进行矫正。
[0079]
步骤s120、对所述rgb图像和ir图像中的人脸位置分别进行定位和提取，得到rgb人脸定位信息、ir人脸定位信息、rgb人脸提取信息以及ir人脸提取信息。
[0080]
步骤s130、若所述rgb人脸定位信息和ir人脸定位信息相对应，则通过预先训练的分类器对所述rgb人脸提取信息和ir人脸提取信息进行处理得到rgb检测结果和ir检测结果。
[0081]
通过上述的步骤，分别获取rgb图像和ir图像，利用人脸检测器在rgb图像和ir图像中实现人脸位置的定位和提取，同时要判断rgb图像和ir图像中的人脸位置是否相互对应，当相互对应时将检测到的人脸区域分别送入rgb和ir活体检测分类器。将矫正后的rgb和ir人脸图片分别送入分类器，输出该图片属于真人的概率
[0082]
步骤s140、基于所述rgb检测结果和ir检测结果判断被检测人员的活体检测是否通过。分别获取rgb和ir分类器的输出，获得综合分类结果。将所述综合分类结果与预定阈值相比，如果综合分类结果大于或等于所述预定阈值，则指示活体检测通过。
[0083]
本发明提供的分类器，在训练过程中采用样本增广的方式增大样本集、避免模型训练出现过拟合，通过预先标注的rgb图像和ir图像分别对分类器进行训练。
[0084]
采用数据增广的方式对人脸图像进行采样处理(对标记的人脸框进行偏移、随机缩放等)，能够增强活体检测分类器对人脸检测框的适应能力。
[0085]
在一些实施例中，步骤s140包括：
[0086]
将所述rgb检测结果和ir检测结果进行融合得到单帧检测结果；
[0087]
若所述单帧检测结果大于等于预先设置的阈值，则被检测人员的活体检测为通过；
[0088]
若所述单帧检测结果小于预先设置的阈值，则被检测人员的活体检测为未通过。
[0089]
其中，所述rgb检测结果和ir检测结果分别为量化值；
[0090]
所述rgb检测结果包括活体人的rgb检测概率，所述ir检测结果包括活体人的ir检测概率。
[0091]
进一步的，基于所述rgb检测结果和ir检测结果得到单帧检测结果包括：
[0092]
通过以下公式进行计算，包括：
[0093][0094]
其中，x为单帧检测结果，s1为rgb检测结果，s2为ir检测结果。
[0095]
采用深度学习算法，在rgb和ir图像采集单元采集的待检测人脸图像，在人脸相互对应的前提下，分别送入rgb和ir活体检测网络输出检测结果。将rgb和ir输出结果进行融合，输出单帧的活体检测结果。
[0096]
在一些实施例中，对所述rgb图像和ir图像中的人脸位置分别进行定位和提取包括：
[0097]
对所述rgb图像和ir图像中的人脸位置分别进行定位和提取，若存在任意一个图像不能定位或提取人脸，则停止当前的活体检测步骤后重新基于双目获取rgb图像和ir图像，再次进行活体检测步骤。
[0098]
获得rgb和ir图片后，先采用人脸检测器在rgb和ir图片中同时进行人脸检测，只要rgb和ir图片中有一个没有检测到人脸则判断活体检测失败。
[0099]
在一些实施例中，对所述rgb图像和ir图像中的人脸位置分别进行定位和提取包括：
[0100]
当rgb图像和ir图像中都检测到人脸区域后，按人脸的面积大小对被检测到的人脸区域进行排序；
[0101]
分别提取rgb图像和ir图像中的最大人脸区域，通过iou判断最大人脸区域是否属于同一个人脸，通过以下公式求解iou：
[0102]
area1＝(right
1-left1)
·
(top
1-down1)
[0103]
area2＝(right
2-left2)
·
(top
2-down2)
[0104]
left＝max(left1，left2)
[0105]
right＝max(right1，right2)
[0106]
bottom＝max(down1，down2)
[0107]
top＝max(top1，top2)
[0108]
inter＝(right-left)
·
(top-bottom)
[0109][0110]
其中left1、right1、top1、bottom1表示rgb图像中人脸坐标，left2、right2、top2、
bottom2表示ir图片中人脸坐标；
[0111]
分别提取rgb图像和ir图像中的最大人脸区域，通过iou判断最大人脸区域是否属于同一个人脸，如果iou满足要求，则判断最大人脸区域属于同一个人脸。例如iou大于一个预设值，则判断iou满足要求，最大人脸区域是即属于同一个人脸。
[0112]
若不属于，则停止当前的活体检测步骤后重新基于双目获取rgb图像和ir图像，再次进行活体检测步骤；
[0113]
若属于，则继续执行活体检测的步骤。
[0114]
当rgb和ir图片中都检测到人脸区域后，分别按面积对检测到的人脸区域进行排序、分别取出rgb和ir图片中最大人脸区域，然后通过iou判断这两个人脸是否属于同一个人脸。当不属于同一人脸时，活体检测判断失败。
[0115]
在基于所述rgb检测结果和ir检测结果判断被检测人员的活体检测是否通过的步骤中，通过表1所示的识别网络模型进行处理，识别网络的模型结构包括7个卷积层、6个relu层。输入为128
×
128的图像，输出为活体检测结果。卷积过程中采用步长为2、核为3*3的卷积核进行特征提取和池化。
[0116][0117]
本发明还提供一种基于双目的活体检测装置，如图3所示，包括：
[0118]
获取模块，用于基于双目分别获取被检测人员的rgb图像和ir图像；
[0119]
定位-提取模块，用于对所述rgb图像和ir图像中的人脸位置分别进行定位和提取，得到rgb人脸定位信息、ir人脸定位信息、rgb人脸提取信息以及ir人脸提取信息；
[0120]
处理模块，用于若所述rgb人脸定位信息和ir人脸定位信息相对应，则通过预先训练的分类器对所述rgb人脸提取信息和ir人脸提取信息进行处理得到rgb检测结果和ir检
测结果；
[0121]
判断模块，用于基于所述rgb检测结果和ir检测结果判断被检测人员的活体检测是否通过。
[0122]
在一些实施例中，所述判断模块还用于执行以下步骤，包括：
[0123]
将所述rgb检测结果和ir检测结果进行融合得到单帧检测结果；
[0124]
若所述单帧检测结果大于等于预先设置的阈值，则被检测人员的活体检测为通过；
[0125]
若所述单帧检测结果小于预先设置的阈值，则被检测人员的活体检测为未通过。
[0126]
其中，可读存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(application specific integrated circuits，简称：asic)中。另外，该asic可以位于用户设备中。当然，处理器和可读存储介质也可以作为分立组件存在于通信设备中。可读存储介质可以是只读存储器(rom)、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0127]
本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。
[0128]
在上述设备的实施例中，应理解，处理器可以是中央处理单元(英文：central processing unit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digital signal processor，简称：dsp)、专用集成电路(英文：application specific integrated circuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
[0129]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。