活体检测方法、电子设备及存储介质与流程

1.本公开涉及人工智能技术领域，特别涉及一种活体检测方法、电子设备及存储介质。


背景技术：

2.活体检测需要判断捕捉到的人脸是真实人脸，还是伪造的人脸攻击(如彩色纸张打印人脸图，电子设备屏幕中的人脸图像以及面具等)。目前，活体检测从是否需要配合常常分为静默式活体检测以及动作式活体检测。配合式活体检测需要测试者根据指令做出相应的动作，活体检测性能较高但效率较低且体验效果较差。而非配合式活体检测则是在不需要测试者做出指令动作的情况下进行活体检测，体验效果较好但性能一般。
3.活体检测从输入模态可分为可见光，近红外，深度图三种。深度图成本较高，故一般采用单目可见光活体检测，或者双目(可见光 近红外)进行活体检测。但是，采用深度学习进行近红外活体检测通常使用3d align的方式对提取出的人脸检测框中的人脸区域部分进行训练，消耗时间较长，效率较低。


技术实现要素：

4.(一)要解决的技术问题
5.鉴于上述问题，本公开的主要目的在于提供一种活体检测方法、电子设备及存储介质，以期至少部分地解决上述提及的技术问题中的至少之一。
6.(二)技术方案
7.根据本公开的一个方面，提供了一种活体检测方法，包括：
8.采集人脸数据；
9.对所述人脸数据进行处理得到训练数据；
10.利用所述训练数据对活体检测模型进行训练；
11.以及利用训练后的活体检测模型进行活体检测；
12.其中，所述训练数据包括第一人脸数据及第二人脸数据，所述第一人脸数据是由采集的人脸数据经人脸检测框截取得到，所述第二人脸数据是由采集的人脸数据经相似变换得到。
13.进一步的，对所述人脸数据进行处理得到训练数据，包括：
14.对采集的所述人脸数据进行预处理；
15.及对预处理后的数据进行数据增强，由此得到训练数据。
16.进一步的，对采集的所述人脸数据进行预处理，包括：
17.对于采集的人脸数据，利用人脸检测框截取人脸矩形区域，由此得到有背景信息的人脸数据，作为所述第一人脸数据；
18.对于采集的人脸数据，根据人脸左眼睛、右眼睛、鼻子、左嘴角、右嘴角的关键点位置相似变换到正脸的人脸区域，由此得到无背景信息的人脸数据，作为所述第二人脸数据。
19.进一步的，采集人脸数据，包括：
20.预设不同的补光形状及补光功率；
21.在不同的补光形状及补光功率下，采集不同姿态时的活体人脸图像数据及假体人脸图像数据。
22.进一步的，所述补光形状为环形补光或条形补光，所述补光功率为0.5-1.0倍的额定功率。
23.进一步的，利用训练后的活体检测模型进行活体检测，包括：
24.将待检测的人脸数据输入所述训练后的活体检测模型；
25.确定待检测的人脸数据中关键点信息及模型活体检测概率数据；
26.利用所述关键点信息及模型活体检测概率数据对所述待检测的人脸数据进行活体检测，确定活体检测结果；
27.其中所述关键点信息包括人脸的眼睛倾斜角度thetal、嘴角倾斜角度theta2、左眼到鼻子的水平距离lenx_dis、鼻子到右眼的水平距离renx_dis、左嘴角到鼻子的水平距离lmnx_dis以及鼻子到右嘴角的水平距离rmnx_dis；所述模型活体检测概率数据包括所述活体检测模型对所述人脸检测框中的人脸的活体检测概率prob_bb、所述活体检测模型对所述相似变换的人脸的活体检测概率prob_st。
28.进一步的，活体检测结果满足以下关系式：
29.alive＝(prob_bb＞＝prob_thresh)&&(prob_st＞＝prob_thresh)&&(theta1＞＝0)&&(theta1＜＝theta_thresh)&&(theta2＞＝0)&&(theta2＜＝theta_thresh)&&(x_ratio＞＝x_ratio_thresh_min)&&(x_ratio＜＝x_ratio_thresh_max)；
30.其中，prob_thresh为预设概率阈值，theta_thresh为预设角度阈值，x_ratio_thresh为预设比例阈值，x_ratio_thresh_min为预设比例阈值的最小值，x_ratio_thresh_max为预设比例阈值的最大值。
31.进一步的，所述眼睛倾斜角度thetal满足以下关系式：
32.theta1＝180/math.pi*math.atan2((re[1]-le[1])，(re[0]-le[0]))；
[0033]
所述嘴角倾斜角度theta2满足以下关系式：
[0034]
theta2＝180/math.pi*math.atan2((r_mouth[1]-1_mouth[1])，(r_mouth[0]-1_mouth[0]))；
[0035]
lenx_dis＝nose[0]-le[0] 1；
[0036]
renx_dis＝re[0]-nose[0] 1；
[0037]
lmnx_dis＝nose[0]-1_mouth[0] 1；
[0038]
rmnx_dis＝r_mouth[0]-nose[0] 1；
[0039]
lrmnx_ratio＝lenx_dis/rmnx_dis；
[0040]
lrenx_ratio＝renx_dis/lmnx_dis；
[0041]
x_ratio＝lrmnx_ratio/lrenx_ratio；
[0042]
其中，nose[0]表示鼻子的横坐标，le[0]表示左眼的横坐标，re[0]表示右眼的横坐标，l_mouth[0]表示左嘴角的横坐标，r_mouth[0]表示右嘴角的横坐标。
[0043]
根据本公开的另一个方面，提供了一种电子设备，包括：
[0044]
一个或多个处理器；
[0045]
存储装置，用于存储一个或多个程序，
[0046]
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行所述的方法。
[0047]
根据本公开的又一个方面，提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行所述的方法。
[0048]
(三)有益效果
[0049]
从上述技术方案可以看出，本公开一种活体检测方法、电子设备及存储介质至少具有以下有益效果其中之一：
[0050]
(1)本公开使用相似变换替代无背景信息的人脸提取，减少了3d align的过程。
[0051]
(2)本公开根据训练数据集的获取方式不同选择对应的预测方式，准确率更高。
[0052]
(3)本公开提出了完整的活体检测方案，包括数据采集、预处理、训练、测试时的预处理、活体检测结果综合等，提高了活体检测效率以及体验，在金融支付，门禁等场合有广阔的应用前景。
[0053]
(4)本公开同时利用所述关键点信息及模型活体检测概率数据对所述待检测的人脸数据进行活体检测，确定活体检测结果，由此提高了检测的准确性，避免了单纯利用模型活体检测概率数据而出现的误判。
[0054]
(5)真人与高清视频以及高清打印图片在单目rgb摄像头中的表现差异较小，而近红外天然地可以防止屏幕攻击且真实人脸及非活体载体对于近红外波段的吸收和反射强度也不同，本公开通过近红外提高了活体检测的准确性。
附图说明
[0055]
构成本公开的一部分的附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
[0056]
图1为本公开活体检测方法流程图。
[0057]
图2为本公开对所述人脸数据进行处理得到训练数据流程图。
[0058]
图3为本公开采集人脸数据流程图。
[0059]
图4为本公开利用训练后的活体检测模型进行活体检测流程图。
[0060]
图5为本公开近红外补光灯结构示意图。
[0061]
图6为本公开真人不同补光形状以及不同功率下采集图片示意图。
[0062]
图7为本公开纸张不同补光形状以及不同功率下采集图片示意图。
[0063]
图8为本公开a4照片的不同处理方式示意图。
具体实施方式
[0064]
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开作进一步的详细说明。
[0065]
通常，在使用深度学习进行近红外活体检测时，一般都会使用3d align的方法对提取出人脸检测框中人脸区域部分进行训练，但是3d align会消耗较长时间，因而效率较低。
[0066]
有鉴于此，本公开提供了一种活体检测方法。如图1所示，所述活体检测方法，包
括：
[0067]
采集人脸数据；
[0068]
对所述人脸数据进行处理得到训练数据；
[0069]
利用所述训练数据对活体检测模型进行训练；
[0070]
以及利用训练后的活体检测模型进行活体检测；
[0071]
其中，所述训练数据包括第一人脸数据及第二人脸数据，所述第一人脸数据是由采集的人脸数据经人脸检测框截取得到，所述第二人脸数据是由采集的人脸数据经相似变换得到。
[0072]
本公开使用相似变换替代无背景信息的人脸提取，减少了3d align的过程。
[0073]
根据本公开的实施例，可以通过照相机或摄像机等采集装置采集人脸数据，采集的人脸数据包括活体的人脸数据及假体的人脸数据。所述活体的人脸数据即真人的人脸数据，也就是通过对真人进行人脸图像采集得到的人脸数据。所述假体的人脸数据即非真人的人脸数据，例如蜡像人脸图、彩色纸张打印人脸图像，电子设备屏幕中的人脸图像以及面具等。
[0074]
如图2所示，对所述人脸数据进行处理得到训练数据，包括：
[0075]
对采集的所述人脸数据进行预处理；
[0076]
及对预处理后的数据进行数据增强，由此得到训练数据。
[0077]
根据本公开的额实施例，所述数据预处理方式具体如下：
[0078]
对于有背景信息的情况：根据人脸的bounding box(检测框)将人脸矩形区域抠出，由此得到所述第一人脸数据。对于无背景信的情况：根据人脸左眼睛、右眼睛、鼻子、左嘴角、右嘴角的关键点位置相似变换到正脸的人脸区域，由此得到所述第二人脸数据。
[0079]
根据本公开的额实施例，所述数据增强方式具体如下：通过随机裁剪的方式对所述预处理后的数据进行数据增强。
[0080]
进一步的，如图3所示，采集人脸数据，包括：
[0081]
预设不同的补光形状及补光功率；
[0082]
在不同的补光形状及补光功率下，采集不同姿态时的活体人脸图像数据及假体人脸图像数据。
[0083]
根据本公开的实施例，采用近红外补光灯提供补光。示例性的，所述近红外补光灯选用光源形状可切换、功率可调的补光灯。所述不同姿态例如为人脸转动不同角度对应的姿态，其中人脸转动0
°
即正面姿态。所述人脸转动角度范围优选在(0
°-
30
°
)的角度范围，其中，此处的正面姿态即人脸正对采集装置，人脸平面与采集装置的拍摄平面平行。所述人脸可以相对所述正面姿态向上、下、左、右等不同方向转动。
[0084]
根据本公开的实施例，在训练过程中，利用所述训练数据对活体检测模型进行训练，具体的，将训练数据输入活体检测模型，根据活体检测模型的输出结果调整活体检测模型参数，直至活体检测模型的输出符合要求。
[0085]
如图4所示，利用训练后的活体检测模型进行活体检测，包括：
[0086]
将待检测的人脸数据输入所述训练后的活体检测模型；
[0087]
确定待检测的人脸数据中关键点信息及模型活体检测概率数据；
[0088]
利用所述关键点信息及模型活体检测概率数据对所述待检测的人脸数据进行活
体检测，确定活体检测结果。
[0089]
根据本公开的实施例，所述关键点信息包括人脸的眼睛倾斜角度theta1、嘴角倾斜角度theta2、左眼到鼻子的水平距离lenx_dis、鼻子到右眼的水平距离renx_dis、左嘴角到鼻子的水平距离lmnx_dis以及鼻子到右嘴角的水平距离rmnx_dis；所述模型活体检测概率数据包括所述活体检测模型对所述人脸检测框中的人脸的活体检测概率prob_bb、所述活体检测模型对所述相似变换的人脸的活体检测概率prob_st。其中，prob_bb、prob_st为前向预测结果。
[0090]
本公开同时利用所述关键点信息及模型活体检测概率数据对所述待检测的人脸数据进行活体检测，确定活体检测结果，由此提高了检测的准确性，避免了单纯利用模型活体检测概率数据而出现的误判。
[0091]
下面结合实施例详细介绍本公开活体检测方法。
[0092]
本实施例活体检测流程主要包括数据采集、训练及预测三个部分。
[0093]
(1)数据采集
[0094]
本实施例数据采集过程，通过及红外补光灯提供补光，关于近红外补光灯形状的选型(形状选型和功率选型)具体如下：
[0095]
如图5所示，本实施例近红外补光灯1包括第一光源阵列11和第二光源阵列12，第一光源阵列包括多个光源111，呈环形排布，由此可以提供环形补光形状，第二光源阵列包括多个光源121，呈矩形排布，由此可以提供条状补光形状。所述近红外补光灯为功率可调补光灯。
[0096]
所述近红外补光灯可包括光源切换开关及功率调节开关，可以通过所述光源切换开关切换为环形补光灯开启且条状补光灯关闭的模式、或环形补光灯关闭且条状补光灯开启的模式、或环形补光灯与条状补光灯同时开启的模式、或环形补光灯与条状补光灯同时关闭的模式。所述功率调节开关可以调节所述补光灯的功率为0.5倍的额定功率、0.6倍的额定功率、0.7倍的额定功率、0.8倍的额定功率、0.9倍的额定功率、1.0倍的额定功率等。
[0097]
在采集数据时，可以先开启环形补光灯、关闭条状补光灯，分别调节所述功率调节开关可以调节所述补光灯功率为0.5倍的额定功率、0.6倍的额定功率、0.7倍的额定功率、0.8倍的额定功率、0.9倍的额定功率、1.0倍的额定功率，在上述各补光灯功率条件下，分别采集真人的人脸图像。之后，再开启条状补光灯、关闭环形补光灯，分别调节所述功率调节开关可以调节所述补光灯功率为0.5倍的额定功率、0.6倍的额定功率、0.7倍的额定功率、0.8倍的额定功率、0.9倍的额定功率、1.0倍的额定功率，在上述各补光灯功率条件下，分别采集真人的人脸图像，如图6所示。
[0098]
然后，再开启环形补光灯、关闭条状补光灯，分别调节所述功率调节开关可以调节所述补光灯功率为0.5倍的额定功率、0.6倍的额定功率、0.7倍的额定功率、0.8倍的额定功率、0.9倍的额定功率、1.0倍的额定功率，在上述各补光灯功率条件下，分别采集纸张上的人脸图像。最后，再开启条状补光灯、关闭环形补光灯，分别调节所述功率调节开关可以调节所述补光灯功率为0.5倍的额定功率、0.6倍的额定功率、0.7倍的额定功率、0.8倍的额定功率、0.9倍的额定功率、1.0倍的额定功率，在上述各补光灯功率条件下，分别采集纸张上的人脸图像，如图7所示。
[0099]
在采集真人的人脸图像时，关于采集姿态可以选择正脸、上下左右转动角度小于
30
°
的姿态；关于采集距离，可以选择距离镜头0.3-1.0米的距离；关于采集环境，可以选择室外环境、室内环境；关于采集时间可以选择白天、夜晚。在采集纸张(a4纸张照片)上的人脸图像时，选择原始a4纸张照片、抠除眼睛的a4纸张照片、抠除眼睛和鼻子的a4纸张照片、抠除眼睛、鼻子和嘴巴的a4纸张照片，如图8所示；a4纸张可以平铺在真人脸上或弯曲铺在真人脸上；关于采集姿态可以选择正脸、上下左右转动角度小于30
°
的姿态；关于采集距离，可以选择距离镜头0.3-1.0米的距离；关于采集环境，可以选择室外环境、室内环境；关于采集时间可以选择白天、夜晚。
[0100]
(2)数据预处理
[0101]
活体数据集应尽量避免背景信息的干扰，但是由于采集的数据集的背景信息丰富并不单一，因此可以分别采用有背景信息的人脸图像和无背景信息的人脸图像。具体而言，可以根据人脸的bounding box(检测框)将人脸矩形区域抠出作为有背景信息人脸图像，根据人脸左眼睛、右眼睛、鼻子、左嘴角、右嘴角的关键点位置相似变换到正脸的人脸区域作为无背景信息人脸图像。
[0102]
(3)数据增强方式
[0103]
由于采用了不同功率下的近红外补光灯进行补光，因此不再需要对亮度信息进行数据增强；由于近红外图像近似黑白图像且为尽可能保证真人信息不被增强至照片攻击，因此不再做色度对比度以及饱和度的数据增强，只需采用简单的随机裁剪进行数据增强即可。
[0104]
(4)训练数据比例的选择
[0105]
活体检测的一个重要指标就是拒假率，本公开训练数据集中真人与假人的数据量的比例在1∶4左右。
[0106]
(5)预测
[0107]
理论上，模型对人脸检测框中的人脸以及相似变换后的人脸都应该有较好的活体检测效果，预测过程具体如下：
[0108]
1.计算模型对人脸检测框中的人脸的活体概率为prob_bb(probility bounding box)；
[0109]
2.计算模型对相似变换的人脸的活体概率为prob_st(probility similarity transformation)；
[0110]
由于数据集中人脸转动角度在30
°
以内，故该模型理论上对正脸的活体检测效果较好，因此(假设左眼坐标为le、右眼坐标为re、鼻子坐标为nose、左嘴角坐标为1_mouth、右嘴角坐标为r_mouth，坐标形式为[x，y])；
[0111]
3、计算眼睛倾斜角度theta1：
[0112]
theta1＝180/math.pi*math.atan2((re[1]-le[1])，(re[0]-le[0]))；
[0113]
4、计算嘴角倾斜角度theta2：
[0114]
theta2＝180/math.pi*math.atan2((r_mouth[1]-1_mouth[1])，(r_mouth[0]-l_mouth[0]))；
[0115]
当人脸处于正脸的角度时，水平方向上左眼到鼻子的水平距离lenx_dis应近似等于鼻子到右眼的水平距离renx_dis，左嘴角到鼻子的水平距离lmnx_dis应近似等于鼻子到右嘴角的水平距离rmnx_dis；
[0116]
5、计算：
[0117]
lenx_dis＝nose[0]-le[0] 1；
[0118]
renx_dis＝re[0]-nose[0] 1；
[0119]
lmnx_dis＝nose[0]-l_mouth[0] 1；
[0120]
rmnx_dis＝r_mouth[0]-nose[0] 1；
[0121]
lrmnx_ratio＝lenx_dis/rmnx_dis；
[0122]
lrenx_ratio＝renx_dis/lmnx_dis；
[0123]
x_ratio＝lrmnx_ratio/lrenx_ratio；
[0124]
其中，nose[0]表示鼻子的横坐标，le[0]表示左眼的横坐标，re[0]表示右眼的横坐标，l_mouth[0]表示左嘴角的横坐标，r_mouth[0]表示右嘴角的横坐标。
[0125]
6、设置prob_thresh(本公开优选为0.9)theta_thresh(本公开优选为15
°
)x_ratio_thresh(本公开优选为1/3～3)，当然并不仅限于此。
[0126]
7、综合预测结果：
[0127]
alive＝(prob_bb＞＝prob_thresh)&&(prob_st＞＝prob_thresh)&&(theta1＞＝0)&&(theta1＜＝theta_thresh)&&(theta2＞＝0)&&(theta2＜＝theta_thresh)&&(x_ratio＞＝x_ratio_thresh_min)&&(x_ratio＜＝x_ratio_thresh_max)。
[0128]
其中，&&表示逻辑与，在上述逻辑与的各式均成立时，预测结果为活体，反之为假体。本公开实施例活体检测结果alive是同时基于所述关键点信息(theta1、theta2、lenx_dis、renx_dis、lmnx_dis、rmnx_dis等)及模型活体检测概率数据(prob_bb、prob_st)来确定，由此提高了检测的准确性，避免了单纯利用模型活体检测概率数据而出现的误判。
[0129]
根据本公开的活体检测结果alive可以确定是活体还是假体。具体的，可以预设一阈值，若alive值大于阈值，则确定为活体，反之确定为假体。
[0130]
本公开根据训练数据集的获取方式不同选择对应的预测方式，准确率更高。
[0131]
至此，已经结合附图对本公开进行了详细描述。依据以上描述，本领域技术人员应当对本公开有了清楚的认识。
[0132]
需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。
[0133]
当然，根据实际需要，本公开还可以包含其他的部分，由于同本公开的创新之处无关，此处不再赘述。
[0134]
类似地，应当理解，为了精简本公开并帮助理解各个公开方面中的一个或多个，在上面对本公开的示例性实施例的描述中，本公开的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本公开要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，公开方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的单独实施例。
[0135]
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地
改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0136]
本公开的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本公开实施例的相关设备中的一些或者全部部件的一些或者全部功能。本公开还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本公开的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0137]
再者，说明书与权利要求中所使用的序数例如“第一”、“第二”、“第三”等的用词，以修饰相应的元件，其本身并不意含及代表该元件有任何的序数，也不代表某一元件与另一元件的顺序、或是制造方法上的顺序，该些序数的使用仅用来使具有某命名的一元件得以和另一具有相同命名的元件能作出清楚区分。
[0138]
此外，在附图或说明书描述中，相似或相同的部分都使用相同的图号。说明书中示例的各个实施例中的技术特征在无冲突的前提下可以进行自由组合形成新的方案，另外每个权利要求可以单独作为一个实施例或者各个权利要求中的技术特征可以进行组合作为新的实施例，且在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中未绘示或描述的元件或实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。
[0139]
除非存在技术障碍或矛盾，本公开的上述各种实施方式可以自由组合以形成另外的实施例，这些另外的实施例均在本公开的保护范围中。
[0140]
虽然结合附图对本公开进行了说明，但是附图中公开的实施例旨在对本公开优选实施方式进行示例性说明，而不能理解为对本公开的一种限制。附图中的尺寸比例仅仅是示意性的，并不能理解为对本公开的限制。
[0141]
虽然本公开总体构思的一些实施例已被显示和说明，本领域普通技术人员将理解，在不背离本总体公开构思的原则和精神的情况下，可对这些实施例做出改变，本公开的范围以权利要求和它们的等同物限定。
[0142]
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。