一种活体检测方法、门锁系统及电子设备与流程

1.本技术涉及生物识别技术领域，尤其涉及一种活体检测方法、门锁系统及电子设备。


背景技术：

2.人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。随着人脸识别技术日趋成熟，其商业化应用愈加广泛，例如广泛应用于金融交易、门禁系统、移动终端等领域。
3.然而人脸极易用照片、视频、模型或面具等方式进行复制，因此对合法用户人脸的假冒是人脸识别与认证系统安全的重要威胁。为防止恶意者伪造和窃取他人的生物特征用于身份认证，生物识别系统需具有活体检测(face anti-spoofing)功能，即判断提交的生物特征是否来自有生命的个体。
4.目前，人脸识别技术通行的活体检测技术一般采用指令动作配合的方式，如人脸左转、右转、张嘴、眨眼等，指令配合错误则认为是伪造欺骗。但是这种指令动作配合的方式需要用户配合，极大的限制了相关产品的推广。


技术实现要素：

5.有鉴于此，本技术实施例提供了一种活体检测方法、门锁系统及电子设备，无需用户配合做出指定动作，提高了便捷性。
6.第一方面，本技术一实施例提供了一种活体检测方法，包括：
7.获取红外图像、彩色图像和深度图像中的至少两个图像作为目标图像，并识别每个目标图像中目标对象人脸区域的多个人脸特征点；
8.以所述多个人脸特征点各为锚点，在每个目标图像中的人脸区域裁剪多个特征框；
9.将每个目标图像的所述多个特征框输入与该目标图像对应的活体检测模型进行活体判断，获得判断结果；
10.根据所述判断结果确定目标对象是否为活体。
11.本实施例提供的活体检测方法，利用活体检测模型对目标对象人脸图像进行活体检测，无需用户配合做出指定动作，提高了便捷性；此外，通过多模态数据输入活体检测模型进行活体检测，可以提高检测结果的准确度。
12.作为第一方面的一种实现方式，活体检测方法包括：
13.获取深度图像和红外图像，并分别识别所述红外图像和所述深度图像中目标对象人脸区域的多个人脸特征点；
14.以所述多个人脸特征点各为锚点，在所述深度图像中的人脸区域裁剪多个深度特征框，在所述红外图像中的人脸区域裁剪多个红外特征框；在所述深度图像中的人脸区域裁剪至少一种尺寸的所述多个深度特征框，在所述红外图像中的人脸区域裁剪至少五种不
同尺寸的所述多个红外特征框；
15.将至少五种不同尺寸的所述多个红外特征框输入至少五个红外活体检测模型进行活体判断，获得红外判断结果；将至少一种尺寸的所述多个深度特征框输入至少一个深度活体检测模型进行活体判断，获得深度判断结果；
16.当所述红外判断结果和所述深度判断结果均为活体时，确定当前目标对象为活体。
17.作为第一方面的一种实现方式，所述获取深度图像和红外图像，包括：获取对齐的深度图像和红外图像。
18.作为第一方面的一种实现方式，所述获取深度图像和红外图像，并分别识别所述红外图像和所述深度图像中目标对象人脸区域的多个人脸特征点，包括：
19.获取深度图像和红外图像，若确定深度图像和红外图像满足预设质量条件，则分别识别所述红外图像和所述深度图像中目标对象人脸区域的多个人脸特征点。
20.作为第一方面的一种实现方式，所述将至少五种不同尺寸的所述多个红外特征框输入至少五个红外活体检测模型进行活体判断，获得红外判断结果，包括：
21.将至少五种不同尺寸的所述多个红外特征框输入至少五个红外活体检测模型进行活体判断，得到各红外活体检测模型输出的活体概率，将所述活体概率按每个红外活体检测模型各自的权重进行加权求和，判断加权求和的和值是否大于或等于预设阈值，若大于或等于预设阈值，则确定红外判断结果为当前目标对象为活体，若小于预设阈值，则确定红外判断结果为当前目标对象为假体。
22.作为第一方面的一种实现方式，活体检测方法包括：
23.获取深度图像和彩色图像，并分别识别所述彩色图像和所述深度图像中目标对象人脸区域的多个人脸特征点；
24.以所述多个人脸特征点各为锚点，在所述深度图像中的人脸区域裁剪多个深度特征框，在所述彩色图像中的人脸区域裁剪多个彩色特征框；在所述深度图像中的人脸区域裁剪至少一种尺寸的所述多个深度特征框，在所述彩色图像中的人脸区域裁剪至少五种不同尺寸的所述多个彩色特征框；
25.将至少五种不同尺寸的所述多个彩色特征框输入至少五个彩色活体检测模型进行活体判断，获得彩色判断结果；将至少一种尺寸的所述多个深度特征框输入至少一个深度活体检测模型进行活体判断，获得深度判断结果；
26.当所述彩色判断结果和所述深度判断结果均为活体时，确定当前目标对象为活体。
27.作为第一方面的一种实现方式，所述获取深度图像和彩色图像，包括：获取对齐的深度图像和彩色图像。
28.作为第一方面的一种实现方式，所述获取深度图像和彩色图像，并分别识别所述彩色图像和所述深度图像中目标对象人脸区域的多个人脸特征点，包括：
29.获取深度图像和彩色图像，若确定彩色图像和深度图像满足预设质量条件，则分别识别所述彩色图像和所述深度图像中目标对象人脸区域的多个人脸特征点。
30.作为第一方面的一种实现方式，所述将至少五种不同尺寸的所述多个彩色特征框输入至少五个彩色活体检测模型进行活体判断，获得彩色判断结果，包括：
31.将至少五种不同尺寸的所述多个彩色特征框输入至少五个彩色活体检测模型进行活体判断，得到各彩色活体检测模型输出的活体概率，将所述活体概率按每个彩色活体检测模型各自的权重进行加权求和，判断加权求和的和值是否大于或等于预设阈值，若大于或等于预设阈值，则确定彩色判断结果为当前目标对象为活体，若小于预设阈值，则确定彩色判断结果为当前目标对象为假体。
32.作为第一方面的一种实现方式，活体检测方法包括：
33.获取彩色图像、红外图像和深度图像，并分别识别所述彩色图像、红外图像和所述深度图像中目标对象人脸区域的多个人脸特征点；
34.以所述多个人脸特征点各为锚点，在所述深度图像中的人脸区域裁剪多个深度特征框，在所述彩色图像中的人脸区域裁剪多个彩色特征框，在所述红外图像中的人脸区域裁剪多个红外特征框；在所述深度图像中的人脸区域裁剪至少一种尺寸的所述多个深度特征框，在所述彩色图像中的人脸区域裁剪至少五种不同尺寸的所述多个彩色特征框，在所述红外图像中的人脸区域裁剪至少五种不同尺寸的所述多个红外特征框；
35.将至少五种不同尺寸的所述多个彩色特征框输入至少五个彩色活体检测模型进行活体判断，获得彩色判断结果；将至少五种不同尺寸的所述多个红外特征框输入至少五个红外活体检测模型进行活体判断，获得红外判断结果；将至少一种尺寸的所述多个深度特征框输入至少一个深度活体检测模型进行活体判断，获得深度判断结果；
36.当所述彩色判断结果、所述红外判断结果和所述深度判断结果均为活体时，确定当前目标对象为活体。
37.作为第一方面的一种实现方式，所述获取彩色图像、红外图像和深度图像，包括：获取对齐的彩色图像、红外图像和深度图像。
38.作为第一方面的一种实现方式，所述获取彩色图像、红外图像和深度图像，并分别识别所述彩色图像、红外图像和所述深度图像中目标对象人脸区域的多个人脸特征点，包括：
39.获取彩色图像、红外图像和深度图像，若确定彩色图像、红外图像和深度图像满足预设质量条件，则分别识别所述彩色图像、红外图像和所述深度图像中目标对象人脸区域的多个人脸特征点。
40.第二方面，本技术一实施例提供了一种基于活体检测的门锁系统，包括：
41.相机模块，用于分别采集红外图像、彩色图像和深度图像中的至少两个图像；
42.获取模块，用于获取所述红外图像、所述彩色图像和所述深度图像中的至少两个图像作为目标图像，并识别每个目标图像中目标对象人脸区域的多个人脸特征点；
43.裁剪模块，用于以所述多个人脸特征点各为锚点，在每个目标图像中的人脸区域裁剪多个特征框；
44.判断模块，用于将每个目标图像的所述多个特征框输入与该目标图像对应的活体检测模型进行活体判断，获得判断结果；
45.确定模块，用于根据所述判断结果确定目标对象是否为活体，以进行身份认证。
46.第三方面，本技术实施例提供了一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第一方面任一实现方式所述的活体检测方法。
47.第四方面，本技术一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面任一实现方式所述的活体检测方法。
48.第五方面，本技术一实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行如第一方面或第一方面任一实现方式所述的活体检测方法。
49.可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面和第一方面任一实现方式中的相关描述，在此不再赘述。
附图说明
50.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
51.图1是本技术一实施例提供的一种活体检测方法的实现流程示意图；
52.图2是本技术一实施例提供的一种活体检测方法中步骤s110的具体实现流程示意图；
53.图3是本技术一实施例提供的一种活体检测方法的过程示意图；
54.图4是本技术一实施例提供的另一种活体检测方法的实现流程示意图；
55.图5是本技术一实施例提供的一种基于活体检测的门锁系统的结构示意图；
56.图6是本技术一实施例提供的一种电子设备的结构示意图。
具体实施方式
57.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
58.在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
59.在本技术说明书中描述的“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
60.此外，在本技术的描述中，“多个”的含义是两个或两个以上。术语“第一”、“第二”、“第三”和“第四”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
61.为了说明本技术所述的技术方案，下面通过具体实施例来进行说明。
62.图1是本技术一实施例提供的一种活体检测方法的实现流程示意图，本实施例中
的活体检测方法可由电子设备执行。电子设备包括但不限于计算机、平板电脑、服务器、手机、相机或可穿戴设备等。服务器包括但不限于独立服务器或云服务器等。如图1所示，活体检测方法可以包括步骤s110至步骤s140。
63.s110，获取深度图像和红外图像，并分别识别所述红外图像和所述深度图像中目标对象人脸区域的多个人脸特征点。
64.电子设备通过采集设备采集目标对象的红外图像及深度图像。其中，采集设备可以为基于结构光、双目、或飞行时间(time of flight，tof)技术的深度相机。
65.深度图像与红外图像采集频率可以相同也可以不同，根据具体的功能需求进行相应的设定。比如，以60每秒传输帧数(frames per second，fps)的频率交叉采集深度图像及红外图像，或者，以30fps的频率分别采集深度图像及红外图像。
66.在一些实现方式中，电子设备自身包括采集设备，电子设备可以通过自身的采集设备实时采集目标对象的红外图像及深度图像。
67.在其他一些实现方式中，电子设备自身不包括采集设备，而是连接采集设备，采集设备与电子设备建立通信连接。采集设备采集目标对象的红外图像及深度图像，电子设备接收采集设备发送的红外图像及深度图像。
68.在一些实施例中，采集设备所采集到的红外图像及深度图像需要被进一步配准(或对齐)，即通过配准算法找到深度图像及红外图像中各个像素之间的对应关系，以消除两者之间由于空间位置不同所产生的视差。配准可以由采集设备中专用处理器来完成，也可以由外部处理器完成。经配准后的深度图像及红外图像可以实现多种功能，比如可以加快人脸活体检测或识别。
69.在一些实施例中，可以分别对红外图像和深度图像进行人脸检测或人脸识别。
70.在其他一些实施例中，可以先对红外图像进行人脸检测，再利用像素对应关系直接定位出深度图像中的人脸部分，由此可以减少一次对深度图像的人脸检测算法，降低算力成本。
71.在其他一些实施例中，可以先对上一帧的红外图像进行人脸检测，在下一帧进行深度图像采集时，仅获取人脸所在位置上的像素的深度值，即仅输出人脸部分的深度图像，从而减少深度图像的提取算法计算量，同时降低数据传输带宽。反之，也可以先对深度图像进行人脸检测或识别，再利用像素对应关系加速对红外图像中的人脸检测或识别。
72.在一些实施例中，识别红外图像或深度图像中的人脸特征点，可通过单步推理人脸检测器(retinaface)模型获取红外图像或深度图像中初始人脸框和人脸特征点。
73.下面以对红外图像进行人脸检测作为示例性描述，说明利用retinaface模型获取红外图像中初始人脸框和人脸特征点的过程，如图2所示，该过程可包括如下步骤s111至s114。应理解，利用retinaface模型对深度图像进行人脸检测或对彩色图像进行人脸检测的过程与此过程类似，后续不再赘述。
74.s111，将红外图像输送至主干特征提取网络，输出最后三个第一有效特征层。
75.在一个实施例中，retinaface模型包括主干特征提取网络，主干特征提取网络用于提取红外图像不同尺度的特征。
76.作为一非限制性实现方式，主干特征提取网络包括深度可分离卷积(mobilenet)模型或深度残差网络(resnet)模型，优选为mobilenet模型，可减少模型的参数。
77.s112，利用三个第一有效特征层输入特征图金字塔网络(fpn)结构，获得三个有效特征融合层。
78.在一个实施例中，retinaface模型还包括fpn结构，fpn结构用于对主干特征提取网络提取的多尺度特征进行融合。
79.作为一非限制性实现方式，利用卷积核为1
×
1卷积层对三个第一有效特征层进行通道数的调整，并利用调整通道数后的第一有效特征层进行上采样和特征融合，得到三个不同尺寸的有效特征融合层，这就是所构建的fpn结构。应当理解的是，卷积层的卷积核大小可根据实际情况进行设计，此处不作限制。
80.s113，对获取的有效特征融合层进行加强特征提取，输出第二有效特征层。
81.在一个实施例中，retinaface模型还包括单点无头人脸检测器(single stage headless face detector，ssh)结构，ssh结构用于对fpn结构输出的多个不同尺寸的融合特征进行加强特征提取。
82.作为一非限制性实现方式，利用ssh结构对fpn结构输出的三个不同尺寸的有效特征融合层进行加强特征提取。ssh结构包括三个并行卷积层结构，三个卷积层结构可分别为1个3
×
3卷积层、2个3
×
3卷积层及3个3
×
3卷积层进行并联，增大了卷积层的感受野，并减少了参数的计算。三个不同尺寸的有效特征融合层经过三个并行卷积层结构后再通过融合(concat)函数合并，得到新的有效特征层。即三个不同尺寸的有效特征融合层经过三个并行卷积层结构可得到三个新的具有ssh结构的不同尺寸的第二有效特征层。
83.s114，利用第二有效特征层进行人脸预测，获得初始人脸框和人脸关键点信息。
84.在一个实施例中，retinaface模型还包括输出层。输出层用于对ssh结构输出第二有效特征层进行人脸预测，输出初始人脸框和人脸关键点信息。
85.具有ssh结构的三个不同尺寸的第二有效特征层等效于把整幅红外图像划分成不同大小的网格，每个网格上包含两个先验框，每个先验框代表红外图像上的一定区域。对每个先验框进行人脸概率检测，通过设置置信度的阈值为0.5，对先验框是否包含人脸进行预测。具体地，将先验框的概率与阈值进行比对，若先验框的概率大于或等于阈值，则该先验框包含人脸，即为初始人脸框。应当理解的是，置信度的阈值可根据实际情况进行具体设置，此处不作限制。
86.进一步地，对先验框进行调整获取人脸关键点(或特征点)，应当理解的是，人脸特征点可包括98个或106个，可根据实际情况进行设计。本技术选择人脸多个特征点，优选人脸的七个特征点，且每个人脸特征点需要两个调整参数，对每个先验框中心的x、y轴坐标进行调整以获取人脸特征点坐标。
87.应当理解的是，本技术用于人脸检测的模型包括但不限于retinaface模型，还可以包括多任务卷积神经网络(multi-task convolutional neural network，mtcnn)模型等，此处不作限制。retinaface模型和mtcnn模型均可实现人脸区域检测与人脸关键点检测。
88.s120，以多个人脸特征点各为锚点，在深度图像中的人脸区域裁剪多个深度特征框，在红外图像中的人脸区域裁剪多个红外特征框；在深度图像中的人脸区域裁剪至少一种尺寸的所述多个深度特征框，在红外图像中的人脸区域裁剪至少五种不同尺寸的所述多个红外特征框。
89.在一些实施例中，以多个人脸特征点各为锚点，在深度图像和红外图像中各自裁剪多个特征框。需要说明的是，裁剪的特征框尺寸与步骤s130中各活体检测模型中用于模型训练的特征框尺寸是相同的。
90.在一些实现方式中，人脸关键点优选为至少7个，包括左眼的任一关键点、右眼的任一关键点、鼻子的任一关键点、左脸颊的任一关键点、右脸颊的任一关键点、左嘴角关键点和右嘴角关键点。根据选择的关键点所在人脸部位的位置，至少以这7个关键点作为特征框的中心点、左上角、左下角、右上角、右下角、左边界、右边界、上边界或下边界等，裁剪相同尺寸的至少7个红外特征框以及相同尺寸的至少7个深度特征框。当需要多种不同尺寸的特征框时，则以至少7个关键点作为特征框的锚点，裁剪多组不同尺寸的特征框，每组特征框包括至少7个特征框，每组特征框的尺寸相同。
91.具体地，深度特征框包括深度左眼特征框、深度右眼特征框、深度鼻子特征框、深度左脸颊特征框、深度右脸颊特征框及深度左嘴角特征框及深度右嘴角特征框。应理解，上述七个特征框的脸部特征较多，可更好地进行活体检测，得到准确的检测结果。另，红外特征框的选择类比深度特征框，此处不再赘述。
92.在一些实施例中，基于深度图像进行活体判断的活体检测模型(即深度活体检测模型)为至少一个，当为多个时，多个活体检测模型输入的特征框的尺寸可以完全相同，或部分相同，或完全不相同，本技术对此不做具体限制。基于红外图像进行活体判断的活体检测模型(即红外活体检测模型)为至少五个，至少五个活体检测模型输入的特征框的尺寸可以完全相同，或部分相同，或完全不相同，本技术对此不做具体限制。
93.作为一非限制性实现方式，红外活体检测模型包括至少五个，这五个红外活体检测模型输入的外红特征框包括至少五种不同尺寸。也就是说，至少有五个红外活体检测模型各自输入一种不同尺寸的一组红外特征框。在这种情况下，在红外图像中的人脸区域裁剪至少五种不同尺寸的至少五组红外特征框，每组红外特征框包括7个红外特征框。至少五个红外活体检模型各输入一种尺寸的一组红外特征框。
94.s130，将至少五种不同尺寸的所述多个红外特征框输入至少五个红外活体检测模型进行活体判断，获得红外判断结果；将至少一种尺寸的所述多个深度特征框输入至少一个深度活体检测模型进行活体判断，获得深度判断结果。
95.下面以五种不同输入尺寸的红外活体检测模型作为示例性描述，说明利用五种不同输入尺寸的红外活体检测模型进行活体判断的过程。
96.具体地，使用5个红外活体检测模型分别基于7个红外特征框进行活体判断，5个红外活体检测模型分别为2个轻量化模型(light-weight model)、1个中心差分卷积网络(central difference convolution networks，，cdcn)模型、1个cdc-dan模型及1个sc-resnext26模型。
97.作为一非限制性示例，2个轻量化模型中的其中一个模型输入16
×
16大小的7个红外特征框，另一个模型输入32
×
32大小的7个红外特征框。cdc-dan模型输入的红外特征框的尺寸为48
×
48。cdcn模型输入的特征框的尺寸为60*60。sc-resnext26模型输入的7个红外特征框的尺寸是72
×
72。不同网络模型输入不同尺寸的特征框的方式可以将部分特征从完全脸部特征中解耦出来，使模型关注不同大小特征框的纹理特征，能够捕捉到更加泛化的真人与假体之间的差异，从而最终可以获得更为准确的活体检测结果。
98.其中，轻量化模型包括但不限于squeezenet，mobilenet，shufflenet或xception等网络模型，其输出的结果是判断目标对象为活体的概率，称为活体概率。
99.cdcn模型可以有效捕捉假体的本质特征，且不易受外部环境的影响能够提供更稳健的建模能力。其输出的是特征图像，根据输出特征图像的尺寸，获取特征图像上所有像素点的像素值，再进行二值化后计算特征图像的平均像素值。将计算出的平均像素值作为cdcn模型输出的活体概率。
100.cdc-dan模型为cdcn与dan的结合，cdcn能够通过聚集强度和梯度信息来捕捉详细的模式。而具有自注意力机制的dan可以通过空间相互依赖和通道相互依赖来增强特征表征的分辨能力。通过两者结合在局部强度和梯度特征上模拟丰富的上下文信息，可以显著提高人脸活体检测的性能。其输出的是特征图像，根据输出特征图像的尺寸，获取特征图像上所有像素点的像素值，并计算特征图像的平均像素值，并将平均像素值与预设阈值进行比较，判断当前输入特征框是否为活体。例如，如果特征图像为15
×
15，即说明特征图像中包括225个像素点，对所有像素点的像素值先二值化后再进行求和，并计算平均值，平均值作为cdc-dan模型输出的活体概率。
101.se-resnext26模型为将squeeze-and-excitation networks中的se模块应用在resnext模型的残差模块(residual block)上得到的模型，可提高收敛速度和精确度。其输出的是判断目标对象为活体的概率。
102.在最终判断当前目标对象的人脸是否为活体时，根据多个红外活体检测模型各自输出的活体概率，将该活体概率按每个红外活体检测模型各自的权重进行加权求和，判断最终的和是否大于或等于预设阈值，若大于或等于预设阈值则为活体，若小于预设阈值则为假体；或者，判断最终的和是否大于预设阈值，若大于预设阈值则为活体，若小于或等于预设阈值则为假体，进而得到红外判断结果。
103.需要说明的是，上述五种网络模型均为预先训练的活体检测模型，即经训练的活体检测模型。以其中一个模型cdc-dan模型为例进行说明，训练时是随机在人脸区域取48
×
48的特征框，每一个特征框单独送入网络进行学习，在实际进行活体检测时，会在人脸区域根据关键点选取符合cdc-dan模型的输入图像尺寸的7个特征框，一起送入模型，cdc-dan模型输出目标对象人脸的活体概率。
104.进一步地，基于深度图像的活体检测。在这个过程中，确定深度图像中与红外图像对应的至少7个人脸关键点后，裁剪出符合深度活体检测模型的输入尺寸要求的至少七个深度特征框。
105.在一个实施例中，深度活体检测模型为上述网络模型中的任意一个，优选为轻量化模型，因为深度图像包含的信息比较少，使用一个简单模型便可训练出一个准确率高的深度活体检测模型。此时，将尺寸相同的至少七个深度特征框输入深度活体检测模型，输出活体概率，当活体概率大于或等于预设阈值，则目标对象人脸为活体，反之为假体。进而得到深度判断结果。
106.在另一个实施例中，深度活体检测模型为上述网络模型中的多个，使用多个模型可得到准确率更高的深度活体检测结果。此时，多个深度活体检测模型的输入图像尺寸可以完全相同，或可以完全不相同，或可以部分相同。将多组深度特征框(每组深度特征框包括至少七个深度特征框)分别输入多个深度活体检测模型，每个深度活体检测模型各自输
出活体概率，对各深度活体检测模型的活体概率进行加权求和，当确定加权求和得到的和值大于或等于预设阈值，则目标对象人脸为活体，反之为假体。这样就得到了深度判断结果。
107.需要说明的是，深度活体检测模型与上述红外活体检测模型的架构是相同的，但架构中具体的权重参数等数值是不同的，架构中的数值是在预先训练过程中获取的，此处不作限制。
108.进一步地，在其他一些实施例中，将不同人脸关键点对应的特征框(红外特征框或深度特征框)输入不同的活体检测模型时，可以自适应调整不同特征框的权重。例如，由于逼真的3d头模在眼白上也是和真人有差异的，所以适当提升眼部特征框的权重，模型的效果更好。作为一非限制性示例，如图3所示，以下三个目标对象人脸都是假体，例如树脂或硅胶的头模或面具等，我们通过提升眼部特征框的权重能够判为假体，未产生误判。在其他一些实施例中，将不同人脸关键点对应的特征框(红外特征框和/或深度特征框)输入不同的活体检测模型时，可以根据人脸图像的属性调整不同特征框的权重。例如，当识别到目标对象佩戴口罩的情形下进行活体检测时，至少7个特征框中需包括左眼特征框和右眼特征框，并可适当提高左和右眼特征框所占的权重，使结果更加精确。
109.s140，根据所述红外判断结果和所述深度判断结果，确定当前目标对象是否为活体。
110.在本技术一些实施例中，基于多个红外活体检测模型输出的活体概率可得到红外判断结果，深度活体检测模型也会输出深度判断结果。
111.在一些实施例中，当多个红外活体检测模型的红外判断结果与深度活体检测模型的深度判断结果均为活体时，则说明目标对象为活体。在这些实施例中，只有完全通过两个模型的活体检测，才认为是真人活体，大大提高了活体检测结果的准确度。
112.本实施例提供的活体检测方法，一方面，将红外数据和深度数据输入活体检测模型进行活体检测，无需用户配合做指定动作，提高了便捷性；另一方面，通过基于图像块(patch)，即特征框的方法，将红外数据和深度数据分别输入两种活体检测模型，深度活体检测模型可以用来判断是否是视频、打印纸张照片、抠洞弯折照片等，而红外活体检测模型可以用来防3d头模、面具、面膜等，在本技术实施例中，结合这两种模态的数据进行活体检测，大大提高了活体检测算法的准确度。
113.经试验，本技术实施例提供的深度活体检测模型，真人通过率99.9％以上，可以有效防住纸张攻击或纸张人脸抠洞攻击99.5％以上。本技术实施例提供的红外活体检测模型，真人通过率99.9％以上，能防住高精度3d头模或树脂面具攻击95％以上。
114.在前述图1所示实施例的基础上，在其他一些实施例中，如图4所示，提供了另一种活体检测方法。图4所示活体检测方法在图1所示实施例的基础上进行改进，增加了确定图像是否满足预设质量条件的步骤。如图4所示的活体检测方法包括如下步骤s110’至s140。应理解，图4所示实施例与图1所示实施例相同步骤，此处不再赘述。
115.步骤s110’，获取深度图像和红外图像，若确定深度图像和红外图像满足预设质量条件，则分别识别所述红外图像和所述深度图像中目标对象人脸区域的多个人脸特征点。
116.在这些实施例中，判断获取的深度图像和红外图像是否满足预设质量条件，包括但不限于：通过深度图像或红外图像判断头部姿态是否合理；判断人脸是否遮挡(可通过深
度图像或红外图像的人脸轮廓边缘检测进行判断)；判断光照是否正常(光照可通过红外图像的像素值进行判断)。任一个或多个不行，就直接不进入后续步骤，即不会进入“分别识别所述红外图像和所述深度图像中目标对象人脸区域的多个人脸特征点”这一步骤以及后续步骤，需要重新采集图像，直至新采集的图像满足预设质量条件，则进入“分别识别所述红外图像和所述深度图像中目标对象人脸区域的多个人脸特征点”这一步骤以及后续步骤。
117.s120，以多个人脸特征点各为锚点，在深度图像中的人脸区域裁剪多个深度特征框，在红外图像中的人脸区域裁剪多个红外特征框；在深度图像中的人脸区域裁剪至少一种尺寸的所述多个深度特征框，在红外图像中的人脸区域裁剪至少五种不同尺寸的所述多个红外特征框。
118.s130，将至少五种不同尺寸的所述多个红外特征框输入至少五个红外活体检测模型进行活体判断，获得红外判断结果；将至少一种尺寸的所述多个深度特征框输入至少一个深度活体检测模型进行活体判断，获得深度判断结果。
119.s140，根据所述红外判断结果和所述深度判断结果，确定当前目标对象是否为活体。
120.在本实施例中，对图像的质量进行筛选，满足预设质量条件的图像才进行后续步骤，可以进一步提高检测结果的准确度。
121.在前述的实施例中，是利用红外图像和深度图像这两种模态的数据进行活体检测，在其他一些实施例中，可以利用彩色图像和深度图像这两种模态的数据进行活体检测；在其他一些实施例中，可以利用彩色图像和红外图像这两种模态的数据进行活体检测；在其他一些实施例中，甚至可以利用红外图像、彩色图像和深度图像这三种模态的数据进行活体检测，利用三模态的数据较之两模态的数据更能提供检测结果的准确度。需要说明的是，这些实施例的过程可以类比前述实施例，相同之处此处不再赘述。
122.当活体检测方法利用到彩色图像时，对应获取彩色图像，识别彩色图像中人脸区域的多个特征点，然后以这多个特征点各为锚点，在彩色图像中人脸区域裁剪多个彩色特征框。多个彩色特征框可以为多种尺寸，例如至少五种尺寸，对应的，利用至少五种彩色活体检测模型进行活体检测，每个彩色活体检测模型各自输出活体概率，将各彩色活体检测模型各自输出活体概率进行加权求和，加权求和得到的和值与预设阈值进行比较，当和值大于或等于预设阈值时，则为活体，反之为假体。这样就得到了彩色判断结果。
123.在一些实施例中，彩色判断结果和深度判断结果均为活体，则目标对象为活体；彩色判断结果和深度判断结果中至少有一个为假体，则目标对象为假体。在一些实施例中，红外判断结果、彩色判断结果和深度判断结果均为活体，则目标对象为活体；红外判断结果、彩色判断结果和深度判断结果中至少有一个为假体，则目标对象为假体。
124.在一些实施例中，彩色活体检测模型可以为前述红外活体检测模型中的多个。
125.需要说明的是，彩色活体检测模型与上述红外活体检测模型的架构是相同的，但架构中具体的权重参数等数值是不同的，架构中的数值是在预先训练过程中获取的，此处不作限制。
126.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
127.本技术一实施例还提供一种活体检测装置。该活体检测装置中未详细描述之处请详见前述方法实施例中的描述。
128.参见图5，图5是本技术一实施例提供的一种基于活体检测的门锁系统的结构示意框图。所述活体检测装置包括：相机模块50、获取模块51、裁剪模块52、判断模块53和确定模块54，其中：
129.相机模块50，用于分别采集红外图像、彩色图像和深度图像中的至少两个图像；
130.获取模块51，用于获取红外图像、彩色图像和深度图像中的至少两个图像作为目标图像，并识别每个目标图像中目标对象人脸区域的多个人脸特征点；
131.裁剪模块52，用于以所述多个人脸特征点各为锚点，在每个目标图像中的人脸区域裁剪多个特征框；
132.判断模块53，用于将每个目标图像的所述多个特征框输入与该目标图像对应的活体检测模型进行活体判断，获得判断结果；
133.确定模块54，用于根据所述判断结果确定目标对象是否为活体，以进行身份认证。
134.进一步地，若目标对象判断为活体，则识别目标对象上的人脸信息并与预设于云端上的已注册人脸信息进行比对，若目标对象上的人脸信息与云端上的人脸信息一致，可打开门锁；反之，则不打开门锁。
135.在一些实施例中，所述基于活体检测的门锁系统包括：
136.相机模块50，包括深度相机和红外相机，用于分别采集深度图像及红外图像；
137.获取模块51，用于获取深度图像和红外图像，并分别识别所述红外图像和所述深度图像中目标对象人脸区域的多个人脸特征点；
138.裁剪模块52，用于以所述多个人脸特征点各为锚点，在所述深度图像中的人脸区域裁剪多个深度特征框，在所述红外图像中的人脸区域裁剪多个红外特征框；在所述深度图像中的人脸区域裁剪至少一种尺寸的所述多个深度特征框，在所述红外图像中的人脸区域裁剪至少五种不同尺寸的所述多个红外特征框；
139.判断模块53，用于将至少五种不同尺寸的所述多个红外特征框输入至少五个红外活体检测模型进行活体判断，获得红外判断结果；将至少一种尺寸的所述多个深度特征框输入至少一个深度活体检测模型进行活体判断，获得深度判断结果；
140.确定模块54，用于当所述红外判断结果和所述深度判断结果均为活体时，确定当前目标对象为活体，以进行身份认证。
141.作为这些实施例一种实现方式，所述获取模块51，具体用于：获取对齐的深度图像和红外图像。
142.作为这些实施例的一种实现方式，所述获取模块51，具体用于：
143.获取深度图像和红外图像，若确定深度图像和红外图像满足预设质量条件，则分别识别所述红外图像和所述深度图像中目标对象人脸区域的多个人脸特征点。
144.作为这些实施例的一种实现方式，所述判断模块53，具体用于：
145.将至少五种不同尺寸的所述多个红外特征框输入至少五个红外活体检测模型进行活体判断，得到各红外活体检测模型输出的活体概率，将所述活体概率按每个红外活体检测模型各自的权重进行加权求和，判断加权求和的和值是否大于或等于预设阈值，若大于或等于预设阈值，则确定红外判断结果为当前目标对象为活体，若小于预设阈值，则确定
红外判断结果为当前目标对象为假体。
146.在一些实施例中，所述基于活体检测的门锁系统包括：
147.相机模块50，包括深度相机和彩色相机，用于分别采集深度图像和彩色图像；
148.获取模块51，用于获取深度图像和彩色图像，并分别识别所述彩色图像和所述深度图像中目标对象人脸区域的多个人脸特征点；
149.裁剪模块52，用于以所述多个人脸特征点各为锚点，在所述深度图像中的人脸区域裁剪多个深度特征框，在所述彩色图像中的人脸区域裁剪多个彩色特征框；在所述深度图像中的人脸区域裁剪至少一种尺寸的所述多个深度特征框，在所述彩色图像中的人脸区域裁剪至少五种不同尺寸的所述多个彩色特征框；
150.判断模块53，用于将至少五种不同尺寸的所述多个彩色特征框输入至少五个彩色活体检测模型进行活体判断，获得彩色判断结果；将至少一种尺寸的所述多个深度特征框输入至少一个深度活体检测模型进行活体判断，获得深度判断结果；
151.确定模块54，用于当所述彩色判断结果和所述深度判断结果均为活体时，确定当前目标对象为活体，以进行身份认证。
152.作为这些实施例的一种实现方式，所述获取模块51，具体用于：获取对齐的深度图像和彩色图像。
153.作为这些实施例的一种实现方式，所述获取模块51，具体用于：
154.获取深度图像和彩色图像，若确定彩色图像和深度图像满足预设质量条件，则分别识别所述彩色图像和所述深度图像中目标对象人脸区域的多个人脸特征点。
155.作为这些实施例的一种实现方式，所述判断模块53，具体用于：
156.将至少五种不同尺寸的所述多个彩色特征框输入至少五个彩色活体检测模型进行活体判断，得到各彩色活体检测模型输出的活体概率，将所述活体概率按每个彩色活体检测模型各自的权重进行加权求和，判断加权求和的和值是否大于或等于预设阈值，若大于或等于预设阈值，则确定彩色判断结果为当前目标对象为活体，若小于预设阈值，则确定彩色判断结果为当前目标对象为假体。
157.在一些实施例中，所述基于活体检测的门锁系统包括：
158.相机模块50，包括彩色相机、红外相机和深度相机，并分别用于采集彩色图像、红外图像及深度图像；
159.获取模块51，用于获取彩色图像、红外图像和深度图像，并分别识别所述彩色图像、红外图像和所述深度图像中目标对象人脸区域的多个人脸特征点；
160.裁剪模块52，用于以所述多个人脸特征点各为锚点，在所述深度图像中的人脸区域裁剪多个深度特征框，在所述彩色图像中的人脸区域裁剪多个彩色特征框，在所述红外图像中的人脸区域裁剪多个红外特征框；在所述深度图像中的人脸区域裁剪至少一种尺寸的所述多个深度特征框，在所述彩色图像中的人脸区域裁剪至少五种不同尺寸的所述多个彩色特征框，在所述红外图像中的人脸区域裁剪至少五种不同尺寸的所述多个红外特征框；
161.判断模块53，用于将至少五种不同尺寸的所述多个彩色特征框输入至少五个彩色活体检测模型进行活体判断，获得彩色判断结果；将至少五种不同尺寸的所述多个红外特征框输入至少五个红外活体检测模型进行活体判断，获得红外判断结果；将至少一种尺寸
的所述多个深度特征框输入至少一个深度活体检测模型进行活体判断，获得深度判断结果；
162.确定模块54，用于当所述彩色判断结果、所述红外判断结果和所述深度判断结果均为活体时，确定当前目标对象为活体，以进行身份认证。
163.作为这些实施例的一种实现方式，所述获取模块51，具体用于：获取对齐的彩色图像、红外图像和深度图像。
164.作为这些实施例的一种实现方式，所述获取模块51，具体用于：
165.获取彩色图像、红外图像和深度图像，若确定彩色图像、红外图像和深度图像满足预设质量条件，则分别识别所述彩色图像、红外图像和所述深度图像中目标对象人脸区域的多个人脸特征点。
166.本技术一实施例还提供了一种电子设备，如图6所示，电子设备可以包括一个或多个处理器60(图6中仅示出一个)，存储器61以及存储在存储器61中并可在一个或多个处理器60上运行的计算机程序62，例如，活体检测的程序。一个或多个处理器60执行计算机程序62时可以实现活体检测方法实施例中的各个步骤。或者，一个或多个处理器60执行计算机程序62时可以实现活体检测装置实施例中各模块/单元的功能，此处不作限制。
167.本领域技术人员可以理解，图6仅仅是电子设备的示例，并不构成对电子设备的限定。电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备还可以包括输入输出设备、网络接入设备、总线等。
168.在一个实施例中，所称处理器60可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
169.在一个实施例中，存储器61可以是电子设备的内部存储单元，例如电子设备的硬盘或内存。存储器61也可以是电子设备的外部存储设备，例如电子设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，存储器61还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器61用于存储计算机程序以及电子设备所需的其他程序和数据。存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
170.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
171.本技术一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存
储有计算机程序，所述计算机程序被处理器执行时实现可实现活体检测方法实施例中的步骤。
172.本技术一实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备可实现活体检测方法实施例中的步骤。
173.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
174.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
175.在本技术所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
176.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
177.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
178.集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
179.以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。