具有3D人脸识别的门锁系统及使用方法与流程

本发明涉及人脸识别系统，具体地，涉及一种具有3d人脸识别的门锁系统及使用方法。

背景技术：

2014年，深度学习首次应用在人脸识别领域，展示了强大的特征学习能力，将lfw(labeledfacesinthewild)识别准确率从94％提升到97％，大幅超越了经典的人脸识别方法。随着相关深度学习理论的发展，以及大规模人脸数据的驱动，人脸识别的准确率继续攀升，很快突破99.8％大关，预示着人脸识别算法趋于成熟，并迅速的商业应用落地。目前人脸识别技术广泛应用于安防、自助通关、医疗、教育、户政和支付等领域。

在用基于深度学习的人脸识别系统中，输入是2drgb或者ir图像，在可控场景下能够取得很好的人脸识别效果。但是受光照、人脸姿态和人脸表情变化等影响，人脸识别准确率在黑暗、逆光等情况下迅速下降；并且基于2d图像的人脸识别系统在抗假体(假脸)攻击方面存在很大的风险，影响了人脸识别在门锁、金融支付等场景的应用推广。

3d摄像模组拓宽了前端感知的维度，能够很好的解决2d人脸识别遇到的抗假体攻击和极端情况下识别准确率降低的问题，效果得到了市场的认可，需求强烈。

目前市场能够完成3d人脸识别解决方案的已知公司包括支付宝、微信和云从等，具有非常高的技术和资源门槛。这些公司根据自身的需求打造终端解决方案，但不提供公版模组，远不能满足门锁、门禁和银联支付等场景对3d人脸识别的强烈需求。因此，需要提供一种对于打通3d人脸识别的解决方案，能够应用于3d人脸识别相关产品，并逐渐推广到门锁、门禁和支付等领域。

技术实现要素：

针对现有技术中的缺陷，本发明的目的是提供一种具有3d人脸识别的门锁系统及使用方法。

根据本发明提供的具有3d人脸识别的门锁系统，包括3d人脸识别模块和门锁主控模块；

所述3d人脸识别模块，用于采集目标人脸的人脸图像，并对所述人脸图像进行活体识别和人脸识别，当所述人脸图像为活体人脸且所述人脸图像为预设置的白名单人脸生成开锁信号，否则生成错误提示；所述人脸图像包括rgb人脸图像、红外人脸图像以及深度人脸图像中的任一种或任多种；

所述门锁主控模块，用于接收所述开锁信号或错误提示，以根据所述开锁信号控制门锁进行开锁，或者发出所述错误提示。

优选地，所述3d人脸识别模块包括第一计算单元、激光散斑投射器以及红外探测器；所述激光散斑投射器和所述红外探测器电连接所述第一计算单元；

所述激光散斑投射器，用于向目标人脸投射散斑状的红外光束；

所述红外探测器，用于采集目标人脸反射红外光束形成的光斑图案；

所述第一计算单元，用于获取所述光斑图像，并进而根据所述光斑图案的形变或位移计算生成所述目标人脸的深度人脸图像。

优选地，所述3d人脸识别模块包括第二计算单元、光投射器以及tof传感器；所述光投射器、所述rgb摄像模组以及所述红外摄像模组电连接所述第二计算单元；

所述光投射器，用于向目标人脸投射红外泛光；

所述tof传感器，用于接收目标人脸反射的红外泛光，生成多张红外人脸图像；

所述第二计算单元，用于根据预设置的采集周期内多张红外人脸图像的相位差计算生成所述目标人脸表面的深度图像。

优选地，还包括第一接近传感器；所述第一接近传感器电连接所述门锁主控模块；

所述第一接近传感器，用于检测所述目标人物的距离；

所述3d人脸识别模块，用于当所述距离小于预设置的距离阈值时，进行所述目标人脸的人脸图像采集。

优选地，所述3d人脸识别模块还包括rgb摄像模组；

所述rgb摄像模组，用于采集所述目标人脸的rgb人脸图像；

所述第一计算单元或所述第二计算单元，用于识别所述rgb人脸图像是否为预设置的白名单人脸。

优选地，还包括led泛光光源；

所述led泛光光源，用于向所述目标人脸投射泛光光束；

所述红外探测器，用于采集目标人脸反射泛光光束形成的红外人脸图像；

所述第一计算单元，用于识别所述红外人脸图像是否为预设置的白名单人脸。

优选地，所述3d人脸识别模块与所述门锁主控模块之间一方面通过usb进行rgb人脸图像的传输，另一方面通过串口进行控制指令和识别结果的传输。

优选地，通过预设置的活体检测模型在进行活体人脸识别，所述活体检测模型的训练包括如下步骤：

步骤m1：采集多张人脸图像，对每一所述人脸图像进行关键点检测，确定多个人脸关键点；

步骤m2：将所述人脸图像进行归一化至预设定的尺寸生成预处理人脸图像，并在所述预处理图像中获取每一人脸关键点的位置；

步骤m3：在每一所述预处理人脸图像中选取多个人脸关键点，且以选择出的所述人脸关键点为中心截取至多个roi区域，所述roi区域包括人脸图像中的左眼区域、右眼区域、鼻尖区域以及嘴部区域中任一区域多任多区域；

步骤m4：将每一所述预处理人脸图像对应的roi区域合成一训练数据，根据所述训练数据训练生成所述活体检测模型。

优选地，所述活体检测模型包括基于rgb人脸图像训练生成的第一活体检测模型、基于红外人脸图像训练生成的第二活体检测模型以及基于深度人脸图像训练生成的第三活体检测模型；

当进行活体人脸识别时，通过所述第一活体检测模型、第二活体检测模型以及第三活体检测模型中任一模型或任多模型进行活体人脸识别；

在通过多个活体检测模型进行活体识别时，仅当多个活体检测模型均判定为活体人脸时，则判定该人脸图像为活体人脸。

本发明提供的具有3d人脸识别的门锁系统的使用方法，包括如下步骤：

步骤s1：检测目标人脸的距离，当所述距离小于预设置的距离阈值时，触发步骤s2；

步骤s2：采集所述目标人脸的人脸图像，所述人脸图像包括rgb人脸图像、红外人脸图像以及深度人脸图像中的任一种或任多种；

步骤s3：对所述人脸图像进行活体识别和人脸识别，当判断出所述人脸图像为活体人脸且所述人脸图像为预设置的白名单人脸时，则控制门锁进行开锁，否则进行错误提示。

与现有技术相比，本发明具有如下的有益效果：

在本发明中通过3d人脸采集人脸图像，通过对所述人脸图像进行活体识别和人脸识别判断采集的目标人脸是否为活体图像以及是否为预设置的允许开锁的白名单人脸，从而使得门锁主控模块控制门锁进行开锁或提示错误信息，从而能够实现的门锁的智能控制。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例中具有3d人脸识别的门锁系统的示意图；

图2为本发明实施例中3d人脸识别模块的示意图；

图3为本发明变形例中3d人脸识别模块的示意图；

图4为本发明实施例中进行活体人脸识别时的步骤流程图；

图5为本发明实施例中具有3d人脸识别的门锁系统的使用方法的步骤流程图；

图6为本发明实施例中具有3d人脸识别的门锁系统的具体使用流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

本发明提供的具有3d人脸识别的门锁系统，旨在解决现有技术中存在的问题。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

图1为本发明实施例中具有3d人脸识别的门锁系统的示意图，如图1所示，本发明提供的具有3d人脸识别的门锁系统，包括3d人脸识别模块、门锁主控模块以及第一接近传感器；

所述3d人脸识别模块，用于采集目标人脸的人脸图像，并对所述人脸图像进行活体识别和人脸识别，当所述人脸图像为活体人脸且所述人脸图像为预设置的白名单人脸生成开锁信号，否则生成错误提示；所述人脸图像包括rgb人脸图像、红外人脸图像以及深度人脸图像中的任一种或任多种；

所述门锁主控模块，用于接收所述开锁信号或错误提示，以根据所述开锁信号控制门锁进行开锁，或者发出所述错误提示。

所述第一接近传感器电连接所述门锁主控模块；

所述第一接近传感器，用于检测所述目标人物的距离；

所述3d人脸识别模块，用于当所述距离小于预设置的距离阈值时，进行所述目标人脸的人脸图像采集。

所述3d人脸识别模块与所述门锁主控模块之间一方面通过usb进行rgb人脸图像的传输，另一方面通过串口进行控制指令和识别结果的传输。

在本发明实施例中，所述预设置的距离阈值可以为0.5米至2米之间的任意数值，在本发明实施例中优选为1米。所述门锁主控模块可以为单独设置的控制模块，也可以为已安装电子锁的控制器。

在本发明实施例中，通过3d人脸采集人脸图像，通过对所述人脸图像进行活体识别和人脸识别判断采集的目标人脸是否为活体图像以及是否为预设置的允许开锁的白名单人脸，从而使得门锁主控模块控制门锁进行开锁或提示错误信息，从而能够实现的门锁的智能控制。

图2为本发明实施例中3d人脸识别模块的示意图，如图2所示，所述3d人脸识别模块包括第一计算单元、激光散斑投射器以及红外探测器；所述激光散斑投射器和所述红外探测器电连接所述第一计算单元；

所述激光散斑投射器，用于向目标人脸投射散斑状的红外光束；

所述红外探测器，用于采集目标人脸反射红外光束形成的光斑图案；

所述第一计算单元，用于获取所述光斑图像，并进而根据所述光斑图案的形变或位移计算生成所述目标人脸的深度人脸图像。

在本发明实施例中，所述3d人脸识别模块采用结构光的方法进行深度人脸图像的获取，并将第一计算单元前置，使得所述第一计算单元能够快速获取光斑图案，实现深度图像的快速计算，且也便于所述3d人脸识别模块与其他电子设备的快速匹配连接。

在本发明实施例，还可以在所述3d人脸识别模块中设置第二接近传感器，当第二接近传感器检测到人脸过于靠近3d人脸识别模块时，如低于15厘米时，控制所述激光散斑投射器关闭。

在本发明实施例中或变形例中，所述3d人脸识别模块还包括rgb摄像模组和led泛光光源；

所述rgb摄像模组，用于采集所述目标人脸的rgb人脸图像；

所述led泛光光源，用于向所述目标人脸投射泛光光束；

所述红外探测器，用于采集目标人脸反射泛光光束形成的红外人脸图像。

所述第一计算单元，用于识别所述红外人脸图像或所述rgb人脸图像是否为预设置的白名单人脸。具体可以通过预训练的人脸识别模型进行识别。所述白名单人脸即为预先设置的允许通过的人脸。所述第一计算单元还可以通过rgb人脸图像和所述深度图像合生3d人脸图像。

在本发明实施例中，通过向目标人脸投射泛光光束，然后通过所述红外探测器进行红外图像的采集，以提高红外图像的质量。所述3d人脸识别模块还可以将所述rgb摄像模组采集rgb人脸预览图像发送至门锁主控模型，以便门锁主控模块进行目标人脸的试试预览。

图3为本发明变形例中3d人脸识别模块的示意图，如图3所示，所述3d人脸识别模块包括第二计算单元、光投射器以及tof传感器；所述光投射器、所述rgb摄像模组以及所述红外摄像模组电连接所述第二计算单元；

所述光投射器，用于向目标人脸投射红外泛光；

所述tof传感器，用于接收目标人脸反射的红外泛光，生成多张红外人脸图像；

所述第二计算单元，用于根据预设置的采集周期内多张红外人脸图像的相位差计算生成所述目标人脸表面的深度图像。

在本发明变形例中，所述3d人脸识别模块采用飞行时间方法计算目标人脸表面的深度图像从而能够适应距离较大时的深度图像的采集。

在本发明实施例中，所述第一计算单元和所述第二计算单元采用i.mx8mmini处理器。

图4为本发明实施例中进行活体人脸识别时的步骤流程图，如图4所示，通过预设置的活体检测模型在进行活体人脸识别，所述活体检测模型的训练包括如下步骤：

步骤m1：采集多张人脸图像，对每一所述人脸图像进行关键点检测，确定多个人脸关键点；

步骤m2：将所述人脸图像进行归一化至预设定的尺寸生成预处理人脸图像，并在所述预处理图像中获取每一人脸关键点的位置；

在本发明实施例中，在进行归一化处理时，根据预设置的标准的关键点分布计算所述人脸关键点的转换矩阵，根据所述转换矩阵确定归一化后人脸图像中的关键点位置。

步骤m3：在每一所述人脸图像中选取多个人脸关键点，且以选择出的所述人脸关键点为中心截取至多个roi区域，所述roi区域包括人脸图像中的左眼区域、右眼区域、鼻尖区域以及嘴部区域中任一区域多任多区域；

步骤m4：将每一所述人脸图像对应的roi区域合成一训练数据，根据所述训练数据训练生成所述活体检测模型。

在本发明实施例中，所述roi区域包括人脸图像中的左眼区域、右眼区域、鼻尖区域以及嘴部区域，即将四个roi区域合成为一四通道的训练数据。每一所述roi区域的尺寸为48×48，单位为像素。所述人脸关键点的数量为106个。所述预设定的尺寸为180×220，单位为像素。

在本发明实施例中，所述活体检测模型包括基于rgb人脸图像训练生成的第一活体检测模型、基于红外人脸图像训练生成的第二活体检测模型以及基于深度人脸图像训练生成的第三活体检测模型；

当进行活体人脸识别时，通过所述第一活体检测模型、第二活体检测模型以及第三活体检测模型中任一模型或任多模型进行活体人脸识别；

在通过三个活体检测模型进行活体识别时，仅当三个活体检测模型均判定为活体人脸时，则判定该人脸图像为活体人脸。

在本发明实施例中，依次通过所述第一活体检测模型、第二活体检测模型以及第三活体检测模型进行活体人脸识别，当每一模型均判定人脸图像时，则判定该人脸图像为活体人脸。在本发明变形例中，也可以通过其中任一个活体模型或任两个活体模型进行活体识别。

图5为本发明实施例中具有3d人脸识别的门锁系统的使用方法的步骤流程图，如图5所示，本发明提供的具有3d人脸识别的门锁系统的使用方法，包括如下步骤：

步骤s1：检测目标人脸的距离，当所述距离小于预设置的距离阈值时，触发步骤s2；

步骤s2：采集所述目标人脸的人脸图像，所述人脸图像包括rgb人脸图像、红外人脸图像以及深度人脸图像中的任一种或任多种；

步骤s3：对所述人脸图像进行活体识别和人脸识别，当判断出所述人脸图像为活体人脸且所述人脸图像为预设置的白名单人脸时，则控制门锁进行开锁，否则进行错误提示。

图6为本发明实施例中具有3d人脸识别的门锁系统的具体使用流程图，如图6所示，所述门锁主控模块上的接近传感器一直进行人脸的探测，当探测到人脸靠近时，如人脸距离接近传感器只有50厘米时，触发3d人脸识别模型，此时3d人脸模块启动，并打开rgb摄像模组和红外摄像模组，采集该目标人脸的rgb人脸图像和红外人脸图像，对所述rgb人脸图像和所述红外人脸图像进行人脸检测和关键点检测，确定所述rgb人脸图像和所述红外人脸图像上的人脸区域和关键点，根据所述红外图像或光斑图案计算生成深度人脸图像，依次对rgb人脸图像、深度人脸图像以及红外人脸图像进行活体后输出识别结果。在所述识别结果为活体时，对所述rgb人脸图像和红外人脸图像进行人脸识别确定是否为预存储的允许开锁的白名单人脸。仅当该目标人脸通过活体识别和人脸识别时输出验证通过的识别结果，否则输出识别错误的识别结果。当输出验证通过的识别结果时，触发3d人脸识别模型将开锁指令发送至所述门锁主控模块，所述门锁主控模块控制门锁进行开锁。本发明从启动到输出识别结果用时仅为两秒。

在本发明实施例中，通过3d人脸采集人脸图像，通过对所述人脸图像进行活体识别和人脸识别判断采集的目标人脸是否为活体图像以及是否为预设置的允许开锁的白名单人脸，从而使得门锁主控模块控制门锁进行开锁或提示错误信息，从而能够实现的门锁的智能控制。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。