一种联网型3D人脸智能锁的制作方法

本公开属于图像处理、计算机视觉和人工智能领域，具体涉及一种3d人脸智能锁。

背景技术：

随着科技发展，智能化时代的出现，人工智能技术已经走进人们的生活，智能锁就是人工智能技术应用的一个典型例子。智能锁相对于传统锁具来说，是十分方便快捷的，人们不再仅仅局限于钥匙，而是依靠指纹、人脸信息等就可以轻松的解锁，可以说是十分的方便快捷的。由于智能锁采用的是识别技术，其只对我们的人体信息有反应，因此，在作为开锁“钥匙”的人体信息具有唯一性，安全性有一定的保障。作为智能家居入门级产品，智能锁有不可轻易更换和身份识别等特征，市场前景广阔，在智能家居市场普及的道路中发挥着至关重要的作用，市场空间和发展潜力都十分庞大。

当前主流的人脸识别智能锁主要是2d人脸识别解锁，对输入的人脸图象进行识别处理。解锁过程首先是判断图像中是否存在人脸，识别到有人脸后，提取人脸的特征信息，然后依据这些信息，将其与已知的人脸特征进行比对。这种技术在智能家居领域有着一定优势，但是也存在一定的弊端，比如每个人员都在对应的门锁上录入信息以获取已知特征用于后续识别比对的话，操作过程繁琐、不便捷。另外，2d人脸识别在人脸防伪上面存在劣势，有被照片等图像欺骗的可能性。

现有的3d人脸智能锁通常是不联网的，只在本地进行识别解锁，导致管理不方便，而且3d人脸识别基本是点云数据，因为点云数据的复杂性，需要消耗大量的运算资源。

技术实现要素：

鉴于此，本公开提供了一种联网型3d人脸智能锁，包括一个3d智能锁服务端和多个3d智能锁客户端，

所述3d智能锁服务端采集人脸的2d红外图和3d深度图，并分别提取2d和3d人脸特征数据后，将人脸特征数据通过有线或无线网络发送给所述3d智能锁客户端进行本地存储；

所述3d智能锁客户端实时采集人脸的2d红外图和3d深度图，提取相应的2d和3d人脸特征数据，与所存储的2d和3d人脸特征数据进行比对，比对成功则执行开锁动作。

通过上述技术方案，采用联网的方案，一个服务端可对应多个客户端，可方便的对多个客户端进行操作，便于管理。通过添加3d人脸特征比对大幅提高智能锁的安全性。此外，用2d人脸识别辅助3d人脸识别可以减少计算量，减少计算资源，提高识别的准确率。

附图说明

图1是本公开一个实施例中所提供的一种3d人脸智能锁的结构框图；

图2是本公开一个实施例中所提供的服务端和客户端的图像采集及处理模块的结构框图；

图3是本公开一个实施例中所提供的服务端soc图像处理子模块流程图；

图4是本公开一个实施例中所提供的客户端soc图像处理子模块流程图。

具体实施方式

下面结合附图1至图4对本发明进行进一步的详细说明。

在一个实施例中，其公开了一种联网型3d人脸智能锁，包括一个3d智能锁服务端和多个3d智能锁客户端，

所述3d智能锁服务端采集人脸的2d红外图和3d深度图，并分别提取2d和3d人脸特征数据后，将人脸特征数据通过有线或无线网络发送给所述3d智能锁客户端进行本地存储；

所述3d智能锁客户端实时采集人脸的2d红外图和3d深度图，提取相应的2d和3d人脸特征数据，与所存储的2d和3d人脸特征数据进行比对，比对成功则执行开锁动作。

就该实施例而言，参见图1，3d人脸智能锁包括服务端和n个客户端，3d智能锁服务端连接局域网内的n个客户端。该3d人脸智能锁通过添加3d人脸特征比对大幅提高智能锁的安全性。2d人脸识别用以辅助3d人脸识别，3d人脸识别基本是点云数据，因为点云数据的复杂性，需要消耗大量的运算资源，用2d人脸识别辅助可以减少计算量，减少计算资源，提高识别的准确率。

上位机app发送命令给服务端图像采集及处理模块，如果为录入命令，soc检测距离传感器使能信号，如果为1，soc发送信号给驱动程序，驱动程序通过i2c控制泛光源、红外摄像头和投射器，并采集红外图像和散斑编码图像，soc对采集到的图像做人脸检测、计算3d深度、2d和3d活体检测、2d和3d人脸特征提取的操作，并将提取的人脸特征信息及id存储在spiflash。录入结束后，app发送命令，提取服务端spiflash中人脸特征信息，并通过tcp/ip网络协议将人脸特征信息及id发送给客户端。如果为删除命令，服务端将删除命令通过tcp/ip网络协议传输给客户端。

3d智能锁客户端连接到指定的服务端，持续检测是否有数据传输，如果检测到有人脸特征数据传输，将传输的特征数据存入客户端spiflash，如果检测到删除命令，将删除客户端spiflash中的指定id的特征数据。客户端处于持续识别状态，soc对采集到的图像做人脸检测、计算3d深度、2d和3d活体检测、2d和3d人脸特征提取的操作，提取到人脸特征信息后，与存储在客户端spiflash中的人脸特征数据进行比对识别，识别成功则开锁。

在另一个实施例中，所述3d智能锁服务端包括app模块、服务端图像采集及处理模块和网络发送数据模块。

其中所述的app模块：上位机的app通过串口发送命令给3d智能锁服务端，发送录入命令时，采集不同距离下的人脸图像(包括红外图像和3d深度图像)，经过soc处理后提取人脸特征信息，为每个人脸特征信息分配id，将id和人脸特征信息存储于服务端spiflash模块。发送下载/上传命令时，将指定id的人脸特征数据发送到客户端。发送删除命令时，删除服务端spiflash中指定id的人脸特征数据，并通过tcp/ip网络协议将命令发送给客户端，用于删除客户端spiflash中指定id的人脸特征数据。app模块是给服务端发送命令的，它可以接收服务端返回的应答命令。app模块指的就是上位机的app。soc是systemonchip的缩写，称为系统级芯片。

网络发送数据模块：服务端连接局域网内的n个客户端，上位机的app向soc发送串口命令，提取服务端spiflash中存储的人脸特征信息，然后服务端通过tcp/ip网络协议将人脸特征信息传输到指定的3d人脸智能锁客户端。或者上位机app向soc发送删除命令，soc通过tcp/ip网络协议将删除命令发送给指定的客户端。上位机app通过uart给图像采集及处理模块发送命令。通用异步收发传输器(universalasynchronousreceiver/transmitter)，通常称作uart。它将要传输的资料在串行通信与并行通信之间加以转换。作为把并行输入信号转成串行输出信号的芯片，uart通常被集成于其他通讯接口的连结上。此处串口命令是指uart传输的指令。

在另一个实施例中，所述服务端图像采集及处理模块包括距离传感器信号使能子模块、spiflash数据存储子模块、服务端soc图像处理子模块和图像数据采集子模块。

就该实施例而言，参见图2，其中的soc图像处理子模块在服务端图像采集及处理模块中是指服务端soc图像处理子模块。

其中所述的距离传感器信号使能子模块：接通电源后，距离传感器启动持续工作模式。当有人或物体靠近装置，距离传感器测量装置到人或物体的距离z，当z_min<z<z_max时(其中[z_min,z_max]为距离传感器的工作距离范围)，使能信号置为1，其他情况使能信号为0。

其中所述的图像数据采集子模块：当服务端soc图像处理子模块检测到距离传感器的使能信号为1时，soc发送信号给驱动程序，驱动程序通过i2c控制泛光源、红外摄像头和投射器。投射器关闭，采集红外图像，投射器打开，红外摄像头接收投射器投射的散斑编码图案，并采集散斑编码图像。红外摄像头通过mipi协议将图像数据传输给soc。

在另一个实施例中，所述3d智能锁客户端包括网络接收数据模块、客户端图像采集及处理模块和开锁模块。

网络接收数据模块：3d智能锁客户端连接到指定的服务端，持续检测服务端是否有数据传输，如果检测到有数据传输，客户端网络接收数据模块接收人脸特征信息，并将其存储到客户端的spiflash，或者删除spiflash中的指定id的人脸特征信息。

开锁模块：3d智能锁客户端实时采集到的2d/3d人脸特征信息如果与spiflash中存储的2d/3d人脸特征信息比对识别成功，则门锁打开，否则开锁失败。

在另一个实施例中，所述客户端图像采集及处理模块包括距离传感器信号使能子模块、spiflash数据存储子模块、客户端soc图像处理子模块和图像数据采集子模块。

就该实施例而言，参见图2，其中的soc图像处理子模块在客户端的图像采集及处理模块中是指客户端soc图像处理子模块。

其中所述的距离传感器信号使能子模块：接通电源后，距离传感器启动持续工作模式。当有人或物体靠近装置，距离传感器测量装置到人或物体的距离z，当z_min<z<z_max时(其中[z_min,z_max]为距离传感器的工作距离范围)，使能信号置为1，其他情况使能信号为0。

其中所述的图像数据采集子模块：当客户端soc图像处理子模块检测到距离传感器的使能信号为1时，soc发送信号给驱动程序，驱动程序通过i2c控制泛光源、红外摄像头和投射器。投射器关闭，采集红外图像，投射器打开，红外摄像头接收投射器投射的散斑编码图案，并采集散斑编码图像。红外摄像头通过mipi协议将图像数据传输给soc。

在另一个实施例中，参见图3，所述服务端soc图像处理子模块包括soc模块和驱动模块，当检测到距离传感器的使能信号为1时，soc模块发送信号给驱动程序，驱动程序通过i2c控制泛光源、红外摄像头和投射器，并采集红外图像和散斑编码图像，然后soc模块对采集到的图像数据做相应的处理。i2c是inter-integratedcircuit的缩写，是一种双向二线制同步串行总线。

在另一个实施例中，所述soc模块对采集到的图像数据做相应的处理进一步包括：

首先，在红外图像中进行人脸检测，如果检测到红外人脸图像信息，则soc模块先将采集到的散斑编码图像做预处理操作，然后与spiflash中存储的标准散斑编码图案进行匹配，从而计算出3d深度图像，并检测出3d人脸图像信息；然后，通过对红外人脸图像做2d活体检测，对3d人脸图像做3d活体检测，判断是否为活体，如果判定为活体，则提取红外人脸图像的特征信息及3d人脸图像的特征信息，为每个人脸特征信息分配id，将id和人脸特征信息存储于服务端spiflash。

就该实施例而言，散斑编码图像和2d红外图像是同一个摄像头(红外摄像头)采集到的数据，所以两个图像像素点是一一对应的。先在红外图中检测到人脸图像区域，在散斑编码图中提取对应的区域，即为散斑图中人脸区域。将散斑图中人脸区域与spiflash中存储的标准散斑编码图案进行匹配，从而通过人脸区域与spiflash中存储的标准散斑编码图案进行匹配计算出人脸区域的3d深度图像，即检测出的3d人脸深度图像。此方法用2d人脸识别辅助减少了3d深度图像的计算量，因为人脸区域相对整个图像区域变小，像素减少，减少计算资源，此外，2d人脸识别和3d人脸识别的结合，2d识别和3d识别需同时成功，减少一种识别的误识率，提高了识别的准确率。

在另一个实施例中，参见图4，所述客户端soc图像处理子模块包括soc模块和驱动模块，当检测到距离传感器的使能信号为1时，soc模块发送信号给驱动程序，驱动程序通过i2c控制泛光源、红外摄像头和投射器，并采集红外图像和散斑编码图像，然后soc模块对采集到的图像数据做相应的处理。

在另一个实施例中，所述soc模块对采集到的图像数据做相应的处理进一步包括：

首先，在红外图像中进行人脸检测，如果检测到红外人脸图像信息，则soc模块先将采集到的散斑编码图像做预处理操作，然后与spiflash中存储的标准散斑编码图案进行匹配，从而计算出3d深度图像，并检测出3d人脸图像信息；然后，通过对红外人脸图像做2d活体检测，对3d人脸图像做3d活体检测，判断是否为活体，如果判定为活体，则提取红外人脸图像的特征信息及3d人脸图像的特征信息，将这些特征信息与spiflash中存储的人脸特征信息进行比对识别，识别成功则开锁。

在另一个实施例中，所述spiflash数据存储子模块，用于存储标准散斑编码图案、人脸特征信息及id信息。

其中所述的spiflash数据存储子模块：在整个3d智能锁系统工作之前，使用红外摄像头采集若干帧深度距离已知的标准散斑编码图案，标准散斑编码图案经过soc图像预处理，将预处理后的标准散斑图案存储于spiflash中，用于后面计算3d深度图像。spiflash数据存储子模块同时用于存储人脸特征信息及id，用于后续人脸识别。

尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。