一种基于掌纹和手势融合识别的身份认证方法及控制设备与流程

1.本专利涉及计算机视觉领域中的掌纹识别领域，具体地涉及一种基于掌纹和手势融合识别的身份认证方法及控制设备。


背景技术：

2.传统的生物特征识别技术，通过提取用户的生物特征信息，并与已存储的原始生物特征进行比较，来辨识并授权用户。其中，生物特征是个人可识别信息，属于个人隐私。在实际使用中，部分生物特征(如人脸和指纹等)采集过于简单同时存在较大的泄露风险。因此，迫切需要一种合理、可靠的方案，不仅能保障用户信息安全，同时能保证身份认证的高效性和开放性。
3.由于疫情的影响，目前的人脸认证和指纹认证两个主流的认证方式都面临巨大的挑战。疫情期间口罩佩戴的必要性直接导致人脸识别时人脸的特征数据大面积的丢失，大大的降低了认证的鲁棒性和准确性；指纹认证的数据采集和验证过程中无法避免的会发生直接接触，由于疫情影响目前日常生活中的公众接触越少越安全。
4.掌纹采集要求稍高，但是独特性更好，缺点是可能会受到环境和用户职业等的干扰。手势认证的作为非接触性的识别方法在可采集性、受欺骗性和应用成本方面也有很大的优势，数据采集则与人脸数据采集类似，但相对于人脸采集数据的隐私性更好，易接受性更高。将两种认证方法结合，可以大大提高认证系统的整体性能，两种身份认证方式也意味着更加丰富的特征用于身份识别能更好的证明我是我，保证了识别的性能，同时非接触性的认证方式很好的满足如今社会形式的需求和公众的心理(an online system of multispectral palmprint verification)。
5.目前实用的掌纹认证和手势认证设备大多具有以下几点共性问题：
6.1、采集数据和进行认证时所需的用户配合度高，花费时间较长，这也直接导致了用户采集过程繁复，易引起用户的抵触心理。
7.2、采集设备需要后台录入信息，导致信息流通慢，用户无法当场确定身份注册进度。
8.3、单一的手势采集认证设备或掌纹设备，功能单一，仅可以实现单一的认证，无法实现功能多元化增广设备的适用面。
9.4、掌纹和手势身份认证设备体积庞大，对于硬件安装是的需求也会提高的同时还会显得整个设备很笨重不便于携带。
10.5、大多数掌纹身份认证系统和手势身份认证系统需要庞大的的后台系统支持，相应的配套硬件和部署成本会大大提高。
11.目前文献和市面上的产品都可以证明现有技术的不足：已成形的产品比如亚马逊的产品(仅掌脉识别)、富士通体积庞大且无横扫式，市面上没有基于手势动作生物特征实现手势识别设备，且本文实现两种认证方法的融合(重点)。


技术实现要素：

12.针对以上问题，本发明公开了一种对使用者约束更小的非接触式掌纹手势融合识别设备，旨在解决目前大多数掌纹掌静脉识别设备的易用性不高、数据采集难度大、功能性强、部署成本低的问题。同时弥补目前手势与其他手部特征融合作为身份认证方式的技术空缺。在于使目前疫情影响下的身份认证方式安全快速的运作，同时作为新的认证方式较原有的主流身份认证方式(人脸识别，指纹认证，单一掌纹认证等)具有更好的隐私性和安全性。
13.本发明至少通过如下技术方案之一实现。
14.一种基于掌纹和手势融合识别的身份认证方法，包以下步骤：
15.s1、用户选择进入注册模式输入用户名开启注册，采集设备采集用户不同的手掌信息和手势动作信息特征，将提取到特征存入处理器，用户特征与注册用户名相对应；
16.s2、用户对每个手掌信息和手势动作特征设置绑相应的权限；
17.s3、用户认证时，将手扫过图像采集区域并做出与注册时相同的掌纹或者手势动作，采集设备采集图像，将采集的图像输入嵌入式核心板进行掌纹或者手势的特征提取，将得到的特征信息与注册过的用户特征信息进行比对，相似度达到阈值则提示认证成功，开启相应的权限；若需要开启不同的权限，则继续认证。
18.优选的，认证过程中，用户手掌第一次扫过图像采集区域时，激活第一光电开关，嵌入式核心板接收到光电开关传输的信号则开始工作，当用户手掌第二次扫过采集区域时，触发第二光电开关，光电开关将信号传输到控制器，控制器控制设备光源模块亮起，当手掌同时遮挡两个光电开关，表明用户掌部处于采集区域，采集设备采集图像，若未采集到图像或认证失败需重新认证，用户将手掌再次扫过图像采集区域，触发光电开关再次采集图像。
19.优选的，用户手掌在掌纹采集摄像头采集区域内扫过，采集的数据传输到嵌入式核心板，提取用户的掌纹特征，将采集到的特征与所有用户注册过的掌纹特征进行对比确认用户身份，开启相应的权限同时开启手势认证。
20.优选的，用户在手势摄像头采集区域内做出已注册的过的手势，采集的数据传输到嵌入式核心板，提取手部采集到的关键点的运动轨迹和速度特征，将采集到的特征与用户注册时的手势特征信息进行，达到预设阈值后提示手势验证成功，开启相应的权限。
21.优选的，识别模块、用于供电的电源系统、采集设备、光源模块、光电开关组件；
22.所述光电开关组件将光电信号通过控制器控制光源模块的灯光，并控制采集设备采集图像；所述识别模块通过采集设备采集的图像对用户进行认证；所述识别模块包括掌纹识别模块和手势识别模块。
23.优选的，所述采集设备包括掌纹采集摄像头和手势采集摄像头，所述手势采集摄像头通过手势摄像头支架固定，所述掌纹采集摄像头位于手势采集摄像头的正下方。
24.优选的，所述光电开关组件包括第一光电开关、第二光电开关，第二光电开关和第一光电开关分别位于掌纹采集摄像头的两侧。
25.优选的，所述光源模块采用390nm-410nm的主动光源。
26.优选的，所述光源模块包括6个以上的主动光源灯，每一个主动光源灯发射的光源广角是120
°±2°
。
27.优选的，所述掌纹采集摄像头和手势采集摄像头中增加对应390nm-410nm的滤光片。
28.与现有的技术相比，本发明的有益效果为：
29.本发明相比于已有技术，所具有的优势在于融合了掌纹认证和手势认证两种高精度的认证方法，融合掌纹认证和手势认证的身份认证系统充分利用了每个个体掌纹的独一无二性，利用相对于指纹面积更大更方便进行非接触性识别的特点，通过高清摄像机对手掌掌纹部分进行捕捉再输入系统进行识别。掌纹部分识别通过则开启第二层手势认证过程。手势认证同样通过捕捉人手部的特征点的运动，输入卷积神经网络进行特征提取，与注册时提取到的手势运动特征信息比对完成身份认证，实现了多重身份认证的功能，能够借用多重身份认证实现权限分级管理；
30.同时设备的全开放，可横扫式采集认证大大的提高了本发明的易接受性和舒适性。本发明实体化的硬件设备主体小，是目前体积最小的融合了掌纹和手势认证功能并且可单机运行也可联机运行的身份认证设备。
附图说明
31.图1为本发明实施例一种基于掌纹和手势融合识别的身份认证及控制设备的光源排布图；
32.图2为本发明实施例一种基于掌纹和手势融合识别的身份认证及控制设备关系示意图；
33.图3为本发明实施例一种基于掌纹和手势融合识别的身份认证及控制设备结构图；
34.图4为本发明实施例基于掌纹和手势融合识别的身份认证流程图；
35.图5为本发明实施例横扫采集掌纹信息所采集图；
36.其中，1-手势采集摄像头，2-手势摄像头支架，3-光源上盖，4-光源模块，5-掌纹采集摄像头，6-第一光电开关，7-第二光电开关，8-接口电路板，9-嵌入式核心板，10-外壳。
具体实施方式
37.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
38.如图3所示的一种基于掌纹和手势融合识别的身份认证控制设备，包括外壳10、掌纹识别模块和手势识别模块、用于供电的电源系统、采集设备、用于协助采集设备采集的光源模块4、hmi组态屏、光电开关组件、嵌入式核心板、接口电路板8。所述外壳10大小为120mm
×
120mm
×
60mm。各模块之间的逻辑关系图如下图2。
39.所述光源模块4封装于设备光源上盖中。
40.所述光电开关组件包括第一光电开关6、第二光电开关7，光电开关组件作为认证控制设备的启动开关，并检测认证控制设备上方是否有手掌经过，若有手掌经过则传输信号给处理器从而启动相机拍照。
41.所述采集设备包括掌纹采集摄像头5和手势采集摄像头1，所述手势采集摄像头1
通过手势摄像头支架2固定在外壳10上，所述掌纹采集摄像头5位于外壳10上表面。掌纹采集摄像头5固定在外壳10内，位于手势采集摄像头1的正下方，第二光电开关7和第一光电开关6分别位于掌纹采集摄像头5的两侧；当用户手掌第一次扫过图像采集区域时(手势采集摄像头1)，激活第一光电开关6，嵌入式核心板9接收到光电开关传输的信号则开始工作，当用户手掌第二次扫过采集区域时，触发第二光电开关7，光电开关将信号传输到控制器，控制器控制设备光源模块亮起，当手掌同时遮挡两个光电开关，表明用户掌部处于采集区域，采集设备采集图像。
42.所述手势摄像头支架用于支撑手势采集摄像头1的同时保护手势采集摄像头1与接口电路板8连接的数据线。
43.所述接口电路板8固定在外壳10中，用于连接嵌入式核心板9和其他硬件，将嵌入式核心板9的接口划分区域用于连接各个硬件。具体的，所述掌纹采集摄像头5通过数据电源线连接到接口电路板8，并固定在接口电路板上。第二光电开关7和第一光电开关6通过数据电源线连接到接口电路板，并固定在接口电路板上。
44.所述嵌入式核心板9通过自带的针脚与接口电路板上的底座连接固定，用于控制整个装置的运行，实现特征提取与运算等功能，所述光源模块4通过电源线与嵌入式核心板连接；
45.所述hmi组态屏：显示用户界面，用于与用户实现交互。
46.本发明的身份认证控制设备还包括音频sc8002b功放器、蓝牙&wifi模块、tf卡存储、内存；音频sc8002b功放器用于提示用户认证过程或认证完成状态。蓝牙&wifi模块用于设备的无线通讯。tf卡存储用于存储算法及用户的数据。内存用于算法运行暂时存放处理器中的运算数据，以及与tf卡交换的数据，内存是外界与处理器进行沟通的桥梁。
47.所述光源模块4采用390nm-410nm的主动光源，沟壑部分和非沟壑部分对390nm-410nm左右波长光的反射程度有较大差异，用390nm-410nm光照手掌能够将沟壑区域和非沟壑区域分开，从而图像更加清晰地提取出掌纹。
48.本实施例的光源设计经过实验，如下排布可以在光源提供充足的情况下尽可能地减少主动光源的数量，经过实验测试之后得到的光源模块4包括6个主动光源灯(即图1中的1号～6号主动光源灯)，每一个主动光源灯发射的光源广角是120
°
，1号和2号光源之间距离40mm，5号和4号主动光源关于相机孔对称，3号和6号光源之间距离为117mm且1、6、5号三灯夹角呈90
°
，2号、3号、4号三灯关于相机孔对称。当手掌距离相机50mm到150mm之间主动光源都能够对掌面全面覆盖，便于采集掌面图片。
49.掌纹采集摄像头也同样增加对应390nm-410nm的滤光片。手掌上的掌纹是每个人先天就生成的凹陷条纹(后文称沟壑部分)，沟壑部分和非沟壑部分对390nm-410nm左右波长光的反射程度有较大差异，用特定波长光照手掌能够将沟壑区域和非沟壑区域分开，从而图像更加清晰地提取出掌纹。
50.本实施例采用的控制器为i2c控制器或uart控制器，处理器为usb fifo处理器。
51.如图4所示，本发明的一种基于掌纹和手势融合识别的身份认证方法，包括注过程和认证过程，具体包括以下步骤：
52.s1、用户首次将手掌划过设备采集区域，光电开关被触发激活系统，使系统由待机模式进入工作模式。hmi组态屏亮起显示ui界面，用户选择进入注册模式输入用户名开启注
册，光电开关(作为数据采集开关)将检测信号传入处理器，处理器控制掌纹采集摄像头进行手掌图片的捕捉，采集得到的图片传入处理器进行特征提取，提取完成后删除采集得到的图像，将提取到的掌纹特征存入处理器与注册用户名相对应；
53.s2、掌纹认证信息存储完成后开启手势认证信息的采集，用户对着手势采集摄像头1做出相应的手势动作，将手移出采集范围完成一次采集，再次将手移入手势采集摄像头1采集范围做出相同的手势动作，摄像头1将注册期间采集到的手势动作信息输入手势认证系统，进行手部动作特征信息的提取存入特征库与注册用户名相对应，删除采集得到的手势数据，完成注册过程；
54.s3、认证过程：用户将手掌从设备图像采集区域扫过，激活光电开关(系统处于待机状态第一次触发光电开关)，此时光电开关作为系统启动开关)，嵌入式核心板接收到光电开关传输的信号系统开始工作。当用户第二次扫过采集区域时，触发光电开关(此时系统已经启动，光电开关作为摄像头采集开关)，光电开关将信号传输到控制器，控制器控制设备光源模块4亮起。当手掌同时遮挡两个光电开关，表明掌部处于采集区域，掌纹采集摄像头开始采集图像。若未采集到图像或认证失败需重新认证，用户可将手掌再次扫过图像采集区域，触发光电开关再次采集图像。
55.s4、将采集的图像输入嵌入式核心板进行掌纹特征提取，提取到特征后删去图片并保留特征信息，将得到的特征信息与注册过的用户特征信息进行比对。相似度达到一定阈值则提示掌纹认证成功，开启部分权限同时开启手势认证。
56.s5、若用户需要获取进一步的权限则需要进行手势认证，手势认证方式为：用户在手势采集摄像头1采集区域内做出已注册的过的手势，采集的数据传输到嵌入式核心板，提取手部采集到的指尖、指节关键点的运动轨迹和速度特征，将采集到的特征与该用户注册过的手势动作进行比对，达到预设阈值后提示手势验证成功，并开启相应的权限。开启的权限可以根据用户的需求进行设置，比如绑定相应的硬件控制器用于控制门、窗、电脑等硬件设备的开关。横扫采集掌纹信息所采集到的图片经过自适应阈值分割方法得到如图5所示
57.本发明的身份认证方法集成于嵌入式核心板9，实现了存储功能实现一体化。无需强大的后台系统，可以单机离线工作也可以联网工作。设备部署时所需的成本也会大大降低，设备的适用面也将更广。
58.本发明采用的可横扫式掌纹信息采集和身份认证，利用光电开关触发相机拍照进行信息采集，可以保证相机采集时手掌处于相机采集区域内。通过横扫的方式进行采集和身份认证，可以尽可能增加用户使用时的舒适度和设备的易接受性。还可以直接通过设备进行注册和认证，无需后台单独操作录入信息，可以让用户当场完成注册和认证，极大的减少了沟通成本和镶滚工作人员的工作量。
59.本发明集合掌纹身份认证和手势认证两种认证方式，可以通过两种权限完成多元化功能，如下例：掌纹可作为第一层身份认证模块绑定权限1，当通过掌纹身份认证则用户可以获得权限1；手势认证可以作为第二层身份认证模块绑定权限2，完成手势认证则可以获得权限2。各级权限可以在设备的部署时根据客户的需求绑定各种闸机，门和电脑等相关控制器设备。通过上例的部署实现权限的分层管理，提高使用部门的安全性。
60.以上所述仅为本发明的实施例及运用技术原理。本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和代替而不会脱离本发
明的保护范围。因此，虽然通过以上实施例对本发明进行了说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，不限于本实施例所述。