多人同时人脸识别和动作识别验证的系统与方法与流程

1.本发明涉及识别验证系统技术领域，具体为多人同时人脸识别和动作识别验证的系统与方法。


背景技术：

2.人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术，用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别，现有的手机app中常见的人脸识别技术，多用于手机支付、转账等场景。
3.现有的人脸识别验证技术通过提取两张人脸的特征进行相似度对比，最终返回相应的置信度得分，系统根据置信度得分决定“拒绝”或者“接受”，用于判断两个输入人脸是否属于同一人，适用于身份识别及相似脸查询等应用查询
4.现有的人脸识别验证技术一般为单人的人脸识别，通过识别摄像头采集到的人脸与数据库中已有的此人人脸信息进行对比，验证方式较为单一，无法支持两人及以上的场景，只适用于个人业务，遇到需要多人确认的场景通常没有同时进行记录的留存；
5.现有的人脸识别技术一般为单人的人脸识别，对于单人业务的验证是没问题的，但无法进行需要多人验证通过的业务，本发明可以解决需要多人统一验证的业务场景，如夫妻共有财产的转让等交易，安全性较高


技术实现要素：

6.(一)解决的技术问题
7.针对现有技术的不足，本发明公开了多人同时人脸识别和动作识别验证的系统与方法，以解决上述背景技术中提出的无法进行需要多人验证通过的业务的问题。
8.(二)技术方案
9.为实现以上目的，本发明通过以下技术方案予以实现：多人同时人脸识别和动作识别验证的系统，包括如下步骤：
10.s1：用户进入登录页面，开始使用系统,页面上会显示登录和注册按钮；
11.s2：需要验证的用户分别登录系统，系统检测每个用户是否已注册，如存在未注册用户，进入流程s2.1，用户进入注册页面，根据提示分别录入人脸信息和动作，并约定各个动作代表的含义，例如该用户设置竖起大拇指代表“同意”；
12.s3：系统可根据业务场景登录多人，已登录用户以列表形式展现，多用户分别登录后，点击下一步进入验证页面；
13.s4：摄像头开启，根据登录数量，通过图像识别技术识别人脸信息，并返回所有人脸位置，人脸的数量，几人面部大概位置提供脸部轮廓线，并提示用户将脸部放在轮廓线中；
14.s5：使用检测出的人脸数量，比对数量与登录人数是否一致，如果一致将图像暂
存，如不一致进入流程s5.1：,系统提示用户无法成功识别，重新检测；
15.s6：把轮廓线的人脸进行裁剪，通过人脸识别技术判断脸部信息与各登录人是否一致，如果全部一致则进入下一步，如果不一致退回登录页面，由用户检查登录人信息是否正确；
16.s7：在屏幕上以文字形式提示用户做出对应动作(如同意、拒绝等)，录制客户动作视频，并采集动作信息，保存视频至文件服务器，待进行动作比对,并将该次验证记录留存；
17.s8：根据注册时的记录读取注册阶段所存储的动作含义列表,由动作识别技术判断每个用户是否做出正确动作，如全部符合注册记录，此次验证通过，如果任一用户所做动作不符合注册记录，系统提示验证失败(注：动作识别技术为现有技术，例如算法：openpose plus)；
18.s9：根据业务需要跳转至s4或结束验证。
19.优选的，所述多人同时人脸识别和动作识别验证方法包括动作识别和人脸识别。
20.优选的，所述动作识别算法包括如下步骤；
21.(1)、提取视频中每帧人体关节点位置坐标：
22.(2)、利用open-pose方法对视频中每帧人体进行姿态估计，得到人体脖子、胸部、头部、右肩、左肩、右臀部、左臀部、右手肘、左手肘、右膝盖、左膝盖、右手腕、左手腕、右脚踝和左脚踝这15个关节点的位置坐标，其中第k个关节点的坐标表示为lk＝(xk,yk)，k从1到15；
23.(3)、对每个关节点的位置坐标进行归一化；
24.(4)、用归一化之后的15个关节点位置坐标构成坐标矩阵p，p＝[(x1,y1),(x2,y2),...,(xk,yk),...,(x15,y15)],其中(xk,yk)表示第k个关节点归一化之后的坐标；
[0025]
(5)、计算相邻两帧人体关节点距离变化量矩阵；
[0026]
(6)、根据相邻两帧的坐标矩阵pn和pn-1，计算相邻两帧关节点位置坐标变化量矩阵；
[0027]
(7)、根据关节点位置坐标变化量矩阵计算关节点距离变化量矩阵d；
[0028]
(8)、生成视频特征；
[0029]
(9)、按照视频的时间长度将视频平均分成4段，将每一段视频中相邻两帧产生的距离变化量矩阵d相加，得到各段累计距离变化量矩阵di，i从1到4；
[0030]
(10)、对di进行l2归一化，得到归一化之后的di'；
[0031]
(11)、将累计距离变化量矩阵di'串联起来作为整个视频的特征；
[0032]
f＝[d1',d2',d3',d4']；
[0033]
(12)、训练分类器对视频进行分类；
[0034]
(13)、把sub-jhmdb数据集的视频分成训练集和测试集两部分，将训练集视频的特征输入到支持向量机中进行训练，得到训练好的支持向量机；
[0035]
(14)、把测试集视频的特征输入到训练好的支持向量机中得到分类结果。
[0036]
优选的，所述人脸识别包括如下步骤：
[0037]
(1)、摄像头开启，人脸入镜并校验人脸选择框，从输入的图像中检测到人脸区域，并返回人脸包围框的坐标，人脸信息获取，并进行暂存，当人脸数量不一致时，提示重新检测，当人脸数量一致后，进入下一个流程。
[0038]
(2)、人脸信息获取，并进行暂存从人脸区域中检测到人脸特征点，并以特征点为依据对人脸进行归一化操作，使人脸区域的尺度和角度一致，方便特征提取与人脸匹配，人脸对齐的最终目的是在已知的人脸方框中定位人脸的精准形状，主要分为两大类：基于优化的方法和基于回归的方法，这里基于回归树的人脸对齐算法是vahid kazemi和josephine sullivan于cvpr2014年发表的人脸特征点识别方法，是一种基于回归树的人脸对齐方法，这种方法通过建立一个级联残差回归树(gbdt)来使人脸从当前形状一点点回归到真实形状。
[0039]
(3)、特征提取，从归一化的人脸区域中进行特征提取，得到特征向量，比如有的深度神经网络方法使用128个特征表示人脸，最理想的情况是不同的人的照片提取出的特征向量不一样，而同一人的不同照片中可以提取出相似的特征向量。
[0040]
(4)、人脸匹配，将两幅图片计算出的特征向量进行对比，获得两幅照片的相似得分，根据相似得分，得分高的可判断为同一人，得分低的判断为不同人
[0041]
优选的，所述根据现有的人脸识别技术识别动作人是否为本人。
[0042]
本发明公开了多人同时人脸识别和动作识别验证的系统与方法，其具备的有益效果如下：
[0043]
该多人同时人脸识别和动作识别验证的系统与方法,本发明可以同时进行人脸和动作的验证，并实现多人合作验证，更能够代表两人合作的态度，有效减少事后反悔的情况，如银行柜面开卡系统，用户自助开卡后一般需要大堂经理在机具上输入密码或在ipad上确认，采用本发明可以在确认时大堂经理做出对应的确认动作进行确认，同时留存影像记录。
附图说明
[0044]
图1为本发明系统图；
[0045]
图2为本发明用户面部数据表；
[0046]
图3为本发明用户动作数据表；
[0047]
图4为本发明用户验证记录表。
具体实施方式
[0048]
本发明实施例公开多人同时人脸识别和动作识别验证的系统与方法，结合说明书附图1-4，多人同时人脸识别和动作识别验证的系统，包括如下步骤：
[0049]
如图1所示：
[0050]
s1：用户进入登录页面，开始使用系统,页面上会显示登录和注册按钮；
[0051]
s2：需要验证的用户分别登录系统，系统检测每个用户是否已注册，如存在未注册用户，进入流程s2.1，用户进入注册页面，根据提示分别录入人脸信息和动作，并约定各个动作代表的含义，例如该用户设置竖起大拇指代表“同意”；
[0052]
s3：系统可根据业务场景登录多人，已登录用户以列表形式展现，多用户分别登录后，点击下一步进入验证页面；
[0053]
s4：摄像头开启，根据登录数量，通过图像识别技术识别人脸信息，并返回所有人脸位置，人脸的数量，几人面部大概位置提供脸部轮廓线，并提示用户将脸部放在轮廓线
中；
[0054]
s5：使用检测出的人脸数量，比对数量与登录人数是否一致，如果一致将图像暂存，如不一致进入流程s5.1：,系统提示用户无法成功识别，重新检测；
[0055]
s6：把轮廓线的人脸进行裁剪，通过人脸识别技术判断脸部信息与各登录人是否一致，如果全部一致则进入下一步，如果不一致退回登录页面，由用户检查登录人信息是否正确；
[0056]
s7：在屏幕上以文字形式提示用户做出对应动作(如同意、拒绝等)，录制客户动作视频，并采集动作信息，保存视频至文件服务器，待进行动作比对,并将该次验证记录留存；
[0057]
s8：根据注册时的记录读取注册阶段所存储的动作含义列表,由动作识别技术判断每个用户是否做出正确动作，如全部符合注册记录，此次验证通过，如果任一用户所做动作不符合注册记录，系统提示验证失败(注：动作识别技术为现有技术，例如算法：openpose plus)；
[0058]
s9：根据业务需要跳转至s4或结束验证。
[0059]
所述多人同时人脸识别和动作识别验证方法包括动作识别和人脸识别。
[0060]
所述动作识别算法包括如下步骤；
[0061]
(1)、提取视频中每帧人体关节点位置坐标：
[0062]
(2)、利用open-pose方法对视频中每帧人体进行姿态估计，得到人体脖子、胸部、头部、右肩、左肩、右臀部、左臀部、右手肘、左手肘、右膝盖、左膝盖、右手腕、左手腕、右脚踝和左脚踝这15个关节点的位置坐标，其中第k个关节点的坐标表示为lk＝(xk,yk)，k从1到15；
[0063]
(3)、对每个关节点的位置坐标进行归一化；
[0064]
(4)、用归一化之后的15个关节点位置坐标构成坐标矩阵p，p＝[(x1,y1),(x2,y2),...,(xk,yk),...,(x15,y15)],其中(xk,yk)表示第k个关节点归一化之后的坐标；
[0065]
(5)、计算相邻两帧人体关节点距离变化量矩阵；
[0066]
(6)、根据相邻两帧的坐标矩阵pn和pn-1，计算相邻两帧关节点位置坐标变化量矩阵；
[0067]
(7)、根据关节点位置坐标变化量矩阵计算关节点距离变化量矩阵d；
[0068]
(8)、生成视频特征；
[0069]
(9)、按照视频的时间长度将视频平均分成4段，将每一段视频中相邻两帧产生的距离变化量矩阵d相加，得到各段累计距离变化量矩阵di，i从1到4；
[0070]
(10)、对di进行l2归一化，得到归一化之后的di'；
[0071]
(11)、将累计距离变化量矩阵di'串联起来作为整个视频的特征；
[0072]
f＝[d1',d2',d3',d4']；
[0073]
(12)、训练分类器对视频进行分类；
[0074]
(13)、把sub-jhmdb数据集的视频分成训练集和测试集两部分，将训练集视频的特征输入到支持向量机中进行训练，得到训练好的支持向量机；
[0075]
(14)、把测试集视频的特征输入到训练好的支持向量机中得到分类结果。
[0076]
可以同时进行人脸和动作的验证，并实现多人合作验证，更能够代表两人合作的态度，有效减少事后反悔的情况。
[0077]
所述人脸识别包括如下步骤：
[0078]
(1)、摄像头开启，人脸入镜并校验人脸选择框，从输入的图像中检测到人脸区域，并返回人脸包围框的坐标，人脸信息获取，并进行暂存，当人脸数量不一致时，提示重新检测，当人脸数量一致后，进入下一个流程；
[0079]
(2)、人脸信息获取，并进行暂存从人脸区域中检测到人脸特征点，并以特征点为依据对人脸进行归一化操作，使人脸区域的尺度和角度一致，方便特征提取与人脸匹配，人脸对齐的最终目的是在已知的人脸方框中定位人脸的精准形状，主要分为两大类：基于优化的方法和基于回归的方法，这里基于回归树的人脸对齐算法是vahid kazemi和josephine sullivan于cvpr2014年发表的人脸特征点识别方法，是一种基于回归树的人脸对齐方法，这种方法通过建立一个级联残差回归树(gbdt)来使人脸从当前形状一点点回归到真实形状；
[0080]
(3)、特征提取，从归一化的人脸区域中进行特征提取，得到特征向量，比如有的深度神经网络方法使用128个特征表示人脸，最理想的情况是不同的人的照片提取出的特征向量不一样，而同一人的不同照片中可以提取出相似的特征向量；
[0081]
(4)、人脸匹配，将两幅图片计算出的特征向量进行对比，获得两幅照片的相似得分，根据相似得分，得分高的可判断为同一人，得分低的判断为不同人。
[0082]
所述根据现有的人脸识别技术识别动作人是否为本人。
[0083]
可以同时进行人脸和动作的验证，并实现多人合作验证，更能够代表两人合作的态度，有效减少事后反悔的情况。如银行柜面开卡系统，用户自助开卡后一般需要大堂经理在机具上输入密码或在ipad上确认，采用本发明可以在确认时大堂经理做出对应的确认动作进行确认，同时留存影像记录。
[0084]
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。