人脸识别装置、方法以及计算机可读介质与流程

1.本发明属于人脸识别领域，具体涉及一种人脸识别装置、方法以及计算机可读介质。


背景技术：

2.随着人脸识别技术的发展，其应用领域越来越广泛，如在门禁、考勤系统中设置人脸识别装置，便于对用户的身份进行识别。
3.然而，当用户佩戴口罩时，人脸识别装置就会受到影响而无法正确地完成识别。一方面，由于口罩遮挡了大部分的人脸特征，人脸识别装置难以基于剩下的小部分人脸特征进行人脸识别，会导致口罩人脸的识别精度严重降低；另一方面，口罩的颜色、样式多种多样，人脸识别装置也容易对一些口罩进行误识别，从而进一步地降低口罩人脸的识别精度，甚至导致识别错误。
4.尤其是在用户普遍佩戴口罩的情况下，人脸识别装置很难正常工作。例如，在疫情环境下，为了完成人脸识别，用户就不得不需要在门禁这种人流量较大的位置卸下口罩，从而带来一定的安全问题。


技术实现要素：

5.为解决上述问题，提供一种只需要用户登记不戴口罩的普通人脸，就能够对用户在戴口罩时的人脸进行准确识别的人脸识别装置、方法以及计算机可读介质，本发明采用了如下技术方案：
6.《结构一》
7.本发明提供了一种人脸识别装置，用于对用户在戴口罩时拍摄的待识别图像进行识别并识别出对应的用户，其特征在于，包括：用户信息存储部，存储有用户的用户识别信息、该用户预先拍摄的未戴口罩的识别用人脸图像以及根据预定的遮挡用口罩图像对识别用人脸图像中的人脸进行遮挡后形成的模拟人脸图像；待识别图像获取部，获取待识别图像；眼部识别判定部，对待识别图像以及识别用人脸图像中的眼部区域进行匹配识别并将与判定为匹配的识别用人脸图像相对应的用户识别信息作为第一识别信息；模拟图像形成部，采用遮挡用口罩图像以及待识别图像形成待识别图像中人脸被口罩遮挡的待识别模拟图像；人脸识别判定部，对待识别模拟图像以及模拟人脸图像进行匹配识别并将与判定为匹配的模拟人脸图像相对应的用户识别信息作为第二识别信息；以及用户判定部，在第一识别信息与第二识别信息相一致时将相应的用户识别信息判定为待识别图像所对应的用户识别信息。
8.《结构二》
9.本发明提供了一种人脸识别方法，用于对用户在戴口罩时拍摄的待识别图像进行识别并识别出对应的用户，其特征在于，包括以下步骤：用户信息存储步骤，对用户的用户识别信息、该用户预先拍摄的未戴口罩的识别用人脸图像以及根据预定的遮挡用口罩图像
对识别用人脸图像中的人脸进行遮挡后形成的模拟人脸图像进行存储；待识别图像获取步骤，获取待识别图像；眼部识别判定步骤，对待识别图像以及识别用人脸图像中的眼部区域进行匹配识别并将与判定为匹配的识别用人脸图像相对应的用户识别信息作为第一识别信息；待识别模拟图像形成步骤，采用遮挡用口罩图像以及待识别图像形成待识别图像中人脸被口罩遮挡的待识别模拟图像；整体人脸识别步骤，对待识别模拟图像以及模拟人脸图像进行匹配识别并将与判定为匹配的模拟人脸图像相对应的用户识别信息作为第二识别信息；用户判定步骤，在第一识别信息与第二识别信息相一致时将相应的用户识别信息判定为待识别图像所对应的用户识别信息。
10.《结构三》
11.本发明提供了一种计算机可读介质，用于记录计算机程序，其特征在于，该计算机程序用于让对用户在戴口罩时拍摄的待识别图像进行识别并识别出对应的用户的人脸识别装置执行以下步骤：用户信息存储步骤，对用户的用户识别信息、该用户预先拍摄的未戴口罩的识别用人脸图像以及根据预定的遮挡用口罩图像对识别用人脸图像中的人脸进行遮挡后形成的模拟人脸图像进行存储；待识别图像获取步骤，获取待识别图像；眼部识别判定步骤，对待识别图像以及识别用人脸图像中的眼部区域进行匹配识别并将与判定为匹配的识别用人脸图像相对应的用户识别信息作为第一识别信息；待识别模拟图像形成步骤，采用遮挡用口罩图像以及待识别图像形成待识别图像中人脸被口罩遮挡的待识别模拟图像；整体人脸识别步骤，对待识别模拟图像以及模拟人脸图像进行匹配识别并将与判定为匹配的模拟人脸图像相对应的用户识别信息作为第二识别信息；用户判定步骤，在第一识别信息与第二识别信息相一致时将相应的用户识别信息判定为待识别图像所对应的用户识别信息。
12.发明作用与效果
13.根据本发明的人脸识别装置、方法以及计算机可读介质，由于预先存储有用户识别信息、对应的识别用人脸图像以及模拟人脸图像，在获取到待识别图像后，一方面通过对待识别图像以及识别用人脸图像中的眼部区域进行匹配识别，从而匹配出对应的用户识别信息作为第一识别信息，另一方面采用遮挡用口罩图像对待识别图像中人脸配到口罩的部位进行遮挡形成待识别模拟图像，并通过对待识别模拟图像以及模拟人脸图像进行匹配识别，从而匹配出对应的用户识别信息作为第二识别信息，最后根据第一识别信息以及第二识别信息确定出待识别图像所对应的用户识别信息，因此，可以通过眼部特征以及佩戴口罩的整体人脸特征两方面来对用户进行身份识别，有助于提高识别的准确率。同时，无论用户佩戴何种口罩，由于都可以通过遮挡用口罩图像对口罩部分进行覆盖，使得人脸的匹配识别都能够基于同种口罩进行，从而避免了不同式样的口罩因区别较大而容易影响识别的准确率。
14.另外，还由于模拟人脸图像是采用遮挡用口罩图像对识别用人脸图像进行处理得到的，因此用户只需要拍摄一张没有佩戴口罩的识别用人脸图像，就能够完成前期的身份登记工作，可以避免用户的体验受到影响。
附图说明
15.图1是本发明实施例中人脸识别装置的框图；
16.图2是本发明实施例中用户信息存储部存储的内容；
17.图3是本发明实施例中待识别图像的示意图；
18.图4是本发明实施例中眼部识别判定部的框图；
19.图5是本发明实施例中人脸框以及眼部特征点的示意图；
20.图6是本发明实施例中眼部区域确定过程的流程图；
21.图7是本发明实施例中模拟图像形成部的框图；
22.图8是本发明实施例中待识别图像与待识别模拟人脸图像的对比图；
23.图9是本发明实施例中口罩模拟人脸图像形成过程的流程图；以及
24.图10是本发明实施例中人脸识别装置的人脸识别过程的流程图。
具体实施方式
25.为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的扫描系统作具体阐述。
26.作为一种实施形态，本发明提供了一种人脸识别装置，用于对用户在戴口罩时拍摄的待识别图像进行识别并识别出对应的用户，其特征在于，包括：用户信息存储部，存储有用户的用户识别信息、该用户预先拍摄的未戴口罩的识别用人脸图像以及根据预定的遮挡用口罩图像对识别用人脸图像中的人脸进行遮挡后形成的模拟人脸图像；待识别图像获取部，获取待识别图像；眼部识别判定部，对待识别图像以及识别用人脸图像中的眼部区域进行匹配识别并将与判定为匹配的识别用人脸图像相对应的用户识别信息作为第一识别信息；模拟图像形成部，采用遮挡用口罩图像以及待识别图像形成待识别图像中人脸被口罩遮挡的待识别模拟图像；人脸识别判定部，对待识别模拟图像以及模拟人脸图像进行匹配识别并将与判定为匹配的模拟人脸图像相对应的用户识别信息作为第二识别信息；以及用户判定部，在第一识别信息与第二识别信息相一致时将相应的用户识别信息判定为待识别图像所对应的用户识别信息。
27.在第一种实施形态中，还可以具有这样的技术特征，其中，所述眼部识别判定部至少具有：人脸识别单元，分别对所述待识别图像以及所述识别用人脸图像进行人脸识别得到对应的用于框出人脸的人脸识别框的人脸框坐标以及眼部特征点的特征点坐标；坐标计算单元，基于所述人脸框坐标以及眼部特征点坐标以预定的人脸比例换算规则分别计算所述待识别图像以及所述识别用人脸图像中人脸的脸部轮廓坐标、鼻梁坐标和眉毛坐标；以及眼部区域确定单元，根据所述脸部轮廓坐标、鼻梁坐标和眉毛坐标确定所述待识别图像以及所述识别用人脸图像中的所述眼部区域。
28.在第一种实施形态中，还可以具有这样的技术特征，其中，所述特征点坐标为左右眼的瞳孔坐标，所述人脸框坐标包括左边框横坐标以及右边框横坐标，所述脸部轮廓坐标包括左脸颊横坐标以及右脸颊横坐标，所述人脸比例换算规则为：根据所述瞳孔坐标计算瞳孔间距值，并计算左右瞳孔的纵坐标平均值；将瞳孔间距值除以6.1得到眼鼻间距值，并按照该眼鼻间距值将所述左右瞳孔的纵坐标平均值向下位移形成鼻梁所在的纵坐标作为所述鼻梁坐标；将瞳孔间距值乘以0.5得到眼眉间距值，并按照该眼眉间距值将所述左右瞳孔的纵坐标平均值向上位移形成眉毛所在的纵坐标作为所述眉毛坐标；将瞳孔间距值乘以0.6得到脸颊间距值，并按照该脸颊间距值将左瞳孔的横坐标值向左位移形成左脸颊所在
的横坐标作为候选左脸颊坐标，并将所述候选左脸颊坐标与所述左边框横坐标中偏右的坐标值作为所述左脸颊横坐标；以及按照所述脸颊间距值将右瞳孔的横坐标值向右位移形成右脸颊所在的横坐标作为候选右脸颊坐标，并将所述候选右脸颊坐标与所述右边框横坐标中偏左的坐标值作为所述右脸颊横坐标，所述眼部区域的坐标范围根据所述鼻梁坐标、所述眉毛坐标、所述左脸颊横坐标以及所述右脸颊横坐标确定得到。
29.在第一种实施形态中，还可以具有这样的技术特征，还包括：其中，所述眼部识别判定部还具有：眼部区域图像形成单元，将所述待识别图像以及所述识别用人脸图像根据相应的所述眼部区域进行分割从而形成对应的待识别眼部区域图像以及识别用眼部区域图像；眼部特征提取单元，分别对所述待识别眼部区域图像以及所述识别用眼部区域图像进行特征提取得到相应的待识别眼部特征信息以及识别用眼部特征信息；匹配判定单元，根据所述待识别眼部特征信息以及所述识别用眼部特征信息匹配出与所述待识别眼部区域图像相对应的识别用眼部区域图像，并将该识别用眼部区域图像对应的所述用户识别信息判定为所述第一识别信息。
30.在第一种实施形态中，还可以具有这样的技术特征，其中，所述模拟图像形成部还用于采用所述遮挡用口罩图像以及所述识别用人脸图像形成所述识别用人脸图像中人脸被口罩遮挡的模拟人脸图像，所述模拟图像形成部具有：口罩图像存储单元，存储有所述遮挡用口罩图像；人脸识别单元，分别对所述待识别图像以及所述识别用人脸图像进行人脸识别得到对应的用于框出人脸的人脸识别框的人脸框坐标以及眼部特征点的特征点坐标；坐标计算单元，基于所述人脸框坐标以及特征点坐标以预定的人脸比例换算规则计算所述人脸的脸部轮廓坐标、鼻梁坐标和下巴中点坐标；遮挡图像形成单元，根据所述脸部轮廓坐标、鼻梁坐标和下巴中点坐标，对所述遮挡用口罩图像进行变形处理从而形成与所述用户的脸型相匹配的遮挡图像；以及模拟图像形成单元，根据所述遮挡图像形成在所述待识别图像以及所述识别用人脸图像中人脸的戴口罩部位被遮挡图像遮挡的所述待识别模拟人脸图像以及所述模拟人脸图像。
31.在第一种实施形态中，还可以具有这样的技术特征，其中，所述特征点坐标为左右眼的瞳孔坐标，所述人脸框坐标包括左边框横坐标、右边框横坐标、下边框纵坐标以及所述人脸识别框的中点横坐标，所述脸部轮廓坐标包括左脸颊坐标以及右脸颊坐标，所述人脸比例换算规则为：根据所述瞳孔坐标计算瞳孔间距值，并计算左右瞳孔的纵坐标平均值；将瞳孔间距值除以6.1得到眼鼻间距值，并按照该眼鼻间距值将所述左右瞳孔的纵坐标平均值向下位移形成鼻梁所在的纵坐标，并计算左右瞳孔中间点的横坐标作为鼻梁所在的横坐标，从而得到所述鼻梁坐标；根据所述左边框横坐标以及所述鼻梁坐标确定所述左脸颊坐标，并根据所述右边框横坐标以及所述鼻梁坐标确定所述右脸颊坐标；根据所述下边框纵坐标以及所述中点横坐标确定所述下巴中点坐标。
32.在第一种实施形态中，还可以具有这样的技术特征，其中，所述遮挡图像形成单元的变形过程包括如下步骤：将所述遮挡用口罩图像沿中线分为左半口罩图像以及右半口罩图像，基于所述左脸颊坐标、右脸颊坐标、所述鼻梁坐标和所述下巴中点坐标，通过计算左脸颊到鼻梁和下巴连线的距离确定所述左半口罩图像的宽度，计算右脸颊到鼻梁和下巴连线的距离确定所述右半口罩图像的宽度，并计算鼻梁坐标与下巴坐标的纵坐标范数确定所述左半口罩图像以及所述右半口罩图像的高度；根据所述宽度和所述高度调整左半口罩图
像以及所述右半口罩图像并拼合形成所述遮挡图像，所述待识别模拟图像形成单元形成所述待识别模拟人脸图像以及所述模拟人脸图像的过程包括如下步骤：将所述鼻梁坐标和所述下巴坐标通过反正切确定所述遮挡图像相对与纵坐标轴的夹角并旋转所述遮挡图像；根据所述鼻梁坐标和下巴坐标的平均值得到所述遮挡图像在所述待识别图像以及所述识别用人脸图像中的中心点坐标，并根据该中心点坐标将所述遮挡图像分别与所述待识别图像以及所述识别用人脸图像进行图像拼合得到待识别拼合图像以及识别用拼合图像；通过所述特征点坐标和鼻梁坐标确定平面对所述待识别拼合图像以及所述识别用拼合图像进行仿射变换行程所述待识别模拟人脸图像以及所述模拟人脸图像。
33.在第一种实施形态中，还可以具有这样的技术特征，其中，所述人脸识别判定部基于预定的模拟人脸识别模型对所述待识别模拟图像以及所述模拟人脸图像进行匹配识别，所述模拟人脸识别模型预先根据在人脸上戴有与所述遮挡用口罩图像中口罩款式相同的多个人脸图像训练得到。
34.作为第二种实施形态，本发明还提供了一种人脸识别方法，用于对用户在戴口罩时拍摄的待识别图像进行识别并识别出对应的用户，其特征在于，包括以下步骤：用户信息存储步骤，对用户的用户识别信息、该用户预先拍摄的未戴口罩的识别用人脸图像以及根据预定的遮挡用口罩图像对识别用人脸图像中的人脸进行遮挡后形成的模拟人脸图像进行存储；待识别图像获取步骤，获取待识别图像；眼部识别判定步骤，对待识别图像以及识别用人脸图像中的眼部区域进行匹配识别并将与判定为匹配的识别用人脸图像相对应的用户识别信息作为第一识别信息；待识别模拟图像形成步骤，采用遮挡用口罩图像以及待识别图像形成待识别图像中人脸被口罩遮挡的待识别模拟图像；整体人脸识别步骤，对待识别模拟图像以及模拟人脸图像进行匹配识别并将与判定为匹配的模拟人脸图像相对应的用户识别信息作为第二识别信息；用户判定步骤，在第一识别信息与第二识别信息相一致时将相应的用户识别信息判定为待识别图像所对应的用户识别信息。
35.作为第三种实施形态，本发明还提供了一种计算机可读介质，用于记录计算机程序，其特征在于，该计算机程序用于让对用户在戴口罩时拍摄的待识别图像进行识别并识别出对应的用户的人脸识别装置执行以下步骤：用户信息存储步骤，对用户的用户识别信息、该用户预先拍摄的未戴口罩的识别用人脸图像以及根据预定的遮挡用口罩图像对识别用人脸图像中的人脸进行遮挡后形成的模拟人脸图像进行存储；待识别图像获取步骤，获取待识别图像；眼部识别判定步骤，对待识别图像以及识别用人脸图像中的眼部区域进行匹配识别并将与判定为匹配的识别用人脸图像相对应的用户识别信息作为第一识别信息；待识别模拟图像形成步骤，采用遮挡用口罩图像以及待识别图像形成待识别图像中人脸被口罩遮挡的待识别模拟图像；整体人脸识别步骤，对待识别模拟图像以及模拟人脸图像进行匹配识别并将与判定为匹配的模拟人脸图像相对应的用户识别信息作为第二识别信息；用户判定步骤，在第一识别信息与第二识别信息相一致时将相应的用户识别信息判定为待识别图像所对应的用户识别信息。
36.《实施例》
37.本实施例中，人脸识别装置为安装有执行人脸识别方法的计算机程序的计算机，其作为门禁系统的一部分，用于对通过门禁的用户进行身份识别。
38.图1是本发明实施例中人脸识别装置的框图。
39.如图1所示，人脸识别装置10包括用户信息存储部11、待识别图像获取部12、眼部识别判定部13、模拟图像形成部14、人脸识别判定部15、用户判定部16以及用于控制上述各部的装置控制部17。
40.用户信息存储部11存储有预先登记过身份的多个用户的用户识别信息、对应的识别用人脸图像以及模拟人脸图像。
41.用户识别信息为用户的姓名、工号等识别信息。
42.图2是本发明实施例中用户信息存储部存储的内容。
43.如图2所示，识别用人脸图像为用户进行门禁身份登记时拍摄的人脸图像，该人脸图像中的用户人脸未佩戴口罩；模拟人脸图像为模拟图像形成部14根据识别用人脸图像形成的人脸图像，该人脸图像中的用户人脸佩戴有口罩。
44.图3是本发明实施例中待识别图像的示意图。
45.待识别图像获取部12用于获取待识别图像。本实施例中，待识别图像为门禁系统对用户进行身份识别时，针对戴口罩的用户拍摄得到的人脸图像。如图3所示，本实施例接下来以待识别图像获取部12获取待识别图像21为例进行说明。另外，从图3可以看出，该待识别图像21中用户佩戴的是灰色口罩。
46.眼部识别判定部13对待识别图像以及识别用人脸图像中的眼部区域进行匹配识别并将与判定为匹配的识别用人脸图像相对应的用户识别信息作为第一识别信息。
47.图4是本发明实施例中眼部识别判定部的框图。
48.如图4所示，眼部识别判定部13具有模型存储单元131、人脸识别单元132、坐标计算单元133、眼部区域确定单元134、眼部区域图像形成单元135、眼部特征提取单元136以及匹配判定单元137。
49.模型存储单元131存储有眼部识别模型。本实施例中，该眼部识别模型只针对眼部区域进行特征识别，预先采用resnet-34残差网络对多个作为训练集的眼部区域局部图像进行分类训练得到，在训练过程中，眼部区域局域图像在输入前使用了随机的图像增强、位置偏移来加强训练集的多样性。
50.以对待识别图像进行眼部区域的确定为例，人脸识别单元132首先对待识别图像进行人脸识别得到对应的用于框出人脸的人脸框坐标以及眼部特征点的特征点坐标。
51.图5是本发明实施例中人脸框以及眼部特征点的示意图。
52.如图5所示，黑色虚线矩形框31为人脸识别框，该识别框能够框出图像中的人脸，人脸框坐标为该矩形框31左上点以及右下点的坐标值；人脸左右瞳孔位置处对应的白色菱形点32为眼部特征点，这两个点的坐标值即为特征点坐标。
53.另外，图5中还示出了对应于眼部区域所在范围的黑色虚线矩形框33，该眼部区域的坐标范围的确定过程将在下文详述。
54.坐标计算单元133基于人脸框坐标以及眼部特征点坐标，以预定的人脸比例换算规则计算待识别图像中人脸的脸部轮廓坐标、鼻梁坐标和眉毛坐标。
55.眼部区域确定单元134根据脸部轮廓坐标、鼻梁坐标和眉毛坐标确定待识别图像中的眼部区域。
56.图6是本发明实施例中眼部区域确定过程的流程图。
57.如图6所示，坐标计算单元133根据人脸比例换算规则计算人脸图像中坐标，并通
过眼部区域确定单元134确定眼部区域的过程包括如下步骤：
58.步骤s1-1，坐标计算单元133根据特征点坐标计算图像中左右眼的瞳孔间距值s，计算左右瞳孔的纵坐标平均值y
zy
，并从人脸框坐标中获取人脸识别框的左边框横坐标x
kz
以及右边框横坐标x
ky
；
59.步骤s1-2，将瞳孔间距值除以6.1得到眼鼻间距值，并按照该眼鼻间距值将左右瞳孔的纵坐标平均值向下位移形成鼻梁所在的纵坐标作为鼻梁坐标的纵坐标y
bl
，即：y
bl
＝s/6.1-y
zy
；
60.步骤s1-3，将瞳孔间距值乘以0.5得到眼眉间距值，并按照该眼眉间距值将左右瞳孔的纵坐标平均值向上位移形成眉毛所在的纵坐标作为眉毛坐标的纵坐标y
mm
，即：y
mm
＝s*0.5 y
zy
；
61.步骤s1-4，将瞳孔间距值乘以0.6得到脸颊间距值，并按照该脸颊间距值将左瞳孔的横坐标值xz向左位移形成左脸颊所在的横坐标x
zh
作为候选左脸颊坐标，即：x
zh
＝x
z-s*0.6，接下来，将候选左脸颊坐标与左边框横坐标中偏右的坐标值作为左脸颊横坐标x
zl
；
62.步骤s1-5，按照脸颊间距值将右瞳孔的横坐标值xy向右位移形成右脸颊所在的横坐标作为候选右脸颊坐标x
yh
，即：x
yh
＝xy s*0.6，接下来，将候选右脸颊坐标与右边框横坐标中偏左的坐标值作为右脸颊横坐标x
yl
；
63.步骤s1-6，眼部区域确定单元134根据鼻梁坐标的纵坐标、眉毛坐标的纵坐标、左脸颊横坐标以及右脸颊横坐标确定图像中眼部区域的坐标范围，该坐标范围为矩形，左上点以及右下点的坐标分别为(x
zl
,y
mm
)和(x
yl
,y
bl
)。
64.眼部区域图像形成单元135用于将待识别图像根据确定出的眼部区域进行图像分割，从而形成对应的待识别眼部区域图像。
65.本实施例中，人脸识别单元132、坐标计算单元133、眼部区域确定单元134以及眼部区域图像形成单元135针对识别用人脸图像进行的眼部区域过程与上述针对待识别图像进行处理的过程原理相同，最终眼部区域图像形成单元135会根据识别用人脸图像各自的眼部区域形成对应的识别用眼部区域图像。
66.眼部特征提取单元136分别将待识别眼部区域图像以及识别用眼部区域图像输入眼部识别模型进行特征提取，并提取出对应的待识别眼部特征信息以及识别用眼部特征信息。
67.由于用户信息存储部11中存储有多个用户的识别用人脸图像，因此提取出的识别用眼部特征信息也对应有多个，匹配判定单元137会将待识别眼部特征信息依次与各个识别用眼部特征信息进行匹配，从而匹配出与待识别眼部区域图像相对应的识别用眼部区域图像，进一步将匹配出的识别用眼部区域图像所对应的用户识别信息判定为第一识别信息(可能匹配出不止一个)。
68.本实施例中，匹配判定单元137会将与待识别眼部特征信息的距离小于预定特征距离阈值的识别用眼部特征信息作为被判定为匹配的识别用眼部特征信息并获取其对应的识别用眼部区域图像，进一步获取对应的用户识别信息作为第一识别信息。
69.模拟图像形成部14采用遮挡用口罩图像和待识别图像形成待识别图像中人脸被遮挡用口罩图像遮挡的待识别模拟图像，即，在待识别图像中戴有口罩的人脸上再戴一层对应遮挡用口罩图像的口罩。
70.图7是本发明实施例中模拟图像形成部的框图。
71.如图7所示，模拟图像形成部14具有口罩图像存储单元141、人脸识别单元142、坐标计算单元143、遮挡图像形成单元144以及模拟图像形成单元145。
72.口罩图像存储单元141存储有遮挡用口罩图像。该遮挡用口罩图像为一个固定样式的口罩图像，本实施例中，遮挡用口罩图像为具有口罩形状的纯黑色块(如图2中模拟人脸图像中的口罩部分所示)。
73.以处理待识别图像得到待识别模拟图像为例，人脸识别单元142对待识别图像进行人脸识别得到对应的用于框出人脸的人脸框坐标以及眼部特征点的特征点坐标。本实施例中，人脸识别单元142与人脸识别单元132为具有相同功能单元，在此不再赘述。
74.坐标计算单元143基于人脸框坐标以及眼部特征点坐标以预定的人脸比例换算规则计算人脸的脸部轮廓坐标、鼻梁坐标和下巴中点坐标。本实施例中，脸部轮廓坐标为左脸颊坐标以及右脸颊坐标。
75.遮挡图像形成单元144根据脸部轮廓坐标、鼻梁坐标和下巴中点坐标，对遮挡用口罩图像进行变形处理从而形成与待识别图像中用户的脸型相匹配的遮挡图像。
76.模拟图像形成单元145根据遮挡图像以及待识别图像形成在待识别图像中用户人脸的戴口罩部位被遮挡图像遮挡的待识别模拟人脸图像。
77.图8是本发明实施例中待识别图像与待识别模拟人脸图像的对比图。
78.如图8所示，待识别图像21通过模拟图像形成部14处理后，原灰色口罩被遮挡图像所覆盖，最终呈现的即待识别模拟人脸图像41。
79.图9是本发明实施例中口罩模拟人脸图像形成过程的流程图。
80.如图9所示，坐标计算单元143根据人脸比例换算规则计算人脸图像中坐标，并通过遮挡图像形成单元144对遮挡用口罩图像进行变形处理，进一步通过待识别模拟图像形成单元145形成模拟人脸图像的过程包括如下步骤：
81.步骤s2-1，根据特征点坐标计算图像中左右眼的瞳孔间距值s，计算左右瞳孔的纵坐标平均值y
zy
，并从人脸框坐标中获取人脸识别框的左边框横坐标x
kz
、右边框横坐标x
ky
、下边框纵坐标y
kx
以及中点坐标(x
zd
,y
zd
)；
82.步骤s2-2，将瞳孔间距值除以6.1得到眼鼻间距值，并按照该眼鼻间距值将左右瞳孔的纵坐标平均值向下位移形成鼻梁所在的纵坐标y
bl
，即：y
bl
＝s/6.1-y
zy
，并计算左右瞳孔中间点的横坐标作为鼻梁所在的横坐标x
bl
，从而得到鼻梁坐标(x
bl
,y
bl
)；
83.步骤s2-3，根据左边框横坐标x
kz
以及鼻梁坐标y
bl
确定左脸颊坐标(x
kz
,y
bl
)，并根据右边框横坐标x
ky
以及鼻梁坐标y
bl
确定右脸颊坐标(x
ky
,y
bl
)；
84.步骤s2-4，根据下边框纵坐标y
kx
以及中点横坐标x
zd
确定下巴中点坐标(x
zd
,y
kx
)；
85.步骤s2-5，遮挡图像形成单元144将遮挡用口罩图像沿中线分为左半口罩图像以及右半口罩图像；
86.步骤s2-6，基于左脸颊坐标(x
kz
,y
bl
)、右脸颊坐标(x
ky
,y
bl
)、鼻梁坐标(x
bl
,y
bl
)和下巴中点坐标(x
zd
,y
kx
)，通过计算左脸颊到鼻梁和下巴连线的距离确定左半口罩图像的宽度，计算右脸颊到鼻梁和下巴连线的距离确定右半口罩图像的宽度，并计算鼻梁坐标和下巴坐标的纵坐标范数确定左半口罩图像以及右半口罩图像的高度；
87.步骤s2-7，根据步骤s2-6中计算出的宽度和高度调整左半口罩图像以及右半口罩
图像并拼合形成遮挡图像；
88.步骤s2-8，模拟图像形成单元145将鼻梁坐标和下巴坐标通过反正切确定遮挡图像相对与纵坐标轴的夹角并旋转遮挡图像；
89.步骤s2-9，根据鼻梁坐标和下巴坐标的平均值得到遮挡图像在待识别图像以及识别用人脸图像中的中心点坐标，并根据该中心点坐标将遮挡图像与待识别图像进行图像拼合得到待识别拼合图像；
90.步骤s2-10，通过特征点坐标和鼻梁坐标确定平面对待识别拼合图像进行仿射变换行程待识别模拟人脸图像。
91.本实施例中，在用户登记了识别用人脸图像时，模拟图像形成部14还会采用遮挡用口罩图像和识别用人脸图像形成识别用人脸图像中人脸被遮挡用口罩图像遮挡的模拟人脸图像，并与用户识别信息对应存储至用户信息存储部11中。此时，人脸识别单元142、坐标计算单元143、遮挡图像形成单元144以及模拟图像形成单元145针对识别用人脸图像进行遮挡处理形成模拟人脸图像的过程与上述针对待识别图像进行处理的过程原理相同，最终模拟图像形成单元145会形成在识别用人脸图像中用户人脸的戴口罩部位被遮挡图像遮挡的模拟人脸图像。
92.人脸识别判定部15存储有模拟人脸识别模型，用于分别将待识别模拟图像以及模拟人脸图像输入模拟人脸识别模型进行特征提取，并提取出对应的待识别模拟特征信息以及模拟人脸特征信息。
93.进一步，由于用户信息存储部11中存储有多个用户的识别用人脸图像，因此对应的模拟人脸图像以及对应提取出的模拟人脸特征信息也对应有多个，人脸识别判定部15会将待识别模拟特征信息依次与各个模拟人脸特征信息进行匹配，从而匹配出与待识别模拟图像相对应的模拟人脸图像，进一步将匹配出的模拟人脸图像所对应的用户识别信息判定为第二识别信息(可能匹配出不止一个)。
94.本实施例中，与匹配判定单元137类似地，人脸识别判定部15会将与待识别模拟特征信息的距离小于预定特征距离阈值的模拟人脸特征信息作为被判定为匹配的模拟人脸特征信息并获取其对应的模拟人脸图像，进一步获取对应的用户识别信息作为第一识别信息。
95.本实施例中，模拟人脸识别模型用于针对戴口罩的人脸图像进行特征识别，该模拟人脸识别模型在inception-resnet-v2残差网络的基础上，在残差块中加入了注意力模块，并将原inception-resnet-v2残差网络中的损失函数softmax替换成arcface，优化了该模型的分类边界，从而缩小了人脸表示的类内距离，扩大类间距离。同时，模拟人脸识别模型在训练过程中采用的训练集为在人脸上戴有与遮挡用口罩图像中口罩款式相同的人脸图像。
96.用户判定部16用于判定第一识别信息与第二识别信息是否存在相一致的一对，当判定有相一致的第一识别信息与第二识别信息时，将相应的用户识别信息判定为待识别图像所对应的用户识别信息。
97.本实施例中，在识别出用户识别信息后，人脸识别装置10就会将该用户识别信息输出给门禁系统，使得该门禁系统就会通过显示器显示识别出的用户姓名并判定是否让用户通行。
98.另外，若眼部识别判定部13没有判定出第一识别信息、人脸识别判定部15没有判定出第二识别信息或者用户判定部16判定第一识别信息与第二识别信息不一致，则人脸识别装置10就输出一个表示没有与待识别图像相匹配的用户信息的识别失败提示给门禁系统，该门禁系统会禁止用户通过并通过显示器显示相应的提示信息让用户进行登记或者重新识别。
99.图10是本发明实施例中人脸识别装置的人脸识别过程的流程图。
100.如图10所示，当门禁系统拍摄到需要通过门禁的戴口罩用户的人脸图像作为待识别图像时，人脸识别装置10的人脸识别过程的流程包含如下步骤：
101.步骤s3-1，待识别图像获取部12获取待识别图像，然后进入步骤s1-2；
102.步骤s3-2，眼部识别判定部13对待识别图像以及识别用人脸图像中的眼部区域进行匹配识别，并提取出对应的待识别眼部特征信息以及识别用眼部特征信息，然后进入步骤s3-3；
103.步骤s3-3，眼部识别判定部13将待识别眼部特征信息依次与各个识别用眼部特征信息进行匹配，从而匹配出与待识别眼部区域图像相对应的识别用眼部区域图像，进一步将匹配出的识别用眼部区域图像所对应的用户识别信息判定为第一识别信息，若匹配出第一识别信息则进入步骤s3-4，若未匹配出第一识别信息则进入步骤s3-9；
104.步骤s3-4，模拟图像形成部14采用遮挡用口罩图像和待识别图像形成待识别图像中人脸被口罩遮挡的待识别模拟图像，然后进入步骤s3-5；
105.步骤s3-5，人脸识别判定部15分别将待识别模拟图像以及模拟人脸图像输入模拟人脸识别模型进行特征提取，并提取出对应的待识别模拟特征信息以及模拟人脸特征信息，然后进入步骤s3-6；
106.步骤s3-6，人脸识别判定部15会将待识别模拟特征信息依次与各个模拟人脸特征信息进行匹配，从而匹配出与待识别模拟图像相对应的模拟人脸图像，进一步将匹配出的模拟人脸图像所对应的用户识别信息判定为第二识别信息，若匹配出第二识别信息则进入步骤s3-7，若未匹配出第二识别信息则进入步骤s3-9；
107.步骤s3-7，用户判定部16判定第一识别信息与第二识别信息是否存在相一致的一对，若判定有相一致的第一识别信息与第二识别信息则进入步骤s3-8，若判定没有相一致的第一识别信息与第二识别信息则进入步骤s3-9；
108.步骤s3-8，用户判定部16将与相一致的第一识别信息与第二识别信息相对应的用户识别信息判定为待识别图像所对应的用户识别信息，并进行输出，然后进入结束状态；
109.步骤s3-9，输出一个表示没有与待识别图像相匹配的用户信息的识别失败提示，然后进入结束状态。
110.实施例作用与效果
111.根据本实施例提供的人脸识别装置、方法以及计算机可读介质，由于预先存储有用户识别信息、对应的识别用人脸图像以及模拟人脸图像，在获取到待识别图像后，一方面通过对待识别图像以及识别用人脸图像中的眼部区域进行匹配识别，从而匹配出对应的用户识别信息作为第一识别信息，另一方面采用遮挡用口罩图像对待识别图像中人脸配到口罩的部位进行遮挡形成待识别模拟图像，并通过对待识别模拟图像以及模拟人脸图像进行匹配识别，从而匹配出对应的用户识别信息作为第二识别信息，最后根据第一识别信息以
及第二识别信息确定出待识别图像所对应的用户识别信息，因此，可以通过眼部特征以及佩戴口罩的整体人脸特征两方面来对用户进行身份识别，有助于提高识别的准确率。同时，无论用户佩戴何种口罩，由于都可以通过遮挡用口罩图像对口罩部分进行覆盖，使得人脸口罩部位的样式能够被统一，从而避免了不同式样的口罩因区别较大而容易影响识别的准确率。
112.另外，还由于模拟人脸图像是采用遮挡用口罩图像对识别用人脸图像进行处理得到的，因此用户只需要拍摄一张没有佩戴口罩的识别用人脸图像，就能够完成前期的身份登记工作，可以避免用户的体验受到影响。
113.在实施例中，还由于眼部识别判定部对待识别图像以及识别用人脸图像中的眼部区域进行确定时，根据眼部特征点、人脸识别框以人脸比例换算规则确定左脸颊横坐标、右脸颊横坐标、鼻梁坐标和眉毛坐标，因此可以从戴口罩的人脸图像中精准地确定眼部区域，为眼部识别判定部在进行眼部区域的匹配识别时的准确性提供基础。
114.在实施例中，还由于模拟图像形成部在将遮挡用口罩图像对待识别图像中人脸的戴口罩部位进行遮挡时，根据眼部特征点、人脸识别框以人脸比例换算规则确定左脸颊坐标、右脸颊坐标、鼻梁坐标和下巴中点坐标，因此可以将遮挡用口罩图像调整至与人脸大小相适配的遮挡图像。进一步，还由于通过鼻梁坐标和下巴中点坐标确定遮挡图像相对于人脸的角度以及位置，因此可以将口罩图像准确地遮挡至待识别图像中戴口罩的部位。通过这样的方式，可以保证遮挡用口罩图像与用户的脸进行准确适配，有助于提升对各种脸型的戴口罩人脸的识别准确率，避免因遮挡用口罩图像的遮挡不当导致识别准确率下降的问题发生。
115.上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。
116.例如，在上述实施例中，眼部识别判定部以及人脸识别判定部在进行匹配识别时，所采用的方式为对图像中的特征信息进行提取并进行特征信息的匹配。为节省图像处理时间，在本发明的其他方案中，识别用人脸图像以及模拟人脸图像也可以预先(如在门禁登记时)就完成特征信息的提取，并在用户信息存储部中与相应的用户识别信息对应存储，即，用户信息存储部中存储有用户识别信息、对应的识别用眼部特征信息以及模拟人脸特征信息。这样的话，在识别待识别图像时，眼部识别判定部以及人脸识别判定部只需要分别提取待识别图像对应的待识别眼部特征信息以及待识别模拟特征信息，并将这些特征信息与用户信息存储部中存储的特征信息进行匹配，即可判定出对应的第一识别信息以及第二识别信息。
117.例如，在上述实施例中，眼部识别判定部以及人脸识别判定部可能匹配出不止一个第一识别信息以及第二识别信息。为了进一步地提高人脸识别的准确率，眼部识别判定部在进行特征信息的匹配时也可以仅匹配出待识别眼部特征信息与各个识别用眼部特征信息之间的距离最接近并且小于预定特征距离阈值的识别用眼部特征信息，最终获取对应的一个第一识别信息；同样地，人脸识别判定部也按照这样的方式获取对应的一个第二识别信息，用户判定部16在判定第一识别信息与第二识别信息相匹配时将对应的用户识别信息判定为待识别图像所对应的用户识别信息。
118.例如，在上述实施例中，待识别图像为戴口罩的用户的人脸图像。然而，该待识别
图像也可以是未佩戴口罩的用户的人脸图像，通过本发明的人脸图像识别装置及方法也可以完成这种未佩戴口罩的人脸图像的用户身份识别。
119.例如，在上述实施例中，眼部识别判定部以及人脸识别判定部采用预先训练的模型来分别对眼部区域以及人脸图像进行识别。作为替代方案，眼部识别判定部以及人脸识别判定部也可以采用其他的图像匹配技术或人脸识别技术，同样能够实现本发明的人脸识别过程。