人脸对比方法、装置、设备及介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种人脸对比方法、装置、设备及介质。


背景技术：

2.人脸识别技术是指利用分析比较的计算机技术识别人脸。人脸识别包括人脸追踪侦测、自动调整影像放大、夜间红外侦测和自动调整曝光强度等技术。
3.目前，在进行人脸识别时需要对比基准图片中的人脸和待识别图片中的人脸。具体的，首先从基准图片中提取人脸特征，再从待识别图片中提取人脸特征，基于两个人脸特征进行人脸对比，得到人脸对比结果，进而得到人脸识别结果。
4.但是，上述在进行人脸对比时，仅使用人脸特征，人脸对比的准确性较低。


技术实现要素：

5.本发明实施例提供一种人脸对比方法、装置、设备及介质，能够提高人脸对比的准确性。
6.第一方面，本发明实施例提供了一种人脸对比方法，包括：
7.获取第一图片包括的第一人脸的人脸特征和人脸角度特征；
8.获取第二图片包括的第二人脸的人脸特征和人脸角度特征；
9.根据第一人脸的人脸特征和第二人脸的人脸特征，确定第一人脸和第二人脸的人脸特征距离；
10.根据第一人脸的人脸角度特征和第二人脸的人脸角度特征，确定第一人脸和第二人脸的人脸角度特征距离；
11.根据人脸特征距离和人脸角度特征距离，确定第一人脸和第二人脸是否为同一人脸。
12.在本发明实施例的一些可能实现中，根据人脸特征距离和人脸角度特征距离，确定第一人脸和第二人脸是否为同一人脸，包括：
13.根据人脸特征距离和人脸角度特征距离，确定第一人脸和第二人脸的融合距离；
14.若融合距离小于预设距离阈值，确定第一人脸和第二人脸为同一人脸；
15.若融合距离大于预设距离阈值，确定第一人脸和第二人脸不为同一人脸。
16.在本发明实施例的一些可能实现中，利用人脸识别算法，提取第一图片包括的第一人脸的人脸特征以及第二图片包括的第二人脸的人脸特征。
17.在本发明实施例的一些可能实现中，利用计算机视觉库，提取第一图片包括的第一人脸的人脸角度特征以及第二图片包括的第二人脸的人脸角度特征。
18.在本发明实施例的一些可能实现中，根据第一人脸的人脸特征和第二人脸的人脸特征，确定第一人脸和第二人脸的人脸特征距离，包括：
19.计算第一人脸的人脸特征的第i维特征向量与第二人脸的人脸特征的第i维特征向量的特征向量距离，其中，i为自然数，且i不大于特征向量总维数n；
20.根据特征向量距离，确定第一人脸和第二人脸的人脸特征距离。
21.在本发明实施例的一些可能实现中，根据第一人脸的人脸角度特征和第二人脸的人脸角度特征，确定第一人脸和第二人脸的人脸角度特征距离，包括：
22.计算第一人脸的人脸角度特征的组合关键点与第二人脸的人脸角度特征的组合关键点的关键点距离，其中，组合关键点包括第j个关键点和第j 1个关键点，j为自然数，且j不大于关键点数量m-1；
23.根据关键点距离，确定第一人脸和第二人脸的人脸角度特征距离。
24.在本发明实施例的一些可能实现中，根据人脸特征距离和人脸角度特征距离，确定第一人脸和第二人脸的融合距离，包括：
25.将人脸特征距离和人脸角度特征距离进行加权求和，得到第一人脸和第二人脸的融合距离。
26.第二方面，本发明实施例提供了一种人脸对比装置，包括：
27.获取模块，用于获取第一图片包括的第一人脸的人脸特征和人脸角度特征，以及用于获取第二图片包括的第二人脸的人脸特征和人脸角度特征；
28.确定模块，用于根据第一人脸的人脸特征和第二人脸的人脸特征，确定第一人脸和第二人脸的人脸特征距离；根据第一人脸的人脸角度特征和第二人脸的人脸角度特征，确定第一人脸和第二人脸的人脸角度特征距离；以及根据人脸特征距离和人脸角度特征距离，确定第一人脸和第二人脸是否为同一人脸。
29.在本发明实施例的一些可能实现中，获取模块，具体可以用于：
30.利用人脸识别算法，提取第一图片包括的第一人脸的人脸特征以及第二图片包括的第二人脸的人脸特征。
31.在本发明实施例的一些可能实现中，获取模块，具体可以用于：
32.利用计算机视觉库，提取第一图片包括的第一人脸的人脸角度特征以及第二图片包括的第二人脸的人脸角度特征。
33.在本发明实施例的一些可能实现中，确定模块，包括：
34.计算单元，用于计算第一人脸的人脸特征的第i维特征向量与第二人脸的人脸特征的第i维特征向量的特征向量距离，其中，i为自然数，且i不大于特征向量总维数n；
35.确定单元，用于根据特征向量距离，确定第一人脸和第二人脸的人脸特征距离。
36.在本发明实施例的一些可能实现中，计算单元，还可以用于：
37.计算第一人脸的人脸角度特征的第j个关键点分别与第二人脸的人脸角度特征的第j 1个关键点的关键点距离，其中，j为自然数，且j不大于关键点数量m；
38.确定单元，还可以用于：
39.根据关键点距离，确定第一人脸和第二人脸的人脸角度特征距离。
40.在本发明实施例的一些可能实现中，确定单元，还可以用于：
41.根据人脸特征距离和人脸角度特征距离，确定第一人脸和第二人脸的融合距离；
42.若融合距离小于预设距离阈值，确定第一人脸和第二人脸为同一人脸；
43.若融合距离大于预设距离阈值，确定第一人脸和第二人脸不为同一人脸。
44.在本发明实施例的一些可能实现中，确定单元，具体可以用于：
45.将人脸特征距离和人脸角度特征距离进行加权求和，得到第一人脸和第二人脸的
融合距离。
46.第三方面，本发明实施例提供一种人脸对比设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；
47.处理器执行计算机程序时实现本发明实施例第一方面或第一方面任一可能的实现方式中的数据备份方法。
48.第四方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明实施例第一方面或第一方面任一可能的实现方式中的人脸对比方法。
49.本发明实施例的人脸对比方法、装置、设备及介质，通过结合人脸特征和人脸角度特征进行人脸对比，相比于现有技术仅通过人脸特征进行人脸对比，能够提高人脸对比的准确性。
附图说明
50.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
51.图1为本发明实施例提供的一种人脸对比方法的流程示意图；
52.图2为本发明实施例提供的一种人脸对比装置的结构示意图；
53.图3为本发明实施例提供的一种计算设备的硬件架构的结构图。
具体实施方式
54.下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
55.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
56.为了解决现有技术问题，本发明实施例提供了一种人脸对比方法、装置、设备及介质。下面首先对本发明实施例提供的人脸对比方法进行详细说明。
57.图1为本发明实施例提供的一种人脸对比方法的流程示意图。人脸对比方法可以包括：
58.s101：获取第一图片包括的第一人脸的人脸特征和人脸角度特征。
59.s102：获取第二图片包括的第二人脸的人脸特征和人脸角度特征。
60.s103：根据第一人脸的人脸特征和第二人脸的人脸特征，确定第一人脸和第二人脸的人脸特征距离。
61.s104：根据第一人脸的人脸角度特征和第二人脸的人脸角度特征，确定第一人脸和第二人脸的人脸角度特征距离。
62.s105：根据人脸特征距离和人脸角度特征距离，确定第一人脸和第二人脸是否为同一人脸。
63.本发明实施例的人脸对比方法，通过结合人脸特征和人脸角度特征进行人脸对比，相比于现有技术仅通过人脸特征进行人脸对比，能够提高人脸对比的准确性。
64.在本发明实施例的一些可能实现中，第一图片可以为基准图片，基准图片可以为清晰的正脸图片、左侧脸图片或右侧脸图片；第二图片可以为待识别图片。
65.在本发明实施例的一些可能实现中，可以利用多任务卷积神经网络(multi-task convolutional neural network，mtcnn)对第一图片和第二图片进行检测，得到第一图片包括的第一人脸和第二图片包括的第二人脸。
66.然后，利用人脸识别算法insightface，提取第一人脸的人脸特征以及第二人脸的人脸特征，得到n维特征向量。其中，n可以为512。
67.在本发明实施例的一些可能实现中，人脸识别算法可以为insightface。
68.再利用计算机视觉库提取第一人脸的人脸角度特征和第二人脸的人脸角度特征。
69.在本发明实施例的一些可能实现中，计算机视觉库可以为开源计算机视觉库(open source computer vision library，opencv)。
70.具体的，首先使用人脸识别库face_recognition得到人脸的六个关键点坐标，六个关键点分别为鼻尖、下巴、左眼角、右眼角、左嘴角和右嘴角。
71.在opencv中初始化上述六个关键点在世界坐标系下的坐标，比如，鼻尖：(0.0,0.0,0.0)，下巴：(0.0,-330.0,-65.0)，左眼角：(-165.0,170.0,-135.0)，右眼角：(225.0，170.0，-135.0)，左嘴角：(-150.0，-150.0，-125.0)，右嘴角：(150.0，-150.0，-125.0)。
72.初始化摄相机的内置参数，包括内参矩阵cameramatrix和畸变系数distcoeffs。上述两个参数可以通过相机标定得到。
73.利用opencv的内置函数solvepnp，得到摄像机坐标系与世界坐标系之间的旋转矩阵r。
74.其中，
75.进而，可求得摄相机所对应的图片分别相对于世界坐标系的x轴、y轴和z轴的偏转角。
76.其中，x轴的偏转角θ
x
＝atan2(r
32
,r
33
)，y轴的偏转角)，y轴的偏转角y轴的偏转角θ
z
＝atan2(r
21
,r
11
)。
77.其中，atan2(y,x)的做法为：当x的绝对值比y的绝对值大时使用atan(y/x)；反之使用atan(x/y)。atan(x)为求x的反正切值。
78.通过上述，可以获得第一图片a分别相对于世界坐标系的x轴、y轴和z轴的偏转角
x
a
、y
a
和z
a
，第二图片b分别相对于世界坐标系的x轴、y轴和z轴的偏转角x
b
、y
b
和z
b
。
79.当提取到第一人脸的人脸特征的n维特征向量和第二人脸的人脸特征的n维特征向量后，可以计算第一人脸的人脸特征的第i维特征向量与第二人脸的人脸特征的第i维特征向量的特征向量距离，其中，i为自然数，且i不大于特征向量总维数n；根据特征向量距离，确定第一人脸和第二人脸的人脸特征距离。
80.其中，第一人脸的人脸特征的第i维特征向量ai与第二人脸的人脸特征的第i维特征向量bi的特征向量距离可以为ai-bi。
81.在本发明实施例的一些可能实现中，当得到n个特征向量距离后，可以计算n个特征向量距离的平均值，将该平均值作为第一人脸和第二人脸的人脸特征距离dist(a，b)。
82.上述平均值可以为算数平均值，则dist(a，b)＝[(a1-b1) (a2-b2)
……
(an-bn)]/n。
[0083]
上述平均值还可以为几何平均值，则
[0084]
上述平均值还可以为均方根平均值，则
[0085]
在本发明实施例的一些可能实现中，当得到n个特征向量距离后，可以计算n个特征向量距离的平方和，将该平方和的平方根作为第一人脸和第二人脸的人脸特征距离dist(a，b)。则
[0086]
在本发明实施例的一些可能实现中，当获得第一图片分别相对于世界坐标系的x轴、y轴和z轴的偏转角x
a
、y
a
和z
a
，第二图片分别相对于世界坐标系的x轴、y轴和z轴的偏转角x
b
、y
b
和z
b
，以及第一人脸的六个关键点坐标和第二人脸的六个关键点坐标后，可以计算第一人脸的人脸角度特征的组合关键点与第二人脸的人脸角度特征的组合关键点的关键点距离，其中，组合关键点包括第j个关键点和第j 1个关键点，j为自然数，且j不大于关键点数量m-1；根据关键点距离，确定第一人脸和第二人脸的人脸角度特征距离。
[0087]
具体的，包括第j个关键点和第j 1个关键点的组合关键点对应的关键点距离为：
[0088]
[cos(x
a
)(x
aj-x
ak
)-cos(x
b
)(x
bj-x
bk
) cos(y
a
)(x
aj-x
ak
)-cos(y
b
)(x
bj-x
bk
) cos(z
a
)(x
aj-x
ak
)-cos(z
b
)(x
bj-x
bk
)]。
[0089]
其中，x
a
、y
a
和z
a
分别为第一图片a相对于世界坐标系的x轴、y轴和z轴的偏转角，x
b
、y
b
和z
b
分别为第二图片b相对于世界坐标系的x轴、y轴和z轴的偏转角，x
aj
为第一图片a包括的第一人脸的第j个关键点的x轴坐标，x
ak
为第一图片a包括的第一人脸的第k个关键点的x轴坐标，x
bj
为第二图片b包括的第二人脸的第j个关键点的x轴坐标，x
bk
为第二图片b包括的第二人脸的第k个关键点的x轴坐标，k＝j 1。
[0090]
则第一人脸和第二人脸的人脸角度特征距离loc(a，b)为：
[0091][0092]
当得到第一人脸和第二人脸的人脸特征距离dist(a，b)，以及第一人脸和第二人脸的人脸角度特征距离loc(a，b)后，可以将dist(a，b)和loc(a，b)进行加权求和，得到第一
人脸和第二人脸的融合距离l。
[0093]
l＝λ*dist(a，b) (1-λ)*loc(a，b)，λ为权重值。
[0094]
在本发明实施例的一些可能实现中，权重值λ可以根据实际情况效果确定。
[0095]
当得到第一人脸和第二人脸的融合距离l，可以将该融合距离与预设距离阈值进行比较。当该融合距离l小于预设距离阈值时，确定第一人脸和第二人脸为同一人脸，当该融合距离l大于预设距离阈值时，确定第一人脸和第二人脸不为同一人脸。
[0096]
当第一图片为基准图片，即其包括的人脸为已知人脸(比如用户a的脸)时，当确定出第二图片包括的第二人脸与第一图片包括的第一人脸为同一人脸时，可以确定第二图片包括的第二人脸为用户a的脸，即识别出第二图片中的人脸为用户a的脸。
[0097]
与上述的方法实施例相对应，本发明实施例还提供一种人脸对比装置。
[0098]
图2为本发明实施例提供的一种人脸对比装置的结构示意图。人脸对比装置可以包括：
[0099]
获取模块201，用于获取第一图片包括的第一人脸的人脸特征和人脸角度特征，以及用于获取第二图片包括的第二人脸的人脸特征和人脸角度特征；
[0100]
确定模块202，用于根据第一人脸的人脸特征和第二人脸的人脸特征，确定第一人脸和第二人脸的人脸特征距离；根据第一人脸的人脸角度特征和第二人脸的人脸角度特征，确定第一人脸和第二人脸的人脸角度特征距离；以及根据人脸特征距离和人脸角度特征距离，确定第一人脸和第二人脸是否为同一人脸。
[0101]
在本发明实施例的一些可能实现中，获取模块201，具体可以用于：
[0102]
利用人脸识别算法，提取第一图片包括的第一人脸的人脸特征以及第二图片包括的第二人脸的人脸特征。
[0103]
在本发明实施例的一些可能实现中，获取模块201，具体可以用于：
[0104]
利用计算机视觉库，提取第一图片包括的第一人脸的人脸角度特征以及第二图片包括的第二人脸的人脸角度特征。
[0105]
在本发明实施例的一些可能实现中，确定模块202，包括：
[0106]
计算单元，用于计算第一人脸的人脸特征的第i维特征向量与第二人脸的人脸特征的第i维特征向量的特征向量距离，其中，i为自然数，且i不大于特征向量总维数n；
[0107]
确定单元，用于根据特征向量距离，确定第一人脸和第二人脸的人脸特征距离。
[0108]
在本发明实施例的一些可能实现中，计算单元，还可以用于：
[0109]
计算第一人脸的人脸角度特征的组合关键点与第二人脸的人脸角度特征的组合关键点的关键点距离，其中，组合关键点包括第j个关键点和第j 1个关键点，j为自然数，且j不大于关键点数量m-1；
[0110]
确定单元，还可以用于：
[0111]
根据关键点距离，确定第一人脸和第二人脸的人脸角度特征距离。
[0112]
在本发明实施例的一些可能实现中，确定单元，还可以用于：
[0113]
根据人脸特征距离和人脸角度特征距离，确定第一人脸和第二人脸的融合距离；
[0114]
若融合距离小于预设距离阈值，确定第一人脸和第二人脸为同一人脸；
[0115]
若融合距离大于预设距离阈值，确定第一人脸和第二人脸不为同一人脸。
[0116]
在本发明实施例的一些可能实现中，确定单元，具体可以用于：
[0117]
将人脸特征距离和人脸角度特征距离进行加权求和，得到第一人脸和第二人脸的融合距离。
[0118]
对于本发明实施例的人脸对比装置实施例而言，由于其基本相似于本发明实施例的人脸对比方法实施例，所以描述的比较简单，相关之处参见本发明实施例的人脸对比方法实施例的部分说明即可。本发明实施例在此不对其进行赘述。
[0119]
本发明实施例的人脸对比装置，通过结合人脸特征和人脸角度特征进行人脸对比，相比于现有技术仅通过人脸特征进行人脸对比，能够提高人脸对比的准确性。
[0120]
图3为本发明实施例提供的一种计算设备的硬件架构的结构图。如图3所示，计算设备300包括输入设备301、输入接口302、中央处理器303、存储器304、输出接口305、以及输出设备306。其中，输入接口302、中央处理器303、存储器304、以及输出接口305通过总线310相互连接，输入设备301和输出设备306分别通过输入接口302和输出接口305与总线310连接，进而与计算设备300的其他组件连接。
[0121]
具体地，输入设备301接收来自外部的输入信息，并通过输入接口302将输入信息传送到中央处理器303；中央处理器303基于存储器304中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器304中，然后通过输出接口305将输出信息传送到输出设备306；输出设备306将输出信息输出到计算设备300的外部供用户使用。
[0122]
也就是说，图3所示的计算设备也可以被实现为人脸对比设备，该人脸对比设备可以包括：存储有计算机程序的存储器；以及处理器，该处理器在执行计算机程序时可以实现本发明实施例提供的人脸对比方法。
[0123]
本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序；该计算机程序被处理器执行时实现本发明实施例提供的人脸对比方法。
[0124]
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
[0125]
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd-rom、光盘、硬盘、光纤介质、射频(rf)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
[0126]
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
[0127]
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，
为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。