人脸图像的匹配方法、装置、存储介质和电子装置与流程

1.本发明实施例涉及计算机领域，具体而言，涉及一种人脸图像的匹配方法、装置、存储介质和电子装置。


背景技术：

2.人脸识别是一项重要的生物识别技术，近年来由于深度学习算法的发展与计算机算力的提高，人脸识别技术已被广泛应用于安防、金融、教育、医疗等诸多领域。
3.人脸识别的准确率很大程度上受到人脸图像质量的影响。目前的人脸识别算法对于高质量人脸图像(大尺寸、清晰、无遮挡、无角度偏移)已经能够达到甚至超越人眼的识别准确率，但对于低质量人脸图像的识别准确率仍然有待提高。随着人脸识别技术及监控设备的广泛应用，大量的低质量人脸图像也有着人脸识别的需求。
4.针对相关技术中存在的人脸图像的匹配准确度较低的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本发明实施例提供了一种人脸图像的匹配方法、装置、存储介质和电子装置，以至少解决相关技术中存在的人脸图像的匹配准确度较低的问题。
6.根据本发明的一个实施例，提供了一种人脸图像的匹配方法，包括：从第一人脸图像中提取多个特征类型的图像特征得到多个第一图像特征，并从第二人脸图像中提取所述多个特征类型的图像特征得到多个第二图像特征；确定所述多个特征类型中的每个特征类型对应的第一图像特征与第二图像特征之间的相似度，得到多个特征相似度；基于所述多个特征相似度，确定所述第一人脸图像与所述第二人脸图像是否匹配。
7.在一个示例性实施例中，从第一人脸图像中提取多个特征类型的图像特征得到多个第一图像特征，并从第二人脸图像中提取所述多个特征类型的图像特征得到多个第二图像特征包括：从第一人脸图像中获取所述多个特征类型的图像分量得到多个第一图像分量，并从第二人脸图像中获取所述多个特征类型的图像分量得到多个第二图像分量；从所述多个第一图像分量中提取所述多个第一图像特征，并从所述多个第二图像分量中提取所述多个第二图像特征。
8.在一个示例性实施例中，从第一人脸图像中获取所述多个特征类型的图像分量得到多个第一图像分量，并从第二人脸图像中获取所述多个特征类型的图像分量得到多个第二图像分量包括：将所述第一人脸图像确定为第一原始分量，并将所述第二人脸图像确定为第二原始分量；从所述第一原始分量中提取第一低频分量，并从所述第二原始分量中提取第二低频分量；将所述第一原始分量与所述第一低频分量的差值确定为第一高频分量，并将所述第二原始分量与所述第二低频分量的差值确定为第二高频分量，其中，所述多个第一图像分量包括：所述第一原始分量，所述第一低频分量和所述第一高频分量，所述多个第二图像分量包括：所述第二原始分量，所述第二低频分量和所述第二高频分量。
9.在一个示例性实施例中，基于所述多个特征相似度，确定所述第一人脸图像与所述第二人脸图像是否匹配包括：基于所述多个特征相似度中每个特征相似度的特征置信度，对所述多个特征相似度进行融合，得到目标相似度；基于所述目标相似度，确定所述第一人脸图像和所述第二人脸图像是否匹配。
10.在一个示例性实施例中，基于所述多个特征相似度中每个特征相似度的特征置信度，对所述多个特征相似度进行融合，得到目标相似度包括：根据所述第一人脸图像的第一清晰度和所述第二人脸图像的第二清晰度，确定所述多个特征相似度中每个特征相似度的特征置信度，其中，所述特征置信度用于指示所对应的特征类型对图像之间相似度的贡献程度；根据所述特征置信度确定所述每个特征相似度的权重；根据所述每个特征相似度的权重，将所述多个特征相似度的加权和确定为所述目标相似度。
11.在一个示例性实施例中，根据所述第一人脸图像的第一清晰度和所述第二人脸图像的第二清晰度，确定所述多个特征相似度中每个特征相似度的特征置信度包括：计算第一差值，以及，第二差值与第三差值的和值，其中，所述第一差值是所述第一清晰度与所述第二清晰度之间的差值的绝对值，所述第二差值是目标清晰度与所述第一清晰度之间的差值，所述第三差值是所述目标清晰度与所述第二清晰度之间的差值，所述目标清晰度高于所述第一清晰度，并且，所述目标清晰度高于所述第二清晰度；将所述第一差值与所述和值的加权和的倒数确定为低频相似度的低频置信度，其中，所述低频相似度是所述多个第一图像特征所包括的第一低频特征与所述多个第二图像特征所包括的第二低频特征之间的相似度；将目标值与所述低频置信度的第四差值确定为高频相似度的高频置信度，其中，所述高频相似度是所述多个第一图像特征所包括的第一高频特征与所述多个第二图像特征所包括的第二高频特征之间的相似度；将所述目标值确定为原始相似度的原始置信度，其中，所述原始相似度是所述多个第一图像特征所包括的第一原始特征与所述多个第二图像特征所包括的第二原始特征之间的相似度。
12.在一个示例性实施例中，根据所述特征置信度确定所述每个特征相似度的权重包括以下之一：将所述低频置信度确定为所述低频相似度的权重，将所述高频置信度确定为所述高频相似度的权重，并将所述目标值确定为所述原始相似度的权重；将所述低频置信度的一半确定为所述低频相似度的权重，将所述高频置信度的一半确定为所述高频相似度的权重，并将所述目标值的一半确定为所述原始相似度的权重。
13.在一个示例性实施例中，所述第二人脸图像包括多个人脸图像，其中，基于所述目标相似度，确定所述第一人脸图像和所述第二人脸图像是否匹配包括：从所述多个人脸图像中确定出所述目标相似度最大的人脸图像；若确定出的人脸图像对应的目标相似度大于或者等于相似度阈值，则确定所述确定出的人脸图像与所述第一人脸图像匹配。
14.根据本发明的又一个实施例，还提供了一种人脸图像的匹配装置，包括：提取模块，用于从第一人脸图像中提取多个特征类型的图像特征得到多个第一图像特征，并从第二人脸图像中提取所述多个特征类型的图像特征得到多个第二图像特征；第一确定模块，用于确定所述多个特征类型中的每个特征类型对应的第一图像特征与第二图像特征之间的相似度，得到多个特征相似度；第二确定模块，用于基于所述多个特征相似度，确定所述第一人脸图像与所述第二人脸图像是否匹配。
15.根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可
读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
16.根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
17.通过本发明，通过从第一人脸图像中提取多个特征类型的图像特征得到多个第一图像特征，并从第二人脸图像中提取多个特征类型的图像特征得到多个第二图像特征；确定多个特征类型中的每个特征类型对应的第一图像特征与第二图像特征之间的相似度，得到多个特征相似度；基于多个特征相似度，确定第一人脸图像与第二人脸图像是否匹配，即，首先从需要匹配的两个人脸图像中分别提取出多个特征类型的图像特征，在分别确定每个特征类型对应的图像特征之间的相似度，基于得到的多个特征相似度确定第一人脸图像与第二人脸图像是否匹配，从而使得匹配结果能够综合参考多个特征类型的维度的特征之间的相似程度，使得确定出的两个人脸图像的匹配结果能够更加准确，因此，解决了相关技术中存在的提高人脸图像的匹配准确度的问题，达到了人脸图像的匹配准确度较低的效果。
附图说明
18.图1是本发明实施例的人脸图像的匹配方法的移动终端硬件结构框图；
19.图2是根据本发明实施例的人脸图像的匹配方法的流程图；
20.图3是根据本技术实施例的一种可选的人脸图像特征分量的示意图；
21.图4是根据本实施例的一种可选的卷积过程的示意图；
22.图5是根据本发明实施例的基于模糊匹配的低分辨人脸识别过程的示意图；
23.图6是根据本发明实施例的人脸图像的匹配装置的结构框图。
具体实施方式
24.下文中将参考附图并结合实施例来详细说明本发明的实施例。
25.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
26.本技术实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的人脸图像的匹配方法的移动终端硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
27.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的人脸图像的匹配方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104
可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
28.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
29.在本实施例中提供了一种人脸图像的匹配方法，图2是根据本发明实施例的人脸图像的匹配方法的流程图，如图2所示，该流程包括如下步骤：
30.步骤s202，从第一人脸图像中提取多个特征类型的图像特征得到多个第一图像特征，并从第二人脸图像中提取所述多个特征类型的图像特征得到多个第二图像特征；
31.步骤s204，确定所述多个特征类型中的每个特征类型对应的第一图像特征与第二图像特征之间的相似度，得到多个特征相似度；
32.步骤s206，基于所述多个特征相似度，确定所述第一人脸图像与所述第二人脸图像是否匹配。
33.通过上述步骤，通过从第一人脸图像中提取多个特征类型的图像特征得到多个第一图像特征，并从第二人脸图像中提取多个特征类型的图像特征得到多个第二图像特征；确定多个特征类型中的每个特征类型对应的第一图像特征与第二图像特征之间的相似度，得到多个特征相似度；基于所述多个特征相似度，确定所述第一人脸图像与所述第二人脸图像是否匹配，即，首先从需要匹配的两个人脸图像中分别提取出多个特征类型的图像特征，在分别确定每个特征类型对应的图像特征之间的相似度，基于得到的多个特征相似度确定第一人脸图像与第二人脸图像是否匹配，从而使得匹配结果能够综合参考多个特征类型的维度的特征之间的相似程度，使得确定出的两个人脸图像的匹配结果能够更加准确，因此，解决了相关技术中存在的提高人脸图像的匹配准确度的问题，达到了人脸图像的匹配准确度较低的效果。
34.可选地，在本实施例中，上述人脸图像的匹配方法可以但不限于应用于待匹配的图像之间清晰度差异较大的场景下。比如：为满足数据传输及处理效率的要求，一般的监控设备分辨率有限，这使得采集到的人脸图像分辨率较低。在大型监控场景下，由于图像中的目标数量多，单个人脸的分辨率也较低。人脸图像分辨率低在视觉上表现为图像模糊，另外，对焦错误和人物主体运动都有可能导致人脸图像模糊。模糊人脸图像和清晰人脸图像相比，主要表现为轮廓、纹理信息缺失，因此在进行模糊人脸抓图和清晰数据库证件照的特征匹配时，可能会因为特征差异降低匹配的准确率。
35.在上述步骤s202提供的技术方案中，上述第一人脸图像和第二人脸图像可以但不限于是图像清晰度之间的差异较大(比如：图像清晰度之间的差异超过预设图像清晰度)的两个人脸图像。
36.可选地，在本实施例中，上述第一人脸图像和第二人脸图像中的一个人脸图像可以是预先存储的标准人脸图像，可以看作是需要找到的目标人物的人脸图像。另一个人脸
图像可以是需要确认是否为目标人物的人脸图像。通过上述人脸图像的匹配可以确定两张人脸图像是否匹配的结果，从而依据该匹配结果确定第一人脸图像上的人物与第二人脸图像上的人物是否为同一个人物。比如：上述第一人脸图像和第二人脸图像中一个人脸图像可以为摄像设备拍摄的较为模糊的人脸图像(比如前端设备获取的人脸抓拍图像)，另一个人脸图像可以为数据库中存储的较为清晰的人脸图像(比如身份信息已知的目标人员证件照)。
37.可选地，在本实施例中，可以但不限于通过各种具有图像模糊检测功能的算法计算两张图像的图像清晰度差值，比如：以laplacian模糊检测为例，对第一人脸图像和第二人脸图像灰度化后分别进行laplacian变换，随后对laplacian变换后的人脸图像计算方差，该方差即表征图像的清晰程度，图像越清晰，清晰度值越大。第一人脸图像和第二人脸图像的清晰度差值通过如下公式获得：
38.s
i
＝var(laplician(i
′
i
))
39.s
j
＝var(laplician(i
′
j
))
40.δs＝||s
j
‑
s
i
|
41.其中，s
i
表示第一人脸图像的清晰度，s
j
表示第二人脸图像的清晰度，清晰度值越高对应的图像越清晰。var()表示矩阵方差，laplician()表示拉普拉斯变换，i
′
j
表示第二人脸图像的灰度图和i
′
i
表示第一人脸图像的灰度图。如果δs大于预设的th值，则可以通过本实施例中提供的方式对两个人脸图像进行匹配。
42.在一个可选的实施例中，可以但不限于通过以下方式从人脸图像中提取多个特征类型的图像特征：从第一人脸图像中获取所述多个特征类型的图像分量得到多个第一图像分量，并从第二人脸图像中获取所述多个特征类型的图像分量得到多个第二图像分量；从所述多个第一图像分量中提取所述多个第一图像特征，并从所述多个第二图像分量中提取所述多个第二图像特征。
43.可选地，在本实施例中，多个特征类型的图像分量可以但不限于按照不同的方式进行划分，比如：可以划分为原始图像分量，高频图像分量和低频图像分量。也可以划分为原始图像分量，轮廓图像分量，纹理图像分量和色彩图像分量。
44.可选地，在本实施例中，如果将人脸图像的多个特征类型划分为高频特征和低频特征，那么人脸图像可以看作是高频分量(轮廓、纹理信息)和低频分量(色彩信息)的叠加。图3是根据本技术实施例的一种可选的人脸图像特征分量的示意图，如图3所示。模糊人脸图像中缺失的信息主要为高频信息(轮廓，纹理)，因此，在进行模糊人脸图像识别时，待识别模糊图像和清晰的数据库图像的高频特征之间存在较大差异。
45.可选地，在本实施例中，从各个特征类型的图像分量中提取图像特征的方式可以但不限于是使用训练好的特征提取模型对人脸图像进行特征提取。比如：使用训练好的特征提取模型对第一人脸图像的原始分量i
i，0
、低频分量i
i，1
、高频分量i
i，2
进行特征提取，得到第一人脸图像的原始特征f
i，0
，低频特征f
i，1
，高频特征f
i，2
。并对第二人脸图像的原始分量i
j，0
、低频分量i
j，1
、高频分量i
j，2
进行特征提取，得到第二人脸图像的原始特征f
j，0
，低频特征f
j，1
，高频特征f
j，2
。
46.在一个可选的实施例中，可以但不限于通过以下方式从人脸图像中获取各个特征类型的图像分量：将所述第一人脸图像确定为第一原始分量，并将所述第二人脸图像确定
为第二原始分量；从所述第一原始分量中提取第一低频分量，并从所述第二原始分量中提取第二低频分量；将所述第一原始分量与所述第一低频分量的差值确定为第一高频分量，并将所述第二原始分量与所述第二低频分量的差值确定为第二高频分量，其中，所述多个第一图像分量包括：所述第一原始分量，所述第一低频分量和所述第一高频分量，所述多个第二图像分量包括：所述第二原始分量，所述第二低频分量和所述第二高频分量。
47.可选地，在本实施例中，人脸图像的低频分量可以但不限于通过对原始分量进行高斯模糊操作获得，人脸图像的高频分量通过求解原始分量与低频分量的差值获得。
48.例如：将待识别图片(相当于上述第一人脸图像)和底库图片(相当于上述第二人脸图像)作为原始分量进行高斯模糊和高反差保留操作，得到原始分量的高频分量和低频分量。其中高斯模糊操作可以描述为高斯掩膜与图像的卷积操作，即掩膜上每一个位置的值和图像上对应位置的像素值的乘加运算，图4是根据本实施例的一种可选的卷积过程的示意图，如图4所示，掩膜矩阵可以看作是一个权重矩阵，那么高斯模糊可以解释为图像中某个像素点的像素值由它相邻区域像素加权求和得到，越靠近中心的像素值对应的权重越大，掩膜矩阵中的权重分布满足高斯分布：
[0049][0050]
其中，f(x)表示掩膜矩阵中坐标x的权重值，u表示掩膜矩阵中心的坐标。高斯模糊处理后图像的模糊程度由参数σ和掩膜矩阵的大小h决定，σ越大，掩膜矩阵越大，处理后的图片越模糊。为了使待识别图片与底库图片高斯模糊操作后得到的低频分量尽可能一致，掩码矩阵的大小可以但不限于由原始图片的大小确定，图片尺寸越大，掩码矩阵的尺寸越大。σ由图片的模糊程度确定，处理时希望待识别图片的低频分量清晰度与底库图片低频分量的清晰度一致，因此可以引入标准清晰图片的清晰度s
′
，σ可通过如下公式获取：
[0051][0052]
其中，a是可调谐参数，s是当前图片清晰度。满足s
′
≥s，将原始分量记为i0，高斯模糊处理后的低频分量记为i1，图片的高频分量i2为二者的差值：i2＝i0‑
i1。
[0053]
在上述步骤s204提供的技术方案中，可以但不限于采用任何具有图像相似度计算功能的方式来确定各个特征类型对应的特征相似度。比如：通过计算图像特征向量之间的距离来获得，以余弦距离为例，第一人脸图像与第二人脸图像的原始相似度d0、低频相似度d1和高频相似度d2计算公式如下：
[0054][0055]
在上述步骤s206提供的技术方案中，利用得到的多个特征相似度，可以但不限于采用多种方式确定第一人脸图像和第二人脸图像是否匹配。
[0056]
可选地，在本实施例中，一种匹配的方式可以但不限于是通过相似度融合的方式将多个特征相似度融合成一个相似度，再依据该相似度确定第一人脸图像与第二人脸图像是否匹配。
[0057]
可选地，在本实施例中，另一种匹配的方式可以但不限于是多个特征相似度分别
进行比较来确定两个人脸图像是否匹配。比如：确定每种图像特征对应的特征相似度是否满足该种图像特征对应的相似度条件，计算出多个特征相似度中满足相应条件的相似度的数量，再确定该数量是否满足数量条件，如果满足数量条件，则确定二者匹配，如果不满足，则确定二者不匹配。例如：满足相应条件的相似度的数量大于或者等于总相似度数量的一定比例，则确定第一人脸图像和第二人脸图像匹配。
[0058]
可选地，在本实施例中，如果第一人脸图像与第二人脸图像匹配，可以认为第一人脸图像与第二人脸图像是同一个人的人脸图像。
[0059]
在一个可选的实施例中，可以但不限于通过以下方式确定第一人脸图像与第二人脸图像是否匹配：基于所述多个特征相似度中每个特征相似度的特征置信度，对所述多个特征相似度进行融合，得到目标相似度；基于所述目标相似度，确定所述第一人脸图像和所述第二人脸图像是否匹配。
[0060]
可选地，在本实施例中，将人脸图像作为原始分量分解为高频分量和低频分量，对不同分量分别进行特征提取与特征相似度匹配，并可以引入一个基于人脸图像模糊程度自适应调整的权重参数，根据不同分量相似度匹配结果的置信度融合出最终的目标相似度。
[0061]
在一个可选的实施例中，可以但不限于采用以下方式对多个特征相似度进行融合：根据所述第一人脸图像的第一清晰度和所述第二人脸图像的第二清晰度，确定所述多个特征相似度中每个特征相似度的特征置信度，其中，所述特征置信度用于指示所对应的特征类型对图像之间相似度的贡献程度；根据所述特征置信度确定所述每个特征相似度的权重；根据所述每个特征相似度的权重，将所述多个特征相似度的加权和确定为所述目标相似度。
[0062]
可选地，在本实施例中，使用特征置信度来指示所对应的特征类型对图像之间相似度的贡献程度，并将其作为权重参数来影响最终的目标相似度计算。
[0063]
在一个可选的实施例中，可以但不限于通过以下方式确定出多个特征相似度中每个特征相似度的特征置信度：计算第一差值，以及，第二差值与第三差值的和值，其中，所述第一差值是所述第一清晰度与所述第二清晰度之间的差值的绝对值，所述第二差值是目标清晰度与所述第一清晰度之间的差值，所述第三差值是所述目标清晰度与所述第二清晰度之间的差值，所述目标清晰度高于所述第一清晰度，并且，所述目标清晰度高于所述第二清晰度；将所述第一差值与所述和值的加权和的倒数确定为低频相似度的低频置信度，其中，所述低频相似度是所述多个第一图像特征所包括的第一低频特征与所述多个第二图像特征所包括的第二低频特征之间的相似度；将目标值与所述低频置信度的第四差值确定为高频相似度的高频置信度，其中，所述高频相似度是所述多个第一图像特征所包括的第一高频特征与所述多个第二图像特征所包括的第二高频特征之间的相似度；将所述目标值确定为原始相似度的原始置信度，其中，所述原始相似度是所述多个第一图像特征所包括的第一原始特征与所述多个第二图像特征所包括的第二原始特征之间的相似度。
[0064]
在一个可选的实施例中，可以但不限于通过以下方式之一确定每个特征相似度的权重：将所述低频置信度确定为所述低频相似度的权重，将所述高频置信度确定为所述高频相似度的权重，并将所述目标值确定为所述原始相似度的权重；将所述低频置信度的一半确定为所述低频相似度的权重，将所述高频置信度的一半确定为所述高频相似度的权重，并将所述目标值的一半确定为所述原始相似度的权重。
[0065]
可选地，在本实施例中，在设置融合权重的过程中考虑以下两点，其一，待识别的人脸图像与底库人脸图像的清晰度差值越大，低频特征相似度的置信度越高；其二，人脸图像本身越模糊，携带的高频信息越少，高频特征相似度对匹配结果的贡献越少。基于以上两点原则，可以但不限于将高低频相似度融合权重w设置为：
[0066][0067]
其中，s
′
为标准清晰图片的清晰度(即上述目标相似度)，s
i
和s
j
为待识别人脸抓图和待匹配底库图片的清晰度，并且满足s
′
≥s
i
和s
j
。a和b为可调谐参数，最终待识别图像与底库图片的目标相似度可以记为：
[0068]
在一个可选的实施例中，第二人脸图像可以但不限于包括多个人脸图像，其中，可以但不限于通过以下方式确定第一人脸图像与第二人脸图像是否匹配：从所述多个人脸图像中确定出所述目标相似度最大的人脸图像；若确定出的人脸图像对应的目标相似度大于或者等于相似度阈值，则确定所述确定出的人脸图像与所述第一人脸图像匹配。
[0069]
可选地，在本实施例中，使用上述特征匹配方法计算待识别图片与底库图片的目标相似度，若待识别图片与底库中某图片相似度最高，且相似度值满足阈值要求，则可以判定待识别图片与该底库图片来自相同目标人。
[0070]
显然，上述所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。
[0071]
下面结合实施例对本发明进行具体说明：
[0072]
为了缓解高频特征缺失导致的特征差异对匹配结果的影响，本实施例提出一种基于模糊匹配的低分辨人脸识别过程。该过程使用高斯模糊和高反差保留操作将人脸图像分解为高频分量和低频分量，为了确保人脸图像信息的完整性，同时保留原始图像信息作为原始分量。随后使用训练后的特征提取模型分别对三种分量提取出低频特征、高频特征和原始特征。在进行图片特征匹配的过程中，分别计算不同类型特征间的相似度，并通过融合权重将三种相似度融合为最终的目标相似度，得到最终的图片匹配结果。考虑到不同模糊程度的图片其高频特征缺失的程度不同，对匹配结果的影响程度也不同，本过程还提出了一种根据图像模糊度差异自适应变化的融合权重参数，使整个识别模型能够根据图像信息的缺失情况自适应调整不同分量特征对匹配结果的影响程度。
[0073]
图5是根据本发明实施例的基于模糊匹配的低分辨人脸识别过程的示意图，如图5所示，该过程包括以下步骤：
[0074]
步骤1：获取身份已知的目标人员证件照作为底库图片(相当于上述第二人脸图像)，获取待确定身份的人脸抓拍图(相当于上述第一人脸图像)。
[0075]
步骤2：使用laplacian变换，计算待识别的人脸抓拍图的清晰度s
i
，待匹配的底库图片的清晰度s
j
。
[0076]
步骤3：对待识别的人脸抓拍图与待匹配的底库图片分别进行高低频分解。其中，低频分量i1通过对原始图像进行高斯模糊操作获得，高斯掩膜的尺寸由图像的尺寸计算得到，高斯分布的σ值由图像清晰度与标准清晰的差值计算得到，一般来说，图像尺寸越大，高斯掩膜尺寸越大；图像越模糊，σ值越小；获取到图像的低频分量后，通过求解原图与低频分量的差值可以得到图片的高频分量i2。通过上述步骤，可以得到对应待识别的人脸抓拍图
的原始分量i
i，0
，低频分量i
i，1
，高频分量i
i，2
；以及对应待匹配的底库图片的原始分量i
j，0
，低频分量i
j，1
，高频分量i
j，2
。
[0077]
步骤4：使用预先训练好的特征提取模型对待识别的人脸抓拍图与待匹配的底库图片的三种分量进行特征提取，得到对应待识别的人脸抓拍图的原始特征f
i，0
，低频特征f
i，1
，高频特征f
i，2
；以及待匹配的底库图片的原始特征f
j，0
，低频特征f
j，1
，高频特征f
j，2
。
[0078]
步骤5：相似度计算，使用余弦距离公式计算待识别的人脸抓拍图与待匹配的底库图片的三种特征相似度，得到原始特征相似度d0，低频特征相似度d1，高频特征相似度d2。
[0079]
步骤6：根据待识别的人脸抓拍图与待匹配的底库图片的清晰度差值，以及两图片清晰度与标准清晰度的差值计算相似度融合权重，并用计算得到的融合权重对原始特征相似度、低频特征相似度、高频特征相似度进行融合，得到最终的目标相似度。
[0080]
步骤7：计算待识别的人脸抓拍图与底库中各人脸图的目标相似度，并选择其中最高的相似度与识别阈值进行比较，若最高相似度高于阈值，则判定待识别的人脸抓拍图与相应底库图片来自相同目标人，进而确定待识别的人脸的身份。
[0081]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0082]
在本实施例中还提供了一种人脸图像的匹配装置，图6是根据本发明实施例的人脸图像的匹配装置的结构框图，如图6所示，该装置包括：
[0083]
提取模块62，用于从第一人脸图像中提取多个特征类型的图像特征得到多个第一图像特征，并从第二人脸图像中提取所述多个特征类型的图像特征得到多个第二图像特征；
[0084]
第一确定模块64，用于确定所述多个特征类型中的每个特征类型对应的第一图像特征与第二图像特征之间的相似度，得到多个特征相似度；
[0085]
第二确定模块66，用于基于所述多个特征相似度，确定所述第一人脸图像与所述第二人脸图像是否匹配。
[0086]
通过上述装置，首先从需要匹配的两个人脸图像中分别提取出多个特征类型的图像特征，在分别确定每个特征类型对应的图像特征之间的相似度，基于得到的多个特征相似度确定第一人脸图像与第二人脸图像是否匹配，从而使得匹配结果能够综合参考多个特征类型的维度的特征之间的相似程度，使得确定出的两个人脸图像的匹配结果能够更加准确，因此，解决了相关技术中存在的提高人脸图像的匹配准确度的问题，达到了人脸图像的匹配准确度较低的效果。
[0087]
在一个可选的实施例中，所述提取模块包括：第一获取单元，用于从第一人脸图像中获取所述多个特征类型的图像分量得到多个第一图像分量，并从第二人脸图像中获取所述多个特征类型的图像分量得到多个第二图像分量；提取单元，用于从所述多个第一图像分量中提取所述多个第一图像特征，并从所述多个第二图像分量中提取所述多个第二图像特征。
[0088]
在一个可选的实施例中，所述第一获取单元用于：将所述第一人脸图像确定为第一原始分量，并将所述第二人脸图像确定为第二原始分量；从所述第一原始分量中提取第一低频分量，并从所述第二原始分量中提取第二低频分量；将所述第一原始分量与所述第一低频分量的差值确定为第一高频分量，并将所述第二原始分量与所述第二低频分量的差值确定为第二高频分量，其中，所述多个第一图像分量包括：所述第一原始分量，所述第一低频分量和所述第一高频分量，所述多个第二图像分量包括：所述第二原始分量，所述第二低频分量和所述第二高频分量。
[0089]
在一个可选的实施例中，所述第二确定模块包括：融合单元，用于基于所述多个特征相似度中每个特征相似度的特征置信度，对所述多个特征相似度进行融合，得到目标相似度；第一确定单元，用于基于所述目标相似度，确定所述第一人脸图像和所述第二人脸图像是否匹配。
[0090]
在一个可选的实施例中，所述融合单元用于：根据所述第一人脸图像的第一清晰度和所述第二人脸图像的第二清晰度，确定所述多个特征相似度中每个特征相似度的特征置信度，其中，所述特征置信度用于指示所对应的特征类型对图像之间相似度的贡献程度；根据所述特征置信度确定所述每个特征相似度的权重；根据所述每个特征相似度的权重，将所述多个特征相似度的加权和确定为所述目标相似度。
[0091]
在一个可选的实施例中，所述融合单元用于：计算第一差值，以及，第二差值与第三差值的和值，其中，所述第一差值是所述第一清晰度与所述第二清晰度之间的差值的绝对值，所述第二差值是目标清晰度与所述第一清晰度之间的差值，所述第三差值是所述目标清晰度与所述第二清晰度之间的差值，所述目标清晰度高于所述第一清晰度，并且，所述目标清晰度高于所述第二清晰度；将所述第一差值与所述和值的加权和的倒数确定为低频相似度的低频置信度，其中，所述低频相似度是所述多个第一图像特征所包括的第一低频特征与所述多个第二图像特征所包括的第二低频特征之间的相似度；将目标值与所述低频置信度的第四差值确定为高频相似度的高频置信度，其中，所述高频相似度是所述多个第一图像特征所包括的第一高频特征与所述多个第二图像特征所包括的第二高频特征之间的相似度；将上述目标值确定为原始相似度的原始置信度，其中，所述原始相似度是所述多个第一图像特征所包括的第一原始特征与所述多个第二图像特征所包括的第二原始特征之间的相似度。
[0092]
在一个可选的实施例中，所述融合单元用于以下之一：将所述低频置信度确定为所述低频相似度的权重，将所述高频置信度确定为所述高频相似度的权重，并将所述目标值确定为所述原始相似度的权重；将所述低频置信度的一半确定为所述低频相似度的权重，将所述高频置信度的一半确定为所述高频相似度的权重，并将所述目标值的一半确定为所述原始相似度的权重。
[0093]
在一个可选的实施例中，所述第二人脸图像包括多个人脸图像，其中，所述第二确定模块包括：第二确定单元，用于从所述多个人脸图像中确定出所述目标相似度最大的人脸图像；第三确定单元，用于若确定出的人脸图像对应的目标相似度大于或者等于相似度阈值的，则确定所述确定出的人脸图像与所述第一人脸图像匹配。
[0094]
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意
组合的形式分别位于不同的处理器中。
[0095]
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
[0096]
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：u盘、只读存储器(read
‑
only memory，简称为rom)、随机存取存储器(random access memory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
[0097]
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
[0098]
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
[0099]
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
[0100]
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
[0101]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。