保护隐私的生物特征识别方法和装置与流程

保护隐私的生物特征识别方法和装置
1.本技术为2021年7月27日提交的申请号为202110849620.2，名为“保护隐私的生物特征识别方法和装置”的发明专利申请的分案申请。
技术领域
2.本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种保护隐私的生物特征识别方法和装置。


背景技术：

3.生物特征识别技术的不断成熟以及大规模应用，给我们的日常生活带来了极大的便利。比如，指纹支付、指纹考勤、刷脸支付、人脸考勤、人脸识别门禁等的普遍应用，让我们的生活更加便利。然而，在得到这些便利的同时，人们也越来越关注自己的隐私保护。而现在随处可见的摄像头可以将生物特征信息进行收集，一旦生物特征信息被泄漏，人们的隐私也将遭受严重的侵害。因此，隐私保护是生物特征识别技术中的一个重要环节。


技术实现要素：

4.本说明书一个或多个实施例描述了一种保护隐私的生物特征识别方法和装置，利用无透镜成像设备对生物特征进行图像采集，形成肉眼不可辨识的原始图像，之后在原始图像的基础上对生物特征进行识别，从而实现了保护隐私的生物特征识别，提高了生物特征信息的安全性。
5.根据第一方面，提供了一种保护隐私的生物特征识别方法，包括：获取无透镜成像设备针对生物特征采集的原始图像，其中，上述无透镜成像设备包括掩模板和图像传感器，上述原始图像是通过上述掩模板调制后由上述图像传感器采集到的图像；基于上述掩模板的调制参数对上述原始图像进行重构，得到重构图像；使用预先训练的特征提取网络对上述重构图像进行特征提取，得到上述重构图像的特征表示；基于上述特征表示，对上述重构图像进行生物特征识别。
6.在一个实施例中，上述方法是在可信执行环境中执行的。
7.在一个实施例中，上述掩模板与上述图像传感器之间像素对齐，上述掩模板的各像素位置对应设置有调制参数；以及上述基于上述掩模板的调制参数对上述原始图像进行重构，得到重构图像，包括：根据上述掩模板各像素位置的调制参数，确定用于对图像进行重构的重构矩阵；根据上述原始图像的像素值和上述重构矩阵对上述原始图像进行重构，得到重构图像。
8.在一个实施例中，上述掩模板上设置有图案，上述图案是随机生成的，包括透光部分和不透光部分，其中，上述透光部分的像素位置的调制参数为1，上述不透光部分的像素位置的调制参数为0。
9.在一个实施例中，上述生物特征为人脸；以及上述基于上述特征表示，对上述重构图像进行生物特征识别，包括：获取验证用人脸特征模板，其中，上述人脸特征模板是使用
上述特征提取网络对验证用人脸图像进行特征提取得到的；根据上述特征表示和上述人脸特征模板，确定上述重构图像与上述验证用人脸图像是否指示同一人。
10.在一个实施例中，上述生物特征为人脸；以及上述基于上述特征表示，对上述重构图像进行生物特征识别，包括：获取人脸图像集合中的各个人脸图像对应的各个特征模板，其中，上述各个特征模板是使用上述特征提取网络对人脸图像集合中的各个人脸图像进行特征提取得到的；根据上述特征表示和上述各个特征模板，从上述人脸图像集合中确定出与上述重构图像指示为同一人的人脸图像。
11.在一个实施例中，上述特征提取网络是通过以下方式训练得到的：获取样本集，其中，上述样本集的样本包括样本图像和与样本图像对应的类别标识，上述样本图像是将无透镜成像设备采集的图像进行重构得到的图像；将上述样本图像作为输入，将与输入的样本图像对应的类别标识作为期望输出，对待训练分类器进行训练，其中，上述待训练分类器包括用于提取图像特征的神经网络；将训练完成后的分类器中的神经网络作为上述特征提取网络。
12.在一个实施例中，上述生物特征包括以下之一：人脸、指纹、虹膜、掌纹。
13.根据第二方面，提供了一种保护隐私的生物特征识别装置，包括：获取单元，配置为获取无透镜成像设备针对生物特征采集的原始图像，其中，上述无透镜成像设备包括掩模板和图像传感器，上述原始图像是通过上述掩模板调制后由上述图像传感器采集到的图像；重构单元，配置为基于上述掩模板的调制参数对上述原始图像进行重构，得到重构图像；特征提取单元，配置为使用预先训练的特征提取网络对上述重构图像进行特征提取，得到上述重构图像的特征表示；识别单元，配置为基于上述特征表示，对上述重构图像进行生物特征识别。
14.根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当上述计算机程序在计算机中执行时，令计算机执行如第一方面中任一实现方式描述的方法。
15.根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，上述存储器中存储有可执行代码，上述处理器执行上述可执行代码时，实现如第一方面中任一实现方式描述的方法。
16.根据本说明书实施例提供的保护隐私的生物特征识别方法和装置，首先获取无透镜成像设备针对生物特征采集的肉眼不可辨识的原始图像，而后对原始图像进行重构得到重构图像，最后基于重构图像的特征表示进行生物特征识别，由于生物特征识别所使用的原始图像为肉眼不可辨识的图像，因此，无透镜成像设备采集的原始图像即使被不法人员获取也不会造成生物特征信息的泄露，从而实现了保护隐私的生物特征识别，提高了生物特征信息的安全性。
附图说明
17.图1示出了根据一个实施例的保护隐私的生物特征识别方法的流程图；
18.图2示出了无透镜成像设备成像的示意图；
19.图3示出了一个例子中的掩模板的示意图；
20.图4示出了一个例子中真实人脸、原始人脸图像以及重构人脸图像的示意图；
21.图5示出了物点经过掩模板调制在图像传感器形成图像的示意图；
22.图6示出了根据一个实施例的保护隐私的生物特征识别装置的示意性框图。
具体实施方式
23.下面结合附图和实施例，对本说明书提供的技术方案做进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。需要说明的是，在不冲突的情况下，本说明书的实施例及实施例中的特征可以相互组合。
24.图1示出了根据一个实施例的保护隐私的生物特征识别方法的流程图。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。如图1所示，该保护隐私的生物特征识别方法，包括以下步骤：
25.步骤101，获取无透镜成像设备针对生物特征采集的原始图像。
26.在本实施例中，用于执行保护隐私的生物特征识别方法的执行主体，可以从无透镜成像设备获取该无透镜成像设备针对生物特征采集的原始图像。这里，上述无透镜成像设备可以包括掩模板和图像传感器，原始图像是通过上述掩模板调制后由上述图像传感器采集到的图像，该图像为肉眼不可辨识的图像。
27.无透镜成像方法是一种颠覆性成像技术，成像过程可以不需要使用透镜。其中，一种成像方式是利用特殊的模板代替传统镜头实现非直接成像，其原理是：无透镜成像将一个编码掩模板放在图像传感器光敏面前方，两者组合起来使用。作为示例，图2示出了无透镜成像设备成像的示意图。在图2中，无透镜成像设备包括掩模板201和图像传感器202，拍摄对象203发出的(或者反射的)光线通过掩模板201调制后投射到图像传感器202上，图像传感器202采集得到原始图像204。其中，原始图像204为肉眼不可辨识的图像。计算机获取到图像传感器的原始图像数据后，利用数字图像处理的方法对图像数据进行解码(或重构)，还原出物体图像。由于使用无透镜成像设备采集到的原始图像为肉眼不可辨识的图像，想要从该图像中重构出包含拍摄对象的物体图像需要使用掩模板的调制参数，因此，即使不法人员从无透镜成像设备中获取到原始图像，也难以找到相应的重构方法对原始图像进行重构，从而无法得到拍摄对象的信息，以此可以达到保护隐私的目的。
28.实践中，无透镜成像设备中的掩模板可以是一种在玻璃基板上镀金属膜后，利用刻蚀技术刻蚀出图案的模板。该模板可以是各种样式的模板，包括但不限于菲涅尔波带片、ura(uniformly redundant array，均匀冗余阵列)等等。
29.在本实施例的一些可选的实现方式中，本技术实施例中生物特征识别所涉及的生物特征可以包括以下之一：人脸、指纹、虹膜、掌纹等等。
30.在本实施例的一些可选的实现方式中，无透镜成像设备中的掩模板上设置有图案，该图案可以是随机生成的，包括透光部分和不透光部分。其中，透光部分的像素位置的调制参数可以设置为1，不透光部分的像素位置的调制参数可以设置为0。请参见图3，举例来说，某个图案随机生成的掩模板可以如图3所示，该掩模板包括白色的透光部分和黑色的不透光部分。可以理解，图3仅仅用于解释掩模板包括透光部分和不透光部分，而非对掩模板图案的限定，实践中，掩模板上的图案可以是各种样式的。在本实现方式中，由于掩模板上的图案是随机生成的，而不同的无透镜成像设备可以对应不同的掩模板。因此，对不同无透镜成像设备采集的原始图像重构时，使用的调制参数也各不相同。由此，增加了不法人员
重构原始图像的难度，进一步提高了生物特征的安全性。
31.步骤102，基于掩模板的调制参数对原始图像进行重构，得到重构图像。
32.在本实施例中，执行主体可以基于无透镜成像设备的掩模板的调制参数对原始图像进行重构，得到重构图像。该重构图像为肉眼可辨识的图像。请参考图4，举例来说，当生物特征为人脸时，无透镜成像设备可以采集真实人脸401的图像，得到原始人脸图像402，如图所示，原始人脸图像402为肉眼不可辨识的图像。对原始人脸图像402进行重构，得到重构人脸图像403，重构人脸图像403为肉眼可辨识的图像。这里，掩模板的调制参数可以是指掩模板的各像素位置对光线进行调制的调制权重。
33.在本实施例的一些可选的实现方式中，无透镜成像设备的掩模板与图像传感器之间像素对齐。例如，可以将掩模板与图像传感器设置的大小相同，像素相同。比如，如果图像传感器生成的图像大小为640像素*480像素，那么掩模板大小也可以设置为640像素*480像素。通过调整掩模板的位置，将掩模板叠加到图像传感器之上实现像素对齐，例如，将掩模板左上角的第一像素对应到图像传感器左上角的第一像素。此外，掩模板的各像素位置对应设置有调制参数。
34.上述步骤102还可以如下进行：
35.步骤s1，根据掩模板各像素位置的调制参数，确定用于对图像进行重构的重构矩阵。
36.在本实现方式中，执行主体可以根据掩模板各像素位置的调制参数，确定用于对图像进行重构的重构矩阵。作为示例，当掩模板与图像传感器之间像素对齐时，基于掩模板调制的无透镜成像方式可以用一个数学模型进行表达。物点a经过掩模板调制的成像像素a’是由掩模板上对应的调制参数与光线相乘后的线性相加之和。以此类推，如图5所示，当有物点a、物点b、物点c等多个物点时，也是如此。可以得到以下方程式组：
37.a’＝a*m1 b*m2 c*m338.b’＝a*m2 b*m3 c*m439.c’＝a*m3 b*m4 c*m5[0040][0041]
其中，m1、m2、m3、m4、m5分别表示掩模板上的像素点1、2、3、4、5对应的调制参数。a’、b’、c’表示经过掩模板调制后采集的原始图像的各像素的像素值。上述方程式组可以表示为以下的矩阵形式：
[0042][0043]
假如，将矩阵形式的左侧部分用x表示，中间部分用φ表示，右侧部分用y表示，则上述矩阵形式可以表示为：
[0044]
y＝φx，
[0045]
其中，φ为根据掩模板各像素位置的调制参数，确定的用于对图像进行重构的重构矩阵。y、φ为已知的，最终求解x的过程就是重构过程。
[0046]
可以理解，上述重构过程仅仅用于解释对无透镜成像设备采集的原始图像进行重构的原理，而非对重构过程的限定。由于实际的拍摄场景中可能包括更多的物点，因此相比于上述重构过程，实际应用场景中的重构过程可能更加复杂，此处不再详述。
[0047]
步骤s2，根据原始图像的像素值和重构矩阵对原始图像进行重构，得到重构图像。
[0048]
在本实现方式中，执行主体可以根据原始图像的像素值和上述重构矩阵对原始图像进行重构，得到重构图像。该重构图像为肉眼可辨识的图像。
[0049]
步骤103，使用预先训练的特征提取网络对重构图像进行特征提取，得到重构图像的特征表示。
[0050]
在本实施例中，执行主体内可以存储有预先训练的、用于对图像进行特征提取的特征提取网络。作为示例，上述特征提取网络可以是任一具有图像特征提取功能的神经网络，神经网络可以包括卷积层、池化层、非线性激活层、全连接层等层结构。这样，执行主体可以使用上述特征提取网络对步骤102中得到的重构图像进行特征提取，得到重构图像的特征表示。
[0051]
在本实施例的一些可选的实现方式中，上述特征提取网络可以是上述执行主体或者其它用于训练特征提取网络的执行主体通过以下方式训练得到的：
[0052]
1)获取样本集。
[0053]
在本实现方式中，用于训练特征提取网络的执行主体可以获取样本集。其中，样本集中的样本可以包括样本图像和与样本图像对应的类别标识。这里，样本图像可以是将无透镜成像设备采集的图像进行重构得到的图像。样本图像对应的类别标识用于表征样本图像指示的对象所属的类别。为了使训练得到的特征提取网络所提取的特征更加准确、有效，样本图像可以是生物特征的图像。举例来说，如果上述保护隐私的生物特征识别方法所涉及的生物特征为人脸，则样本集中的样本包括的样本图像可以是人脸图像，该人脸图像可以是将无透镜成像设备采集的图像进行重构得到的人脸图像。该人脸图像对应的类别标识可以是人脸图像指示的人的用户id(标识)。
[0054]
2)将样本图像作为输入，将与输入的样本图像对应的类别标识作为期望输出，对待训练分类器进行训练。
[0055]
在本实现方式中，用于训练特征提取网络的执行主体可以将样本集中的样本中的样本图像输入待训练分类器，得到该样本图像的输出类别预测结果，以该样本中的类别标识作为待训练分类器的期望输出，利用机器学习方法训练待训练分类器。这里，上述待训练分类器包括用于提取图像特征的神经网络。训练过程具体地，可以首先利用预设的损失函数计算所得到的输出类别预测结果与该样本中的类别标识之间的差异。然后，可以基于计算所得的差异，调整待训练分类器的网络参数，并在满足预设的训练结束条件的情况下，结束训练。例如，这里预设的训练结束条件可以包括但不限于以下至少一项：训练时间超过预设时长；训练次数超过预设次数；计算所得的差异小于预设差异阈值。
[0056]
这里，可以采用各种实现方式基于所生成的输出类别预测结果与该样本中的类别标识之间的差异调整待训练分类器的网络参数。例如，可以采用bp(back propagation，反
向传播)算法或者sgd(stochastic gradient descent，随机梯度下降)算法来调整待训练分类器的网络参数。
[0057]
3)将训练完成后的分类器中的神经网络作为特征提取网络。
[0058]
在本实现方式中，用于训练特征提取网络的执行主体可以将训练完成后的分类器中的神经网络作为上述保护隐私的生物特征识别方法中使用的、用于对上述重构图像进行特征提取的特征提取网络。
[0059]
本实现方式中，在训练分类器时，所使用的样本图像是将无透镜成像设备采集的图像进行重构得到的图像，即样本图像与上述重构图像的生成方式接近。因此，使用上述样本图像训练得到的特征提取网络对上述重构图像进行特征提取，可以使得到的特征表示更加准确，进而使生物特征识别的识别结果更加准确。
[0060]
回到图1，基于以上训练得到的特征提取网络所提取的特征表示，接下来在步骤104，基于特征表示，对重构图像进行生物特征识别。
[0061]
在本实施例中，执行主体可以基于步骤103中得到重构图像的特征表示，对重构图像进行生物特征识别，从而得到生物特征识别结果。
[0062]
在本实施例的一些可选的实现方式中，生物特征识别涉及针对特定对象的生物特征比对。以生物特征为人脸为例，上述步骤104可以具体如下进行：
[0063]
首先，获取验证用人脸特征模板。
[0064]
在本实现方式中，执行主体可以获取验证用人脸特征模板。该验证用人脸特征模板是使用上述特征提取网络对预设的验证用人脸图像进行特征提取得到的。
[0065]
然后，根据特征表示和人脸特征模板，确定重构图像与验证用人脸图像是否指示同一人。
[0066]
在本实现方式中，执行主体可以根据重构图像的特征表示和上述验证用人脸特征模板，确定重构图像与验证用人脸图像是否指示同一人。举例来说，执行主体可以计算重构图像的特征表示和验证用人脸特征模板之间的相似度，当相似度大于预设阈值时，可以确定重构图像和验证用人脸图像指示同一人。作为示例，本实现方式可以应用于刷脸支付的过程中，在刷脸支付场景中，如果确定重构图像和验证用人脸图像指示同一人，则可以确定刷脸验证成功，可以进行后续的支付过程。
[0067]
在本实施例的一些可选的实现方式中，生物特征识别还可以涉及从不特定的对象集合中识别出目标对象。仍以生物特征为人脸为例，上述步骤104还可以具体如下进行：
[0068]
首先，获取人脸图像集合中的各个人脸图像对应的各个特征模板。
[0069]
在本实现方式中，执行主体可以获取预设的人脸图像集合中各个人脸图像对应的各个特征模板。这里，获取的各个特征模板可以是使用上述特征提取网络对上述人脸图像集合中的各个人脸图像进行特征提取得到的。
[0070]
然后，根据特征表示和各个特征模板，从人脸图像集合中确定出与重构图像指示为同一人的人脸图像。
[0071]
在本实现方式中，执行主体可以根据重构图像的特征表示和各个特征模板，从人脸图像集合中确定出与重构图像指示为同一人的人脸图像。举例来说，执行主体可以首先计算重构图像的特征表示与各个特征模板之间的相似度。之后，将相似度最大、且大于预设阈值的特征模板对应的人脸图像，确定为与重构图像指示为同一人的人脸图像。
[0072]
可以理解，以上两种生物识别场景，也可以等同地适用于诸如指纹识别的其他生物特征识别。
[0073]
在本实施例的一些可选的实现方式中，上述保护隐私的生物特征识别方法的各个实施例的各个步骤可以是在可信执行环境(trusted execution environment，tee)中执行的。
[0074]
tee是cpu(central processing unit，中央处理器)内的一个安全区域。它运行在一个独立的环境中且与操作系统并行运行。cpu确保tee中代码和数据的机密性和完整性都得到保护。通过同时使用硬件和软件来保护数据和代码，tee比操作系统更加安全。本实现方式，通过将原始图像的重构、重构图像的生物特征识别等步骤在tee中执行，可以有效防止重构图像、生物特征识别结果等信息的泄露，使重构图像、生物特征识别结果等信息得到有效的隐私保护，更加安全。
[0075]
根据另一方面的实施例，提供了一种保护隐私的生物特征识别装置。上述保护隐私的生物特征识别装置可以部署在任何具有计算、处理能力的设备、平台或设备集群中。
[0076]
图6示出了根据一个实施例的保护隐私的生物特征识别装置的示意性框图。如图6所示，该生物特征识别装置600包括：获取单元601，配置为获取无透镜成像设备针对生物特征采集的原始图像，其中，上述无透镜成像设备包括掩模板和图像传感器，上述原始图像是通过上述掩模板调制后由上述图像传感器采集到的图像；重构单元602，配置为基于上述掩模板的调制参数对上述原始图像进行重构，得到重构图像；特征提取单元603，配置为使用预先训练的特征提取网络对上述重构图像进行特征提取，得到上述重构图像的特征表示；识别单元604，配置为基于上述特征表示，对上述重构图像进行生物特征识别。
[0077]
在本实施例的一些可选的实现方式中，该生物特征识别装置600设置在可信执行环境中。
[0078]
在本实施例的一些可选的实现方式中，上述掩模板与上述图像传感器之间像素对齐，上述掩模板的各像素位置对应设置有调制参数；以及上述重构单元602进一步配置为：根据上述掩模板各像素位置的调制参数，确定用于对图像进行重构的重构矩阵；根据上述原始图像的像素值和上述重构矩阵对上述原始图像进行重构，得到重构图像。
[0079]
在本实施例的一些可选的实现方式中，上述掩模板上设置有图案，上述图案是随机生成的，包括透光部分和不透光部分，其中，上述透光部分的像素位置的调制参数为1，上述不透光部分的像素位置的调制参数为0。
[0080]
在本实施例的一些可选的实现方式中，上述生物特征为人脸；以及上述识别单元604进一步配置为：获取验证用人脸特征模板，其中，上述人脸特征模板是使用上述特征提取网络对验证用人脸图像进行特征提取得到的；根据上述特征表示和上述人脸特征模板，确定上述重构图像与上述验证用人脸图像是否指示同一人。
[0081]
在本实施例的一些可选的实现方式中，上述生物特征为人脸；以及上述识别单元604进一步配置为：获取人脸图像集合中的各个人脸图像对应的各个特征模板，其中，上述各个特征模板是使用上述特征提取网络对人脸图像集合中的各个人脸图像进行特征提取得到的；根据上述特征表示和上述各个特征模板，从上述人脸图像集合中确定出与上述重构图像指示为同一人的人脸图像。
[0082]
在本实施例的一些可选的实现方式中，上述特征提取网络是通过以下方式训练得
到的：获取样本集，其中，上述样本集的样本包括样本图像和与样本图像对应的类别标识，上述样本图像是将无透镜成像设备采集的图像进行重构得到的图像；将上述样本图像作为输入，将与输入的样本图像对应的类别标识作为期望输出，对待训练分类器进行训练，其中，上述待训练分类器包括用于提取图像特征的神经网络；将训练完成后的分类器中的神经网络作为上述特征提取网络。
[0083]
在本实施例的一些可选的实现方式中，上述生物特征包括以下之一：人脸、指纹、虹膜、掌纹。
[0084]
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当上述计算机程序在计算机中执行时，令计算机执行图1所描述的方法。
[0085]
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，其特征在于，上述存储器中存储有可执行代码，上述处理器执行上述可执行代码时，实现图1所描述的方法。
[0086]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0087]
本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0088]
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
[0089]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。