人脸隐私保护方法、装置、设备以及计算机可读存储介质

1.本发明实施例涉及计算机视觉技术领域，具体涉及一种人脸隐私保护方法、装置、设备以及计算机可读存储介质。


背景技术：

2.现代社交媒体的普及提供了生活便利和更加广泛的图像获取方式，但也极大地威胁到了个人隐私。因此，人脸图像隐私保护随着计算机视觉技术发展和普及日益受到重视，其目标是在上传和与未知第三方共享人脸图像之前删除敏感的私人信息，如人脸特征信息和身份信息等。
3.本技术的发明人在实施本发明实施例的过程中发现：现有的人脸隐私保护方法在控制隐私和图像效用之间难以达到平衡。


技术实现要素：

4.鉴于上述问题，本发明实施例提供了一种人脸隐私保护方法，用于解决现有技术中存在的控制隐私和图像效用之间难以达到平衡的问题。
5.根据本发明实施例的一个方面，提供了一种人脸隐私保护方法，所述方法包括：
6.对原始人脸数据进行平均化处理，得到平均后特征；
7.对所述平均后特征进行隐私保护处理，得到保护后特征；
8.根据所述平均后特征以及保护后特征确定待编辑特征；
9.将所述待编辑特征以及所述原始人脸数据输入预设的人脸编辑模型，得到处理后人脸数据；其中，所述人脸编辑模型用于根据所述待编辑特征对所述原始人脸数据选择性进行特征编辑。
10.通过根据平均后特征以及保护后特征确定待编辑特征，区别于相关技术中直接根据保护后特征对于人脸进行隐私保护的方式，能够实现更小程度地对人脸图像进行修改，从而最大程度地保证人脸图像的原始信息，实现人脸隐私保护和人脸图像效用之间的平衡。
11.在一种可选的方式中，所述方法还包括：
12.对所述平均后特征进行匿名化处理，得到匿名化特征；
13.对所述匿名化特征进行差分隐私保护，得到所述保护后特征。
14.通过将匿名化处理与差分隐私保护进行结合来对平均后特征进行隐私保护，能够提高隐私保护的精准度。
15.在一种可选的方式中，所述匿名化处理包括k匿名化处理；所述差分隐私保护包括基于指数机制的差分隐私保护。
16.通过将k匿名化处理以及基于指数机制的差分隐私保护，能够通过对k匿名化处理中的参数设定来实现人脸隐私保护程度的可控制和可度量。
17.在一种可选的方式中，所述方法还包括：
18.对所述原始人脸数据进行特征预测，得到保护后特征；
19.根据预设的人脸数据集进行随机降采样，得到子集特征空间；
20.从所述子集特征空间中选取所述保护后特征对应的k个最近邻；
21.根据所述k个最近邻确定所述平均后特征。
22.在本实施方式中，进行降采样以及选取k个最近邻等步骤可以理解为聚类分析。本实施方式通过对原始人脸数据进行预测以及聚类分析得到平均后特征，能够实现对于原始人脸数据的特征混淆，从而对原始人脸隐私进行保护。
23.在一种可选的方式中，所述方法还包括：
24.根据所述平均后特征和所述保护后特征之间的差异确定所述待编辑特征。
25.通过将平均后特征与保护后特征之间的差异作为待编辑特征，而不是直接将保护后特征确定为待编辑特征，能够在对人脸隐私进行保护的同时，对人脸进行更少量的编辑，从而保证保护后图片的效用和人脸隐私之间的平衡。
26.在一种可选的方式中，所述人脸编辑模型包括编码器、选择传输单元以及解码器；其中，所述编码器用于对所述原始人脸数据进行特征提取，得到多个原始编码特征，并将所述原始编码特征输出至所述选择传输单元；
27.所述选择传输单元用于根据所述待编辑特征从所述多个原始编码特征中选取原始编码特征进行变换，得到变换后特征，并将所述变换后特征以及未变换处理的原始编码特征输入所述解码器；
28.所述解码器用于对所述变换后特征和未变换处理的原始编码特征进行解码，得到所述处理后人脸数据。
29.通过编码器在不同分辨率层得到不同尺度的编码特征，同时采用选择传输单元来自适应地转换由待编辑特征所引导的编码器特征并与编码器-解码器结构结合，更好地保持了生成图像的质量和特征操作能力，实现人脸隐私保护的精确性和灵活性。
30.在一种可选的方式中，所述方法还包括：
31.根据所述处理后人脸数据和所述待编辑特征确定所述处理后人脸数据的特征损失；
32.对所述处理后人脸数据进行真实性判断，得到所述处理后人脸数据的对抗损失；
33.根据所述特征损失和/或所述对抗损失对所述处理后人脸数据进行优化。
34.通过确定的处理后人脸数据的特征损失以及对抗损失对处理后人脸数据进行优化，使得处理后人脸数据一方面能够实现有效的隐私保护，另一方面不会过于失真，能够满足人脸图像的效用需求。
35.根据本发明实施例的另一方面，提供了一种人脸隐私保护装置，包括：
36.第一处理模块，用于对原始人脸数据进行平均化处理，得到平均后特征；
37.保护模块，用于对所述平均后特征进行隐私保护处理，得到保护后特征；
38.确定模块，用于根据所述平均后特征以及保护后特征确定待编辑特征；
39.第二处理模块，用于将所述待编辑特征以及所述原始人脸数据输入预设的人脸编辑模型，得到处理后人脸数据；其中，所述人脸编辑模型用于根据所述待编辑特征对所述原始人脸数据选择性进行特征编辑。
40.根据本发明实施例的另一方面，提供了一种人脸隐私保护设备，包括：处理器、存
储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
41.所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如所述的人脸隐私保护方法的操作。
42.根据本发明实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使人脸隐私保护设备执行如所述的人脸隐私保护方法的操作。
43.本发明实施例通过对原始人脸数据进行平均化处理，得到平均后特征；对所述平均后特征进行隐私保护处理，得到保护后特征；根据所述平均后特征以及保护后特征确定待编辑特征；将所述待编辑特征以及所述原始人脸数据输入预设的人脸编辑模型，得到处理后人脸数据；其中，所述人脸编辑模型用于根据所述待编辑特征对所述原始人脸数据选择性进行特征编辑，能够更少量地对人脸图像进行修改，更多地保留人脸图像的原始信息，从而在保护人脸图像隐私的同时，更大程度地保证人脸图像的效用，由此实现人脸图像在去识别处理过程中的隐私保护与图像效用之间的平衡。
44.上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
45.附图仅用于示出实施方式，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
46.图1示出了本发明实施例提供的人脸隐私保护方法的流程示意图；
47.图2示出了本发明实施例提供的人脸隐私保护方法中的人脸编辑模型的结构示意图；
48.图3示出了本发明再一个实施例提供的人脸隐私保护方法的流程示意图；
49.图4示出了本发明实施例提供的人脸隐私保护方法中原始人脸数据与处理后人脸数据的对比示意图；
50.图5示出了本发明实施例提供的人脸隐私保护方法与现有技术的人脸隐私保护效果的对比示意图；
51.图6示出了本发明实施例提供的人脸隐私保护装置的结构示意图；
52.图7示出了本发明实施例提供的人脸隐私保护设备的结构示意图。
具体实施方式
53.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。
54.在进行本发明实施例的说明之前，先对现有技术以及其存在的问题进行进一步说明：
55.计算机视觉领域目前存在人脸隐私保护算法包括传统算法、基于生成对抗网络和
基于对抗干扰技术三种。传统算法例如模糊、像素化和对像素添加高斯噪声，由于简单易操作受到广泛应用，传统算法希望直接混淆人脸图像中的敏感信息，然而现有研究已经证明这些方法对人脸隐私保护效果有限，加密后人脸图像仍然能以很高的准确性被一些深度学习模型识别；先进的基于生成对抗网络进行隐私保护处理的算法显著提高了保护后人脸的图像质量和感知效果；使用对抗干扰技术进行人脸保护是指向待保护人脸添加对抗性噪声，可以在人眼无法感知的情况下有效扰动神经网络性能。
56.人脸图像隐私保护任务的挑战性首先体现在如何控制隐私和图像效用之间的平衡，生成高质量人脸去识别图像；其次在于隐私保护的度量及可解释性。虽然当前现有的基于生成对抗网络人脸去识别方法已被广泛用于隐藏敏感的人脸图像隐私信息，但它们未能在定性和定量方面控制隐私和效用之间的权衡。
57.综上，现有的人脸隐私保护存在未能在定性和定量方面控制隐私和效用之间达到平衡的问题。
58.在进行本发明实施例的说明之前，对相关名词进行解释：
59.knn(k nearest neighbor，k最近邻)，其核心思想：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
60.knn算法不仅可以用于分类，还可以用于回归。
61.knn可以包括如下步骤：
62.计算距离：给定测试对象，计算它与训练集中的每个对象的距离。
63.查找邻居：选定距离最近的k个训练对象，作为测试对象的近邻。
64.进行分类：根据这k个近邻归属的主要类别，来对测试对象分类。
65.knn类别判定可以采用一般投票法：少数服从多数，近邻中哪个类别的点最多就分为该类。
66.k匿名：要求发布的数据中存在一定数量(至少为k)的在准标识符上不可区分的记录,使攻击者不能判别出隐私信息所属的具体个体,从而保护了个人隐私,k-匿名通过参数k指定用户可承受的最大信息泄露风险。其中，标识符:一般是个体的唯一标识，比如说姓名、地址、电话等，这些内容需要在公开数据的时候删掉；准标识符：类似邮编、年龄、生日等不是唯一的，但是能帮助研究人员管理相关数据的标识。
67.k-匿名方法主要有两种：
68.(1)一种是删除对应的数据列，用*号代替；
69.(2)另外一种方法就是用概括的方法使之无法区分，比如说把年龄这个数字概括成一个年龄段。
70.差分隐私：两个数据集d和d
′
如果有且仅有一条记录x不同，则这两个数据集称为相邻数据集。对于相邻数据集，查询它们获得相同值的概率十分的接近。
71.定义：给定两个邻近数据集d和d’，若算法k，值域为range(m)，在d和d’上任意输出的结果o(o∈range(m))满足下面的不等式，则称算法k满足ε-差分隐私：
72.pr[k(d)＝o]≤exp(ε)*pr[k(d’)＝o]
[0073]
其中，pr[.]表示算法k输出结果为ο的概率，隐私预算ε控制隐私保护程度。ε值与隐私保护程度成反比，ε越小，需要添加的噪声越大，隐私保护程度也就越高。
[0074]
ε-差分隐私的实现机制主要包括：laplace机制，在查询结果里加入满足laplace分布的噪音，适用于数值型输出以及指数机制，在查询结果里用指数分布来调整概率，适用于非数值型输出。
[0075]
其中，指数机制具体定义如下：设有随机算法m，输入为数据集d，值域为range，输出值为实体对象r∈range(m)，
[0076]
q(d,r)为打分函数，
△
q为打分函数q的敏感度，
[0077]
如果算法以正比于的概率从range中选择并输出r，那么算法m满足ε-差分隐私。
[0078]
选择传输单元(selective transmission unit，stu)：用于选择性地转换编码器特征，使其与解码器特征兼容并互补，而不是通过skip connection直接将编码器与解码器特征连接起来。在gru(gate recurrent unit，门控循环单元)的结构上实现，差分标签控制下的编码特征的选择。实现对于任意图像特征编辑，而不是完整目标特征向量，只应考虑要更改的特征以保留源图像的更多信息。
[0079]
图1示出了本发明实施例提供的人脸隐私保护方法的流程图，该方法由计算机处理设备执行。该计算机处理设备可以包括手机、笔记本电脑等。如图1所示，该方法包括以下步骤：
[0080]
步骤10：对原始人脸数据进行平均化处理，得到平均后特征。
[0081]
在本发明的一个实施例中，原始人脸数据可以是需要进行隐私保护处理的人脸图像。平均化处理用于提取出原始人脸的平均特征，将该平均特征作为进行隐私保护处理的基础数据，从而一方面保留了原始人脸数据的特征信息，另一方面也无需直接对原始人脸数据进行隐私保护处理，进一步提高了人脸隐私的安全性。
[0082]
具体地，可以对原始人脸数据进行特征预测，用预测得到的特征作为平均后特征，其中，预测可以是根据人脸样本的大数据对原始人脸数据进行聚类分析，根据原始人脸数据所属类内的多个其他人脸样本的特征求平均，得到原始人脸数据的平均后特征。将待保护的人脸朝平均特征的方向进行编辑，可以确保在修改较小的同时隐藏身份信息，即在平均后特征能够表征原始人脸数据的特征信息从而可以被作为隐私保护处理的基础的同时，不直接暴露原始人脸数据中包括的原始特征，由此保证隐私保护的安全性和准确性。
[0083]
因此，在本发明的一个实施例中，步骤10还包括：
[0084]
步骤101：对所述原始人脸数据进行特征预测，得到保护后特征。
[0085]
在本发明的一个实施例中，人脸图像特征预测可以视作多标签分类问题，可使用预训练的人脸分类模型预测原始人脸数据对应的保护后特征，人脸分类模型对输入的原始人脸数据输出预设的多个关键特征的预测结果，其中，关键特征的数量可以是40个，人脸分类模型可以使用基于交叉熵损失的multilabelsoftmarginloss损失函数进行训练。
[0086]
步骤102：根据预设的人脸数据集进行随机降采样，得到子集特征空间。
[0087]
在本发明的一个实施例中，预设的概率分布可以是泊松分布，对人脸数据集进行降采样，实现降低特征的维度并保留有效信息，避免子集特征空间过拟合。其中，人脸数据集用于表征一般化的大众人脸数据，如可以包括多个用于参考的人脸样本数据，人脸样本数据可以是根据大数据技术对人脸数据库预处理得到的。通过对表征大众人脸的人脸数据
集进行降采样，得到能够混淆保护后特征的噪声特征，使得保护后特征更加接近平均的人脸特征，更加大众化，由此实现人脸隐私保护的目的。
[0088]
步骤103：从所述子集特征空间中选取所述保护后特征对应的k个最近邻。
[0089]
在本发明的一个实施例中，根据通过计算保护后特征与子集特征空间内的各个特征之间的距离筛选出k个最近邻，其中，距离可以包括欧氏距离。
[0090]
步骤104：根据所述k个最近邻确定所述平均后特征。
[0091]
在本发明的一个实施例中，为了限制多标签分类问题的全局敏感性，使后续的随机性的噪声添加更加高效，可以在τ近似机制下由k个最近邻进行投票，得到平均后特征。可选地，还可以计算给定k个最近邻的平均属性作为所述平均后特征。
[0092]
步骤20：对所述平均后特征进行隐私保护处理，得到保护后特征。
[0093]
在本发明的一个实施例中，隐私保护用于在平均后特征中引入随机性的噪声，以对其进行干扰和混淆，从而达到无法直接从保护后特征中得到原始的人脸特征的目的，由此保护人脸隐私。在进行隐私保护处理时，为了实现隐私保护的保护程度的可控制和可度量，可以基于差分隐私计算进行隐私保护处理，通过调节差分隐私计算中的计算参数来控制隐私保护程度。进一步地，还可以在差分隐私保护之前先进行匿名化处理，以提高隐私保护的精准度。并且通过对匿名化处理的参数进行设置，来进一步地控制隐私保护的程度。
[0094]
因此，在本发明的一个实施例中，步骤20还包括：
[0095]
步骤201：对所述平均后特征进行匿名化处理，得到匿名化特征。
[0096]
在本发明的一个实施例中，所述匿名化处理包括k匿名化处理。根据对k匿名化处理中的参数k进行设定，实现人脸保护程度的可控制和可度量。k匿名化理论通过对数据集进行概括和隐匿两步操作发布精度较低的数据保护原始数据信息，该理论基于准标识符假设，即数据持有者可以识别出可能出现在外部数据中的特征，要求每条记录至少与原始数据集中k-1条其他记录不可区分。“准标识符”是指可以和外部表连接来识别个体的特征集，人脸数据中可以通过人脸特征识别和关联身份信息，因此在本算法中将“准标识符”定义为人脸特征，其包含的语义特征定义为人脸五官特征和关联身份特征。
[0097]
步骤202：对所述匿名化特征进行差分隐私保护，得到所述保护后特征。
[0098]
在本发明的一个实施例中，考虑到k匿名化可以提供一定程度的隐私保证，同时也存在一定的局限性，如无法抵抗同质化攻击，即如果分组内敏感特征值完全相同则该理论失效；同时k匿名化理论得到相对确定性结果，攻击者根据已有背景知识可以以较高概率获取到隐私信息。针对这些匿名化处理进行隐私保护处理所存在的缺陷，本发明的一个实施例中，进一步对匿名化特征进行差分隐私计算处理，差分隐私针对于差分攻击保护用户隐私，旨在提供一种当从统计数据库查询时，最大化数据查询准确性和同时最大限度减少识别其记录的可能性。通过将匿名化处理与差分隐私保护进行结合来对平均后特征进行隐私保护处理，得到保护程度更高的保护后特征。
[0099]
其中，考虑到根据噪声分布的不同，差分隐私保护又可进一步划分为拉普拉斯机制、指数机制和高斯机制。由于在人脸图像中我们使用布尔类型数据表示具有或不具有某种属性特征，因此可以采用基于指数机制的差分隐私保护在匿名化特征的基础上进一步隐私保证。
[0100]
步骤30：根据所述平均后特征以及保护后特征确定待编辑特征。
[0101]
在本发明的一个实施例中，待编辑特征用于表征原始人脸数据中需要进行编辑处理的特征，如发型、肤色、五官等特征维度下的人脸特征。通过将平均后特征以及保护后特征进行比较，得到两者之间的差异，将该差异作为待编辑特征，由此根据待编辑特征对原始人脸数据选择特定的特征针对性地进行编辑处理，使得原始人脸数据向保护后特征更加靠近，实现隐私保护的目的，同时无需直接根据保护后特征进行人脸保护处理，可以增强特征的灵活性并简化后续人脸编辑模型的训练过程。
[0102]
因此，在本发明的一个实施例中，步骤30还包括：
[0103]
步骤301：根据所述平均后特征和所述保护后特征之间的差异确定所述待编辑特征。
[0104]
在本发明的一个实施例中，可以计算平均后特征与保护后特征之间的差异特征，将差异特征确定为待编辑特征。
[0105]
步骤40：将所述待编辑特征以及所述原始人脸数据输入预设的人脸编辑模型，得到处理后人脸数据；其中，所述人脸编辑模型用于根据所述待编辑特征对所述原始人脸数据选择性进行特征编辑。
[0106]
在本发明的一个实施例中，只需要根据表征编辑后理想人脸与原始人脸数据之间差距的待编辑特征对原始人脸数据中的对应特征下的特征进行编辑处理即可实现隐私保护，从而避免直接根据保护后特征对原始人脸数据进行处理的任务量大的问题，提高人脸编辑的针对性和灵活性。因此可以将待编辑特征以及所述原始人脸数据共同输入人脸编辑模型，使得人脸编辑模型可以对原始人脸数据中的待编辑特征所对应特征下的特征针对性进行编辑处理，以使得处理后人脸数据在这些特征下的特征值更加接近保护后特征，由此处理后人脸数据中的人脸特征得到了隐私保护。同时不直接根据保护后特征对原始人脸数据进行处理，以最大程度保留原图像信息，增强人脸特征的操作能力。
[0107]
而为了实现人脸编辑模型对于原始人脸数据的选择性特征处理，可以在人脸编辑模型中设置输入层、输出层以及用于选择性连接输入层和输出层的多个中间层，由此通过中间层的选择性连接，使得部分特征被选择传输到输出层，实现对特征选择性处理的目的。其中，选择传输单元实现选择性转换编码器特征，使其与解码器特征兼容并互补，而不是通过跳跃连接直接将编码器与解码器特征连接起来，提高特征编辑能力及图像质量。解码器解码图像特征，并结合来自多尺度特征融合模块的各个分辨率下的融合特征，最终合成具有真实度与待编辑特征的处理后人脸图像数据。
[0108]
因此，在本发明的再一个实施例中，所述人脸编辑模型包括编码器、选择传输单元以及解码器；其中，所述编码器用于对所述原始人脸数据进行特征提取，得到多个原始编码特征，并将所述原始编码特征输出至所述选择传输单元；
[0109]
所述选择传输单元用于根据所述待编辑特征从所述多个原始编码特征中选取原始编码特征进行变换，得到变换后特征，并将所述变换后特征以及未变换处理的原始编码特征输入所述解码器；
[0110]
所述解码器用于对所述变换后特征和未变换处理的原始编码特征进行解码，得到所述处理后人脸数据。
[0111]
在本发明的一个实施例中，通过编码器对原始人脸数据进行特征提取，降低数据维度，便于后续对于特征直接进行选择性编辑。通过选择性传输单元对于编码器和解码器
之间选择性进行连接，实现根据所述待编辑特征从所述多个原始编码特征中选取原始编码特征进行变换，得到变换后特征，并将所述变换后特征以及未变换处理的原始编码特征输入所述解码器，最后通过解码器对其接收到的特征进行解码，从而得到处理后人脸特征。具体地，编码器对输入的原始人脸数据进行特征抽取，得到不同分辨率下的原始编码特征i表示编码器的层标号，i∈n。随后，选择传输单元代替跳过连接在前n-1层将编码器与解码器直接串联，根据待编辑特征选择性地转换编码器功能使其与解码器功能兼容并互补，由此，人脸编辑模型能够通过编码器在不同分辨率层得到不同尺度的编码特征，同时采用选择传输单元来自适应地转换由待编辑特征所引导的编码器特征并与编码器-解码器结构结合，更好地保持了生成图像的质量和特征操作能力。
[0112]
具体地，如图2所示，人脸编辑模型的工作过程可以如下：首先，利用编码器对输入的原始人脸数据进行特征抽取，得到不同分辨率下的编码特征i表示编码器的层标号，i∈n。随后，利用选择传输单元代替跳过连接在前n-1层将编码器与解码器直接串联，根据待编辑特征选择性地转换编码器功能使其与解码器功能兼容并互补，s
j 1
表示第j 1层的隐藏状态。使用转置卷积对隐藏状态s
j 1
进行升采样，此后采用gru的数学模型来更新隐藏状态和变换编码器功能j表示编码器的层标号，j∈n-1。最后，将第n层编码特征和变换后的前n-1层编码特征输入解码器，最终解码合成符合待编辑特征的处理后人脸数据。其中，人脸编辑模型中第n层指的是编码器最后一层，与所使用的编码器的网络结构有关。例如，第n层为第五层，相应的，前n-1层即为第一层到第四层。
[0113]
在本发明的一个实施例中，还可以对处理后人脸数据进行分类的特征损失以及真实性评估，根据上述两项评估结果中的至少一个对处理后人脸数据进行进一步优化，使其更接近于待编辑特征所表征的编辑后的理想方向，和/或更为真实可信，因此，在步骤40之后还可以包括：
[0114]
步骤401：根据所述处理后人脸数据和所述待编辑特征确定所述处理后人脸数据的特征损失。
[0115]
在本发明的一个实施例中，首先，对所述处理后人脸数据进行特征预测，得到处理后特征。其中，可选的，为了保持特征预测标准的一致性，提高特征损失计算的准确率，可以直接通过前述步骤101中的人脸分类模型来进行特征预测。人脸分类模型预测处理后人脸数据对应的处理后人脸特征，根据处理后人脸计算出分类时的特征损失，从而对人脸编辑模型编辑的人脸特征进行优化，以使其更符合待编辑特征。具体地，人脸分类模型为基于条件满足程度的判别器。确定所述处理后特征和所述待编辑特征之间的交叉熵，用交叉熵来表征所述处理后人脸的特征损失。
[0116]
步骤402：对所述处理后人脸数据进行真实性判断，得到所述处理后人脸数据的对抗损失。
[0117]
在本发明的一个实施例中，可以通过人脸判别模型对处理后人脸数据进行真假人脸的判别和打分，计算出对抗性损失，从而对人脸编辑模型所合成的处理后人脸数据的质量进行优化，以更接近真实人脸图像。其中，人脸判别模型可以采用瓦瑟斯坦距离作为对抗损失。可以使用梯度惩罚的稳定训练策略来稳定人脸判别模型的训练过程。可选地，人脸判别模型可以与前述的人脸分类模型共享卷积层权重。
[0118]
步骤403：根据所述特征损失和/或所述对抗损失对所述处理后人脸数据进行优化。
[0119]
在本发明的一个实施例中，以特征损失和/或对抗损失更小为优化方向，对处理后人脸进行迭代式优化。
[0120]
在本发明的再一个实施例中，如图3所示，首先通过人脸分类模型预测原始人脸数据的平均后特征。再根据差分隐私加上k匿名化处理算法对保护后特征进行隐私保护处理，得到保护后特征，最后计算平均后特征和保护后特征的差异特征作为待编辑特征。再通过人脸编辑模型根据待编辑的原始人脸数据和保护后人脸待编辑特征，对原始人脸数据进行端到端的特征转换，完成人脸特征编辑，合成符合待编辑特征的处理后人脸数据。本发明实施例通过将人脸编辑模型和人脸分类模型结合使用，实现训练与推理的过程，并且将差分隐私和k匿名化处理进行结合，从而人脸分类模型针对原始人脸数据所输出的平均后特征进行隐私保护处理得到保护后特征，通过将保护后特征作为特征编辑引导和控制条件，连同原始人脸数据一起训练人脸编辑模型学习从原始人脸数据到待编辑特征的多域映射，以合成得到处理后人脸数据，由此实现针对性地人脸敏感特征的编辑与保护。
[0121]
其中，人脸编辑模型将保护后特征与平均后特征的差异特征，与待编辑的原始人脸数据一起作为输入，合成符合目标人脸特征的图片，以增强特征的灵活转换并简化训练过程。具体地，人脸编辑模型包括：编码器、选择传输单元和解码器；其中：编码器对输入的待编辑的原始人脸数据进行特征抽取，得到不同分辨率下的编码特征i表示编码器的层标号，i∈n；选择传输单元代替跳过连接在前n-1层将编码器与解码器直接串联，根据需要编辑的人脸特征选择性转换编码器功能使其与解码器功能兼容并互补。利用编码器，对输入的原始人脸数据进行特征抽取，得到不同分辨率的编码特征fi中。
[0122]
最后再根据生成的处理后人脸数据的分类损失以及对抗性损失对其进行优化，具体地，人脸分类模型用于预测得到处理后人脸数据的人脸特征，根据待编辑特征计算出分类损失，从而对人脸编辑模型编辑的人脸特征进行优化，以更符合待编辑特征。
[0123]
其中，人脸分类模型为基于条件满足程度的判别器，与人脸判别模型共享卷积层权重，通过生成图像保护后特征与待编辑特征交叉熵来计算图像与条件的匹配损失作为特征损失。人脸判别模型用于对处理后人脸数据进行真假打分，计算出对抗损失，从而对人脸编辑模型合成的处理后人脸数据质量进行优化，以更接近真实人脸图像。其中，人脸判别模型采用瓦瑟斯坦距离作为对抗损失。使用对人脸判别模型进行梯度惩罚的稳定训练策略来稳定人脸判别模型的训练过程。
[0124]
具体地，针对上述各模型的训练，可以使用resnet-50网络训练人脸分类模型，以将其作为在预测平均特征中所使用的特征提取器网络，采用adam优化器，批量大小设为128个样本，采用multilabelsoftmarginloss作为损失函数，该函数为基于最大熵优化多标签损失。可以设置基本学习率为4
×
10-4
，通过多项式衰减到5
×
10-4
，从全连接层中提取2048维矢量作为深度特征。在训练人脸编辑模型和人脸判别模型时，将学习率初始化设为2
×
10-4
，在100轮之后将学习率降低到2
×
10-5
进行微调。
[0125]
如图3所示，本发明实施例通过人脸分类模型预测出原始人脸数据的平均后特征，并将差分隐私保护以及k匿名化处理进行结合来对平均后特征进行隐私保护处理，得到隐私保护后人脸，再根据平均后特征以及保护后特征之间的差异确定待编辑特征，最后通过
人脸编辑模型根据待编辑特征针对性地对原始人脸数据进行端到端的特征转换，完成人脸特征编辑编辑，得到处理后人脸数据。一方面，通过根据表征原始人脸数据的平均属性的平均后特征以及对其进行隐私保护后的保护后特征之间的差异来对原始人脸数据具有针对性地进行特征编辑，能够实现更小程度的对人脸图像的修改，从而保证修改后的人脸图像的效用。另一方面，在进行隐私保护时，通过将传统的隐私保护k匿名性、差分隐私理论与深度学习人脸编辑相结合，在实现人脸去识别的基础上实现了度量隐私，并基于人脸特征的不可区分实现身份信息去识别，实现了人脸隐私保护程度的可控制及可度量。
[0126]
本发明实施例中对的原始人脸数据的处理后效果可以参考图4以及图5，其中，图4中成对展示了本实施例生成的保护结果，其中每对图像左图为原图，右图为保护后图像，可以看出本发明实施例所提供的方法可以保留与原图一定的相似性并生成自然逼真的结果。
[0127]
图5中选择相同的源图像作为输入，来观察各种方法的生成结果，其中从左向右依次为传统算法(模糊、高斯噪声、像素化)和基于深度学习的人脸图像隐私保护算法(anonymousnet、deepprivacy、ciagan)，最右侧为本实施例的结果。可以发现本发明实施例中的方法可以根据待编辑特征成功地转换源图像，并且伪像和编辑痕迹更少。
[0128]
本发明实施例通过对原始人脸数据进行平均化处理，得到平均后特征；对所述平均后特征进行隐私保护处理，得到保护后特征；根据所述平均后特征以及保护后特征确定待编辑特征；将所述待编辑特征以及所述原始人脸数据输入预设的人脸编辑模型，得到处理后人脸数据；其中，所述人脸编辑模型用于根据所述待编辑特征对所述原始人脸数据选择性进行特征编辑，能够更少量地对人脸图像进行修改，更多地保留人脸图像的原始信息，从而在保护人脸图像隐私的同时，更大程度地保证人脸图像的效用，由此实现人脸图像在去识别处理过程中的隐私保护与图像效用之间的平衡。
[0129]
图6示出了本发明实施例提供的人脸隐私保护装置的结构示意图。如图6所示，该装置50包括：第一处理模块501、保护模块502和确定模块503、第二处理模块504。
[0130]
其中，第一处理模块501，用于对原始人脸数据进行平均化处理，得到平均后特征；
[0131]
保护模块502，用于对所述平均后特征进行隐私保护处理，得到保护后特征；
[0132]
确定模块503，用于根据所述平均后特征以及保护后特征确定待编辑特征；
[0133]
第二处理模块504，用于将所述待编辑特征以及所述原始人脸数据输入预设的人脸编辑模型，得到处理后人脸数据；其中，所述人脸编辑模型用于根据所述待编辑特征对所述原始人脸数据选择性进行特征编辑。
[0134]
本发明实施例的人脸隐私保护装置的操作过程与前述发明实施例大致相同，不再赘述。
[0135]
本发明实施例的人脸隐私保护装置通过对原始人脸数据进行平均化处理，得到平均后特征；对所述平均后特征进行隐私保护处理，得到保护后特征；根据所述平均后特征以及保护后特征确定待编辑特征；将所述待编辑特征以及所述原始人脸数据输入预设的人脸编辑模型，得到处理后人脸数据；其中，所述人脸编辑模型用于根据所述待编辑特征对所述原始人脸数据选择性进行特征编辑，能够更少量地对人脸图像进行修改，更多地保留人脸图像的原始信息，从而在保护人脸图像隐私的同时，更大程度地保证人脸图像的效用，由此实现人脸图像在去识别处理过程中的隐私保护与图像效用之间的平衡。
[0136]
图7示出了本发明实施例提供的人脸隐私保护设备的结构示意图，本发明具体实
施例并不对人脸隐私保护设备的具体实现做限定。
[0137]
如图7所示，该人脸隐私保护设备可以包括：处理器(processor)602、通信接口(communications interface)604、存储器(memory)606、以及通信总线608。
[0138]
其中：处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。通信接口604，用于与其它设备比如客户端或其它服务器等的网元通信。处理器602，用于执行程序610，具体可以执行上述用于人脸隐私保护方法实施例中的相关步骤。
[0139]
具体地，程序610可以包括程序代码，该程序代码包括计算机可执行指令。
[0140]
处理器602可能是中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。人脸隐私保护设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
[0141]
存储器606，用于存放程序610。存储器606可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0142]
程序610具体可以被处理器602调用使人脸隐私保护设备执行以下操作：
[0143]
对原始人脸数据进行平均化处理，得到平均后特征；
[0144]
对所述平均后特征进行隐私保护处理，得到保护后特征；
[0145]
根据所述平均后特征以及保护后特征确定待编辑特征；
[0146]
将所述待编辑特征以及所述原始人脸数据输入预设的人脸编辑模型，得到处理后人脸数据；其中，所述人脸编辑模型用于根据所述待编辑特征对所述原始人脸数据选择性进行特征编辑。
[0147]
本发明实施例的人脸隐私保护设备的操作过程与前述发明实施例大致相同，不再赘述。
[0148]
本发明实施例的人脸隐私保护设备通过对原始人脸数据进行平均化处理，得到平均后特征；对所述平均后特征进行隐私保护处理，得到保护后特征；根据所述平均后特征以及保护后特征确定待编辑特征；将所述待编辑特征以及所述原始人脸数据输入预设的人脸编辑模型，得到处理后人脸数据；其中，所述人脸编辑模型用于根据所述待编辑特征对所述原始人脸数据选择性进行特征编辑，能够更少量地对人脸图像进行修改，更多地保留人脸图像的原始信息，从而在保护人脸图像隐私的同时，更大程度地保证人脸图像的效用，由此实现人脸图像在去识别处理过程中的隐私保护与图像效用之间的平衡。
[0149]
本发明实施例提供了一种计算机可读存储介质，所述存储介质存储有至少一可执行指令，该可执行指令在人脸隐私保护设备上运行时，使得所述人脸隐私保护设备执行上述任意方法实施例中的人脸隐私保护方法。
[0150]
可执行指令具体可以用于使得人脸隐私保护设备执行以下操作：
[0151]
对原始人脸数据进行平均化处理，得到平均后特征；
[0152]
对所述平均后特征进行隐私保护处理，得到保护后特征；
[0153]
根据所述平均后特征以及保护后特征确定待编辑特征；
[0154]
将所述待编辑特征以及所述原始人脸数据输入预设的人脸编辑模型，得到处理后人脸数据；其中，所述人脸编辑模型用于根据所述待编辑特征对所述原始人脸数据选择性进行特征编辑。
[0155]
本发明实施例的计算机可读存储介质所存储的可执行指令的操作过程与前述发明实施例大致相同，不再赘述。
[0156]
本发明实施例的计算机可读存储介质所存储的可执行指令通过对原始人脸数据进行平均化处理，得到平均后特征；对所述平均后特征进行隐私保护处理，得到保护后特征；根据所述平均后特征以及保护后特征确定待编辑特征；将所述待编辑特征以及所述原始人脸数据输入预设的人脸编辑模型，得到处理后人脸数据；其中，所述人脸编辑模型用于根据所述待编辑特征对所述原始人脸数据选择性进行特征编辑，能够更少量地对人脸图像进行修改，更多地保留人脸图像的原始信息，从而在保护人脸图像隐私的同时，更大程度地保证人脸图像的效用，由此实现人脸图像在去识别处理过程中的隐私保护与图像效用之间的平衡。
[0157]
本发明实施例提供一种人脸隐私保护装置，用于执行上述人脸隐私保护方法。
[0158]
本发明实施例提供了一种计算机程序，所述计算机程序可被处理器调用使人脸隐私保护设备执行上述任意方法实施例中的人脸隐私保护方法。
[0159]
本发明实施例提供了一种计算机程序产品，计算机程序产品包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令在计算机上运行时，使得所述计算机执行上述任意方法实施例中的人脸隐私保护方法。
[0160]
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
[0161]
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0162]
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。
[0163]
本领域技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0164]
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的
元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。