一种深度学习数据隐私保护方法、系统、设备和介质与流程

1.本公开涉及深度学习模型领域，具体涉及一种深度学习数据隐私保护方法、系统、设备和介质。


背景技术：

2.近些年由于深度学习的理论创新和各领域的深入研究，众多基于深度学习技术的商业应用涉及到各行各业，创造了不可估量的价值。为了加快深度学习的研究和应用，众多企业或研究机构公开已构建的深度学习模型。深度学习模型的构建需依赖大量的训练数据，而训练数据可能涉及到个人隐私和商业机密。因此被公开的深度学习模型是否会泄露训练数据引起了人们的注意。近些年，已有相关研究工作证实了公开的深度学习模型在一些场景下存在泄露训练数据的风险。如模型反演攻击，能够通过引入生成网络和损失函数的正则化手段，来构建出指定标签的训练数据代表，这类数据会在一定程度上泄露出训练数据的分布信息，甚至在人脸识别模型上直接获取到训练数据涉及的个人隐私照片；又如模型更新攻击，公开的深度学习模型可能需要随着训练数据集的分布偏移或扩充而持续得到更新，而这种模型参数更新会被逆向出用于更新模型的新数据集信息。由于深度学习模型的数据泄露问题的存在，不但会暴露个人隐私和商业机密，而且可能会引起法律问题。因此需要一种有效的防御机制来缓解上述存在的数据泄露问题。
3.为了解决深度学习模型中存在数据泄露问题，目前存在着一些主流的防御措施，如差分隐私机器学习，训练数据加噪等。关于差分隐私机器学习，其主流做法是通过在参数上加噪来限制模型输出的差异性，防止差分攻击，但这些保护措施在模型反演攻击和模型更新攻击中存在着较难调节的权衡问题，即模型可用性和数据隐私保护强度之间的权衡问题，其为了尽可能保护数据泄露，可能造成的模型性能（如准确率）的下降幅度有时是难以接受的，另外缺乏一定的可理解性，此可理解性问题指的是引入差分隐私后，较难以一种可视化的方式来展现哪些训练数据信息被保护，如图片中的人脸还是背景得到了更多的隐私保护，因为在图像数据或者其他数据中，不同部分存在的隐私考虑是不同的，若能提供此种可理解性将有助于数据提供者把控隐私泄露的直接风险；关于训练数据加噪，如专利“一种基于医疗影像的隐私保护方法[p]. 郭丽红,沙爱军,宋昊,董滕腾,王嘉诚. 中国专利:cn113889232a，2022-01-04”，其将原始训练图像的个人隐私区域进行信息提取，然后借助于logistic混沌系统迭代产生的复杂序列，对提取的区域执行像素值变换,最后将所有文本区域的变换结果嵌入到原图像中，再整体加密后对图像置乱，通过这种加密形式来保护个人隐私区域。这种方式存在的问题是，经过加噪转换后的训练数据会对深度学习模型的构建产生不可控的影响，如由于屏蔽了过多的有效信息，造成模型可用性下降等。
[0004]
因此，针对上述问题和对应方案存在的缺陷。本公开提出的防御方案由于是对训练数据的进行个性化加噪，一能满足可理解性要求，如转换后的数据可直接可视化，便于把控和审查隐私保护情况；二能通过引入一个隐私重要性矩阵来指定训练数据中的重点保护区域来实现隐私保护强度的差异化。本公开提出的防御方案中的噪声生成器是通过深度学
习技术来构建的，此噪声生成器的损失函数中就引入了模型性能的考虑，因此能够实现在最大化训练数据所添加的噪声强度的同时，最小化模型性能差异，通过此种“博弈式”的构建方法，能够借助深度学习的强大表达能力来自动化地均衡模型可用性和数据保护强度之间的权衡问题。


技术实现要素：

[0005]
本公开提供一种深度学习数据隐私保护方法、系统、设备和介质，能够解决背景技术中提到的问题。为解决上述技术问题，本公开提供如下技术方案：作为本公开实施例的一个方面，提供一种深度学习数据隐私保护方法，包括如下步骤：加载原始训练数据集和深度学习模型；为原始训练数据集中的隐私信息赋予隐私保护权重，构建隐私重要性矩阵；在所述训练数据中配置全局噪声强度和生成器参数以构建噪声生成器；根据隐私重要性矩阵构建的损失函数训练所述噪声生成器；将原始训练数据集中的所有原始训练数据通过噪声生成器进行加噪生成加噪数据集；使用加噪数据集对所述深度学习模型进行训练以形成具有隐私保护特性的深度学习模型。可选地，根据隐私重要性矩阵构建的损失函数训练所述噪声生成器的具体步骤为：选取所述原始训练数据集中的一组原始训练数据特征；根据损失函数计算噪声生成器的损失值；计算所述损失值对噪声生成器的参数的导数；根据所述导数更新噪声生成器的参数；重复上述步骤，直到达到指定的迭代次数。
[0006]
可选地，所述损失函数如下式：，其中，f为用原始训练数据集训练而成的深度学习模型，x为所选训练数据集的特征，f(x)指的是输入x得到模型输出并经过softmax函数的结果，g为用参数构成的噪声生成器，表示依据输入x所生成的数据噪声，为全局噪声强度，为隐私重要性矩阵。
[0007]
可选地，在使用加噪数据集对所述深度学习模型进行训练之前，还包括如下步骤：使用原始训练数据对深度学习模型进行训练。
[0008]
可选地，在将原始训练数据集中的所有原始训练数据通过噪声生成器进行加噪生成加噪数据集之后，还包括如下步骤：将所述加噪数据集中的加噪数据进行可视化，根据加噪数据的隐私保护情况调节隐私重要性矩阵和/或噪声生成器的参数。
[0009]
可选地，构建隐私重要性矩阵的具体步骤如下：通过标记全局重点隐私保护的原始训练数据的特征或属性中的权重来构建隐私重要性矩阵；或，手动对原始训练数据中的部分重点区域赋予隐私保护权重，来构建出相应的隐私重要性矩阵。
[0010]
作为本公开实施例的另一个方面，提供一种深度学习数据隐私保护系统，包括：资源加载模块，加载原始训练数据集和深度学习模型；隐私重要性配置模块，为原始训练数据集中的隐私信息赋予隐私保护权重，构建隐私重要性矩阵；噪声生成器构建模块，在所述训练数据中配置全局噪声强度和生成器参数以构建噪声生成器；根据隐私重要性矩阵构建的损失函数训练所述噪声生成器；数据转换模块，将原始训练数据集中的所有原始训练数据通过噪声生成器进行加噪生成加噪数据集；模型构建模块，使用加噪数据集对所述深度学习模型进行训练以形成具有隐私保护特性的深度学习模型。
[0011]
可选地，所述系统还包括数据可视化模块，所述数据可视化模块用于将加噪数据集中的加噪数据进行可视化，根据加噪数据的隐私保护情况调节隐私重要性矩阵和/或噪声生成器的参数。
[0012]
作为本公开实施例的另一个方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的深度学习数据隐私保护方法。
[0013]
作为本公开实施例的另一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述的深度学习数据隐私保护方法的步骤。
[0014]
本公开可以通过调节隐私重要性矩阵和噪声强度，对训练数据集的不同信息赋予个性化的隐私保护强度，实现了在原始数据集上的个性化加噪功能；同时由于在原始数据上进行个性化加噪，可以满足很好地可视化，使用者可根据可视化结果来查看隐私保护情况并作出调整；本公开构建了噪声生成器的目标函数和参数训练方法，其中实现了最大化训练数据所添加的噪声强度的同时，最小化模型性能差异，利用深度学习的强大表达能力，自动地均衡模型可行性和隐私保护强度。具体的技术效果如下：1）均衡模型可用性和隐私保护强度目前一些防御机制主要通过手动来调节噪声强度，在一定程度上往往难以做到很好地兼顾模型性能。本公开提出的噪声生成器的构建方法可以实现模型可用性和隐私保护强度之间的均衡。
[0015]
2）满足对数据的差异化隐私保护策略本公开提出了一个隐私重要性矩阵，使用者可以通过对数据的重点隐私保护特征或属性赋予更高的隐私权重，并在隐私重要性矩阵得以体现，从而影响噪声生成器所产生的噪声在指定的特征或属性处赋予差异化的隐私保护强度。
[0016]
3）满足对数据的实际隐私保护情况进行监管
本公开的噪声生成器主要负责根据不同的输入数据产生相应的噪声矩阵，再加上输入数据构成噪声数据，因此噪声数据可以直接与输入数据进行对比，便于使用者查看到输入数据被改变的情况，判断是否满足要求以做出新的调整。
附图说明
[0017]
图1为根据本公开实施例1中的深度学习数据隐私保护方法的流程图；图2为根据本公开实施例1中的步骤s30的具体实现流程图；图3为深度学习数据隐私保护系统示意框图。
具体实施方式
[0018]
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
[0019]
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
[0020]
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
[0021]
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
[0022]
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。
[0023]
此外，本公开还提供了深度学习数据隐私保护系统、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种深度学习数据隐私保护方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
[0024]
深度学习数据隐私保护方法的执行主体可以是计算机或者其他能够实现深度学习数据隐私保护的装置，例如，方法可以由终端设备或服务器或其它处理设备执行，其中，终端设备可以为用户设备（user equipment，ue）、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理（personal digital assistant，pda）、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该深度学习数据隐私保护方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
[0025]
实施例1作为本公开实施例的一个方面，提供一种深度学习数据隐私保护方法，如图1所示，包括如下步骤：s10、加载原始训练数据集和深度学习模型；s20、为原始训练数据集中的隐私信息赋予隐私保护权重，构建隐私重要性矩阵；s30、在所述训练数据中配置全局噪声强度和生成器参数以构建噪声生成器；根据
隐私重要性矩阵构建的损失函数训练所述噪声生成器；s40、将原始训练数据集中的所有原始训练数据通过噪声生成器进行加噪生成加噪数据集；s60、使用加噪数据集对所述深度学习模型进行训练以形成具有隐私保护特性的深度学习模型。
[0026]
基于上述配置本公开实施例通过调节隐私重要性矩阵和噪声强度，对训练数据集的不同信息赋予个性化的隐私保护强度，实现了在原始数据集上的个性化加噪功能，可以实现模型可用性和隐私保护强度之间的均衡；提出了一个隐私重要性矩阵，使用者可以通过对数据的重点隐私保护特征或属性赋予更高的隐私权重，并在隐私重要性矩阵得以体现，从而影响噪声生成器所产生的噪声在指定的特征或属性处赋予差异化的隐私保护强度。
[0027]
下面分别对本公开实施例的各步骤进行详细说明。 s10、加载原始训练数据集和深度学习模型；其中，所述加载为系统资源的加载，即负责将用于构建深度学习模型的所需资源加载到系统中，包括原始的训练数据集，深度学习模型的结构和噪声生成器的结构。并完成原始训练数据集的预处理，模型和生成器的参数初始化。
[0028]
s20、为原始训练数据集中的隐私信息赋予隐私保护权重，构建隐私重要性矩阵；其中，所构成的隐私重要性矩阵的所有元素大于等于0，且总和为1。可包括两种配置方式：使用者可以通过对数据的重点隐私保护特征或属性赋予更高的隐私权重，并在隐私重要性矩阵得以体现，从而影响噪声生成器所产生的噪声在指定的特征或属性处赋予差异化的隐私保护强度。
[0029]
在一些实施例中，可采用自动配置的方式：通过指定全局重点隐私保护的训练数据的特征或属性，该功能负责自动地将相关特征或属性标记上更高的权重，并构建出相应的隐私重要性矩阵。
[0030]
在一些实施例中可采用手动配置方式：使用者手动对数据中的部分重点区域赋予更高的隐私保护权重，并构建出相应的隐私重要性矩阵。
[0031]
s30、在所述训练数据中配置全局噪声强度和生成器参数以构建噪声生成器；根据隐私重要性矩阵构建的损失函数训练所述噪声生成器；本实施例中，构建所述噪声生成器要对噪声生成器进行资源配置步骤，例如，负责提供生成器训练时所需的超参数的配置选项，其中配置可以包括：全局噪声强度，迭代次数t，参数更新率λ等。
[0032]
本实施例中，还包括对噪声生成器的训练步骤：生成器训练目标是最小化模型性能差异的同时尽可能地最大化附加在训练数据上的噪声强度。其中模型性能差异指的是用原始训练数据训练的模型性能（如准确率）与用加噪后的训练数据训练的模型性能的差异。所构建的生成器目标函数（又称损失函数）可见公式（1）所示。
[0033]
公式（1）中，f为用原始训练数据集训练而成的深度学习模型，x为所选训练数据集的特征，f(x)指的是输入x得到模型输出并经过softmax函数的结果，g为用参数构成的噪声生成器，表示依据输入x所生成的数据噪声，为全局噪声强度，为隐私重要性矩阵。第一项的作用是通过减小加噪数据与原始数据x的模型输出差异来最小化模型性能差异，第二项的目的是最大化噪声强度。
[0034]
在一些实施例中，如图2所示，步骤s30中的根据隐私重要性矩阵构建的损失函数训练所述噪声生成器的具体步骤为：s301：随机选取一组原始的训练数据特征x；s302：计算噪声生成器的损失值；s303：计算损失值对噪声生成器的参数的导数；s304：更新噪声生成器的参数：；s305：重复步骤s301，s302，s303，s304，直到满足指定的迭代次数t，从而完成噪声生成器的构建。
[0035]
s40、将原始训练数据集中的所有原始训练数据通过噪声生成器进行加噪生成加噪数据集；其中，将所有原始训练数据x经噪声生成器生成对应的噪声矩阵，并构成对应的加噪数据x 。
[0036]
s60、使用加噪数据集对所述深度学习模型进行训练以形成具有隐私保护特性的深度学习模型。
[0037]
其中，使用s40中的加噪数据集中的加噪数据对深度学习模型进行训练，直至训练完成。
[0038]
在一些实施例中，在使用加噪数据集对所述深度学习模型进行训练之前，还包括如下步骤：使用原始训练数据对深度学习模型进行训练。
[0039]
在一些实施例中，在将原始训练数据集中的所有原始训练数据通过噪声生成器进行加噪生成加噪数据集之后，还包括如下步骤：s50、将所述加噪数据集中的加噪数据进行可视化，根据加噪数据的隐私保护情况调节隐私重要性矩阵和/或噪声生成器的参数。由于在原始数据上进行个性化加噪，可以满足很好地可视化，使用者可根据可视化结果来查看隐私保护情况并作出调整。噪声生成器主要负责根据不同的输入数据产生相应的噪声矩阵，再加上输入数据构成噪声数据，因此噪声数据可以直接与输入数据进行对比，便于使用者查看到输入数据被改变的情况，判断是否满足要求以做出新的调整。
[0040]
实施例2
作为本公开实施例的另一个方面，提供一种深度学习数据隐私保护系统100，如图3所示，包括：资源加载模块1，加载原始训练数据集和深度学习模型；隐私重要性配置模块2，为原始训练数据集中的隐私信息赋予隐私保护权重，构建隐私重要性矩阵；噪声生成器构建模块3，在所述训练数据中配置全局噪声强度和生成器参数以构建噪声生成器；根据隐私重要性矩阵构建的损失函数训练所述噪声生成器；数据转换模块4，将原始训练数据集中的所有原始训练数据通过噪声生成器进行加噪生成加噪数据集；模型构建模块6，使用加噪数据集对所述深度学习模型进行训练以形成具有隐私保护特性的深度学习模型。
[0041]
在一些实施例中，所述系统100还包括数据可视化模块5，所述数据可视化模块用于将加噪数据集中的加噪数据进行可视化，根据加噪数据的隐私保护情况调节隐私重要性矩阵和/或噪声生成器的参数。由于在原始数据上进行个性化加噪，可以满足很好地可视化，使用者可根据可视化结果来查看隐私保护情况并作出调整。噪声生成器主要负责根据不同的输入数据产生相应的噪声矩阵，再加上输入数据构成噪声数据，因此噪声数据可以直接与输入数据进行对比，便于使用者查看到输入数据被改变的情况，判断是否满足要求以做出新的调整。
[0042]
下面分别对本公开实施例的各个模块进行详细说明。资源加载模块1，加载原始训练数据集和深度学习模型；其中，所述加载为系统资源的加载，即负责将用于构建深度学习模型的所需资源加载到系统中，包括原始的训练数据集，深度学习模型的结构和噪声生成器的结构。并完成原始训练数据集的预处理，模型和生成器的参数初始化。
[0043]
隐私重要性配置模块2，为原始训练数据集中的隐私信息赋予隐私保护权重，构建隐私重要性矩阵；其中，所构成的隐私重要性矩阵的所有元素大于等于0，且总和为1。可包括两种配置方式：使用者可以通过对数据的重点隐私保护特征或属性赋予更高的隐私权重，并在隐私重要性矩阵得以体现，从而影响噪声生成器所产生的噪声在指定的特征或属性处赋予差异化的隐私保护强度。
[0044]
可采用自动配置的方式：通过指定全局重点隐私保护的训练数据的特征或属性，该功能负责自动地将相关特征或属性标记上更高的权重，并构建出相应的隐私重要性矩阵。
[0045]
在一些实施例中可采用手动配置方式：使用者手动对数据中的部分重点区域赋予更高的隐私保护权重，并构建出相应的隐私重要性矩阵。
[0046]
噪声生成器构建模块3，在所述训练数据中配置全局噪声强度和生成器参数以构建噪声生成器；根据隐私重要性矩阵构建的损失函数训练所述噪声生成器；本实施例中，构建所述噪声生成器要对噪声生成器进行资源配置步骤，例如，负责提供生成器训练时所需的超参数的配置选项，其中配置可以包括：全局噪声强度，迭代次数t，参数更新率λ等。
[0047]
本实施例中，生成器训练目标是最小化模型性能差异的同时尽可能地最大化附加在训练数据上的噪声强度。其中模型性能差异指的是用原始训练数据训练的模型性能（如准确率）与用加噪后的训练数据训练的模型性能的差异。所构建的生成器目标函数（又称损失函数）可见公式（1）所示。
[0048]
公式（1）中，f为用原始训练数据集训练而成的深度学习模型，x为所选训练数据集的特征，f(x)指的是输入x得到模型输出并经过softmax函数的结果，g为用参数构成的噪声生成器， 表示依据输入x所生成的数据噪声，为全局噪声强度，为隐私重要性矩阵。第一项的作用是通过减小加噪数据与原始数据x的模型输出差异来最小化模型性能差异，第二项的目的是最大化噪声强度。
[0049]
在一些实施例中，噪声生成器构建模块3中的根据隐私重要性矩阵构建的损失函数训练所述噪声生成器的具体步骤为：s301：随机选取一组原始的训练数据特征x；s302：计算噪声生成器的损失值；s303：计算损失值对噪声生成器的参数的导数；s304：更新噪声生成器的参数：；s305：重复步骤s301，s302，s303，s304，直到满足指定的迭代次数，从而完成噪声生成器的构建。
[0050]
数据转换模块4将原始训练数据集中的所有原始训练数据通过噪声生成器进行加噪生成加噪数据集；其中，将所有原始训练数据x经噪声生成器生成对应的噪声矩阵，并构成对应的加噪数据x 。
[0051]
模型构建模块6，使用加噪数据集对所述深度学习模型进行训练以形成具有隐私保护特性的深度学习模型。
[0052]
其中，使用数据转换模块4中的加噪数据集中的加噪数据对深度学习模型进行训练，直至训练完成。
[0053]
下面，作为举例说明，本公开实施例将上述方法应用到深度学习动物分类模型构建中，在该示例性的实施例中，目的是构建一个具有隐私保护效果的深度学习动物分类模型，希望将该模型公开给大众使用但不希望训练数据集被模型泄露，因为在用于训练的分类模型的数据集中存在部分隐私信息，如动物图像中有动物饲养员或观众的脸部。因此将应用本发明提出的方法来构建动物分类模型。应用的具体流程如下：
1）开发者通过资源加载模块1，加载用于分类模型训练的动物图像数据集，深度学习动物分类模型结构和噪声生成器的结构。并完成数据集的预处理，模型和生成器的参数初始化；2）将原始的动物图像数据集对分类模型进行训练，得到用原始数据集训练的深度学习模型；3）开发者通过隐私重要性配置模块2对图像中的人脸等隐私信息赋予更高的隐私保护权重，利用人脸目标识别模型自动地将数据集中的所有人脸信息进行定位，并构建相应的隐私重要性矩阵；4）运行噪声生成器构建模块3，完成噪声生成器的构建；5）将原始的动物图像数据集经数据转换模块4生成对应的加噪数据集，其中加噪数据集的人脸等隐私信息存在更高强度的噪声；6）通过数据可视化模块5来查看加噪图像中是否对人脸等隐私信息进行了有效“屏蔽”，如有效果不佳，则适当提高噪声生成器的噪声强度，并构建新的噪声生成器；7）运行模型构建模块6中的加噪数据集的模型构建功能。用加噪数据集对深度学习动物分类模型进行训练，最终完成具有隐私保护特性的动物分类模型的构建。
[0054]
实施例3一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1中的深度学习数据隐私保护方法。
[0055]
本公开实施例3仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0056]
电子设备可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备的组件可以包括但不限于：至少一个处理器、至少一个存储器、连接不同系统组件（包括存储器和处理器）的总线。
[0057]
总线包括数据总线、地址总线和控制总线。
[0058]
存储器可以包括易失性存储器，例如随机存取存储器（ram）和/或高速缓存存储器，还可以进一步包括只读存储器（rom）。
[0059]
存储器还可以包括具有一组（至少一个）程序模块的程序工具，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0060]
处理器通过运行存储在存储器中的计算机程序，从而执行各种功能应用以及数据处理。
[0061]
电子设备也可以与一个或多个外部设备（例如键盘、指向设备等）通信。这种通信可以通过输入/输出（i/o）接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络（例如局域网（lan），广域网（wan）和/或公共网络，例如因特网）通信。网络适配器通过总线与电子设备的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid（磁盘阵列）系统、磁带驱动器以及数据备份存储系统等。
[0062]
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模
块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
[0063]
实施例4一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述程序被处理器执行时实现实施例1中的深度学习数据隐私保护方法的步骤。
[0064]
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
[0065]
在可能的实施方式中，本公开还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1中所述的深度学习数据隐私保护方法的步骤。
[0066]
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
[0067]
尽管已经示出和描述了本公开的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本公开的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本公开的范围由所附权利要求及其等同物限定。