基于隐私保护防止模型被窃取的方法和装置与流程

1.本说明书实施例涉及机器学习技术领域，尤其涉及一种基于隐私保护防止模型被窃取的方法和装置。


背景技术：

2.近年来，机器学习模型被广泛应用于各个行业，并取得了良好的效果。随着机器学习云端服务的兴起，机器学习演化为了一种服务模式，即机器学习即服务(machine learning as a service)。一些机器学习服务平台可以通过提供模型调用接口来满足用户对机器学习模型的使用需求。在这些平台上，用户不清楚模型和训练算法的实现细节，因此，对于用户而言，模型调用接口就是黑盒。即便如此，机器学习的数据和模型安全也会受到各种威胁。比如，一些攻击者会通过不断向接口发送预测请求，来获得黑盒模型的预测结果，并使用这些预测结果来训练自己的模型，从而轻易复制黑盒模型的功能，达到窃取模型的目的。而机器学习模型的训练需要一定数量的数据集以及计算机算力的支持，数据集的标记和整合以及硬件设施都需要投入大量的资金，因此，机器学习模型一旦被恶意攻击者窃取，将会给提供模型调用接口的企业造成巨大的损失。


技术实现要素：

3.本说明书的实施例描述了一种基于隐私保护防止模型被窃取的方法和装置，本方法在确定第一用户为异常用户时，将第一用户发送的至少一个预测请求确定为目标预测请求，使用模型对目标预测请求中包含的待预测数据进行预测，得到原始分类结果，该原始分类结果中最大概率值对应于第一类别，最小概率值对应于第二类别。之后，调整原始分类结果中的概率值，使得调整后的第一类别的概率值仍为最大，第二类别的概率值满足预设条件，并将调整后的分类结果发送第一用户，从而使第一用户获得的分类结果中第一类别的概率值仍为最大，即不改变模型的分类效果，与此同时，获得的第二类别的概率值被增大，以及其他类别的概率值也被调整，实现了原始分类结果的隐私保护，使第一用户基于拿到的分类结果无法复制模型的功能，从而防止模型被窃取。
4.根据第一方面，提供了一种基于隐私保护防止模型被窃取的方法，包括：响应于确定第一用户为异常用户，将第一用户通过终端发送的至少一个预测请求确定为目标预测请求；针对各目标预测请求，将其中包含的待预测数据输入预设的模型，得到上述待预测数据的原始分类结果，其中，上述原始分类结果包括上述待预测数据属于各类别的概率值，其中最大概率值对应于第一类别，最小概率值对应于第二类别；调整上述原始分类结果中的概率值，使得调整后，第二类别的概率值增大至满足预设条件，且第一类别的概率值仍为最大；将调整后的分类结果发送给上述终端。
5.在一个实施例中，上述将第一用户通过终端发送的至少一个预测请求确定为目标预测请求，包括：接收第一用户发送的多个预测请求；按照预设比例，从上述多个预测请求中确定至少一个预测请求作为上述目标预测请求。
6.在一个实施例中，上述方法还包括：对于上述多个预测请求中的、除目标预测请求之外的其它各预测请求，将上述模型针对该预测请求输出的原始分类结果发送给上述终端。
7.在一个实施例中，上述方法还包括：根据上述第一用户发送的预测请求的数量，动态调整上述预设比例。
8.在一个实施例中，上述第二类别的概率值增大至满足预设条件，包括：第二类别的调整后概率值相对于调整前概率值增大预定比例或预定差值。
9.在一个实施例中，上述第二类别的概率值增大至满足预设条件，包括：第二类别的调整后概率值为第二大概率值。
10.在一个实施例中，上述调整上述原始分类结果中的概率值，包括：将上述第一类别和上述第二类别对应的调整后概率值分别设置为第一概率值和第二概率值，其中，上述第一概率值与上述第二概率值的差值小于预设值。
11.在一个实施例中，上述第一概率值和第二概率值之和为1。
12.在一个实施例中，上述第一概率值和第二概率值之和与1的差值为第一差值；上述调整上述原始分类结果中的概率值，还包括：将上述第一差值在除上述第一类别和第二类别之外的其他类别中随机分配。
13.在一个实施例中，上述方法还包括：基于历史预测请求，确定上述第一用户是否为异常用户。
14.在一个实施例中，上述基于历史预测请求，确定上述第一用户是否为异常用户，包括：判断上述第一用户历史发送的预测请求次数是否超过预设的次数阈值；如果超过，确定上述第一用户为异常用户。
15.在一个实施例中，上述基于历史预测请求，确定上述第一用户是否为异常用户，包括：获取上述第一用户历史发送的待预测数据组成的第一数据集合；获取第二用户历史发送的待预测数据组成的第二数据集合；响应于确定上述第二数据集合与上述第一数据集合的数据分布一致，将上述第二用户归入上述第一用户的关联用户；确定上述第一用户和其各个关联用户历史发送的待预测数据的总和是否超过预设的总次数阈值；如果超过，确定上述第一用户以及其各个关联用户为异常用户。
16.根据第二方面，提供了一种基于隐私保护防止模型被窃取的装置，包括：确定单元，配置为响应于确定第一用户为异常用户，将第一用户通过终端发送的至少一个预测请求确定为目标预测请求；输入单元，配置为针对各目标预测请求，将其中包含的待预测数据输入预设的模型，得到上述待预测数据的原始分类结果，其中，上述原始分类结果包括上述待预测数据属于各类别的概率值，其中最大概率值对应于第一类别，最小概率值对应于第二类别；调整单元，配置为调整上述原始分类结果中的概率值，使得调整后，第二类别的概率值增大至满足预设条件，且第一类别的概率值仍为最大；发送单元，配置为将调整后的分类结果发送给上述终端。
17.根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当上述计算机程序在计算机中执行时，令计算机执行如第一方面中任一实现方式描述的方法。
18.根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，上述存储器中存储有可执行代码，上述处理器执行上述可执行代码时，实现如第一方面中任一实
现方式描述的方法。
19.根据本说明书实施例提供的基于隐私保护防止模型被窃取的方法和装置，在确定第一用户为异常用户之后，首先将第一用户发送的至少一个预测请求确定为目标预测请求。之后，将目标预测请求中包含的待预测数据输入模型中，使用模型对目标预测请求中包含的待预测数据进行预测，得到原始分类结果，该原始分类结果中最大概率值对应于第一类别，最小概率值对应于第二类别。然后，调整原始分类结果中的概率值，使得调整后的第一类别的概率值仍为最大，第二类别的概率值满足预设条件，并将调整后的分类结果发送第一用户，从而使第一用户获得的分类结果中第一类别的概率值仍为最大，即不改变模型的分类效果，与此同时，获得的第二类别的概率值被增大，以及其他类别的概率值也被调整，实现了原始分类结果的隐私保护，使第一用户基于拿到的分类结果无法复制模型的功能，从而防止模型被窃取。
附图说明
20.图1示出了本说明书实施例可以应用于其中的一个应用场景的示意图；
21.图2示出了根据一个实施例的基于隐私保护防止模型被窃取的方法的流程示意图；
22.图3示出了某个待预测数据的原始分类结果经本说明书实施例的一种实现方式进行调整后的分类结果示意图；
23.图4示出了攻击者基于模型的原始分类结果和基于本说明书实施例的一种实现方式的分类结果复制模型功能的示意图；
24.图5示出了根据一个实施例的基于隐私保护防止模型被窃取的装置的示意性框图。
具体实施方式
25.下面通过附图和实施例，对本说明书提供的技术方案做进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。需要说明的是，在不冲突的情况下，本说明书的实施例及实施例中的特征可以相互组合。
26.如前所述，机器学习模型一旦被窃取会给模型的拥有者造成巨大的损失。现阶段，存在多种模型偷取攻击的方法，例如，针对模型的知识蒸馏(knowledge distillation)。知识蒸馏采取教师-学生(teacher-student)训练框架，将复杂且大的模型作为教师模型，学生模型结构较为简单，用教师模型来辅助学生模型的训练，教师模型学习能力强，可以将它学到的知识迁移给学习能力相对弱的学生模型。学生模型可以通过学习教师模型的预测结果来提升自身表现。得益于知识蒸馏方法，学生模型可以轻易地复制到教师模型的决策边界来达到压缩模型的目的，甚至可以重新生成教师模型的训练数据。目前，知识蒸馏在许多领域取得了重大成功，然而，知识蒸馏技术也对模型的知识产权保护和隐私保护产生了潜在威胁。一方面，知识蒸馏技术可以作为一种较强的模型偷取攻击，使未授权的知识蒸馏者(或者攻击者)能够恶意地窃取教师模型的功能，从而威胁模型的知识产权保护。比如，一些攻击者会通过不断询问模型调用接口来获得黑盒模型的预测结果，并使用这些预测结果来
训练自己的模型，从而轻易地复制了黑盒模型的功能，这时，黑盒模型相当于教师模型。另一方面，教师模型的训练数据也可以通过蒸馏方法进行反向解码再生并同时保持高保真性，从而导致训练数据等隐私信息的泄漏。
27.为此，本说明书的实施例提供了一种基于隐私保护防止模型被窃取的方法，可以用于防止机器学习模型被窃取。如图1所示，图1示出了本说明书实施例可以应用于其中的一个应用场景的示意图。在该应用场景中，机器学习服务平台101能够对外提供分类服务，机器学习服务平台101可以通过预设的模型调用接口接收第一用户通过终端102发送的类别预测请求。机器学习服务平台101的后端设备或设备集群在确定第一用户为异常用户之后，可以将第一用户通过终端102发送的至少一个预测请求确定为目标预测请求。之后，机器学习服务平台101的后端设备或设备集群可以使用预先训练的机器学习模型103对目标预测请求中的待预测数据进行处理，得到待预测数据的原始分类结果，该原始分类结果包括待预测数据属于各个类别的概率值，其中最大概率值对应的类别为第一类别，最小概率值对应的类别为第二类别。然后，机器学习服务平台101的后端设备或设备集群调整原始分类结果中的概率值，使调整后的第二类别的概率值增大至满足预设条件，并且第一类别的概率值仍为最大。最后，机器学习服务平台101将调整后的分类结果发送给终端102，从而在不改变机器学习模型103分类效果的同时实现了原始分类结果的隐私保护。此外，增大第二类别的概率值，会给以机器学习模型103为教师模型试图复制其功能的学生模型的训练造成干扰，混淆学生模型在训练时更新模型的方向，从而阻碍学生模型的训练，防止模型被窃取。
28.继续参见图2，图2示出了根据一个实施例的基于隐私保护防止模型被窃取的方法的流程示意图。可以理解，该方法可以通过机器学习服务平台的后端设备或设备集群来执行。如图2所示，该基于隐私保护防止模型被窃取的方法，可以包括以下步骤：
29.步骤201，响应于确定第一用户为异常用户，将第一用户通过终端发送的至少一个预测请求确定为目标预测请求。
30.在本实施例中，第一用户可以通过所使用的终端设备(例如智能手机、平板电脑、便携式计算机、台式计算机等等)登录机器学习服务平台，并可以通过机器学习服务平台发送预测请求。之后，机器学习服务平台的后端可以通过各种方式判断第一用户是否为异常用户。如果确定第一用户为异常用户，则可以将第一用户通过终端发送的至少一个预测请求确定为目标预测请求，例如，可以将第一用户发送的各预测请求确定为目标预测请求。这里，用户发送的预测请求可以包含待预测数据。
31.在一些实现方式中，上述基于隐私保护防止模型被窃取的方法，还可以包括：基于历史预测请求，确定第一用户是否为异常用户。
32.在本实现方式中，可以根据历史预测请求判断第一用户是否为异常用户。这里，历史预测请求可以包括第一用户历史发送的预测请求，也可以包括其他用户历史发送的预测请求。
33.在一些可选的实现方式中，上述基于历史预测请求确定第一用户是否为异常用户，可以具体如下实现：
34.首先，判断第一用户历史发送的预测请求次数是否超过预设的次数阈值。
35.在本实现方式中，可以对第一用户历史发送的预测请求进行统计分析，判断第一
用户历史发送的预测请求次数是否超过预设的次数阈值。这里，次数阈值可以是研发人员根据实际需要设定的，例如，可以设定为1000次。作为一个示例，实际使用中，可以基于用户标识(例如，用户的账号)，对各用户历史发送的预测请求进行统计，从而获得各个用户历史发送的预测请求的次数。
36.然后，如果判断第一用户历史发送的预测请求次数超过预设的次数阈值，则可以确定第一用户为异常用户。
37.实践中，在正常使用的情况下，单个用户向机器学习服务平台发送预测请求的次数通常是有限的，很少出现向机器学习服务平台发送大量预测请求的情况。然而，攻击者如果想要通过知识蒸馏技术等方式窃取模型，则需要向机器学习服务平台发送大量预测请求，得到相应的预测结果，再将这些预测结果作为样本的标签，训练模型。因此，当一个用户向机器学习服务平台发送了大量预测请求时，该用户可能为攻击者，因此，可以将该用户确定为异常用户。通过本实现方式，可以根据第一用户历史发送的预测请求的次数，判断第一用户是否为异常用户，从而实现了异常用户的判断。
38.在另一些可选的实现方式中，上述基于历史预测请求确定第一用户是否为异常用户，还可以具体如下实现：
39.首先，获取第一用户历史发送的待预测数据组成的第一数据集合。举例来说，可以使用第一用户历史发送的多个预测请求所包含的多个待预测数据组成第一数据集合。
40.其次，获取第二用户历史发送的待预测数据组成的第二数据集合。举例来说，可以使用每一个第二用户历史发送的多个预测请求所包含的多个待预测数据组成一个第二数据集合。可以理解，每个第二用户可以对应一个第二数据集合。这里，第二用户的用户标识(例如，账号)与第一用户的用户标识不同。
41.再次，响应于确定第二数据集合与第一数据集合的数据分布一致，将第二用户归入第一用户的关联用户。
42.在本实现方式中，可以通过多种方式判断第一数据集合与第二数据集合的数据分布是否一致。例如，可以通过双样本t检验(2-sample ttest)、基于核函数的双样本检验(kernel two-sample test)等方式判断第一数据集合与第二数据集合的数据分布是否一致。如果第一数据集合与第二数据集合分布一致，则可以将该第二数据集合对应的第二用户归为第一用户的关联用户。实际训练模型的过程中，往往要求训练用的样本集中的数据分布一致，基于此，可以判断多个用户发送的待预测数据是否来自同一训练用的数据集，如果是，则多个用户之间可能存在关联。举例来说，假设第一数据集合中的多个待预测数据独立同分布的服从标准正态分布，某个第二数据集合中的多个待预测数据也服从同样的正太分布，那么可以判断第一数据集合与该第二数据集合的数据分布一致，可以将该第二数据集合对应的第二用户归为第一用户的关联用户。
43.然后，确定第一用户和其各个关联用户历史发送的待预测数据的总和是否超过预设的总次数阈值。
44.在本实现方式中，可以进一步判断第一用户与第一用户的各个关联用户历史发送的待预测数据的总和是否超过预设的总次数阈值。例如，假设第一用户有3个关联用户，第一用户历史发送的待预测数据的数量为n1,第一用户的3个关联用户历史发送的待预测数据的数量分别为n2,n3,n4，则总和n＝n1 n2 n3 n4。这里，总次数阈值可以根据实际需要进
行设定。
45.最后，如果超过，确定第一用户以及其各个关联用户为异常用户。
46.在本实现方式中，如果第一用户和其各个关联用户历史发送的待预测数据的总和超过预设的总次数阈值，则可以确定第一用户以及其各个关联用户为异常用户。实践中，有些攻击者为了隐藏窃取模型的行为，会注册多个账号，通过多个账号向机器学习服务平台发送预测请求，从而使窃取模型的行为更隐蔽。而在实际训练模型的过程中，往往要求训练用的样本集中的数据分布一致，基于此，本实现方式可以确定第一用户以及其各个关联用户为异常用户，从而实现异常用户的判断。
47.在一些实现方式中，上述将第一用户通过终端发送的至少一个预测请求确定为目标预测请求，可以具体如下进行：
48.接收第一用户发送的多个预测请求；按照预设比例，从多个预测请求中确定至少一个预测请求作为目标预测请求。
49.在本实现方式中，可以按照预先设定的比例，从第一用户发送的多个预测请求中确定至少一个预测请求作为目标预测请求。由此，可以实现目标预测请求的确定。这里，上述预设比例可以是根据实际需要设定的一个固定值，比如，1％、5％、10％、30％等等，也可以是一个动态调整的值。
50.可选的，上述基于隐私保护防止模型被窃取的方法，还可以包括：根据第一用户发送的预测请求的数量，动态调整上述预设比例。例如，随着第一用户发送的预测请求的数量的增加，将上述预设比例增大。由此可以实现，当第一用户发送的预测请求的数量增加时，使目标预测请求的数量比例也增加，进而使第一用户获取到的调整后的分类结果的数量比例增加，使攻击者得到更多的非原始分类结果，更不利于其模型的窃取。通过本实现方式，可以实现基于第一用户发送预测请求的数量，动态调整目标预测请求的数量。
51.以上描述了确定第一用户是否为异常用户，以及在确定其为异常用户的情况下，从其预测请求中确定出目标预测请求的过程。
52.在确定出目标预测请求的基础上，如图2所示，进一步地，在步骤202，针对各目标预测请求，将其中包含的待预测数据输入预设的模型，得到待预测数据的原始分类结果。
53.在本实施例中，针对步骤201确定的至少一个目标预测请求中的每一个目标预测请求，可以将该目标预测请求中包含的待预测数据输入预设的模型，由该模型输出待预测数据的原始分类结果。这里，上述模型可以是用于分类的机器学习模型，可以将该机器学习模型输出的分类结果作为原始分类结果。原始分类结果可以包括待预测数据属于各类别的概率值，其中，最大概率值对应于第一类别，最小概率值对应于第二类别。举例来说，假设模型可以将输入的待预测数据分为3类，分别为类别a，类别b，类别c，则原始分类结果可以包括待预测数据分别属于这3个类别的概率值，例如，针对某一个待预测数据的原始分类结果可以是(类别a:0.40，类别b：0.58；类别c：0.02)，即该待预测数据属于类别a、类别b和类别c的概率值分别是0.40、0.58和0.02。该例中，最大概率值0.58对应的类别b为第一类别，最小概率值0.02对应的类别c为第二类别。
54.步骤203，调整原始分类结果中的概率值，使得调整后，第二类别的概率值增大至满足预设条件，且第一类别的概率值仍为最大。
55.在本实施例中，可以调整目标预测请求包含的待预测数据的原始分类结果中的概
率值。调整后，第一类别的概率值仍为最大。通常，在数据分类的场景中，可以将最大概率值对应的类别作为待预测数据的类别，因此，调整后的第一类别的概率值仍为最大，可以保证调整不改变模型的分类效果。调整后，第二类别的概率值增大至满足预设条件，即对最不可能的类别设置较高的概率值。通过增大第二类别的概率值，可以尽可能的降低第一用户获得的有效信息，尽可能增大其训练损失，混淆其学生模型的学习目标，从而使得攻击者更难基于拿到的分类结果复制模型的功能。
56.在一些实现方式中，上述第二类别的概率值增大至满足预设条件，可以包括：第二类别的调整后概率值相对于调整前概率值增大预定比例或预定差值。
57.在本实现方式中，可以按比例调整第二类别的概率值，例如，将调整前概率值增大预定比例得到调整后概率值，从而使第二类别的调整后概率值相对于调整前概率值增大预定比例。这里，预定比例可以是根据实际需要设定的。此外，还可以将第二类别的调整前概率值增大预定值，从而使第二类别的调整后概率值相对于调整前概率值增大预定差值。这里，预定差值可以是根据实际需要设定的。通过本实现方式，可以实现对第二类别的概率值的增大。但是，如前所述，在增大第二类别的概率值的同时，仍需保证，第一类别的概率值仍为最大。
58.在一些实现方式中，上述第二类别的概率值增大至满足预设条件，还可以包括：第二类别的调整后概率值为第二大概率值。
59.在本实现方式中，上述预设条件可以是第二类别的调整后概率值为第二大概率值，即将最不可能的类别调整为第二可能的类别。这样，可以混淆攻击者所学到的知识，使模型功能的复制变得更加困难。
60.可选的，上述调整原始分类结果中的概率值，可以包括：将第一类别和第二类别对应的调整后概率值分别设置为第一概率值和第二概率值，其中，调整后的第一类别的第一概率值仍为最大概率值，调整后的第二类别的第二概率值为第二大概率值，第一概率值与第二概率值的差值小于预设值。举例来说，可以将第一概率值和第二概率值分别设置在0.5上下，并使第一概率值与第二概率值之间的差值尽量的小，比如，小于一个预设差值。
61.作为一个示例，第一概率值和第二概率值之和可以为1。如图3所示，图3示出了在一个例子中某个待预测数据的原始分类结果经本例的实现方式进行调整后的分类结果。本例中，该待预测数据的分类结果可以包括10个类别，分别为类别0～类别9。其中，该待预测数据的原始分类结果中类别0的概率值最大，所以类别0为第一类别，类别7的概率值最小，所以类别7为第二类别。调整后，第一类别对应的第一概率值和第二类别对应的第二概率值之和为1，且第一概率值与第二概率值的差值小于预设值，比如，第一概率值和第二概率值可以分别设置在0.5上下，并使第一概率值与第二概率值之间差值尽量的小。具体而言，可以将第一概率值设定为0.5 δ，将第二概率值设定为0.5-δ，其中，δ为预设的一个较小值。在该例中，由于第一概率值和第二概率值之和为1，因此，所有其他类别的概率值均为0。
62.作为另一个示例，第一概率值和第二概率值之和还可以不为1，第一概率值和第二概率值之和与1的差值可以为第一差值。以及，上述调整原始分类结果中的概率值，还可以包括：将第一差值在除第一类别和第二类别之外的其他类别中分配。具体而言，可以将上述第一差值设置为一较小的值，并将其在其他类别中进行分配，例如平均分配或随机分配。在该例中，除第一类别和第二类别之外的其他类别的概率值不为0，而是一个较小的小量；如
此，可以更好地混淆原始分类结果，避免第一用户识别出该分类结果是经过调整的分类结果。
63.之后，在步骤204，将调整后的分类结果发送给终端。
64.在本实施例中，可以将调整后的分类结果发送给第一用户所使用的终端，从而使第一用户得到调整后的分类结果。
65.在一些实现方式中，上述基于隐私保护防止模型被窃取的方法，还可以包括：对于多个预测请求中的、除目标预测请求之外的其它各预测请求，将模型针对该预测请求输出的原始分类结果发送给终端。
66.在本实现方式中，对于第一用户发送的多个预测请求中的、除目标预测请求之外的其它各预测请求，可以将模型针对该预测请求的待预测数据输出的原始分类结果发送给终端。实践中，如果第一用户获取的分类结果都是对原始分类结果进行调整后的分类结果，则第一用户可能会察觉到所获取结果的异样，并采取一定的措施试图得到原始分类结果，例如，分析分类结果的调整规律，更换发送预测请求的账号等等。通过本实现方式，可以使第一用户在获取调整后分类结果的同时，还可以获取部分预测请求的原始分类结果，从而使第一用户不易察觉到所获取结果的异样，使第一用户使用包括调整后分类结果的样本集训练自己的模型，使模型的复制更加困难。
67.实践表明，本实施例的基于隐私保护防止模型被窃取的方法，可以有效的防止模型被窃取。举例来说，请参见图4，图4分别示出了攻击者基于模型的原始分类结果和基于本实施例方法的分类结果复制模型功能的示意图。在本例中，假设攻击者采用知识蒸馏技术对模型进行窃取，机器学习服务平台提供的机器学习模型被作为教师模型。本例中的教师模型的决策边界如401所示，为便于说明，在401中使用不同的背景图案标识不同的类别。该教师模型可以将输入数据分为3类，分别为类别0、类别1和类别2。使用教师模型对数据0、数据1和数据2进行分类的原始分类结果如402所示。使用本实施例的方法对原始分类结果进行调整后，可以得到调整后的分类结果如403所示。分别使用知识蒸馏技术，基于原始分类结果402和调整后的分类结果403，对教师模型进行模型偷取攻击得到学生模型。基于原始分类结果402进行模型偷取攻击，得到的学生模型的决策边界如404所示，该学生模型能够很好的学习到教师模型的决策边界，即很好的复制教师模型的功能。基于本实施例的方法调整后的分类结果403进行模型偷取攻击，得到的学生模型的决策边界如405所示，该学生模型的决策边界与401的决策边界有很大差别，即通过本实施例的方法可以显著恶化学生模型的决策边界，从而防止模型被窃取。可以理解，本例仅仅用于说明攻击者使用原始分类结果和调整后的分类结果进行模型窃取的示意图，而非对模型的分类类别，窃取模型所使用的分类结果数量等的限定。
68.根据另一方面的实施例，提供了一种基于隐私保护防止模型被窃取的装置。上述基于隐私保护防止模型被窃取的装置可以部署在机器学习服务平台的后端设备或设备集群中。
69.图5示出了根据一个实施例的基于隐私保护防止模型被窃取的装置的示意性框图。如图5所示，该基于隐私保护防止模型被窃取的装置500包括：确定单元501，配置为响应于确定第一用户为异常用户，将第一用户通过终端发送的至少一个预测请求确定为目标预测请求；输入单元502，配置为针对各目标预测请求，将其中包含的待预测数据输入预设的
模型，得到上述待预测数据的原始分类结果，其中，上述原始分类结果包括上述待预测数据属于各类别的概率值，其中最大概率值对应于第一类别，最小概率值对应于第二类别；调整单元503，配置为调整上述原始分类结果中的概率值，使得调整后，第二类别的概率值增大至满足预设条件，且第一类别的概率值仍为最大；发送单元504，配置为将调整后的分类结果发送给上述终端。
70.在一些可选的实现方式中，上述确定单元501进一步配置为：接收第一用户发送的多个预测请求；按照预设比例，从上述多个预测请求中确定至少一个预测请求作为上述目标预测请求。
71.在一些可选的实现方式中，上述装置500还包括原始分类结果发送单元(图中未示出)，配置为对于上述多个预测请求中的、除目标预测请求之外的其它各预测请求，将上述模型针对该预测请求输出的原始分类结果发送给上述终端。
72.在一些可选的实现方式中，上述装置500还包括比例调整单元(图中未示出)，配置为根据上述第一用户发送的预测请求的数量，动态调整上述预设比例。
73.在一些可选的实现方式中，上述第二类别的概率值增大至满足预设条件，包括：第二类别的调整后概率值相对于调整前概率值增大预定比例或预定差值。
74.在一些可选的实现方式中，上述第二类别的概率值增大至满足预设条件，包括：第二类别的调整后概率值为第二大概率值。
75.在一些可选的实现方式中，调整单元503进一步配置为：将上述第一类别和上述第二类别对应的调整后概率值分别设置为第一概率值和第二概率值，其中，上述第一概率值与上述第二概率值的差值小于预设值。
76.在一些可选的实现方式中，上述第一概率值和第二概率值之和为1。
77.在一些可选的实现方式中，上述第一概率值和第二概率值之和与1的差值为第一差值；以及调整单元503进一步配置为：将上述第一差值在除上述第一类别和第二类别之外的其他类别中随机分配。
78.在一些可选的实现方式中，装置500还包括异常用户确定单元(图中未示出)，配置为基于历史预测请求，确定上述第一用户是否为异常用户。
79.在一些可选的实现方式中，异常用户确定单元进一步配置为：判断上述第一用户历史发送的预测请求次数是否超过预设的次数阈值；如果超过，确定上述第一用户为异常用户。
80.在一些可选的实现方式中，异常用户确定单元进一步配置为：获取上述第一用户历史发送的待预测数据组成的第一数据集合；获取第二用户历史发送的待预测数据组成的第二数据集合；响应于确定上述第二数据集合与上述第一数据集合的数据分布一致，将上述第二用户归入上述第一用户的关联用户；确定上述第一用户和其各个关联用户历史发送的待预测数据的总和是否超过预设的总次数阈值；如果超过，确定上述第一用户以及其各个关联用户为异常用户。
81.根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当上述计算机程序在计算机中执行时，令计算机执行图2所描述的方法。
82.根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，其特征在于，上述存储器中存储有可执行代码，上述处理器执行上述可执行代码时，实现图2所描述
的方法。
83.本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执轨道，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
84.结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执轨道的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
85.以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。