数据攻击的防御方法及其模型的训练方法、系统与流程

1.本发明涉及信息安全技术领域，尤其是涉及一种数据攻击的防御方法及其模型的训练方法、系统。


背景技术：

2.机器学习已成为一项重要的技术，可实现各种应用，包括计算机视觉、机器翻译、健康分析和个性化推荐等。然而，一些应用场景下会涉及敏感个人数据的收集和处理，当机器学习应用于私人训练数据时，所产生的模型可能会通过其行为或其结构的细节来无意识地泄漏有关该数据的信息。
3.现有技术中通常使用差分隐私以及对抗正则化的方式来应对推理攻击，但上述方式会带来精度损耗，应对数据攻击的防御效果上还有待提升。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种数据攻击的防御方法及其模型的训练方法、系统，该防御方法将获取的待检测图像数据输入至已完成训练的防御模型后，得到图像数据的置信度检测结果，根据置信度检测结果确定图像数据的攻击风险值，并将攻击风险值大于预设阈值的图像数据进行数据防御。该防御模型在训练过程中，利用重要性判别函数对初始防御模型的权重进行剪枝操作，降低了防御模型的复杂度，提高了训练数据的隐私保护程度，提升了数据攻击的防御效果。
5.第一方面，本发明实施例提供了一种用于数据攻击防御的模型训练方法，该方法包括：
6.获取样本图像数据集；其中，样本图像数据集至少包括：mnist数据集和imagenet数据集；
7.将样本图像数据集输入至预设的深度学习模型中进行训练；其中，深度学习模型包括：第一目标模型和/或第二目标模型；mnist数据集用于第一目标模型的训练；imagenet数据集用于第二目标模型的训练；
8.通过预设的损失函数分别对第一目标模型和/或第二目标模型的损失值进行计算；当第一目标模型的损失值和/或第二目标模型的损失值满足预设的损失阈值时，得到用于数据攻击防御的初始模型；
9.利用重要性判别函数对已得到的初始模型中的权重进行剪枝操作，并将已完成剪枝操作的初始模型确定为用于数据攻击防御的模型。
10.在一些实施方式中，利用重要性判别函数对已得到的初始模型中的权重进行剪枝操作，包括：
11.利用掩码矩阵对初始模型进行约束，并根据约束结果确定初始模型中的权重的重要性数据；
12.利用重要性判别函数，对已确定的权重的重要性数据进行判别，并根据判别结果
对初始模型中的权重进行剪枝操作。
13.在一些实施方式中，利用掩码矩阵对初始模型进行约束，并根据约束结果确定初始模型中的权重的重要性数据，通过以下算式计算得到：
[0014][0015]
其中，wk为初始模型，k为初始模型的第k层；tk为二值的掩码矩阵，当tk＝0时表示对应的权重已被剪枝，当tk＝1时表示对应的权重未被剪枝；l为初始模型的损失函数；β为初始模型的学习率；
[0016]
利用重要性判别函数，对已确定的权重的重要性数据进行判别，并根据判别结果对初始模型中的权重进行剪枝操作，通过以下算式计算得到：
[0017][0018]
其中，hk为重要性判别函数，用于判断对应的权重是否重要；重要性判别函数，如下：
[0019][0020]
其中，ak和bk分别为第一阈值和第二阈值，且ak《bk。
[0021]
在一些实施方式中，将样本图像数据集输入至预设的深度学习模型中进行训练的步骤，包括：
[0022]
根据第一目标模型和/或第二目标模型的模型结构，确定深度学习模型训练时的超参数；
[0023]
利用已确定的超参数，对深度学习模型进行训练；其中，深度学习模型进行训练时采用sgd、adam上述一种或多种优化器进行优化。
[0024]
在一些实施方式中，通过预设的损失函数分别对第一目标模型和/或第二目标模型的损失值进行计算的步骤，包括：
[0025]
根据交叉熵函数确定损失函数；其中，损失函数为：
[0026][0027]
其中，p为样本图像数据集中的样本的真实标签；q为预测的概率；xi为样本图像数据集中的样本；w为模型参数；λ为正则化系数；loss为损失函数；
[0028]
利用损失函数，计算第一目标模型的损失值和/或第二目标模型的损失值。
[0029]
第二方面，本发明实施例提供了一种数据攻击的防御方法，该方法包括：
[0030]
获取待检测的图像数据；
[0031]
将图像数据输入至已完成训练的防御模型，输出图像数据的置信度检测结果；其中，防御模型通过上述第一方面任一项的模型训练方法训练得到；
[0032]
根据置信度检测结果确定图像数据的攻击风险值，并将攻击风险值大于预设阈值的图像数据进行数据防御；其中，数据防御针对的是成员推理攻击的防御。
[0033]
在一些实施方式中，根据置信度检测结果确定图像数据的攻击风险值的步骤，包括：
[0034]
将置信度检测结果输入至已完成训练的攻击模型中；其中，攻击模型与防御模型的结构相同；
[0035]
攻击模型根据置信度检测结果，计算得到图像数据的攻击预测概率，并根据攻击预测概率确定图像数据的攻击风险值。
[0036]
在一些实施方式中，攻击模型的训练过程，包括：
[0037]
根据已完成训练的防御模型构建多个影子模型；其中，影子模型至少包括：第一影子模型和/或第二影子模型；第一影子模型通过mnist数据集进行训练；第二影子模型通过imagenet数据集进行训练；第一影子模型和/或第二影子模型的训练参数与防御模型的训练参数相同；
[0038]
根据预设的样本集和训练集分别输入至影子模型中，得到置信度结果；其中，将样本集输入至影子模型时的置信度的标签设置为1；将训练集输入至影子模型时的置信度的标签设置为0；
[0039]
将置信度结果输入至已初始化的攻击模型中进行训练；其中，其中，深度学习模型进行训练时采用sgd、adam上述一种或多种优化器进行优化。
[0040]
第三方面，本发明实施例提供了一种用于数据攻击防御的模型训练系统，该模型训练系统包括：
[0041]
数据采集模块，用于获取样本图像数据集；其中，样本图像数据集至少包括：mnist数据集和imagenet数据集；
[0042]
训练模块，用于将样本图像数据集输入至预设的深度学习模型中进行训练；其中，深度学习模型包括：第一目标模型和/或第二目标模型；mnist数据集用于第一目标模型的训练；imagenet数据集用于第二目标模型的训练；
[0043]
损失值计算模块，用于通过预设的损失函数分别对第一目标模型和/或第二目标模型的损失值进行计算；当第一目标模型的损失值和/或第二目标模型的损失值满足预设的损失阈值时，得到用于数据攻击防御的初始模型；
[0044]
剪枝操作模块，用于利用重要性判别函数对已得到的初始模型中的权重进行剪枝操作，并将已完成剪枝操作的初始模型确定为用于数据攻击防御的模型。
[0045]
第四方面，本发明实施例提供了一种数据攻击的防御系统，该防御系统包括：
[0046]
数据获取模块，用于获取待检测的图像数据；
[0047]
置信度检测模块，用于将图像数据输入至已完成训练的防御模型，输出图像数据的置信度检测结果；其中，防御模型通过上述第一方面提到的用于数据攻击防御的模型训练方法训练得到；
[0048]
防御执行模块，用于根据置信度检测结果确定图像数据的攻击风险值，并将攻击风险值大于预设阈值的图像数据进行数据防御；其中，数据防御针对的是成员推理攻击的防御。
[0049]
第五方面，本发明实施例提供了一种电子设备，该电子设备包括：处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被处理器运行时执行如第一方面和第二方面提供的方法。
[0050]
本发明实施例带来了以下有益效果：本发明实施例提供了一种数据攻击的防御方法及其模型的训练方法、系统，该防御方法将获取的待检测图像数据输入至已完成训练的防御模型后，得到图像数据的置信度检测结果，根据置信度检测结果确定图像数据的攻击风险值，并将攻击风险值大于预设阈值的图像数据进行数据防御。该防御模型在训练过程中，利用重要性判别函数对初始防御模型的权重进行剪枝操作，降低了防御模型的复杂度，提高了训练数据的隐私保护程度，提升了数据攻击的防御效果。
[0051]
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
[0052]
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0053]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0054]
图1为本发明实施例提供的一种用于数据攻击防御的模型训练方法流程图；
[0055]
图2为本发明实施例提供的一种用于数据攻击防御的模型训练方法中，利用重要性判别函数对已得到的初始模型中的权重进行剪枝操作的流程图；
[0056]
图3为本发明实施例提供的一种用于数据攻击防御的模型训练方法中，步骤s102的流程图；
[0057]
图4为本发明实施例提供的一种用于数据攻击防御的模型训练方法中，步骤s103的流程图；
[0058]
图5为本发明实施例提供的一种数据攻击的防御方法的流程图；
[0059]
图6为本发明实施例提供的数据攻击的防御方法中，根据置信度检测结果确定图像数据的攻击风险值的流程图；
[0060]
图7为本发明实施例提供的数据攻击的防御方法中，攻击模型的训练过程的流程图；
[0061]
图8为本发明实施例提供的一种用于数据攻击防御的模型训练系统的结构示意图；
[0062]
图9为本发明实施例提供的一种数据攻击的防御系统的结构示意图；
[0063]
图10为本发明实施例提供的一种电子设备的结构示意图。
[0064]
图标：
[0065]
810-数据采集模块；820-训练模块；830-损失值计算模块；840-剪枝操作模块；910-数据获取模块；920-置信度检测模块；930-防御执行模块；101-处理器；102-存储器；103-总线；104-通信接口。
具体实施方式
[0066]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0067]
机器学习是目前流行的互联网服务的基础，如图像识别、语音识别和自然语言翻译等服务。实际应用场景中，通过使用机器学习和人工智能技术，能够提高营销和广告发布的效率，实现用户产品的精确推荐，同时更好的了解运营产生的数据信息。具体的说，拥有数据集的任何客户和数据分类任务都可以将数据集上传到服务器端构造模型，该服务使得客户可以通过黑盒api对模型进行访问。例如，移动应用程序制造商可以使用此类服务来分析用户的活动并查询应用程序内的结果模型，以便在最有可能响应时向用户推广应用程序。
[0068]
机器学习已在计算机视觉、机器翻译、健康分析和个性化推荐等方面得到广泛应用。然而，在实际应用场景中会涉及敏感个人数据的收集和处理，引起大众对于敏感隐私的担忧。特别地，当机器学习算法应用于私人训练数据时，所产生的模型可能会通过其行为或其结构的细节来无意识地泄漏有关该数据的信息。例如，成员推理攻击就是利用上述漏洞的多种重要推理攻击之一。利用成员推理攻击，攻击者通过构建影子模型和成员推理攻击模型，探索深度神经网络模型的独特行为，进一步判断输入样本是否为目标模型的训练数据。
[0069]
为解决成员推理攻击的挑战，目前已经有了一些应对机制。差分隐私是针对一般推理攻击的主要数据隐私保护机制，该机制是基于向训练模型的梯度或目标函数添加噪声，应用于不同的机器学习模型。实现差分隐私保护的核心思想是向目标函数的输出添加受控噪声，使得输出不能用于在数据库中的任何单个数据的推断。虽然已经证明了差分隐私保护方法的鲁棒性，但是差分隐私的实用成本很难被限制在可接受范围内。因为它在保护复杂模型进而高维数据时，会产生显著的精度损耗。
[0070]
另一种防御机制是基于博弈论的对抗正则化方法，推理模型的最大增益被认为是一种名为对抗正规化的新正则化，并通过训练模型损失最小化，将目标模型与实施成员推理的攻击模型进行对抗式训练。在训练过程中，一方面可以提升目标模型对攻击模型的防御能力，一方面可以增加攻击模型对目标模型的攻击能力。模型完成训练后，生成具有成员推理攻击防御能力的深度模型。但是除了分类器训练过程之外，对抗式训练还引入了额外的计算成本。而且经过对抗式训练后，会导致原模型的识别精度下降。
[0071]
针对上述问题，本发明提出一种数据攻击的防御方法及其模型的训练方法、系统，该防御方法将获取的待检测图像数据输入至已完成训练的防御模型后，得到图像数据的置信度检测结果，根据置信度检测结果确定图像数据的攻击风险值，并将攻击风险值大于预设阈值的图像数据进行数据防御。该防御模型在训练过程中，利用重要性判别函数对初始防御模型的权重进行剪枝操作，降低了防御模型的复杂度，提高了训练数据的隐私保护程度，提升了数据攻击的防御效果。
[0072]
为便于对本实施例进行理解，首先对本发明实施例所公开的一种用于数据攻击防御的模型训练方法进行详细介绍，该方法的流程图如图1所示，包括：
[0073]
步骤s101，获取样本图像数据集；其中，样本图像数据集至少包括：mnist数据集和imagenet数据集。
[0074]
样本图像数据集优先选择包含复杂场景得分数据集，数据集包含的场景越多、样本图像数量越多，越有利于提升模型的性能。样本图像数据集可通过收集各类数字图像，并将其进行初步分类后得到；也可以直接使用现有的图像数据集，如mnist数据集和imagenet数据集。
[0075]
图像数据集中的样本图像数量并不是越多越好，而是需要根据实际情况进行针对性选择；同类过多的样本图像数量可能增加模型的训练时间，过少的样本图像数量则会降低模型的整体性能。图像数据集中的样本图像可将其设置为统一尺寸，不同类别的样本图像可随机分为测试集和训练集，并将其最终用于模型的训练。
[0076]
步骤s102，将样本图像数据集输入至预设的深度学习模型中进行训练；其中，深度学习模型包括：第一目标模型和/或第二目标模型；mnist数据集用于第一目标模型的训练；imagenet数据集用于第二目标模型的训练。
[0077]
此时的深度学习模型可是刚刚完成初始化的且尚未开始训练的模型，也可以是已经处于训练过程中的模型。样本图像数据集输入至深度学习模型后，通过相关运算改变模型的相关参数，提升模型的整体性能。例如，训练过程中对模型的惩罚因子进行优化，惩罚因子是表征误差的宽容度的参数，惩罚因子的数值越大，表明越不能容忍误差的出现，相对而言更容易出现过拟合的现象；反之，惩罚因子的数值越小，相对而言更容易出现欠拟合的现象。将样本数据集输入至预设的支持向量机模型中进行训练的过程中还包括模型其它参数的优化，在此不再赘述。
[0078]
深度学习模型包括：第一目标模型和/或第二目标模型；mnist数据集用于第一目标模型的训练；imagenet数据集用于第二目标模型的训练。实际场景中第一目标模型与第二目标模型可为同一个模型结构，不同的数据集分别用于该模型的训练。
[0079]
步骤s103，通过预设的损失函数分别对第一目标模型和/或第二目标模型的损失值进行计算；当第一目标模型的损失值和/或第二目标模型的损失值满足预设的损失阈值时，得到用于数据攻击防御的初始模型。
[0080]
在使用相应的超参数进行模型训练的过程中，通过预设的损失函数实时对深度学习模型的损失值进行计算。具体实施过程中，损失函数可使用交叉熵函数等不同函数形式，但在现有的损失函数中加入正则化参数，利用正则化参数作为因数来对损失函数进行限定。因此，损失函数中包含样本图像的标签数据、模型预测概率、输入的样本图像、模型参数以及正则化系数等参数。通过上述参数即可获得模型在训练过程中实时产生的损失值。
[0081]
步骤s104，利用重要性判别函数对已得到的初始模型中的权重进行剪枝操作，并将已完成剪枝操作的初始模型确定为用于数据攻击防御的模型。
[0082]
在获得初始模型后，需要对模型中的权重进行剪枝操作。人工智能模型领域中的剪枝，是对以训练好的模型进行裁剪的方法，是目前模型压缩中使用最多的方法，通常是寻找一种有效的评判手段，来判断参数的重要性，将不重要的层或者滤波核进行裁剪来减少模型的冗余。
[0083]
为了衡量某个权重的重要性，通过学习的过程对网络结构进行持续的维护，以防止因某个权重的剪枝导致整个网络中的权重的重要性发生巨大变化。上述过程使用重要性
判别函数来实现，重要性判别函数是对某个权重的特征重要性进行判断的函数，一般来说对于权重值的重要性进行衡量比较困难，可通过权重值的绝对值大小结合相应的限定条件来区分。
[0084]
在本发明实施例提到的用于数据攻击防御的模型训练方法可知，该防御模型在训练过程中，通过利用重要性判别函数对初始防御模型的权重进行剪枝操作，降低了防御模型的复杂度，提高了训练数据的隐私保护程度，提升了数据攻击的防御效果，达到了对训练数据的隐私保护，对抗成员推理攻击的目的。
[0085]
在一些实施方式中，利用重要性判别函数对已得到的初始模型中的权重进行剪枝操作，如图2所示，包括：
[0086]
步骤s201，利用掩码矩阵对初始模型进行约束，并根据约束结果确定初始模型中的权重的重要性数据。
[0087]
具体实施过程中，上述过程可通过以下算式计算得到：
[0088][0089]
其中，wk为初始模型，k为初始模型的第k层；tk为二值的掩码矩阵，当tk＝0时表示对应的权重已被剪枝，当tk＝1时表示对应的权重未被剪枝；l为初始模型的损失函数；β为初始模型的学习率。
[0090]
步骤s202，利用重要性判别函数，对已确定的权重的重要性数据进行判别，并根据判别结果对初始模型中的权重进行剪枝操作。
[0091]
具体实施过程中，上述过程可通过以下算式计算得到：
[0092][0093]
其中，hk为重要性判别函数，用于判断对应的权重是否重要；重要性判别函数，如下：
[0094][0095]
其中，ak和bk分别为第一阈值和第二阈值，且ak《bk。对于特定的层，根据其连接权值的平均绝对值和方差来设置单个阈值。
[0096]
在一些实施方式中，将样本图像数据集输入至预设的深度学习模型中进行训练的步骤s102，如图3所示，包括：
[0097]
步骤s301，根据第一目标模型和/或第二目标模型的模型结构，确定深度学习模型训练时的超参数。
[0098]
在具体实施过程中，使用mnist数据集和imagenet数据集这两个图像分类模型的常用数据集进行模型训练。例如，mnist数据集共包含60000张灰度图像，每张图像大小均为28*28，分为10类，每类共计6000张样本。其中训练样本50000张，测试样本10000张；imagenet数据集共1000类，每类包含1000张样本，每张图片均为rgb彩色图像，每张样本大小224*224，为每类中随机抽取30％的图片作为测试集，其余图片作为训练集。
[0099]
具体的，从mnist数据集的50000张训练样本里取20000张作为目标模型的训练集d
train_mnist
，从测试样本中取10000张作为目标模型的测试集d
test_mnist
；从imagenet数据集的训练集中每类取200张作为目标模型的训练集d
train_imagenet
，从测试样本中取300张作为目标模型的测试集d
test_imagenet
。
[0100]
训练时所用的深度学习模型包括：第一目标模型和/或第二目标模型；mnist数据集用于第一目标模型的训练；imagenet数据集用于第二目标模型的训练。具体的，在mnist数据集使用alexnet作为目标模型结构；在imagenet数据集使用vgg-19作为目标模型结构。从而确定训练时统一的超参数：训练周期数为100、批次大小为32。
[0101]
步骤s302，利用已确定的超参数，对深度学习模型进行训练；其中，深度学习模型进行训练时采用sgd、adam上述一种或多种优化器进行优化。
[0102]
模型训练过程中优化算法是必不可少的，即使在数据集和模型架构完全相同的情况下，采用不同的优化算法，也很可能导致截然不同的训练效果。
[0103]
在一些实施方式中，通过预设的损失函数分别对第一目标模型和/或第二目标模型的损失值进行计算的步骤s103，如图4所示，包括：
[0104]
步骤s401，根据交叉熵函数确定损失函数；其中，损失函数为：
[0105][0106]
其中，p为样本图像数据集中的样本的真实标签；q为预测的概率；xi为样本图像数据集中的样本；w为模型参数；λ为正则化系数；loss为损失函数。
[0107]
步骤s402，利用损失函数，计算第一目标模型的损失值和/或第二目标模型的损失值。
[0108]
当第一目标模型的损失值和/或第二目标模型的损失值满足预设的损失阈值时，得到用于数据攻击防御的初始模型。
[0109]
在上述实施例提到的用于数据攻击防御的模型训练方法可知，该防御模型在训练过程中，通过利用重要性判别函数对初始防御模型的权重进行剪枝操作，降低了防御模型的复杂度，提高了训练数据的隐私保护程度，提升了数据攻击的防御效果，达到了对训练数据的隐私保护，对抗成员推理攻击的目的。
[0110]
本发明实施例提供了一种数据攻击的防御方法，如图5所示，该方法包括：
[0111]
步骤s501，获取待检测的图像数据。
[0112]
该步骤中的待检测的图像数据，针对的是实际使用过程中所用到的图像数据，并不局限为模型训练过程中所用的mnist数据集以及imagenet数据集中产生的图像数据。
[0113]
步骤s502，将图像数据输入至已完成训练的防御模型，输出图像数据的置信度检测结果；其中，防御模型通过上述实施例中提到的模型训练方法训练得到。
[0114]
图像数据作为待测数据输入至防御模型中，防御模型经过相关计算得到该图像数据的置信度结果，该置信度结果用于衡量待测的图像数据的攻击风险。
[0115]
步骤s503，根据置信度检测结果确定图像数据的攻击风险值，并将攻击风险值大于预设阈值的图像数据进行数据防御；其中，数据防御针对的是成员推理攻击的防御。
[0116]
攻击性能的评价指标常用准确率、精确率、召回率进行衡量。具体的说，准确率表示对于给定的测试数据集，分类器正确分类的样本数与总样本数之比，准确率越低，说明防
御算法越好。精确率表示的是所有“正确被判别的样本”占所有“实际被判别的样本”的比例，即被判定为成员样本的样本中判断正确的比例。精确率越低，表明防御效果越好。召回率表示被成功预测的成员样本占成员样本总数的百分比。召回率越低，表明防御效果越好。
[0117]
利用攻击性能的评价指标结合置信度检测结果，最终确定图像数据的攻击风险值。并将攻击风险值大于预设阈值的图像数据进行数据防御；其中，数据防御针对的是成员推理攻击的防御。
[0118]
在一些实施方式中，根据置信度检测结果确定图像数据的攻击风险值的步骤，如图6所示，包括：
[0119]
步骤s601，将置信度检测结果输入至已完成训练的攻击模型中；其中，攻击模型与防御模型的结构相同。
[0120]
具体场景下，攻击模型是一个多层感知机(mlp，multilayer perceptron)，包括输入输出层，和两个中间隐层，层与层之间是全连接的。攻击模型与防御模型的结构是相同的，攻击模型对应的输入参数为攻击数据集，攻击数据集构建时，可利用mnist数据集和/或imagenet数据集进行构建。
[0121]
步骤s602，攻击模型根据置信度检测结果，计算得到图像数据的攻击预测概率，并根据攻击预测概率确定图像数据的攻击风险值。
[0122]
实际场景下，将待测图像数据输入至防御模型，获取防御模型输出的置信度。将置信度输入至已训练完成的攻击模型中得到待测图像数据的攻击预测概率，并根据攻击预测概率确定图像数据的攻击风险值。若攻击风险值较高，则该待测样本为成员样本。若攻击风险值较低，则该样本为非成员样本。
[0123]
在一些实施方式中，攻击模型的训练过程，如图7所示，包括：
[0124]
步骤s701，根据已完成训练的防御模型构建多个影子模型；其中，影子模型至少包括：第一影子模型和/或第二影子模型；第一影子模型通过mnist数据集进行训练；第二影子模型通过imagenet数据集进行训练；第一影子模型和/或第二影子模型的训练参数与防御模型的训练参数相同。
[0125]
影子模型的构建过程中首先需要建立影子数据集，具体实施过程中，可从mnist数据集随机抽取5000张样本作为影子模型训练集用作训练影子模型，然后随机抽取5000张样本建立样本集后续用来生成攻击模型的训练集。从imagenet数据集随机每类抽取400张样本作为影子模型训练集用作训练影子模型，然后随机抽取10000张样本建立样本集后续用来生成攻击模型的训练集。
[0126]
步骤s702，根据预设的样本集和训练集分别输入至影子模型中，得到置信度结果；其中，将样本集输入至影子模型时的置信度的标签设置为1；将训练集输入至影子模型时的置信度的标签设置为0。
[0127]
将步骤s701中构建的数据集和样本集分别输入影子模型，获取其置信度输出。将数据集输入影子模型获得的置信度的标签设置为1，将样本集输入影子模型获得的置信度的标签设置为0，从而实现了攻击数据集的构建。
[0128]
步骤s703，将置信度结果输入至已初始化的攻击模型中进行训练；其中，其中，深度学习模型进行训练时采用sgd、adam上述一种或多种优化器进行优化。
[0129]
由于攻击模型是一个多层感知机，包括输入输出层，和两个中间隐层，层与层之间是全连接的。将步骤s702中构建的攻击数据集输入至攻击模型中进行训练。训练参数可设置为：训练周期数为50、批次大小为64，采用sgd、adam等优化器进行优化。
[0130]
针对在机器学习即服务的模型部署和应用场景下，易遭受恶意攻击者的数据成员推理攻击，攻击者通过对公开模型的api查询，利用模型的输入输出构建影子模型和成员推理攻击模型，完成对目标模型的训练数据推理，窃取目标模型的数据隐私。而通过本实施例中提到的数据攻击的防御方法，利用模型压缩技术降低了模型的复杂度，提高了训练数据的隐私保护程度，提升了数据攻击的防御效果。
[0131]
对应于上述用于数据攻击防御的模型训练方法的实施例，本实施例还提供一种用于数据攻击防御的模型训练系统，如图8所示，该模型训练系统包括：
[0132]
数据采集模块810，用于获取样本图像数据集；其中，样本图像数据集至少包括：mnist数据集和imagenet数据集；
[0133]
训练模块820，用于将样本图像数据集输入至预设的深度学习模型中进行训练；其中，深度学习模型包括：第一目标模型和/或第二目标模型；mnist数据集用于第一目标模型的训练；imagenet数据集用于第二目标模型的训练；
[0134]
损失值计算模块830，用于通过预设的损失函数分别对第一目标模型和/或第二目标模型的损失值进行计算；当第一目标模型的损失值和/或第二目标模型的损失值满足预设的损失阈值时，得到用于数据攻击防御的初始模型；
[0135]
剪枝操作模块840，用于利用重要性判别函数对已得到的初始模型中的权重进行剪枝操作，并将已完成剪枝操作的初始模型确定为用于数据攻击防御的模型。
[0136]
本发明实施例所提供的用于数据攻击防御的模型训练系统，其实现原理及产生的技术效果和前述用于数据攻击防御的模型训练方法的实施例相同，为简要描述，实施例部分未提及之处，可参考前述方法实施例中相应内容。
[0137]
对应于上述数据攻击的防御方法的实施例，本实施例还提供一种数据攻击的防御系统，如图9所示，该防御系统包括：
[0138]
数据获取模块910，用于获取待检测的图像数据；
[0139]
置信度检测模块920，用于将图像数据输入至已完成训练的防御模型，输出图像数据的置信度检测结果；其中，防御模型通过上述第一方面提到的用于数据攻击防御的模型训练方法训练得到；
[0140]
防御执行模块930，用于根据置信度检测结果确定图像数据的攻击风险值，并将攻击风险值大于预设阈值的图像数据进行数据防御；其中，数据防御针对的是成员推理攻击的防御。
[0141]
本发明实施例所提供的数据攻击的防御系统，其实现原理及产生的技术效果和前述数据攻击的防御系统方法的实施例相同，为简要描述，实施例部分未提及之处，可参考前述方法实施例中相应内容。
[0142]
本实施例还提供一种电子设备，为该电子设备的结构示意图如图10所示，该设备包括处理器101和存储器102；其中，存储器102用于存储一条或多条计算机指令，一条或多条计算机指令被处理器执行，以实现上述用于数据攻击防御的模型训练方法以及数据攻击的防御方法。
[0143]
图10所示的服务器还包括总线103和通信接口104，处理器101、通信接口104和存储器102通过总线103连接。
[0144]
其中，存储器102可能包含高速随机存取存储器(ram，random access memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。总线103可以是isa总线、pci总线或eisa总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
[0145]
通信接口104用于通过网络接口与至少一个用户终端及其它网络单元连接，将封装好的ipv4报文或ipv4报文通过网络接口发送至用户终端。
[0146]
处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器102，处理器101读取存储器102中的信息，结合其硬件完成前述实施例的方法的步骤。
[0147]
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行前述实施例的方法的步骤。
[0148]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0149]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0150]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0151]
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以用软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台
计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0152]
最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。