数据攻击的防御方法及其模型的训练方法、系统与流程

技术特征：
1.一种用于数据攻击防御的模型训练方法，其特征在于，所述方法包括：获取样本图像数据集；其中，所述样本图像数据集至少包括：mnist数据集和imagenet数据集；将所述样本图像数据集输入至预设的深度学习模型中进行训练；其中，所述深度学习模型包括：第一目标模型和/或第二目标模型；所述mnist数据集用于所述第一目标模型的训练；所述imagenet数据集用于所述第二目标模型的训练；通过预设的损失函数分别对所述第一目标模型和/或所述第二目标模型的损失值进行计算；当所述第一目标模型的损失值和/或所述第二目标模型的损失值满足预设的损失阈值时，得到用于数据攻击防御的初始模型；利用重要性判别函数对已得到的所述初始模型中的权重进行剪枝操作，并将已完成剪枝操作的所述初始模型确定为所述用于数据攻击防御的模型。2.根据权利要求1所述的模型训练方法，其特征在于，利用重要性判别函数对已得到的所述初始模型中的权重进行剪枝操作，包括：利用掩码矩阵对所述初始模型进行约束，并根据约束结果确定所述初始模型中的权重的重要性数据；利用所述重要性判别函数，对已确定的所述权重的重要性数据进行判别，并根据判别结果对所述初始模型中的权重进行剪枝操作。3.根据权利要求2所述的模型训练方法，其特征在于，利用掩码矩阵对所述初始模型进行约束，并根据约束结果确定所述初始模型中的权重的重要性数据，通过以下算式计算得到：其中，w
k
为所述初始模型，k为所述初始模型的第k层；t
k
为二值的掩码矩阵，当t
k
＝0时表示对应的权重已被剪枝，当t
k
＝1时表示对应的权重未被剪枝；l为所述初始模型的损失函数；β为所述初始模型的学习率；利用所述重要性判别函数，对已确定的所述权重的重要性数据进行判别，并根据判别结果对所述初始模型中的权重进行剪枝操作，通过以下算式计算得到：其中，h
k
为所述重要性判别函数，用于判断对应的权重是否重要；所述重要性判别函数，如下：其中，a
k
和b
k
分别为第一阈值和第二阈值，且a
k
<b
k
。4.根据权利要求1所述的模型训练方法，其特征在于，将所述样本图像数据集输入至预设的深度学习模型中进行训练的步骤，包括：根据所述第一目标模型和/或所述第二目标模型的模型结构，确定所述深度学习模型
训练时的超参数；利用已确定的所述超参数，对所述深度学习模型进行训练；其中，所述深度学习模型进行训练时采用sgd、adam上述一种或多种优化器进行优化。5.根据权利要求4所述的模型训练方法，其特征在于，通过预设的损失函数分别对所述第一目标模型和/或所述第二目标模型的损失值进行计算的步骤，包括：根据交叉熵函数确定所述损失函数；其中，所述损失函数为：其中，p为所述样本图像数据集中的样本的真实标签；q为预测的概率；x
i
为所述样本图像数据集中的样本；w为模型参数；λ为正则化系数；loss为损失函数；利用所述损失函数，计算所述第一目标模型的损失值和/或所述第二目标模型的损失值。6.一种数据攻击的防御方法，其特征在于，所述方法包括：获取待检测的图像数据；将所述图像数据输入至已完成训练的防御模型，输出所述图像数据的置信度检测结果；其中，所述防御模型通过上述权利要求1至5任一项所述的模型训练方法训练得到；根据所述置信度检测结果确定所述图像数据的攻击风险值，并将所述攻击风险值大于预设阈值的所述图像数据进行数据防御；其中，所述数据防御针对的是成员推理攻击的防御。7.根据权利要求6所述的数据攻击的防御方法，其特征在于，根据所述置信度检测结果确定所述图像数据的攻击风险值的步骤，包括：将所述置信度检测结果输入至已完成训练的攻击模型中；其中，所述攻击模型与所述防御模型的结构相同；所述攻击模型根据所述置信度检测结果，计算得到所述图像数据的攻击预测概率，并根据所述攻击预测概率确定所述图像数据的攻击风险值。8.根据权利要求7所述的数据攻击的防御方法，其特征在于，所述攻击模型的训练过程，包括：根据已完成训练的所述防御模型构建多个影子模型；其中，所述影子模型至少包括：第一影子模型和/或第二影子模型；所述第一影子模型通过mnist数据集进行训练；所述第二影子模型通过imagenet数据集进行训练；所述第一影子模型和/或所述第二影子模型的训练参数与所述防御模型的训练参数相同；根据预设的样本集和训练集分别输入至所述影子模型中，得到置信度结果；其中，将所述样本集输入至所述影子模型时的置信度的标签设置为1；将所述训练集输入至所述影子模型时的置信度的标签设置为0；将所述置信度结果输入至已初始化的所述攻击模型中进行训练；其中，其中，所述深度学习模型进行训练时采用sgd、adam上述一种或多种优化器进行优化。9.一种用于数据攻击防御的模型训练系统，其特征在于，所述模型训练系统包括：数据采集模块，用于获取样本图像数据集；其中，所述样本图像数据集至少包括：mnist数据集和imagenet数据集；
训练模块，用于将所述样本图像数据集输入至预设的深度学习模型中进行训练；其中，所述深度学习模型包括：第一目标模型和/或第二目标模型；所述mnist数据集用于所述第一目标模型的训练；所述imagenet数据集用于所述第二目标模型的训练；损失值计算模块，用于通过预设的损失函数分别对所述第一目标模型和/或所述第二目标模型的损失值进行计算；当所述第一目标模型的损失值和/或所述第二目标模型的损失值满足预设的损失阈值时，得到用于数据攻击防御的初始模型；剪枝操作模块，用于利用重要性判别函数对已得到的所述初始模型中的权重进行剪枝操作，并将已完成剪枝操作的所述初始模型确定为所述用于数据攻击防御的模型。10.一种数据攻击的防御系统，其特征在于，所述防御系统包括：数据获取模块，用于获取待检测的图像数据；置信度检测模块，用于将所述图像数据输入至已完成训练的防御模型，输出所述图像数据的置信度检测结果；其中，所述防御模型通过上述权利要求1至5任一项所述的用于数据攻击防御的模型训练方法训练得到；防御执行模块，用于根据所述置信度检测结果确定所述图像数据的攻击风险值，并将所述攻击风险值大于预设阈值的所述图像数据进行数据防御；其中，所述数据防御针对的是成员推理攻击的防御。

技术总结
本发明提供了一种数据攻击的防御方法及其模型的训练方法、系统，涉及信息安全技术领域，该防御方法将获取的待检测图像数据输入至已完成训练的防御模型后，得到图像数据的置信度检测结果，根据置信度检测结果确定图像数据的攻击风险值，并将攻击风险值大于预设阈值的图像数据进行数据防御。该防御模型在训练过程中，利用重要性判别函数对初始防御模型的权重进行剪枝操作，降低了防御模型的复杂度，提高了训练数据的隐私保护程度，提升了数据攻击的防御效果。防御效果。防御效果。


技术研发人员：陆韵 郑申俊 江易 孙云 舒塘皓 周龙 吕添 姚世凯
受保护的技术使用者：杭州中奥科技有限公司
技术研发日：2021.10.11
技术公布日：2022/1/6