硬标签黑盒深度模型对抗样本的生成方法、存储介质与流程

1.本发明涉及黑盒攻击技术领域，特别涉及一种硬标签黑盒深度模型对抗样本的生成方法、存储介质。


背景技术：

2.随着技术的发展，机器学习特别是深度神经网络展现出巨大的性能优势，已经在包括括语音识别、图像识别、视频跟踪、自然语音处理等在内的图、文、视频等多个领域得到部署和应用。然而深度神经网络也有其脆弱性，研究证实通过对输入添加微小的扰动能有效干扰深度神经网络的输出结果。这给诸如自动驾驶、人脸验证等许多安全相关领域的带来忧患。
3.研究攻击方法可以帮助提高模型的鲁棒性。根据攻击者对被攻击模型的了解程度可以将攻击分为白盒攻击与黑盒攻击。黑盒攻击场景下，攻击者不清楚被攻击模型包括网络结构、模型参数等内部信息，只能通过输入样本获取对应输出来做判断。一些攻击尝试通过在已有的模型上进行白盒攻击生成对抗噪声，然后迁移到目标模型上的方式来进行黑盒攻击。这种攻击方式可以很快地生成对抗样本，但是攻击成功率较低。还有一些基于查询的方式通过反复输入图片，得到反馈，来更新对抗噪声。这类方式通常能达到很高的攻击成功率，但是需要对模型进行上千次的查询。这在实际场景中开销巨大，并且很容易被线上系统通过限制频率来防御。
4.硬标签黑盒模型不输出置信度等连续值信息，只输出最终的类别这类离散，加大了黑盒攻击的难度。一些研究者从目标类别样本出发，迭代的采样去靠近原始输入样本。而由于未能充分利用迭代过程中的信息，现有方法往往需要消耗大量的迭代和查询次数。因此，一种更高效的硬标签黑盒对抗生成样本方法将成为研究和应用的重点。


技术实现要素：

5.本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种硬标签黑盒深度模型对抗样本的生成方法，能够有效地减少对模型的查询次数,同时显著提高攻击成功率。
6.本发明的第二个目的在于提出一种计算机可读存储介质，能够实现上述硬标签黑盒深度模型对抗样本的生成方法。
7.为达到上述目的，本发明第一方面实施例提出了一种硬标签黑盒深度模型对抗样本的生成方法，包括以下步骤：
8.输入原图像和目标图像；
9.初始化对抗图像为目标图像；
10.采用双方向的随机游走优化算法在保证对抗图像的分类为目标图像对应的目标类别的前提下进行迭代优化计算，以使所述对抗图像逼近所述原图像；其中，所述双方向包括随机方向和确定方向；所述迭代优化计算过程中，依据对抗图像与原图像距离缩小的实
际值与期望值的比例动态调整所述双方向之间的权重系数，并且将历史查询信息作为先验知识指导当前采样。
11.根据本发明实施例的硬标签黑盒深度模型对抗样本的生成方法，对于输入的原图像，首先初始化目标类别图像；接着采用改进的随机游走策略迭代地对对抗噪声进行逐步更新来缩小与原图像的距离，在上一步迭代的基础上，每一步迭代的方向为从一个确定方向和一个随机方向采样得到的矢量加权和；通过黑盒模型输出判断如果该步得到的样本为目标类别的对抗样本，则更新噪声；为了加速优化，将之前的查询信息作为先验知识指导当前采样；为了平衡两个方向的影响，基于与原图像距离缩小的实际值与期望值的比值动态调整两个方向的系数。从而使得在若干轮迭代后，便可高效地得到的最小的能使黑盒模型判断出错的对抗扰动。本发明基于历史查询信息，并且不引入复杂的优化过程，同时具有操作简单的优点。因此，本发明提出的黑盒攻击相比传统硬标签黑盒攻击方法，有效地减少了对模型的查询次数，提高了攻击成功率。
12.另外，根据本发明上述实施例提出的硬标签黑盒深度模型对抗样本的生成方法，还可以具有如下附加的技术特征：
13.优选地，所述采用双方向的随机游走优化算法在保证对抗图像的分类为目标图像对应的目标类别的前提下进行迭代优化计算，以使所述对抗图像逼近所述原图像，包括：
14.使用公式：进行迭代优化计算；
15.式中，x
k 1
为当前计算得到的对抗图像；x
k
为第k次迭代得到的对抗图像；x
s
为原图像；η～n(μ，i)为随机高斯采样向量，其中，n(
·
，
·
)表示高斯分布，μ为高斯分布均值，i为单位矩阵；(x
s
‑
x
k
)为一个确定方向；η为一个随机方向；α为确定方向的系数；β为随机方向的系数；
16.若计算得到的对抗图像x
k 1
的分类为目标图像对应的目标类别，则累计迭代次数，更新所述公式的参数，继续进行迭代优化计算；
17.若计算得到的对抗图像x
k 1
的分类非目标图像对应的目标类别，则赋值对抗图像x
k 1
为上一次迭代优化计算得到的对抗图像x
k
，更新所述公式的参数，继续进行迭代优化计算。
18.优选地，所述将历史查询信息作为先验知识指导当前采集，包括：
19.所述初始化对抗图像为目标图像的同时，还包括：
20.初始化随机高斯采样向量中的高斯分布均值μ＝0；
21.所述若计算得到的对抗图像x
k 1
的分类为目标图像对应的目标类别，则更新所述公式的参数，之后，还包括：
22.更新高斯分布均值μ为(1 γ)
·
μ γ
·
η，其中，γ系数用于控制不同时期历史查询信息的影响；η为一个随机方向；
23.所述若计算得到的对抗图像x
k 1
的分类非目标图像对应的目标类别，则更新所述公式的参数，之后，还包括：
24.更新高斯分布均值μ为(1
‑
γ)
·
μ
‑
γ
·
η。
25.优选地，所述依据对抗图像与原图像距离缩小的实际值与期望值的比例动态调整所述双方向之间的权重系数，包括：
26.更新高斯分布均值μ之后，依据公式r∈[0，1]计算当前迭代优化计算后对抗图像与原图像距离缩小的实际值与期望值的比例r，式中，r
act
为对抗图像与原图像距离缩小的实际值，依据公式r
act
＝||x
k
‑
x
s
||2‑
||x
k 1
‑
x
s
||2计算得到；r
exp
为对抗图像与原图像距离缩小的期望值，依据公式计算得到；
[0027]
依据所述比例r的大小，正比例调整确定方向的系数α的大小。
[0028]
优选地，依据所述比例r的大小，正比例调整确定方向的系数α的大小，包括：
[0029]
依据历史迭代优化计算得到历史比例r
′
，计算比例均值；
[0030]
依据公式α.(mean(r
′
) 0.8)2计算新的确定方向的系数，式中，α为当前迭代优化计算所使用的确定方向的系数；mean(r
′
)为所述比例均值。
[0031]
为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序在被处理器执行时，能够实现上述硬标签黑盒深度模型对抗样本的生成方法。
附图说明
[0032]
图1为根据本发明实施例的一种硬标签黑盒深度模型对抗样本的生成方法的流程示意图；
[0033]
图2为根据本发明实施例的一种硬标签黑盒深度模型对抗样本的生成方法的结果表现示意图；
[0034]
图3为本发明实施例提供的方法与现有方法在查询次数和攻击成功率方面的比较结果；
[0035]
图4为根据本发明实施例提供的方法攻击face 线上系统的示意图。
具体实施方式
[0036]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0037]
本发明旨在解决传统黑盒攻击方法由于信息利用不充分，采样效率低下从而导致查询次数巨大的问题，提供一种高效的硬标签黑盒深度模型对抗样本的生成方法，充分利用迭代过程的历史查询信息，同时更关注有目的攻击，以简单计算、简单操作的方式便可有效地减少模型查询次数，提高攻击成功率。
[0038]
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
[0039]
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
[0040]
黑盒攻击是指在无法获取目标模型内部信息的情况下，通过该黑盒模型输入及对应输出的信息，构造对抗扰动，该对抗扰动添加在原输入图像上将使得黑盒模型无法正确
处理(如分类错误)。硬标签黑盒攻击情形下，黑盒模型的输出只包含对应标签，不包含分类置信度等信息，该情形比普通黑盒攻击更为困难。
[0041]
本发明更关注有目标攻击，即让黑盒模型将原输入图像识别为使用者指定的类别。简单地说，即在硬标签黑盒模型的条件下，生成与给定原输入图像相似，但是黑盒模型识别成目标图像的对抗图像。
[0042]
图1为本发明实施例的一种硬标签黑盒深度模型对抗样本的生成方法的流程示意图。
[0043]
如图1所示，本发明实施例的一种硬标签黑盒深度模型对抗样本的生成方法，包括以下步骤：
[0044]
输入原图像和目标图像；
[0045]
初始化对抗图像为目标图像；
[0046]
采用双方向的随机游走优化算法在保证对抗图像的分类为目标图像对应的目标类别的前提下进行迭代优化计算，以使所述对抗图像逼近所述原图像；其中，所述双方向包括随机方向和确定方向；所述迭代优化计算过程中，依据对抗图像与原图像距离缩小的实际值与期望值的比例动态调整所述双方向之间的权重系数，并且将历史查询信息(同时包括成功的和失败的)作为先验知识指导当前采样。
[0047]
上述实施例的总体思路为：从给定的目标图像初始化对抗图像出发，逐步采样优化方向在图像空间逼近输入的原图像，同时保证该对抗图像始终落在目标类别区域。以人脸识别攻击为例，使用者期望得到一张对抗图像，该图像与人物a的人脸图像人眼感官一致，但使得黑盒人脸识别模型识别为目标人物b。使用者预先收集若干张人物b人脸图像，选取其中能被黑盒人脸识别模型准确判断为人物b的一张(即目标图像)作为对抗图像初始化。在图像空间逐步使该对抗图像靠近原输入人物a人脸图像(即原图像)，其中用黑盒模型输出判断来保证优化过程中对抗图像始终被识别为人物b，最终得到人眼观感与人物a一致，模型判断为人物b的对抗图像。该过程可以形象地用图2来表示，给定输入样本和初始化点，在决策边界存在但未知的情况下，本算法从初始化点出发逐步在决策边界上探索，最终到达距离输入样本较近但仍然落在目标类别区域的位置。
[0048]
作为一具体实例，所述采用双方向的随机游走优化算法在保证对抗图像的分类为目标图像对应的目标类别的前提下进行迭代优化计算，以使所述对抗图像逼近所述原图像，具体包括：
[0049]
由于硬标签的黑盒模型输出是一个离散值，难以优化。因此，本实例从对应目标类别的目标图像出发，在保证分类仍然为目标类别的情况下，逐步逼近原图像。
[0050]
具体可以采用以下公式进行迭代优化：
[0051][0052]
式中，x
k 1
为当前计算得到的对抗图像；x
k
为第k次迭代得到的对抗图像；x
s
为原图像；η～n(μ，i)为一个随机高斯采样的向量，其中，n(
·
，
·
)表示高斯分布，μ为高斯分布均值，i为单位矩阵；(x
s
‑
x
k
)为一个确定方向；η为一个随机方向；α为确定方向的系数；β为随机方向的系数；
[0053]
需要注意的是，上述迭代优化过程中，每一次迭代都会朝向一个确定的方向(x
s
‑
x
k
)和一个随机方向η来更新，具体依据两个方向的系数进行调控。其中，确定方向主要用于
减小与原图像的距离；而随机方向用于探索模型决策界，防止穿过决策边界从而不能识别为目标类别。
[0054]
而为了保证对抗图像的分类始终被识别为目标图像对应的目标类别，则通过下述步骤进行限定：
[0055]
若计算得到的对抗图像x
k 1
的分类为目标图像对应的目标类别，则累计迭代次数，更新所述公式的参数，继续进行迭代优化计算；
[0056]
若计算得到的对抗图像x
k 1
的分类非目标图像对应的目标类别，则赋值对抗图像x
k 1
为上一次迭代优化计算得到的对抗图像x
k
，更新所述公式的参数，继续进行迭代优化计算。
[0057]
简而言之，对抗图像x
k 1
只有当分类仍然是目标类别时才被接受，否则退回到上一次产生的对抗图像x
k
，即x
k 1
←
x
k
。
[0058]
由于随机方向的采样效率很大程度上决定了本实施例提供的优化生成方法的效率。因此，在另一具体实例中，为了得到一个较好的采样结果，该具体实例将历史查询信息编码进高斯分布的均值中，即上述的将历史查询信息作为先验知识指导当前采集。
[0059]
具体而言，可以通过以下方式实现：
[0060]
初始化对抗图像为目标图像的同时，初始化随机高斯采样向量中的高斯分布均值μ＝0；
[0061]
在每次迭代优化算法更新之后，根据当前x
k 1
是否为目标类别来更新均值μ：
[0062][0063]
式中的γ系数用于控制不同时期历史信息的影响。越大的系数会越快遗忘更早之前的信息。
[0064]
在随机游走优化过程中，两个方向的权重也扮演重要的角色。确定方向的权重大，与原图像的距离会减少得更快，但也更容易穿过决策边界，导致更新失败；随机方向权重大，有利于探索决策边界，但会导致与原图像距离减少速度变慢，需要更多的迭代次数。因此如何动态调整两个方向之间的权重达到一个平衡显得格外重要。
[0065]
作为一具体实例，所述依据对抗图像与原图像距离缩小的实际值与期望值的比例动态调整所述双方向之间的权重系数。即方向权重动态调整的过程。具体可以包括：
[0066]
考虑调整的目的是为了更好的减小与原图像的距离，本具体实例根据对抗图像与原图像实际距离下降值与期望距离下降值的比值来调整。
[0067]
实际距离下降值，即对抗图像与原图像距离缩小的实际值，可以表示为：
[0068]
r
act
＝||x
k
‑
x
s
||2‑
||x
k 1
‑
x
s
||2；
[0069]
对于期望距离下降值，即对抗图像与原图像距离缩小的期望值，考虑以随机游走优化过程中更新的部分在当前样本与原图像方向上的投影的大小表示，即：
[0070][0071]
为了统一实际距离减小和实际距离增大(逃离局部最小值时)两种情形，本具体实例将比值计算定义为：
[0072]
[0073]
式中，比值r属于[0，1]。
[0074]
当r较大时，可相应增大α的值；当r较小时，可相应减小α的值。作为一具体示例，调整方式可以表示为α
←
α.(r 0.8)2。
[0075]
优选地，为了减小随机带来的抖动，本具体实例将统计q
r
次迭代中r的均值，再依据均值更新α的值。即调整方式表示为α
←
α
·
(mean(r
′
) 0.8)2。式中，α为当前迭代优化计算所使用的确定方向的系数；mean(r
′
)为所述比例均值。
[0076]
另外，本发明基于上述实施例，还提供另一具体实施例：
[0077]
一种计算机可读存储介质，其上存储有计算机程序，所述程序在被处理器执行时，能够实现上述硬标签黑盒深度模型对抗样本的生成方法。
[0078]
作为本具体实施例的计算机程序的一种具体实现，计算机程序可以包括：
[0079]
输入：原始图像x
s
，目标图像xt，最大查询次数q
[0080]
输出：对抗样本x
′
.
[0081][0082]
下面，将依据上述具体实施例提供的硬标签黑盒深度模型对抗样本的生成方法在经典网络模型上的测试结果，佐证本发明方法的有益效果真实，方法有效。
[0083]
测试包括自然图像分类模型和人脸验证模型。在统一限制20000次查询的条件下，比较与原图像的l2距离的平均值、查询次数与l2距离曲线下方的面积、攻击成功率三种指标。
[0084]
所测试的经典网络模型包括vgg
‑
16,resnet
‑
50和inception
‑
v3。对抗噪声采用了l
‑
2范数约束，数据集为通用的imagenet数据集。
[0085][0086]
表1
[0087]
上述表1为本发明方法与现有方法(即hsja、qeba、bba和evolutionary)在通用的imagenet数据集上的结果，分别测试了vgg
‑
16、resnet
‑
50、inception
‑
v3三种经典模型。mean l2表示20000次迭代后与原图像的平均l2距离(越低越好)，auc为查询次数与l2距离曲线下方的面积(越低越好)。给定一个l2距离阈值，小于该阈值的样本定义为攻击成功样本。表1中的asr表示攻击成功率(越高越好)。
[0088]
由上述表1可以看出：本发明的方法在相同查询次数下，最终与原图像的l2距离相比较其他方法减少至少24.3％。较低的auc表明本发明方法优化的更为迅速。这也表明了本发明提出方法的高效性。表1为20000次迭代后不同指标的结果。图3可视化了从0次迭代到第20000次迭代过程中，不同方法l2指标和auc指标的变化情况。其中象征l2指标的曲线在越下方表明方法效果越好，auc指标曲线在越上方效果越好。由图3可以看出本发明方法l2曲线几乎全程在最下方，auc曲线在中期开始大幅度超越其他方法。这佐证了本发明方法在不同迭代次数下的高效性。
[0089][0090]
表2
[0091]
表2为本发明方法与现有方法在人脸数据集celeba上的结果，分别测试了以inception
‑
resnet
‑
152为基础的cosface、arcface两种经典模型。相关评估指标与表1相同，也取得了相似的结果。这证明了本发明方法不仅适用于自然图像分类模型，对人脸验证模型也适用，表明了本发明具备广泛的适用性。
[0092]
另外，还测试了本发明对真实在线场景的攻击。
[0093]
攻击目标为face 线上人脸验证模型，相关攻击结果如图4。图4为本发明方法与evolutionary方法的一个对比例子，目标为构造一张类似左上角的人脸图像，使得face
认为其和左下角人脸属于同一人。右侧为不同查询次数下得到的人脸图像，第一行为evolutionary方法，第二行为本发明方法，图像下方标注该图像到原图的l2距离。随着查询次数的增加，两种方法都会得到越来越逼近左上角的人脸图像。但在相同查询次数的对比下，无论从人眼观察角度还是从l2距离度量来说，本发明方法都能得到更接近左上人脸的图像。
[0094]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0095]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0096]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0097]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0098]
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
[0099]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0100]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
[0101]
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，
“
多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0102]
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0103]
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
[0104]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0105]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。