基于数据扰动的对抗样本防御方法与装置与流程

1.本发明涉及一种面向自动驾驶场景，基于数据扰动的对抗样本防御方法，同时涉及相应的数据扰动优化装置，属于自动驾驶技术领域。


背景技术：

2.对抗样本是指通过添加干扰产生能够导致机器学习模型产生错误判断的样本。过去几年，深度神经网络在计算机视觉、自然语言处理和语音识别等广泛的应用领域取得了显著的成就。但是，相关研究证明：深度神经网络很容易受到人为设计的对抗样本的影响。这些精心构造的扰动对人类来说是难以察觉的，但很容易导致深度神经网络做出错误判断。这对深度神经网络在可靠性需求较大的场景，特别是自动驾驶场景中的应用提出了安全挑战。
3.针对深度神经网络对对抗样本的脆弱性，相关研究人员先后提出了一系列防御性方法，使得深度神经网络更加健壮，更难被攻击。现有的对抗样本防御方法可以分为三个类别：对抗训练通过将模型动态生成的对抗样本以数据增强的方式引入到训练过程中，使得模型学习对抗样本中的特征，从而提高模型对于对抗样本的防御能力；梯度掩盖方法通过有意或无意的手段隐藏模型的梯度信息来达到增强模型安全性的效果；对抗检测方法会预先使用某种手段辨别输入的图片是正常样本还是对抗样本，防止对抗样本输入到神经网络模型中。
4.在自动驾驶领域,研究对抗样本的攻击和防御情况,对自动驾驶行业的发展具有深远影响。尽管现有针对模型的对抗样本防御方法已经有不错的防御效果，但需要进行针对性训练而且训练周期也较长，在使用过程中就会遇到防御方法不够灵活的问题，难以满足自动驾驶场景的实际需求。


技术实现要素：

5.本发明所要解决的首要技术问题在于提供一种面向自动驾驶场景，基于数据扰动的对抗样本防御方法。
6.本发明所要解决的另一技术问题在于提供一种基于数据扰动的对抗样本防御装置。
7.为实现上述目的，本发明采用下述的技术方案：
8.根据本发明实施例提供的第一方面，提供一种基于数据扰动的对抗样本防御方法，包括如下步骤：
9.将能够干扰车辆识别路牌的像素作为数据扰动添加至输入样本中，构成防御样本；
10.将防御样本输入目标神经网络模型进行优化，输出训练完成的数据扰动；
11.将训练完成的数据扰动加入识别神经网络待识别的样本中，供识别神经网络进行识别；所述识别神经网络为植入自动驾驶车辆中的神经网络模型。
12.其中较优地，将能够干扰车辆识别路牌的像素作为数据扰动添加至输入样本中，具体包括：
13.将当前数据扰动替换对应输入样本中预定区域的像素。
14.其中较优地，所述将防御样本输入目标神经网络模型进行优化，之前还包括：
15.在防御样本中添加自然噪声；
16.在添加自然噪声后的防御样本中再添加对抗扰动。
17.其中较优地，所述将防御样本输入目标神经网络模型进行优化，具体包括：
18.将防御样本输入目标神经网络模型后，计算防御损失函数；
19.根据防御损失函数训练防御样本中的数据扰动，直至优化后的数据扰动满足阈值。
20.其中较优地，所述将防御样本输入目标神经网络模型进行优化，还包括：
21.若优化后的数据扰动不满足阈值，则将不满足阈值的数据扰动添加至输入样本中。
22.其中较优地，所述防御样本的表达式为：
23.x
′
＝a(p，x，l，t)
24.其中，p为数据扰动，x为输入样本，l为数据扰动添加的位置，t为对数据扰动实施的变换，函数a表示扰动附着操作。
25.其中较优地，所述对抗扰动的表达式为：
[0026][0027]
其中，为添加自然噪声后的防御样本，y为输入样本的类别标签，f(
·
)目标神经网络模型，表示分类损失函数的梯度，sign(
·
)表示符号函数，参数∈表示对抗扰动的幅度。
[0028]
其中较优地，所述防御损失函数的表达式为：
[0029][0030]
其中，为添加自然噪声后的防御样本，δ为对抗扰动，y为输入样本的类别标签，f(
·
)目标神经网络模型，pr
y
(
·
)为样本标签y概率函数。
[0031]
其中较优地，所述训练完成的数据扰动表达式为：
[0032][0033]
其中，l
d
为防御损失函数，p为数据扰动。
[0034]
根据本发明实施例的第二方面，提供一种基于数据扰动的对抗样本防御装置，包括处理器和存储器，所述处理器读取所述存储器中的计算机程序，用于执行以下操作：
[0035]
将能够干扰车辆识别路牌的像素作为数据扰动添加至输入样本中，构成防御样本；
[0036]
将防御样本输入目标神经网络模型进行优化，输出训练完成的数据扰动；
[0037]
将训练完成的数据扰动加入识别神经网络待识别的样本中，供识别神经网络进行识别；所述识别神经网络为植入自动驾驶车辆中的神经网络模型。
[0038]
与现有技术相比较，本发明所提供的对抗样本防御方法与装置，具有如下有益效
果：
[0039]
1.在数据扰动训练过程中，进入自然噪声处理和对抗噪声处理，使得植入自动驾驶车辆中的识别神经网络鲁棒性更强，能够应对人为精心构造的对抗样本；
[0040]
2.在优化过程中，使用防御损失函数优化数据扰动，除具有对抗鲁棒性外，还能提升识别神经网络的识别准确率。
附图说明
[0041]
图1为本发明提供的对抗样本防御方法应用在自动驾驶场景的示意图；
[0042]
图2为本发明提供的对抗样本防御方法的流程示意图；
[0043]
图3为本发明实施例中，防御样本的训练流程示意图；
[0044]
图4为本发明实施例提供的对抗样本防御装置的结构图；
[0045]
图5(a)为目标神经网络模型对对抗样本的识别效率图；
[0046]
图5(b)为目标神经网络模型对携带本发明实施例得到的数据扰动的对抗样本识别效率图；
[0047]
图6(a)为目标神经网络模型对异常背景样本识别效率图；
[0048]
图6(b)为目标神经网络模型对携带本发明实施例得到的数据扰动的异常背景样本识别效率图；
[0049]
图7(a)为目标神经网络模型对阴影样本识别效率图；
[0050]
图7(b)为目标神经网络模型对携带本发明实施例得到的数据扰动的阴影样本识别效率图。
具体实施方式
[0051]
下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。
[0052]
图1为本发明提供的对抗样本防御方法应用在自动驾驶场景的示意图。在自动驾驶场景中，将神经网络模型h(
·
)植入自动驾驶车辆中作为识别神经网络，数据扰动为影响自动驾驶车辆识别图像的干扰因素。这里的图像为自动驾驶车辆在行驶过程中所获取的图像信息，如路牌、路面、路障和行人等。
[0053]
如图2所示，本发明实施例提供的对抗样本防御方法，至少包括如下步骤：
[0054]
101、将数据扰动添加至输入样本中，构成防御样本；
[0055]
具体包括如下子步骤：
[0056]
1011、将当前数据扰动替换对应输入样本中预定区域的像素，构成防御样本。
[0057]
所述防御样本的表达式为：
[0058]
x
′
＝a(p，x，l，t)
ꢀꢀ
(1)
[0059]
公式(1)中，p为数据扰动，x为输入样本，l为数据扰动添加的位置，t为对数据扰动实施的变换，函数a表示扰动附着操作。
[0060]
在本发明实施例中，以路牌(stop)为例，将能够干扰车辆识别路牌的像素作为数据扰动p，并将初始值p0作为数据扰动p在添加到路牌样本x上的任意位置，得到防御样本x
′
。干扰车辆识别路牌的像素为初始值p0，可以贴到路牌(stop)上的任意位置，形成防御样本x
′
。
[0061]
在此基础上，初始化数据扰动p0，经过扰动附着操作a(
·
)，附着到输入样本x中，得到防御样本。数据扰动p可分为噪声扰动与补丁扰动。对数据扰动的每个像素扰动大小加以限制，但是扰动的像素数目不加以限制，构成噪声扰动；对数据扰动的可扰动像素数目加以限制，但是扰动的像素扰动大小不加以限制，构成补丁扰动。数据扰动p的大小可以根据需要进行定义。
[0062]
102、将防御样本输入目标神经网络模型进行优化，输出训练完成的数据扰动。
[0063]
所述步骤102之前，还包括如下步骤：
[0064]
201、在防御样本中添加自然噪声；
[0065]
在本发明实施例中，对防御样本进行自然噪声处理，获得添加自然噪声后的防御样本。对防御样本进行自然噪声处理，使得数据扰动能够对物理世界中的自然干扰更健壮，例如，防止真实世界中的雨、雪、雾等天气对数据扰动的干扰。利用数学方法添加自然噪声扰动，模拟真实场景：
[0066][0067]
公式(2)中，x
′
为防御样本，函数c(
·
)表示对防御样本x
′
添加自然噪声扰动，为添加自然噪声后的防御样本。
[0068]
202、在添加自然噪声后的防御样本中再添加对抗扰动。
[0069]
在本发明实施例中，对添加自然噪声后的防御样本进行对抗噪声处理，获得防御后的对抗样本。在数据扰动的训练优化过程中，引入对抗噪声干扰，使得数据扰动能够对对抗样本更健壮，能够在物理世界中对对抗样本具有防御性。对抗扰动处理后，防御后的对抗样本的表达式为：
[0070][0071]
公式(3)中，y为样本的标签，f(
·
)表示目标神经网络，表示分类损失函数的梯度，sign(
·
)表示符号函数，参数∈表示对抗扰动的幅度。
[0072]
在本发明实施例中，防御后的对抗样本δ是通过fgsm(快速梯度下降法)得到。在另一些实施例中，防御后的对抗样本还可以通过pgd(基于梯度的攻击)、cw(基于优化的攻击)等得到。
[0073]
将防御样本输入目标神经网络模型进行优化，具体包括如下子步骤：
[0074]
1021、将防御样本输入目标神经网络模型后，计算防御损失函数；
[0075]
在本发明实施例中，防御样本经过了自然噪声处理和对抗噪声处理后，再输入目标神经网络模型，即将防御后的对抗样本输入至目标神经网络模型，计算防御损失函数：
[0076][0077]
公式(4)中，为添加自然噪声后的防御样本，δ为对抗扰动，y为输入样本的类别标签，f(
·
)目标神经网络模型，pr
y
(
·
)为样本标签y概率函数。
[0078]
1022.如防御损失函数训练防御样本中的数据扰动，直至优化后的数据扰动满足阈值；
[0079]
1023、若优化后的数据扰动不满足阈值；则将不满足阈值的数据扰动添加至输入样本中。
[0080]
在本发明实施例中，使用防御损失函数l
d
优化数据扰动，根据神经网络对防御后的对抗样本的预测结果，判定数据扰动是否满足阈值。在训练过程中，需要进行迭代结束判别，如果结束，则停止训练，输入数据扰动，否则，将新的数据扰动继续进行迭代，也就是说若数据扰动不满足阈值，则返回1011。当然，在其余实施例中，可以利用迭代次数对训练进行判断，若预设次数达到，则停止训练，若没有达到，则返回继续训练。
[0081]
所述训练完成的数据扰动表达式为：
[0082][0083]
公式(5)中，l
d
为防御损失函数，p为数据扰动。
[0084]
如图3所示，上述训练过程可以通过表1表示如下：
[0085]
表1
[0086][0087]
在自动驾驶场景中，通过不断迭代优化防御样本x
′
。具体地说，在每次迭代的过程中，对防御样本x
′
，进行自然噪声处理c(
·
)与对抗噪声处理δ。然后输入到目标神经网络f(
·
)中，并计算防御损失函数l
d
，从而优化数据扰动p。如图1所示，将贴有p0的路牌(即初始防御样本)，进行自然噪声处理c(
·
)后，形成添加自然噪声的防御样本(即图1中natural corruption对应的路牌)。然后，再向添加了自然噪声的防御样本中添加对抗噪声。将添加有自然噪声和对抗噪声的防御样本输入目标神经网络f(
·
)中进行训练，通过损失函数l
d
，约束数据扰动p；目标神经网络f(
·
)输出满足条件的数据扰动p(well
‑
treined patch)。
[0088]
103、将训练完成的数据扰动加入识别神经网络待识别的样本中，供识别神经网络
进行识别。
[0089]
在本发明实施例中，识别神经网络为任意可识别样本的神经网络。识别神经网络在识别加入训练完成的数据扰动的样本时，正确率要高于没有加入训练完成的数据扰动的样本，从而可以提升目标神经网络模型识别样本的准确率。
[0090]
在自动驾驶场景中，将得到的数据扰动p张贴到容易受对抗攻击的样本—路牌上，可以提升目标神经网络模型h(
·
)对路牌进行识别的准确率，并且路牌能够对对抗样本具有鲁棒性，使对抗样本难以在路牌上产生效果。在其它应用场景中，也可以将每个需要识别的样本(路牌、路面、路障和行人等)都贴有输出的数据扰动p从而提升神经网络模型h(
·
)的识别准确率，但是这样实际操作效率比较低。因此，在本发明的优选实施例中，最后只在需要识别的样本中选取易被攻击的图像信息进行张贴p，不但可以在自动驾驶过程中提升神经网络模型h(
·
)的识别准确率，还能够提高识别效率。
[0091]
当然，本发明实施例所述的对抗样本防御方法也可以应用在例如商品识别的其他场景中。
[0092]
为实现本发明所提供的对抗样本防御方法，本发明进一步提供一种基于数据扰动的对抗样本防御装置。如图4所示，该对抗样本防御装置包括处理器42和存储器41，还可以根据实际需要进一步包括通信组件、传感器组件、电源组件、多媒体组件及输入/输出接口。其中，存储器、通信组件、传感器组件、电源组件、多媒体组件及输入/输出接口均与该处理器42连接。前已述及，节点设备中的存储器41可以是静态随机存取存储器(sram)、电可擦除可编程只读存储器(eeprom)、可擦除可编程只读存储器(eprom)、可编程只读存储器(prom)、只读存储器(rom)、磁存储器、快闪存储器等，处理器可以是中央处理器(cpu)、图形处理器(gpu)、现场可编程逻辑门阵列(fpga)、专用集成电路(asic)、数字信号处理(dsp)芯片等。其它通信组件、传感器组件、电源组件、多媒体组件等均可以采用现有智能手机中的通用部件实现，在此就不具体说明了。
[0093]
另一方面，在上述基于数据扰动的对抗样本防御装置中，所述处理器42读取所述存储器41中的计算机程序，用于执行以下操作：
[0094]
将能够干扰车辆识别路牌的像素作为数据扰动添加至输入样本中，构成防御样本；
[0095]
将防御样本输入目标神经网络模型进行优化，输出训练完成的数据扰动；
[0096]
将训练完成的数据扰动加入识别神经网络待识别的样本中，供识别神经网络进行识别；所述识别神经网络为植入自动驾驶车辆中的神经网络模型。
[0097]
下面，通过三组实验来对比目标神经网络模型的识别效率：
[0098]
如图5(a)所示，图中样本为有遮挡扰动(标志上的白条，将贴白条模拟为对抗攻击)的路牌样本x，即对抗样本。经过测试，目标神经网络模型对有遮挡扰动的路牌样本x的识别准确率为49.2％。
[0099]
如图5(b)所示，图中样本在图5(a)的基础上张贴了本发明实施例优化后的优化数据扰动p(标志左侧的彩色条)，得到优化后的样本。经过测试，神经网络模型h(
·
)对有遮挡扰动的路牌样本x的识别准确率为90.2％。
[0100]
如图6(a)所示，图中样本为有异常背景(标志下方的图片)的路牌样本x，即异常背景样本。经过测试，神经网络模型h(
·
)对有异常背景的路牌样本x的识别准确率为45.9％。
[0101]
如图6(b)所示，图中样本在图6(a)的基础上张贴了本发明实施例优化后的优化数据扰动p(标志左侧的彩色条)，得到优化后的样本。经过测试，神经网络模型h(
·
)对有异常背景的路牌样本x的识别准确率为91.3％。
[0102]
如图7(a)所示，图中样本为有阴影影响(标志上的阴影)的路牌样本x，即阴影样本。经过测试，神经网络模型h(
·
)对有阴影影响的路牌样本x的识别准确率为47.5％。
[0103]
如图7(b)所示，图中样本在图7(a)的基础上张贴了本发明实施例优化后的优化数据扰动p(标志左侧的彩色条)，得到优化后的样本。经过测试，神经网络模型h(
·
)对有阴影影响的路牌样本x的识别准确率为91.3％。
[0104]
通过上述实验对比得到的准确率可以表明，本发明提供的对抗样本防御方法与装置，可以有效提升神经网络模型的鲁棒性，特别适合在自动驾驶场景中应用。
[0105]
上面对本发明提供的基于数据扰动的对抗样本防御方法与装置进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质内容的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。