基于多源遥感干扰目标智能伪造的图像识别系统防御方法

1.本发明属于目标识别技术领域，具体涉及一种基于多源遥感干扰目标智能伪造的图像识别系统防御方法。


背景技术：

2.目前信息安全问题日益严峻，许多现有的技术手段可以轻松地获得重要的保密信息。人工智能已广泛应用于遥感图片的解译环节，目标识别网络已经可以精准识别出目标的位置和类别，并已部署在各种应用场景中。因此保护自己的目标信息不被泄露，已经成为研究的热门领域。现有研究表明，可以通过对样本的攻击来干扰网络的识别结果，降低网络模型的识别精度，从而防止他人不法获得自己的目标信息。在这些攻击中，尤其以对抗样本攻击最为著名。对抗样本指在原有数据对象(如图像)上添加扰动而产生的新数据对象，目前常用的生成对抗样本的方法为通过生成补丁或修改像素的方式进行干扰。
3.然而对于多源图像的识别干扰一直没有针对性的研究。多源图像指将来自不同传感器的同时相的遥感图像(即相同时间相同相位同一场景的遥感图像)进行像素级、特征级或决策级融合之后生成的新图像，该新图像拥有更多的特征信息。现存的干扰方法只能使真实目标的检测框失效，但这种干扰方容易被一些网络模型识别。
4.深度学习因为其表达能力强而获得了成功，但也造成了其会学习到一些无法解释的结果，具有一些反常理的属性。深度神经网络学习的输入输出映射在很大程度上是不连续的，这造成了可以通过应用某种难以察觉的扰动使网络误分类图像，这种扰动是通过最大化网络的预测误差而发现的。
5.现有的对抗干扰大多着眼于使现有的目标检测框失效，或者干扰识别网络识别为别的错误类型。但是使真实目标检测失效时，没有生成新的假目标或生成其他类别的假目标，在一定环境下容易被识破攻击行为。例如，在机场位置进行对抗攻击后，并没有检测出“飞机”等目标，却检测出一些与环境不相符的类别目标。或是在已知目标存在的情况下，并未识别出目标转而进行肉眼识别的情况，出现这种现象会让对方察觉出当前目标检测存在被攻击的行为而换取其他的目标识别方法，从而不利于对我方的目标信息进行保护。


技术实现要素：

6.为了解决现有技术中存在的上述问题，本发明提供了一种基于多源遥感干扰目标智能伪造的图像识别系统防御方法。本发明要解决的技术问题通过以下技术方案实现：
7.本发明提供了一种多源遥感干扰目标智能伪造的图像识别系统防御方法，包括：
8.获取目标识别网络并利用目标图像数据集对所述目标识别网络进行训练，获得经训练的目标识别网络模型；
9.将待识别的原始图像输入所述经训练的目标识别网络中，获得真实目标所在的位置坐标信息和类别信息；
10.对识别出的真实目标进行对抗干扰，生成能够使真实目标检测失效的对抗样本图
像；
11.对原始图像中的场景信息进行识别以利用识别出的场景信息确定假目标可生成在原始图像中的位置范围；
12.获取假目标数据并将所述假目标构建在所述对抗样本图像的对应场景内，形成伪装图像。
13.在本发明的一个实施例中，获取目标识别网络并利用目标图像数据集对所述目标识别网络进行训练，获得经训练的目标识别网络模型，包括：
14.构建目标识别网络，所述目标识别网络为yolov4网络；
15.利用包含目标标签的训练数据集对所述目标识别网络进行训练，获得经训练的目标识别网络模型，所述经训练的目标识别网络模型可以用来识别图像中的目标信息。
16.在本发明的一个实施例中，对识别出的真实目标进行对抗干扰，生成能够使真实目标检测失效的对抗样本图像，包括：
17.利用对抗补丁的方式对识别出的真实目标进行对抗干扰，生成含补丁的对抗样本图像，以使对真实目标的检测失效。
18.在本发明的一个实施例中，对识别出的真实目标进行对抗干扰，生成能够使真实目标检测失效的对抗样本图像，包括：
19.在生成补丁的过程中，输入目标识别网络模型、目标类别以及补丁的规模参数；给定带补丁的图像后，使用随梯度下降优化器来最小化目标识别网络模型的分类损失，损失会随着训练过程下降，最后生成对抗样本图像。
20.在本发明的一个实施例中，对原始图像中的场景信息进行识别以利用识别出的场景信息确定假目标在原始图像中的位置范围，包括：
21.利用模糊c均值聚类方法、svm、决策树或归一化植被指数或经训练的场景识别网络模型，获取原始图像中的场景种类信息和位置信息。
22.在本发明的一个实施例中，所述场景识别网络模型为yolov4网络。
23.在本发明的一个实施例中，获取假目标数据并将所述假目标构建在所述对抗样本图像的对应场景内，形成伪装图像，包括：
24.通过收集各种与原始图像相同类型的目标图像构建用于生成假目标的素材库；
25.从所述素材库中获取一目标图像作为待使用的假目标；
26.将所述假目标构建在原始图像的对应场景范围内。
27.在本发明的一个实施例中，获取假目标数据并将所述假目标构建在所述对抗样本图像的对应场景内，形成伪装图像，包括：
28.获得真实目标的类别信息，作为待使用的假目标；
29.将所述假目标构建在原始图像的对应场景范围内与真实目标不同的位置上。
30.本发明的另一方面提供了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序用于执行上述实施例中任一项所述多源遥感干扰目标智能伪造的图像识别系统防御方法的步骤。
31.本发明的又一方面提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上述实施例中任一项所述多源遥感干扰目标智能伪造的图像识别系统防御方法的步骤
32.与现有技术相比，本发明的有益效果在于：
33.1、本发明基于多源遥感干扰目标智能伪造的图像识别系统防御方法在使真实检测框失效的同时，增加与场景相对应的素材库目标或将真实目标进行复制，移动真实目标出现在不同的位置，以此达到可以使用目标识别网络识别出与真实目标相同的类别和数量等信息，但是识别出的位置存在一些偏差，从而使识别结果失效的目的。
34.2、本发明中采用的识别场景的思路，先对原始图片进行场景信息的识别，可以提生成高假目标的可信度。为防止识别精度较高的目标识别网络，识别出假目标并非真实目标，因此先进行场景识别，可避免假目标生成在错误的位置，提高防御的力度。
35.3、本发明在生成假目标时建立假目标素材库，收集有关目标信息的图像，有利于获取有关目标的纹理信息，光谱信息等图像信息，有助于分析目标的特征，提高假目标的真实程度，达到更好的防御效果。
36.以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
37.图1是本发明实施例提供的一种基于多源遥感干扰目标智能伪造的图像识别系统防御方法的流程框图；
38.图2是本发明实施例提供的一种本发明实施例提供的一种基于多源遥感干扰目标智能伪造的图像识别系统防御方法的详细流程图；
39.图3是本发明实施例提供的一种对抗样本图像的生成过程示意图。
具体实施方式
40.为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的基于多源遥感干扰目标智能伪造的图像识别系统防御方法进行详细说明。
41.有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。
42.应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
43.本实施例提供了一种基于多源遥感干扰目标智能伪造的图像识别系统防御方法，请参见图1和图2，该方法具体包括如下步骤：
44.s1：获取目标识别网络并利用目标图像数据集对所述目标识别网络进行训练，获得经训练的目标识别网络模型。
45.构造目标识别网络，利用包含目标标签的训练数据集对所述目标识别网络进行训
练，获得经训练的目标识别网络模型。假设待识别的目标为车辆，则训练目标识别网络的训练数据集为车辆数据集，即训练数据集中每个图片均包含车辆的类型和位置标签；若待识别目标有两种或两种以上，则训练目标识别网络的训练数据集也为同时包含多个目标类别和位置的图片数据集。例如，需要利用目标识别网络来识别同时包括飞机、车辆和船只的场景图片，则使用目标标签包括飞机、车辆和船只的图像数据集来训练所述目标识别网络。
46.示例性地，本实施例使用飞机图像数据集来训练目标识别网络，本实施例的目标识别网络选用yolov4网络。
47.yolov4网络主要由三个主要组件组成：(1)backbone：在不同图像细粒度上聚合并形成图像特征的卷积神经网络；(2)neck：一系列混合和组合图像特征的网络层，并将图像特征传递到预测层；(3)head：对图像特征进行预测，生成边界框并预测类别；并且yolov4是一个one-stage网络。
48.s2：将待识别的原始图像输入所述经训练的目标识别网络中，获得真实目标所在的位置坐标信息和类别信息。
49.在本实施例中，将待检测的原始图像输入训练好的目标识别网络yolov4模型中，进行飞机目标的识别，可以获得原始图像中飞机目标的类别、位置等信息。
50.s3：对识别出的真实目标进行对抗干扰，生成能够使真实目标检测失效的对抗样本。
51.对于步骤s2中识别出的真实目标，可以对其进行一定的处理，让其检测框失效，生成对抗样本。
52.具体地，生成对抗样本的方式有生成对抗补丁的方法和像素对抗方法。对抗补丁是一种使用人工合成的“补丁”图片，通过替换输入图片局部像素的方式使得网络识别失效的生成对抗样本的手段。像素对抗法是指对输入的图像中故意添加一些不易察觉的细微干扰，导致目标识别网络模型以高置信度给出一个错误的输出，即改动图片上的部分像素(与补丁相比该像素是分散的)，就能让目标检测框失效。
53.在本实施例中，使用adversarial patch attack(对抗补丁攻击)的方法生成一个与原始图像无关的补丁，然后可以将此补丁放置在原始图像中的特定位置，如此便能破坏对方目标识别网络的识别结果。
54.给定目标识别网路pr[y|x]，给定输入的图像数据为(可以是某种物体的图片数据)x∈rn，选定目标类别y和最大扰动ε，想找到一个输入来最大化但要受的约束。
[0055]
生成补丁的过程是计算目标识别网络模型(即步骤s1中的目标识别网络模型)对于输入图像的梯度，然后相应地更新生成的对抗样本图像输入。更新时不是为每个像素计算梯度，而是先用补丁替换原图像的对应区域，然后只对补丁区域计算梯度。其次，需要在多个图片上进行训练，因为攻击目标是任何图片加上我们的补丁都能欺骗模型。
[0056]
在生成补丁的过程中，输入是要攻击的目标识别网络模型(步骤s1中的目标识别网络模型)、目标类别以及补丁的规模参数。给定带补丁的图像后，使用sgd(stochastic gradient descent，随梯度下降)优化器来最小化目标识别网络模型的分类损失，损失会随着训练过程下降，最后生成对抗样本图像。
[0057]
具体地，请参见图3，图3是本发明实施例提供的一种对抗样本图像的生成过程示意图。通过用补丁完全替换图像的一部分来防止其他人窃取我们的目标信息。使用遮罩补丁以使其具有任何形状，然后训练各种图像，对每个图像中的补丁应用随机平移、缩放和旋转，并使用梯度下降进行优化。特别是对于给定图像x∈rw×h×c，补丁p，补丁位置l，以及补丁变换参数集t(包括旋转参数、缩放参数)，可以定义补丁应用操作符(patch application operator)a(p,x,l,t)。在实际生成对抗样本的过程中，首先将补丁变换参数t应用到补丁p上，然后将经过变换的补丁p放到图像x的位置l上。
[0058]
在实际中，需要训练补丁以优化目标类别的预期概率。可以通过以下公式得到补丁：
[0059][0060]
其中，x为图像训练集，t为补丁变换的分布，l为图像中位置的分布，表示期望的意思，pr()为目标识别网络的函数。
[0061]
需要说明的是，这里的图像训练集指的是与一个步骤s1中的数据集没有类别交集的数据集，作为训练补丁的数据集，这样可以保证训练出的补丁图像叠加在识别目标时，会使目标识别网络的识别框失效。
[0062]
s4：对原始图像中的场景信息进行识别以利用识别出的场景信息确定假目标可生成在原始图像中的位置范围。
[0063]
在本实施例中，利用模糊c均值聚类方法、svm、决策树或归一化植被指数或经训练的场景识别网络模型，获取原始图像中的场景种类信息和位置信息。
[0064]
由于遥感图像属于大数据图像，所包含的信息非常多，场景也非常多，一个遥感图像数据可能涵盖很多场景，例如一个图像中可能包含学校、居民区、河流等不同的场景，假设在水面生成车辆等只有陆地会出现的目标物，或者在草坪出现船只，将会很容易暴露伪装行为。因此在待识别的图像中生成假目标之前首先需要确定目标可生成的区域范围。当待识别的目标场景为容易识别的大场景(比如草坪和水域)时，可以使用非智能算法，例如识别草坪时可以使用模糊c均值聚类(fuzzy c-means algorithm，fcma)的方法，此时不需要提前对算法做一些处理。然而，对于位置要求精度更高的场景，需要更小的定位范围，此时可以使用目标识别算法进行场景识别。具体地，可以在训练目标识别网络的同时增加场景数据集，例如使用同时拥有飞机和飞机坪标签的数据集训练目标识别网络，使得训练好的目标识别网络模型可以同时进行目标识别和场景识别。
[0065]
在本实施例中，由于停机坪的识别精度要求较高，因此此处使用目标识别网络进行识别。使用经训练的yolov4网络，识别出停机坪的位置。在其他情况，例如在水域生成舰船的情况下，只需要识别水域位置即可。识别水域位置可以用更加基础的分类器例如svm(support vector machines，支持向量机)或决策树等。再例如在草坪生成目标的情况下，我们可以用归一化植被指数(ndvi)实现植被分类制图。
[0066]
例如，本实施例的识别目标为飞机，则后续飞机假目标需要生成在停机坪等合适的场景内，才不会轻易暴露伪装行为。
[0067]
本实施例中采用的识别场景的思路，先对原始图片进行场景信息的识别，可以提生成高假目标的可信度。为防止识别精度较高的目标识别网络，识别出假目标并非真实目
标，因此先进行场景识别，可避免假目标生成在错误的位置，提高防御的力度。
[0068]
s5：获取假目标数据，并将所述假目标构建在所述对抗样本图像的对应场景内，形成伪装图像。
[0069]
在本发明的一个具体实施例中，所述s5包括：
[0070]
s51：通过收集各种与原始图像相同类型的目标图像构建用于生成假目标的素材库；
[0071]
s52：从所述素材库中获取一目标图像作为待使用的假目标；
[0072]
s53：将所述假目标构建在原始图像的对应场景范围内。
[0073]
具体地，通过收集各种与原始图像相同类型的目标图像构建用于生成假目标的素材库。为了在场景中生成可被识别出的假目标，可以提前准备该类型目标的素材库。素材库中拥有与原始图像相同类型的小尺寸目标图像，该图像只包括目标部分的图像，尺寸对比于原始数据较小。例如原始图像为高光谱数据(光谱分辨率在10-2λ数量级范围内的光谱图像)，高光谱图像拥有多个波段。此时，准备的数据库中的目标数据也为高光谱数据。假设素材库中并未准备与原始图像匹配的目标图片，也可以使用步骤s2中识别出的真实目标数据当作假目标。
[0074]
在本实施例中，构建包括飞机目标的素材库，可以与原始图像中的飞机为相同型号，或者不同型号的飞机，可视具体要求确定类别。
[0075]
本实施例在生成假目标时建立假目标素材库，收集有关目标信息的图像，有利于获取有关目标的纹理信息，光谱信息等图像信息，有助于分析目标的特征，提高假目标的真实程度，达到更好的防御效果。
[0076]
在本发明的另一实施例中，如若没有合适数据，可以使用步骤s2中识别出的飞机图像。具体的，所述s5还可以包括：
[0077]
s51’：获得真实目标的类别信息，作为待使用的假目标；
[0078]
s52’：将所述假目标构建在原始图像的对应场景范围内与真实目标不同的位置上。
[0079]
具体地，如上所述，步骤s2中已经获取了待识别的原始图像中真实目标所在的位置坐标信息和类别信息。使用步骤s4中记录下的场景坐标信息，在该坐标范围内生成与步骤s2中识别出的目标同类型的目标。在确定的场景坐标处，将原始的图像数据替换成为步骤s5中准备好的目标数据。
[0080]
总之，若选择添加素材库中的飞机样本，则在识别出的场景范围内，直接生成素材库中的飞机假目标。若选择当前场景下的飞机假目标，则将步骤s2中识别出的飞机目标进行处理，去掉周围环境影响，只保留与目标有关的像素点，然后生成在识别的场景位置中与真实目标所在的位置坐标不同的另一位置处，这样，当别人想要识别我们遥感图像的目标的类型信息和位置信息时，通过本发明实施例的方法会得到假目标的位置和类型数据，从而保护了正确的目标信息不被泄露。
[0081]
本发明实施例首先使用补丁或其他技术手段使真实的样本检测框失效，随后在同场景的别的位置生成新的目标，以此达到生成对抗样本的目的，用来迷惑目标识别网络。本发明实施例丰富了当前对抗样本生成的方案，并不是完全掩盖掉真实场景里的目标信息，而是对现有目标进行一定的修改。当目标识别网络在进行目标识别的过程中，可以依旧识
别出与场景密切相关的目标类型，但是此时目标的位置已经被修改为虚假的位置，因此识别的信息指向为假目标，从而可以一定程度上迷惑对方，保护了正确的目标信息不被泄露。
[0082]
本发明的又一实施例提供了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序用于执行上述实施例中所述基于多源遥感干扰目标智能伪造的图像识别系统防御方法的步骤。本发明的再一方面提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上述实施例所述基于多源遥感干扰目标智能伪造的图像识别系统防御方法的步骤。具体地，上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0083]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。