基于归因算法的对抗样本的检测方法和装置与流程

1.本技术涉及图像识别领域，尤其涉及一种基于归因算法的对抗样本的检测方法和装置。


背景技术：

2.目前，现有技术中存在一种较为成熟的基于归因算法的对抗样本检测方案，使用了deeplift的归因算法，对输入图像生成显著图，并在原始图中进行对应部分删除，并观察删除前后图像经机器学习分类算法给出的标签是否相同来判断原图是否为对抗样本。
3.然而，近些年已有文献指出deeplift算法本身存在完整性缺陷，对于某些特殊的神经网络模型会得出偏差较大的结果，导致检测方案在不同机器学习上的实现效果相差较大，可迁移性差。同时，图像处理中仅采用删除的操作同样对于正常图像有较大影响，导致检测方案整体的误报率也较高。
4.另一方面，目前的检测算法仅判断原始输入图像是否为正常图像，对于异常输入没有后续的处理操作。但在某些特殊场景，例如自动驾驶的路标识别场景下，我们需要算法能对受干扰的输入给出正确的分类，保证自动驾驶系统的安全性，目前已有的系统在这方面均处于空白状态。


技术实现要素：

5.基于此，本技术提供了一种基于归因算法的对抗样本的检测方法和装置。根据本技术的方法和装置，所采用的完善的归因算法，适应大部分主流分类神经网络结构，提升系统整体的可迁移性；采用图像删除后进行图像修复的这种更优的图像处理方法，使得正常图像对于该处理是鲁棒的，大大降低系统的误报率，提升系统判断结果的可靠性；此外，对检测过程中的各个步骤或模块设计一定的流程模式，采用迭代的方式获取多个预测标签，使得异常对抗样本输入经过数轮操作后最终可以被正确分类，得到更为理想的标签输出。
6.根据本技术的第一个方面，提供一种基于归因算法的对抗样本的检测方法，其包括：
7.a.对输入的原始图像进行预处理，生成预处理图像；
8.b.将所述预处理图像进行预测分类处理，获得原始预测标签信息；
9.c.根据所述预处理图像和所述原始预测标签信息按照归因算法进行归因计算，计算所述预处理图像中每个像素点对应的归因值并生成显著图像；
10.d.按照预定的比例删减与所述显著图像中归因值高的点对应的所述预处理图像中的像素点，生成经删减图像；
11.e.将所述经删减图像进行修复处理，生成经修复图像；
12.f.将所述经修复图像进行预测分类处理，获得后续预测标签信息；以及
13.g.将所述原始预测标签信息与所述后续预测标签信息进行比较，并根据比较结果输出预测标签信息。
14.根据本技术的第二个方面，提供一种基于归因算法的对抗样本的检测装置，其包括：
15.预处理单元，用于对输入的原始图像进行预处理，生成预处理图像；
16.预测分类单元，用于将所述预处理图像进行预测分类处理，获得原始预测标签信息；
17.第一生成单元，用于根据所述预处理图像和所述原始预测标签信息按照归因算法进行归因计算，计算所述预处理图像中每个像素点对应的归因值并生成显著图像；
18.第二生成单元，用于按照预定的比例删减与所述显著图像中归因值高的点对应的所述预处理图像中的像素点，生成经删减图像；
19.第三生成单元，用于将所述经删减图像进行修复处理，生成经修复图像；
20.所述预测分类单元还用于将所述经修复图像进行预测分类处理，获得后续预测标签信息；以及
21.输出单元，用于将所述原始预测标签信息与所述后续预测标签信息进行比较，并根据比较结果输出预测标签信息。
22.根据本技术的第三个方面，提供一种电子设备，包括：
23.处理器；以及
24.存储器，存储有计算机指令，当所述计算机指令被所述处理器执行时，使得所述处理器执行第一方面所述的方法。
25.根据本技术的第四个方面，提供一种非瞬时性计算机存储介质，存储有计算机程序，当所述计算机程序被多个处理器执行时，使得所述处理器执行第一方面所述的方法。
附图说明
26.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图，而并不超出本技术要求保护的范围。
27.图1是根据本技术实施例的基于归因算法的对抗样本的检测方法的流程图。
28.图2是根据本技术实施例的基于归因算法的对抗样本的检测方法的流程方框图。
29.图3是根据本技术一个实施例的对图像进行预处理的示意图。
30.图4是根据本技术一个实施例的生成显著图像的示意图。
31.图5是根据本技术一个实施例的生成经删减图像的示意图。
32.图6是根据本技术一个实施例的生成经修复图像的示意图。
33.图7是根据本技术实施例的基于归因算法的对抗样本的检测装置的示意图。
34.图8是本技术实施例提供的一种电子设备的结构图。
具体实施方式
35.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，
都属于本技术保护的范围。
36.根据本技术的一个方面，提供一种基于归因算法的对抗样本的检测方法。图1是根据本技术实施例的基于归因算法的对抗样本的检测方法的流程图。图2是根据本技术实施例的基于归因算法的对抗样本的检测方法的流程方框图。如图1所示，该方法包括如下步骤。
37.步骤s101，对输入的原始图像进行预处理，生成预处理图像。
38.在本步骤中，将原始图像文件作为输入，对其预处理操作，包括缩放、填充、剪裁、正则化操作中的一种护多种。其中，缩放操作需指定缩放后的大小；填充操作需指定填充后大小和填充值；剪裁操作包括随机剪裁、中央剪裁、指定位置剪裁三种模式；正则化操作需给定数据的均值和方差。
39.图3是根据本技术一个实施例的对图像进行预处理的示意图。如图3所示，原始图像i输入后，经预处理，先将其缩放为256*256像素大小，接着进行中心剪裁使大小变为224*224，最后进行正则化处理，在一个具体的实施例中，所使用的rgb平均值mean＝[0.485,0.456,0.406]、方差std＝[0.229,0.224,0.225]，最后，生成预处理图像i0。
[0040]
经上述预处理过程后得到的预处理图像，可以满足后续处理的输入格式的要求，例如，满足后续预测分类处理过程中的输入格式要求。
[0041]
步骤s102，将所述预处理图像进行预测分类处理，获得原始预测标签信息。
[0042]
在该步骤中，对预处理图像进行预测分类处理，获得对该预处理图像的一个判断，即为该预处理图像打上一个预测标签信息。
[0043]
在一个具体实施例中，采用预训练后的机器学习分类算法给出预测分类输出，即给出原始预测标签信息。
[0044]
步骤s103，根据所述预处理图像和所述原始预测标签信息按照归因算法进行归因计算，计算所述预处理图像中每个像素点对应的归因值并生成显著图像。
[0045]
步骤s103以步骤s101输出的预处理图像及步骤s102输出的原始预测标签信息作为输入，经过对预处理图像中每一个像素点进行归因计算生成显著图像。
[0046]
在一个具体的实施例中，所采用的归因算法为积分梯度算法，计算公式如下：
[0047][0048]
其中，x
i
为每个像素点的值，x
i
'可以为人为选取的基底。积分梯度算法计算每个像素点从基底值到像素路径值上全部点的输出值相对于初始像素值梯度并积分，输出该像素点为标签提供的归因重要度，值越大代表该像素点的重要性越高。
[0049]
上述归因算法，能够适应大部分主流分类神经网络结构，提升系统整体的可迁移性。
[0050]
图4是根据本技术一个实施例的生成显著图像的示意图。如图4所示，以步骤s101的预处理图像i0和步骤s102的原始预测标签信息作为输入，基底取所有点rgb值均为(0,0,0)的黑色图，计算每个像素点的归因值，例如图4所示的预处理图像共50176个像素点，那么所计算的归因值有50176个。然后，根据每个像素点的归因值生成相对应的灰度显著图i
h
，其中每个像素点的灰度值对应了原图中该点的归因值。
[0051]
在一个可选的实施例中，归因算法还可以采用其他算法，例如deeplift算法。
[0052]
步骤s104，按照预定的比例删减与所述显著图像中归因值高的点对应的所述预处理图像中的像素点，生成经删减图像。
[0053]
在步骤s104中，以步骤s103生成的显著图像及步骤s101生成的预处理图像作为输入，根据目标任务的需求，按照一定的比例将显著图像中高归因值的点在预处理图像中删除对应位置的像素点。
[0054]
具体来说，根据各像素点点归因值从大到小进行排序，即显著图中灰度的排序，在预处理图中按照一定比例删去高归因值对应的预处理图中的像素点。在一个具体实施例中，基底选取为黑色图，故删减操作即将对应像素点的rgb值也改为(0,0,0)的黑色。删减比例依据目标任务和数据集而变化，例如，这个比例可以为0.5％～1％，在一个优选的实施例中，删减比例为0.7％，最终输出删减后图像i0’
。
[0055]
图5是根据本技术一个实施例的生成经删减图像的示意图。如图5所示，根据预处理图像i0以及显著图像ih，根据0.7％的删减比例，获得经删减图像。
[0056]
步骤s105，将所述经删减图像进行修复处理，生成经修复图像。
[0057]
在步骤s105中，对经删减后的图像i0’
进行修复操作。可以采用各种修复方案或技术对回复每个被删除的像素点。例如，可以采取局部平均池化法、小波图像修复法、基于图像块扩散的修复算法等，对缺失的rgb值进行填充。其中，对于局部平均池化法来说，根据不同的任务目标和数据类型，可以选取不同的卷积核大小，例如，所选择的卷积核大小可以为5。
[0058]
图6是根据本技术一个实施例的生成经修复图像的示意图。如图6所示，所采用的修复为局部平均池化法，所选择的卷积核大小为5，将经删减后的图像i0’
修复为经修复图像i1。
[0059]
步骤s106，将所述经修复图像进行预测分类处理，获得后续预测标签信息。
[0060]
将经修复后的图像i1进行重新预测分类处理，得到后续预测标签信息。步骤s106的处理过程与步骤s102的预测分类处理类似。
[0061]
步骤s107，将所述原始预测标签信息与所述后续预测标签信息进行比较，并根据比较结果输出预测标签信息。
[0062]
在步骤s107中，已经计算得到了一些预测标签信息，例如包括原始预测标签信息和后续预测标签信息等。原始预测标签信息以及后续预测标签信息各自表示对原始图像的预测分类以及经修复图像的预测分类。在本技术中，需要综合考虑获得的所有预测标签信息，使得对图像的预测分类更为准确。
[0063]
根据本技术的一个具体实施例，仅考虑原始预测标签信息和后续预测标签信息，如果原始预测标签信息和后续预测标签信息相同，那么就将原始预测标签信息或后续预测标签信息作为结果进行输出。
[0064]
这样，步骤s107具体体现为：在原始预测标签信息与后续预测标签信息相同的情况下，输出所述原始预测标签信息或所述后续预测标签信息。
[0065]
上述情形考虑的是连续2个预测标签信息相同情况下，而且假设原始预测标签信息与后续预测标签信息相同的情况下，如何输出预测标签信息。然而，即便考虑的是连续两个预测标签信息相同情况下，如果原始预测标签信息与后续预测标签信息不相同，那么就需要重新迭代出一个更新的后续预测标签信息，然后比较后续预测标签信息与更新的后续
预测标签信息是否相同，在相同的情况下就将后续预测标签信息或更新的后续预测标签信息作为结果输出，否则就要继续迭代，直至连续2个预测标签信息彼此相同。
[0066]
进一步地，考虑的连续更多个(例如3个、4个、5个
…
)预测标签信息相同情况下，类似的，需要迭代出更新的后续预测标签信息，直至连续预定个数的预测标签信息彼此相同。
[0067]
从而，在不满足连续预定个数的预测标签信息彼此相同的情况下，该基于归因算法的对抗样本的检测方法执行如下步骤：
[0068]
步骤s1071，根据所述经修复图像和所述后续预测标签信息按照归因算法进行归因计算，计算所述经修复图像中每个像素点对应的归因值并生成更新显著图像；
[0069]
步骤s1072，按照预定的比例删减与所述更新显著图像中归因值高的点对应的所述经修复图像中的像素点，生成更新经删减图像；
[0070]
步骤s1073，将所述更新经删减图像进行修复处理，生成更新经修复图像；
[0071]
步骤s1074，将所述更新经修复图像进行预测分类处理，获得更新后续预测标签信息，并将更新后续预测标签信息与上一次后续预测标签信息进行比较；以及
[0072]
重复执行步骤s1071至步骤s1074，直至连续预定个数的预测标签信息彼此相同。
[0073]
在一个具体实施例中，可以将预设值设为2，在当前计算得到的预测标签信息中，当连续相同预测标签信息的数量达2个时，认为目前对图像的预测分类已经足够准确，那么就将这2个相同预测标签信息作为最终的预测标签信息输出。
[0074]
例如，将预设值设为2，当前计算得到的预测标签信息包含预测标签信息1和预测标签信息2，预测标签信息1和预测标签信息2是相同的，那么就可以将预测标签信息1或预测标签信息2作为最终的预测标签信息输出。又如，将预设值设为2，计算得到的预测标签信息包含预测标签信息1、预测标签信息2和预测标签信息3，预测标签信息1和预测标签信息2不同，而预测标签信息2和预测标签信息3是相同的，那么就可以将预测标签信息2或预测标签信息3作为最终的预测标签信息输出。
[0075]
然而，还存在当前计算得到的预测标签信息中连续相同预测标签信息的数量小于预定个数的情况，例如，将预定个数设为3，当前计算得到的预测标签信息中包含预测标签信息1和预测标签信息2，即便预测标签信息1和预测标签信息2相同，但是连续相同预测标签信息的个数达不到3个。在这种情况下，需要重复上述步骤s1071至步骤s1074，重新获得更多的后续预测标签信息，直至连续预定个数的预测标签信息彼此相同。
[0076]
也就是说，上述步骤s1071至步骤s1074描述了获取后续预测标签信息的过程，在获得最终的预测标签信息前，迭代上述步骤s1071至步骤s1074的过程一次以上。上述步骤s1071至步骤s1074迭代几次，就能对应获得几个后续预测标签信息。在不满足连续预定个数的预测标签信息彼此相同的情况下，执行的步骤类似于上述步骤s103至步骤s106的过程，不同之处在于生成显著图像的区别，如图2所示，在步骤s103中，根据所述预处理图像和所述原始预测标签信息按照归因算法进行归因计算，计算所述预处理图像中每个像素点对应的归因值并生成第一显著图像，而在步骤s1071中，根据经修复图像和后续预测标签信息按照归因算法进行归因计算，计算经修复图像中每个像素点对应的归因值并生成更新显著图像。
[0077]
例如，将连续预定个数设为3，当前计算得到的预测标签信息只包含预测标签信息1和预测标签信息2，那么就执行步骤s1071至步骤s1074，获得预测标签信息3，然后判断预
测标签信息1、预测标签信息2和预测标签信息3是否相同，如果相同则可以将预测标签信息1、预测标签信息2和预测标签信息3中任一者作为最终的预测标签信息进行输出，而如果不相同，则重新执行步骤s1071至步骤s1074，获得预测标签信息4，然后判断预测标签信息2、预测标签信息3和预测标签信息4是否相同，如果相同则可以将预测标签信息2、预测标签信息3和预测标签信息4中任一者作为最终的预测标签信息进行输出，而如果不相同，则重新执行步骤s1071至步骤s1074，获得预测标签信息5，等等，依次类推，直到当前计算得到的预测标签信息中连续相同预测标签信息的数量达到3个。
[0078]
需要注意的是，连续预定个数的选取可以是任意的，例如2、3、4、5，那么，相应地，当前计算得到的预测标签信息中连续相同预测标签信息的数量分别需要达到2、3、4、5个才会输出最终的预测标签信息。
[0079]
根据本技术提供的一种基于归因算法的对抗样本的检测方法，所采用的完善的归因算法，适应大部分主流分类神经网络结构，提升系统整体的可迁移性；采用图像删除后进行图像修复的这种更优的图像处理方法，使得正常图像对于该处理是鲁棒的，大大降低系统的误报率，提升系统判断结果的可靠性；此外，对检测过程中的各个步骤或模块设计一定的流程模式，采用迭代的方式获取多个预测标签，使得异常对抗样本输入经过数轮操作后最终可以被正确分类，得到更为理想的标签输出。
[0080]
根据本技术的另一个方面，提供一种基于归因算法的对抗样本的检测装置。图7是根据本技术实施例的基于归因算法的对抗样本的检测装置的示意图。如图7所示，该装置包括如下单元。
[0081]
预处理单元701，用于对输入的原始图像进行预处理，生成预处理图像。
[0082]
在预处理单元701中，将原始图像文件作为输入，对其预处理操作，包括缩放、填充、剪裁、正则化操作中的一种护多种。其中，缩放操作需指定缩放后的大小；填充操作需指定填充后大小和填充值；剪裁操作包括随机剪裁、中央剪裁、指定位置剪裁三种模式；正则化操作需给定数据的均值和方差。
[0083]
经上述预处理过程后得到的预处理图像，可以满足后续处理的输入格式的要求，例如，满足后续预测分类处理过程中的输入格式要求。
[0084]
预测分类单元702，用于将所述预处理图像进行预测分类处理，获得原始预测标签信息。
[0085]
在预测分类单元702中，对预处理图像进行预测分类处理，获得对该预处理图像的一个判断，即为该预处理图像打上一个预测标签信息。
[0086]
在一个具体实施例中，采用预训练后的机器学习分类算法给出预测分类输出，即给出原始预测标签信息。
[0087]
第一生成单元703，用于根据所述预处理图像和所述原始预测标签信息按照归因算法进行归因计算，计算所述预处理图像中每个像素点对应的归因值并生成显著图像。
[0088]
步骤第一生成单元703以预处理单元701输出的预处理图像及预测分类单元702输出的原始预测标签信息作为输入，经过对预处理图像中每一个像素点进行归因计算生成显著图像。
[0089]
在一个具体的实施例中，所采用的归因算法为积分梯度算法，计算公式如下：
[0090][0091]
其中，x
i
为每个像素点的值，x
i
'可以为人为选取的基底。积分梯度算法计算每个像素点从基底值到像素路径值上全部点的输出值相对于初始像素值梯度并积分，输出该像素点为标签提供的归因重要度，值越大代表该像素点的重要性越高。
[0092]
上述归因算法，能够适应大部分主流分类神经网络结构，提升系统整体的可迁移性。
[0093]
在一个可选的实施例中，归因算法还可以采用其他算法，例如deeplift算法。
[0094]
第二生成单元704，用于按照预定的比例删减与所述显著图像中归因值高的点对应的所述预处理图像中的像素点，生成经删减图像。
[0095]
在第二生成单元704中，以第一生成单元703生成的显著图像及预处理单元701生成的预处理图像作为输入，根据目标任务的需求，按照一定的比例将显著图像中高归因值的点在预处理图像中删除对应位置的像素点。
[0096]
具体来说，根据各像素点点归因值从大到小进行排序，即显著图中灰度的排序，在预处理图中按照一定比例删去高归因值对应的预处理图中的像素点。在一个具体实施例中，基底选取为黑色图，故删减操作即将对应像素点的rgb值也改为(0,0,0)的黑色。删减比例依据目标任务和数据集而变化，例如，这个比例可以为0.5％～1％，在一个优选的实施例中，删减比例为0.7％，最终输出删减后图像。
[0097]
第三生成单元705，用于将所述经删减图像进行修复处理，生成经修复图像。
[0098]
在第三生成单元705中，对经删减后的图像进行修复操作。可以采用各种修复方案或技术对回复每个被删除的像素点。例如，可以采取局部平均池化法、小波图像修复法、基于图像块扩散的修复算法等，对缺失的rgb值进行填充。其中，对于局部平均池化法来说，根据不同的任务目标和数据类型，可以选取不同的卷积核大小，例如，所选择的卷积核大小可以为5。
[0099]
预测分类单元702将所述经修复图像进行预测分类处理，获得后续预测标签信息。
[0100]
预测分类单元702将经修复后的图像进行重新预测分类处理，得到后续预测标签信息。
[0101]
输出单元707，用于将所述原始预测标签信息与所述后续预测标签信息进行比较，并根据比较结果输出预测标签信息。
[0102]
在输出单元707中，已经计算得到了一些预测标签信息，例如包括原始预测标签信息和后续预测标签信息等。原始预测标签信息以及后续预测标签信息各自表示对原始图像的预测分类以及经修复图像的预测分类。在本技术中，需要综合考虑获得的所有预测标签信息，使得对图像的预测分类更为准确。
[0103]
根据本技术的一个具体实施例，仅考虑原始预测标签信息和后续预测标签信息，如果原始预测标签信息和后续预测标签信息相同，那么就将原始预测标签信息或后续预测标签信息作为结果进行输出。
[0104]
这样，在原始预测标签信息与后续预测标签信息相同的情况下，输出单元707的作用具体体现为：用于输出所述原始预测标签信息或所述后续预测标签信息。
[0105]
上述情形考虑的是连续2个预测标签信息相同情况下，而且假设原始预测标签信
息与后续预测标签信息相同的情况下，如何输出预测标签信息。然而，即便考虑的是连续两个预测标签信息相同情况下，如果原始预测标签信息与后续预测标签信息不相同，那么就需要重新迭代出一个更新的后续预测标签信息，然后比较后续预测标签信息与更新的后续预测标签信息是否相同，在相同的情况下就将后续预测标签信息或更新的后续预测标签信息作为结果输出，否则就要继续迭代，直至连续2个预测标签信息彼此相同。
[0106]
进一步地，考虑的连续更多个(例如3个、4个、5个
…
)预测标签信息相同情况下，类似的，需要迭代出更新的后续预测标签信息，直至连续预定个数的预测标签信息彼此相同。
[0107]
从而，在不满足连续预定个数的预测标签信息彼此相同的情况下，该基于归因算法的对抗样本的检测装置中的第一生成单元703、第二生成单元704、第三生成单元705和预测分类单元702具体实现如下功能：
[0108]
第一生成单元703用于根据所述经修复图像和所述后续预测标签信息按照归因算法进行归因计算，计算所述经修复图像中每个像素点对应的归因值并生成更新显著图像；
[0109]
第二生成单元704用于按照预定的比例删减与所述更新显著图像中归因值高的点对应的所述经修复图像中的像素点，生成更新经删减图像；
[0110]
第三生成单元705用于将所述更新经删减图像进行修复处理，生成更新经修复图像；
[0111]
预测分类单元702用于将所述更新经修复图像进行预测分类处理，获得更新后续预测标签信息，并将更新后续预测标签信息与上一次后续预测标签信息进行比较；以及
[0112]
第一生成单元703、第二生成单元704、第三生成单元705和预测分类单元702各自依次重复执行上述操作，直至连续预定个数的预测标签信息彼此相同。
[0113]
在一个具体实施例中，可以将预设值设为2，在当前计算得到的预测标签信息中，当连续相同预测标签信息的数量达2个时，认为目前对图像的预测分类已经足够准确，那么就将这2个相同预测标签信息作为最终的预测标签信息输出。
[0114]
例如，将预设值设为2，当前计算得到的预测标签信息包含预测标签信息1和预测标签信息2，预测标签信息1和预测标签信息2是相同的，那么就可以将预测标签信息1或预测标签信息2作为最终的预测标签信息输出。又如，将预设值设为2，计算得到的预测标签信息包含预测标签信息1、预测标签信息2和预测标签信息3，预测标签信息1和预测标签信息2不同，而预测标签信息2和预测标签信息3是相同的，那么就可以将预测标签信息2或预测标签信息3作为最终的预测标签信息输出。
[0115]
然而，还存在当前计算得到的预测标签信息中连续相同预测标签信息的数量小于预定个数的情况，例如，将预定个数设为3，当前计算得到的预测标签信息中包含预测标签信息1和预测标签信息2，即便预测标签信息1和预测标签信息2相同，但是连续相同预测标签信息的个数达不到3个。在这种情况下，需要第一生成单元703、第二生成单元704、第三生成单元705和预测分类单元702各自依次重复执行上述操作，重新获得更多的后续预测标签信息，直至连续预定个数的预测标签信息彼此相同。
[0116]
也就是说，上述第一生成单元703、第二生成单元704、第三生成单元705和预测分类单元702各自依次执行的上述操作描述了获取后续预测标签信息的过程，在获得最终的预测标签信息前，迭代上述第一生成单元703、第二生成单元704、第三生成单元705和预测分类单元702各自执行的操作一次以上。上述第一生成单元703、第二生成单元704、第三生
成单元705和预测分类单元702各自执行的操作迭代几次，就能对应获得几个后续预测标签信息。
[0117]
例如，将连续预定个数设为3，当前计算得到的预测标签信息只包含预测标签信息1和预测标签信息2，那么就执行第一生成单元703、第二生成单元704、第三生成单元705和预测分类单元702各自依次执行的上述操作，获得预测标签信息3，然后判断预测标签信息1、预测标签信息2和预测标签信息3是否相同，如果相同则可以将预测标签信息1、预测标签信息2和预测标签信息3中任一者作为最终的预测标签信息进行输出，而如果不相同，则重新执行第一生成单元703、第二生成单元704、第三生成单元705和预测分类单元702各自依次执行的上述操作，获得预测标签信息4，然后判断预测标签信息2、预测标签信息3和预测标签信息4是否相同，如果相同则可以将预测标签信息2、预测标签信息3和预测标签信息4中任一者作为最终的预测标签信息进行输出，而如果不相同，则重新执行第一生成单元703、第二生成单元704、第三生成单元705和预测分类单元702各自依次执行的上述操作，获得预测标签信息5，等等，依次类推，直到当前计算得到的预测标签信息中连续相同预测标签信息的数量达到3个。
[0118]
需要注意的是，连续预定个数的选取可以是任意的，例如2、3、4、5，那么，相应地，当前计算得到的预测标签信息中连续相同预测标签信息的数量分别需要达到2、3、4、5个才会输出最终的预测标签信息。
[0119]
根据本技术提供的一种基于归因算法的对抗样本的检测装置，所采用的完善的归因算法，适应大部分主流分类神经网络结构，提升系统整体的可迁移性；采用图像删除后进行图像修复的这种更优的图像处理方法，使得正常图像对于该处理是鲁棒的，大大降低系统的误报率，提升系统判断结果的可靠性；此外，对检测过程中的各个步骤或模块设计一定的流程模式，采用迭代的方式获取多个预测标签，使得异常对抗样本输入经过数轮操作后最终可以被正确分类，得到更为理想的标签输出。
[0120]
参阅图8，图8提供一种电子设备，包括处理器；以及存储器，所述存储器存储有计算机指令，当所述计算机指令被所述处理器执行时，使得所述处理器执行所述计算机指令时实现如图1所示的方法以及上述实施例提供的方法。
[0121]
应该理解，上述的装置实施例仅是示意性的，本技术披露的装置还可通过其它的方式实现。例如，上述实施例中所述单元/模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如，多个单元、模块或组件可以结合，或者可以集成到另一个系统，或一些特征可以忽略或不执行。
[0122]
另外，若无特别说明，在本技术各个实施例中的各功能单元/模块可以集成在一个单元/模块中，也可以是各个单元/模块单独物理存在，也可以两个以上单元/模块集成在一起。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
[0123]
所述集成的单元/模块如果以硬件的形式实现时，该硬件可以是数字电路，模拟电路等等。硬件结构的物理实现包括但不局限于晶体管，忆阻器等等。若无特别说明，所述处理器或芯片可以是任何适当的硬件处理器，比如cpu、gpu、fpga、dsp和asic等等。若无特别说明，所述片上缓存、片外内存、存储器可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器rram(resistive random access memory)、动态随机存取存储器dram
(dynamic random access memory)、静态随机存取存储器sram(static random-access memory)、增强动态随机存取存储器edram(enhanced dynamic random access memory)、高带宽内存hbm(high-bandwidth memory)、混合存储立方hmc(hybrid memory cube)等等。
[0124]
所述集成的单元/模块如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本披露各个实施例所述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0125]
本技术实施例还提供一种非瞬时性计算机存储介质，存储有计算机程序，当所述计算机程序被多个处理器执行时，使得所述处理器执行如图1所示的方法以及上述实施例提供的方法。
[0126]
以上对本技术实施例进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明仅用于帮助理解本技术的方法及其核心思想。同时，本领域技术人员依据本技术的思想，基于本技术的具体实施方式及应用范围上做出的改变或变形之处，都属于本技术保护的范围。综上所述，本说明书内容不应理解为对本技术的限制。