一种基于深度字符树模型的图像可解释性及防御扰动方法

1.本发明涉及一种基于深度字符树模型的图像可解释性及防御扰动方法，属于计算机视觉及人工智能安全领域。


背景技术：

2.由深度学习驱动的现代智能系统在执行许多网络应用中表现出了它们的效率、公正性和显著的准确性，从检测facebook上的诈骗图片到决定谁接受 linkdein上的工作面试。不幸的是，最近的研究显示，深度学习模型在解决高维感知任务或做出复杂的决定时可能会遭受致命的失败。有形的例子比比皆是，比如改变一个像素就会鼓励神经网络认为一辆车是一艘船，而医疗图像可能被扭曲，其方式对人眼来说是不明显的，从而导致100％的癌症误诊。
3.深度学习的日益普遍化加剧了这种失败
‑‑
不是个人而是数百万用户成为受害者。原因其实在于表征学习的机制，它使深度学习模型能够处理高维度的问题。一个典型的深度学习模型倾向于将感知输入x，如图像或自然语言，与它们的目标标签y在一个潜在的空间中通过逐层的、分层的表示联系起来。这个学习到的潜在空间，尽管跨越的维度要低得多，但我们希望它包含足够的统计数据，可以在生成学习中划分出边际p(x,y)或在非判别学习中划分出条件p(y|x)。在各层有大量的可训练参数的情况下，数据的边际或条件概率可以被高精确度地逼近。
4.这种表征机制的脆性来自于这样一个事实：在高维输入空间中不易察觉的对抗性失真量会通过前馈计算升级，并足以移动结果的特征空间，导致模型性能的破坏性。不幸的是，感知数据的高维性质使得近似底层分布所需的数据量大得惊人，这种现象被称为"维度效应"。深度学习或线性模型本身不具备有解
5.决维度效应问题，而会导致模型在微小扰动的情况下出现巨大的失误。
6.在防御扰动样本相关方向中，所存在的方法能有效的防御相关的攻击，但是并不能给予有效的模型可解释性，其本质依然还是一个黑盒模型，在防御模型的可解释性方面存在有非常明显的滞后现象。


技术实现要素：

7.本发明的目的在于克服上述不足，提供一种基于深度字符树模型的图像可解释性及防御扰动方法，以解决背景技术中存在的问题。
8.为实现上述目的，本发明的技术解决方案是：一种基于深度字符树模型的图像可解释性及防御扰动方法，包括如下步骤：
9.s1：收集相关的输入图像数据集。
10.s2：需要对所输入的图像数据进行预处理，从而满足深度字符树算法模型的数据输入要求；深度字符树算法能自适应不同的图像格式，构建不同的图像数据维度关联模型参数，建立图像样本节点的关联性。
11.s3：使用fgsm、deepfool、c&w、bim、pgd共五种攻击扰动算法生成对应的对抗样本；对输入的图像数据不做扰动处理的正常样本。
12.s4：将对应不同的对抗样本 正常样本作为训练样本，将其输入到深度字符树模型中，在抵御扰动样本扰动的同时，完成对图像数据样本的正确分类。
13.s5：采用区别与训练时的对抗样本 正常样本作为测试样本，检验模型的防御能力。
14.s6：模型对不同的扰动样本高亮显示输出对应的扰动决策点。
15.优选的，s1中的收集相关的输入图像数据集过程，包括两种方式：
16.1)第一种方式是基于权威网站所公开的开源数据集，包括有mnist、 fashionmnist、cifar10等数据集。
17.2)第二种方式是基本网站所开源及发布的相关数据，采用python爬虫技术进行相应的图像爬取，如trafficsign数据集；所爬取得到的图像数据集，需要进行相关的预处理操作，步骤包括有图像类别限定，图像格式调整，图像压缩以及图像合并操作，类别划分为50个类别，每个类别限定为2000 张；若出现类别数量不够，对其进行适当的数据增强。
18.优选的，所述s2中，算法需要建立在一个深度字符树基础上，树的叶子节点n作为图像的原始数据输入，因此针对不同的图像数据需要对应匹配的叶子节点n与其配对，将其输入设置为输入{x|x1,x2,
…
,xn}，其中x是混合扰动样本与正常样本，不同的图像数据输入会对应不同的深度字符树叶子节点。
19.优选的，所述s3中，针对不同的数据样本输入，所需要构建的扰动算法模型不同，分别为：fgsm算法；deepfool算法；bim算法；c&w算法；pgd算法。
20.优选的，所述s4中，需要使用到s3所得到的对抗样本，将对应不同的对抗样本x
′
结合正常样本x作为训练样本x
train
，将其输入到基于字符ai的图像可解释性防御扰动模型f(.)中，对图像进行分类c。
21.优选的，所述s5中，需要使用到s3所得到的对抗样本，将对应不同的对抗样本x
′
结合正常样本x作为训练样本x
test
，将其输入到已经训练完成的 f(.)模型中，对最终的输出结果进行呈现。
22.优选的，所述s6中，通过模型最终的输出结果，进行模型优化，将不同的扰动样本关键决策点进行可视化呈现。
23.与现有技术相比，本发明的有益效果是：
24.该基于深度字符树模型的图像可解释性及防御扰动方法，利用深度字符树结构，从概率学的角度对数据样本的输入寻找其相互间的关联，找到最优的联合条件概率，在防御扰动样本的同时能对扰动样本的关键扰动点做出解释性并进行可视化呈现，能满足用户需要在抵御不同扰动样本攻击的同时，知道样本的关键决策点是什么。
附图说明
25.图1为本发明结构的示意图；
26.图2为本发明的扰动样本与正常样本关键决策点。
具体实施方式
27.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
28.请参阅图1-2，本发明提供一种技术方案：一种基于深度字符树模型的图像可解释性及防御扰动方法，包括以下步骤：
29.s1：收集相关的输入图像数据集。
30.s2：需要对所输入的图像数据进行预处理，从而满足深度字符树算法模型的数据输入要求；深度字符树算法能自适应不同的图像格式，构建不同的图像数据维度关联模型参数，建立图像样本节点的关联性。
31.s3：使用fgsm、deepfool、c&w、bim、pgd共五种攻击扰动算法生成对应的对抗样本；对输入的图像数据不做扰动处理的正常样本。
32.s4：将对应不同的对抗样本 正常样本作为训练样本，将其输入到深度字符树模型中，在抵御扰动样本扰动的同时，完成对图像数据样本的正确分类。
33.需要使用到fgsm、deepfool、c&w、bim、pgd共五种攻击扰动算法生成对应的对抗样本，将对应不同的对抗样本x
′
结合正常样本x作为训练样本x
train
，将其输入到基于字符ai的图像可解释性防御扰动模型f(.)中，对图像进行分类c。
34.深度字符树算法的基本参数定义：用大写字母x表示输入样本维度转化为布尔类型的随机变量，用小写字母x表示某个单一数据样本变量(无论是正常样本还是对抗样本)，用大写粗体x表示多个变量以及所关联的单一变量，字符表示为变量x或其否定的逻辑句子是由字面意义和连接词构成的，如标准的andgate和orgate，集合表示它们的联合，一个对所有变量的完整赋值是一个可能的世界。x样本变量(归一化处理)对应的正值输入值为p1,p2,
…
,pn. 负值输入值为且
35.训练的整个过程
36.1)在最开始时，我们首先要确保不同的数据样本维度都能成功输入到深度字符树结构中。因此在设计深度字符树时，我们考虑两个节点，一个为叶子节点；一个为内部节点，对于叶子节点，我们考虑数据样本都作为终端叶子节点，从而保证数据样本的每一个像素值都被考虑入内，对于内部节点，建立在叶子节点基础上，包括有左孩子、右孩子两个节点。
37.2)在深度字符树中的每一个决策节点，都被会分布和分解为左孩子right 和右孩子left上的独立分布，该独立分布的概率符合给定基础概率prime，能得到数据本身的独立分布情况：
[0038][0039]
一个逻辑语句的独立性成为上下文的独立性，对于深度字符树整体结构，该逻辑语句的独立性在特定的语境中能被直接使用，在进行结构调整的过程中，我们最终需要保证模型最终结合的概率达到最大，需要考虑节点间的关联。为了保证数据间存在相对独立性，考虑使用数据间的相互信息mi()。
[0040][0041]
相互信息mi表明在整个深度字符树结构中，左孩子right和右孩子left数据是相互独立的，不存在关联，在mi能保证深度字符树结构的每个节点拆分后，得到最小的左孩子right和右孩子left的关系，在实际计算左孩子right和右孩子 left的mi时，需要考虑到dst本身的结构特性，要针对每个节点的左孩子right和右孩子left计算成对之间的mi去近似求解mi。
[0042]
andgate在对于节点间运行时，当节点为andgate，且有左右孩子 (left/right)时，需要满足：
[0043][0044]
其中gn(x)为节点所对应的权重函数，child ci，i∈[1，m]。而在进行orgate 运算时，除了包括有左右孩子，还需要左右孩子所对应的权重值，从而满足：
[0045][0046]
θi，i∈[1，m]表示实值参数.f(n，x，ci)表示样本x在父结点n和孩子节点c的概率流，以及当prq(.)是参数化分布，同时每个变量x都有单个样本x的赋予的概率，深度字符树结构本身采用层级化的逻辑结构进行运算，上述的运算能满足二值情况的，但是在实际的应用场景中，只能满足只有二值的图像或者其他二值的数据，在二值的情况下，我们进一步将模型的适应范围进行推广，我们考虑将真实图像样本数据通过伯努利分布，已经将0-255的图像数值范围直接映射到0-1之间。
[0047]
3)考虑到整个深度字符树结构应用整个结构中，根节点n与孩子节点c在局部及全局都是形成关联：fn(n，x，c)＝f(n，x，c)。对深度字符树结构的任意节点node的父结点z1，z
x
，...，zm，分以下两种情况：
[0048]
若节点n在andgate上，全局概率计算需要满足：
[0049][0050]
若节点n在orgate上，全局概率计算需要满足：
[0051][0052]
此时，连续变量直接对二值数值x的概率。因此，对于orgate及andgate节点运行，可以转化为以下形式：
[0053]
对于连续值，andgate需要满足：
[0054][0055]
对于连续值，orgate需要满足：
[0056][0057]
在最终的root节点上，有相应的权重函数g(x)，在求解数据样本的对应概率时，通过计算x与θ所最终得到的概率：
[0058][0059]
在深度字符树结构中，我们考虑结构模型参数跟逻辑回归进行结合，并且lr本身是凸函数，具备绝对的最优解，并找到扰动样本中的关键决策点。
[0060]
s5：采用区别与训练时的对抗样本 正常样本作为测试样本，检验模型的防御能力；针对五种不同的测试数据集进行了测试，测试如下表所示：
[0061]
通过下表结果能发现深度字符树模型对于不同的扰动样本算法具备有不同的效果，mnist数据集的整体防御效果不错，都在90％以上；fashionmnist 数据集稍稍逊色于mnist的表现，但是整体防御表现在80％以上，cifar10数据集整体表现较差，其原因在于其数据集的特征不明显，并且数据间存在有交叉的情况；trafficsign数据集整体表现在80％以上，只出现fgsm扰动样本的效果较差是由于fgsm的扰动系数太高为0.5，导致样本已经识别率低，但是整体的深度字符树模型的算法表现良好，能有效的抵御大部分的扰动攻击算法，实现了图像的安全性。
[0062]
s6、模型对不同的扰动样本高亮显示输出对应的扰动决策点；如图2所示。
[0063]
图像扰动防御准确度如下表所示：
[0064][0065]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。