基于热图注意力机制与频域分析的行人重识别攻击方法与流程

1.本发明涉及行人重识别技术领域，尤其可以应用于基于深度学习的行人重识别的攻击方面，具体地说，提出了一种同时利用热图注意力机制和频域分析技术来实现行人重识别的攻击。


背景技术：

2.首先介绍行人重识别技术，行人重识别是指输入一个目标行人图像或视频片段，在拍摄区域不重叠的多摄像头监控网络中搜索与目标行人身份相同的行人。
3.近年来，随着深度学习技术的兴起，该领域的研究人员从手工制作的特征到深度卷积神经网络(cnn)或递归神经网络(rnn)，现有方法的性能得到了显著提高。2020年，京东人工智能研究院发布的fastreid开源框架，更是打通了学术界和工业界在行人重识别领域的诸多挑战，在market
‑
1501数据集上更是实现了96％的识别准确率，远超人类水平。
4.然而，当基于深度学习技术在各个领域大展拳脚，不断刷新各项指标的背景下，许多学者对其安全性、可靠性和鲁棒性提出了质疑，并进行了大量相关研究。自从goodfellow等人于2015年提出仅仅给大熊猫图片加上一个人为不可见的扰动，当时最有效的深度学习算法就都失效，将其误判为长臂猿，这一发现震惊了学术界，自此，有不少学者开始进行基于深度学习的行人重识别攻击算法的研究。
5.当前的行人重识别攻击方法大多关注于针对整幅图像的梯度攻击，而本发明从图像的局部区域和频域角度进行分析，实现行人重识别的攻击，并可以促进学者有针对性的进行相关的行人重识别防御方法的研究，当然，本发明着眼于攻击算法。
6.现有的基于深度学习的行人重识别攻击方法，大体可分为数字攻击和物理攻击。首先是数字攻击，目前数字攻击大多停留在整幅图像的数字攻击层面，具体为针对一幅图像，通过梯度反向计算生成一个扰动，该扰动大小与原图像大小一致，并且通过约束像素范围，实现扰动的人为不易察觉性，之后将其叠加至原图像，从而实现数字层面的行人重识别攻击。然而，这一方法存在一些弊端，例如：相关研究表明，数字层面的攻击算法，在物理层面往往会失效，攻击效果大打折扣。
7.其次是物理攻击，当前针对行人重识别的物理攻击方法研究较少，经调研，仅有一篇关于该方面的工作，名叫advpattern，发表于2019年iccv这一国际会议上，advpattern的核心思想是直接在人体上衣区域添加一个大型图案，该图案由攻击方法经过梯度计算得到，最后打印出来贴在真人衣服上，实现攻击。该方法存在一些弊端，第一，该方法的攻击区域是固定的，并且攻击区域十分巨大；第二，该方法没有在频域上进行分析。


技术实现要素：

8.本发明针对行人重识别任务，提出了一种基于热图注意力机制与频域分析行人重识别攻击算法。
9.本发明提出基于热图注意力机制与频域分析的行人重识别攻击方法，具体为，首
先利用一种有效的热图注意力机制方法，定位行人图像中最易受攻击的小型区域，其次通过梯度反向计算模式，同时加以低频特征约束得到与最易受攻击的小型区域同等大小的扰动，接着将小型区域扰动直接在数字层面叠加至原图像对应区域，或者先打印再从物理层面贴附至真人对应区域，从而实现行人重识别的攻击。
10.本发明介绍的基于热图注意力机制与频域分析的行人重识别攻击方法，包括如下步骤：
11.步骤1、通过热图注意力机制，定位行人图像中最易受攻击的区域；
12.步骤2、利用梯度反向计算，实现扰动区域的生成；
13.步骤3、通过低频信号约束步骤2生成的扰动区域，使其分布在信号低频段；
14.步骤4、将上述步骤生成的扰动直接在数字层面叠加至原图像对应区域，或者先打印后贴附至原图像对应区域，实现行人重识别攻击。
15.本发明方法具有的优点及有益结果为：
16.1、提出通过热图注意力机制定位人体中最易受攻击区域。
17.2、提出从频域角度分析，优化扰动生成过程，实现更不易被防御者察觉的攻击性扰动。
18.3、本发明所提出的基于热图注意力机制与频域分析的行人重识别攻击方法在实现有效攻击的同时可促进防御相关领域的研究。
附图说明
19.图1是早期goodfellow等人发现深度学习算法脆弱性的相关研究；
20.图2是本发明实施例的整体框架图；
21.图3是本发明实施例展示的攻击效果图；
具体实施方式
22.以下结合附图及实施例，对本发明进行进一步的详细说明。
23.图1是早期goodfellow等人发现深度学习算法脆弱性的相关研究；
24.本发明提出了一种基于热图注意力机制与频域分析的行人重识别攻击方法。
25.图2是本发明实施例的整体框架图，下面详细说明本发明的各个步骤：
26.步骤1、通过热图注意力机制，定位行人图像中最易受攻击的区域；
27.为了定位行人最易受攻击区域，首先需找出深度学习算法认为其图像匹配中，相似度最高区域，之后反向操作即可寻找出最易受攻击区域。
28.假设f
q
和f
g
分别对应一个行人查询图像q和一个行人匹配图像g的特征映射。对应的特征表示f
q
和f
g
通过以下公式得到：f
q
＝gap(f
q
)，f
g
＝gap(f
g
)，其中gap表示全局平均池化。然后对f进行l2归一化，得到即l2归一化f
q
与f
g
之间的欧氏距离定义为：
[0029][0030]
其中＜
·
，
·
>为两个向量的内积。由于相似度与距离成反比，由公式(1)可知，查询图像q与图匹配图像g的相似度应与成正比，进一步可表示为：
[0031][0032]
进一步能够得到：
[0033][0034]
上述公式(3)中f
q
代表深度学习模型对查询图像q最关注的一维特征表示，f
g
(x，y)代表深度学习模型对匹配图像g的二维特征表示，表示空间位置(x,y)对查询图像q和匹配图像g最终相似度的贡献度。同样可以得到：
[0035][0036]
其中f
q
代表深度学习模型对查询图像q中最关注的一维特征表示，f
q
(x，y)代表深度学习模型对查询图像q的二维特征表示，表示深度学习模型对查询图像q的空间位置(x,y)的关注程度。
[0037]
为对应查询图像q的排名激活映射集合，其中n
g
为图库图像数量。通过将的尺寸分别上采样扩展至查询图像q的大小，将的尺寸分别上采样扩展至匹配图像g的大小，即可得到相似度排名激活映射图ram
q
和ram
g
，ram
q
和ram
g
统称为ram，能够直观地看到导致输出排名结果图像区域的重要性，ram是一个h*w大小的二维矩阵，h和w分别对应图像的高和宽，ram中数值越大的区域，代表该区域在相似度匹配过程中的贡献度越大，是深度学习模型在进行相似度匹配过程中最为关注的区域。
[0038]
之后，通过现有的人体分割模型，定位出行人图像的人体区域，在人体区域内，计
算出ram最低的前5％区域，进而实现行人最易受攻击区域的定位，这一步骤的数学表述如下：
[0039]
area
q
＝top
low
‑5(m(q)
⊙
ram
q
)
ꢀꢀꢀꢀ
(5)
[0040]
其中，q指代查询图像，m()指人体分割模型，ram
q
指查询图像q上的ram数值分布，
⊙
指像素间相乘，top
low
‑5指选取数值最小的前5％区域(本发明通过实验发现，选取ram矩阵中数值低的前5％区域，可以有效实现攻击，因为这些区域是深度学习模型最不关注的区域)，area
q
指最终定位的查询图像q中最易受攻击区域。同理，将q全部替换为g即可得到匹配图像g的最易受攻击区域area
g
。
[0041]
步骤2、利用梯度反向计算，实现扰动区域的生成；
[0042]
首先设置好固定尺寸的扰动图像(如：400*900大小的全灰图像)，之后通过max等人提出的spatial transformer networks(stn)将扰动映射至公式(4)中的area区域大小，最后使用现有的梯度反向计算攻击算法，如：fast gradient sign method(fgsm)迭代优化扰动内的像素值，从而得到可定位最易受攻击区域的有效扰动。其数学表述如下所示：
[0043]
pert＝fgsm(stn(δ))
ꢀꢀꢀꢀꢀ
(6)
[0044]
其中，δ是预先设置好固定尺寸的扰动图像(如：400*900大小的全灰图像)，stn()是max等人提出的空间映射模块，fgsm()是现有的梯度反向计算攻击算法。
[0045]
步骤3、通过低频信号约束步骤2生成的扰动区域，使其分布在信号低频段；
[0046]
在这一步骤中，着重对步骤2得到的扰动pert实现进一步优化，具体为将扰动约束至低频段，以躲避防御者利用低通滤波器等方式过滤扰动的行为，从而实现更好的隐蔽性攻击。该步骤的数学表述如下：
[0047][0048]
其中，代表将扰动pert转变至频域的傅里叶变换操作，freq
low
代表频域中的低频段。
[0049]
注意，在实验过程中，步骤2和步骤3会循环迭代的进行，直至达到预先设定的迭代次数，或者添加扰动后的图像与原图像之间的相似度下降梯度小于等于零。
[0050]
步骤4、将上述步骤生成的扰动直接在数字层面叠加至原图像对应区域，或者先打印后贴附至原图像对应区域，实现行人重识别攻击；
[0051]
这一步骤注重于最终实现，实现方式包括两种：
[0052]
第一种是数字层面的实现，即将最终的扰动在数字层面叠加至查询图像q或匹配图像g的指定区域(指定区域即步骤1中定位的最易受攻击区域)，从而实现数字攻击；
[0053]
第二种是物理层面的实现，即首先将最终的扰动通过彩色打印机打印出来，之后贴附在真人(查询图像q中的人或匹配图像g中的人)的指定区域(指定区域即步骤1中定位的最易受攻击区域)，从而实现物理攻击。
[0054]
图3是本发明实施例展示的攻击效果图。