基于热图注意力机制与频域分析的行人重识别攻击方法与流程

技术特征：
1.基于热图注意力机制与频域分析的行人重识别攻击方法，其特征在于，包括如下步骤：步骤1、通过热图注意力机制，定位行人图像中最易受攻击的区域；步骤2、利用梯度反向计算，实现扰动区域的生成；步骤3、通过低频信号约束步骤2生成的扰动区域，使其分布在信号低频段；步骤4、将上述步骤生成的扰动直接在数字层面叠加至原图像对应区域，或者先打印后贴附至原图像对应区域，实现行人重识别攻击。2.根据权利要求1所述的基于热图注意力机制与频域分析的行人重识别攻击方法，其特征在于，步骤1具体方法如下；为了定位行人最易受攻击区域，首先需找出深度学习算法认为其图像匹配中，相似度最高区域，之后反向操作即可寻找出最易受攻击区域；假设f
q
和f
g
分别对应一个行人查询图像q和一个行人匹配图像g的特征映射；对应的特征表示f
q
和f
g
通过以下公式得到：f
q
＝gap(f
q
)，f
g
＝gap(f
g
)，其中gap表示全局平均池化；然后对f进行l2归一化，得到即l2归一化f
q
与f
g
之间的欧氏距离定义为：其中＜
·
,
·
>为两个向量的内积；由于相似度与距离成反比，由公式(1)可知，查询图像q与图匹配图像g的相似度应与成正比，进一步可表示为：进一步能够得到：上述公式(3)中f
q
代表深度学习模型对查询图像q最关注的一维特征表示，f
g
(x,y)代表
深度学习模型对匹配图像g的二维特征表示，表示空间位置(x,y)对查询图像q和匹配图像g最终相似度的贡献度；同样可以得到：其中f
q
代表深度学习模型对查询图像q中最关注的一维特征表示，f
q
(x,y)代表深度学习模型对查询图像q的二维特征表示，表示深度学习模型对查询图像q的空间位置(x,y)的关注程度；为对应查询图像q的排名激活映射集合，其中n
g
为图库图像数量；通过将的尺寸分别上采样扩展至查询图像q的大小，将的尺寸分别上采样扩展至匹配图像g的大小，即可得到相似度排名激活映射图ram
q
和ram
g
，ram
q
和ram
g
统称为ram，能够直观地看到导致输出排名结果图像区域的重要性，ram是一个h*w大小的二维矩阵，h和w分别对应图像的高和宽，ram中数值越大的区域，代表该区域在相似度匹配过程中的贡献度越大，是深度学习模型在进行相似度匹配过程中最为关注的区域；之后，通过现有的人体分割模型，定位出行人图像的人体区域，在人体区域内，计算出ram最低的前5％区域，进而实现行人最易受攻击区域的定位，这一步骤的数学表述如下：area
q
＝top
low
‑5(m(q)
⊙
ram
q
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)其中，q指代查询图像，m()指人体分割模型，ram
q
指查询图像q上的ram数值分布，
⊙
指像素间相乘，top
low
‑5指选取数值最小的前5％区域，area
q
指最终定位的查询图像q中最易受攻击区域；同理，将q全部替换为g即可得到匹配图像g的最易受攻击区域area
g
。3.根据权利要求2所述的基于热图注意力机制与频域分析的行人重识别攻击方法，其特征在于，步骤2具体方法如下；首先设置好固定尺寸的扰动图像，之后通过spatial transformer networks(stn)将扰动映射至公式(4)中的area区域大小，最后使用现有的梯度反向计算攻击算法，迭代优化扰动内的像素值，从而得到可定位最易受攻击区域的有效扰动；其数学表述如下所示：pert＝fgsm(stn(δ))
ꢀꢀꢀꢀꢀꢀꢀꢀ
(6)其中，δ是预先设置好固定尺寸的扰动图像，stn()是的空间映射模块，fgsm()是现有的梯度反向计算攻击算法。4.根据权利要求3所述的基于热图注意力机制与频域分析的行人重识别攻击方法，其特征在于，步骤3具体方法如下；在这一步骤中，着重对步骤2得到的扰动pert实现进一步优化，具体为将扰动约束至低频段，以躲避防御者利用低通滤波器等方式过滤扰动的行为，从而实现更好的隐蔽性攻击；该步骤的数学表述如下：其中，代表将扰动pert转变至频域的傅里叶变换操作，freq
low
代表频域中的低频段；步骤2和步骤3循环迭代的进行，直至达到预先设定的迭代次数，或者添加扰动后的图
像与原图像之间的相似度下降梯度小于等于零。5.根据权利要求4所述的基于热图注意力机制与频域分析的行人重识别攻击方法，其特征在于，步骤4具体方法如下；实现方式包括两种：第一种是数字层面的实现，即将最终的扰动在数字层面叠加至查询图像q或匹配图像g的指定区域，所述的指定区域即步骤1中定位的最易受攻击区域，从而实现数字攻击；第二种是物理层面的实现，即首先将最终的扰动通过彩色打印机打印出来，之后贴附在真人的指定区域，从而实现物理攻击；所述的真人为查询图像q中的人或匹配图像g中的人，所述的指定区域即步骤1中定位的最易受攻击区域。6.根据权利要求3所述的基于热图注意力机制与频域分析的行人重识别攻击方法，其特征在于，步骤2所述的梯度反向计算攻击算法采用fast gradient sign method。

技术总结
本发明公开了基于热图注意力机制与频域分析的行人重识别攻击方法，首先通过热图注意力机制，定位行人图像中最易受攻击的区域；然后利用梯度反向计算，实现扰动区域的生成，再通过低频信号约束生成的扰动区域，使其分布在信号低频段；最后将生成的扰动直接在数字层面叠加至原图像对应区域，或者先打印后贴附至原图像对应区域，实现行人重识别攻击。本发明提出通过热图注意力机制定位人体中最易受攻击区域，从频域角度分析，优化扰动生成过程，实现更不易被防御者察觉的攻击性扰动，在实现有效攻击的同时可促进防御相关领域的研究。攻击的同时可促进防御相关领域的研究。攻击的同时可促进防御相关领域的研究。


技术研发人员：颜成钢 郑锦凯 朱晨 孙垚棋 张继勇 李宗鹏
受保护的技术使用者：杭州电子科技大学
技术研发日：2021.08.11
技术公布日：2021/12/13