一种基于掩码梯度反传的车辆对抗补丁生成方法与流程

本发明属于车辆目标检测，具体为一种基于掩码梯度反传的车辆对抗补丁生成方法。

背景技术：

1、在自动驾驶与智能路侧感知系统中，目标检测模型被期望对道路上的车辆实现全天候、全角度稳定识别。然而研究表明，针对ai识别的黑盒攻击者利用代理模型生成对抗补丁，可诱导主流yolo、r-cnn目标模型做出错误判断，使目标模型漏检或误分类该车辆，如同让整车“光学隐身”，从而导致追尾、变道侧撞等严重的安全问题。

2、对抗补丁通常具有一定的可转移性，即为某个模型生成的对抗补丁也可能会欺骗其他模型。这种特性使得攻击者可以通过训练一个代理模型来生成对抗补丁，进而攻击目标模型，即使攻击者对目标模型的架构和参数了解有限。然而，由于代理模型和目标模型在架构和训练数据集上的差异，可能会出现“代理偏差”问题，导致对抗补丁的泛化性降低。这种偏差会削弱对抗补丁在目标模型上的攻击效果，因此需要解决代理偏差问题以提高攻击性能。

3、目前，针对目标检测的对抗补丁生成方法主要包括以下两种技术路线：

4、第一种是advpatch方法（brown et al., 2017），该方法通过expectation overtransformation (eot)框架，在训练过程中对对抗补丁进行随机几何变换（包括旋转、缩放、随机噪声等），使生成的对抗补丁具有变换鲁棒性。然而，advpatch方法仅通过随机变换增强补丁的多样性，未考虑代理模型与目标模型之间的架构差异，导致生成的对抗补丁在黑盒攻击中存在严重的代理偏差问题，迁移攻击成功率较低。

5、第二种是t-sea方法（wang et al., cvpr 2023），该方法提出了自集成攻击框架，通过数据自集成（随机裁剪、颜色调整）、模型自集成（shakedrop技术）和补丁自集成（patchcutout，即随机掩码）三种策略提升对抗补丁的迁移性。其中，补丁自集成通过随机遮盖对抗补丁的部分区域（类似于dropout）来防止过拟合。然而，t-sea方法中的随机掩码仅作为一种数据增强手段，在训练阶段随机丢弃部分补丁区域，并未考虑掩码对梯度反向传播过程的影响。具体而言，现有方法的不足在于：（1）随机掩码缺乏对梯度更新的精细控制，无法根据掩码区域的重要性差异化地调整梯度权重，导致模型过度关注非掩码区域，难以捕获通用的迁移模式；（2）在测试阶段停止使用掩码增强后，高掩码区域由于训练时受到掩码扰动的影响更严重，容易产生方差漂移问题，导致对抗补丁的数据分布不稳定，影响黑盒攻击效果。

6、为了解决上述问题，本发明提出了一种基于掩码的梯度反向传播（mask-basedgradient backpropagation, mgb）方法来生成对抗补丁，以提高对抗补丁的可转移性和有效攻击的鲁棒性。

技术实现思路

1、针对现有技术的不足，本发明要解决的技术问题是：提供一种基于掩码梯度反传的车辆对抗补丁生成方法。

2、本发明解决所述技术问题采用如下的技术方案：

3、一种基于掩码梯度反传的车辆对抗补丁生成方法，所述方法包括以下内容：

4、获取图像数据集并划分训练集和测试集，构建白盒检测器集合和黑盒检测器集合；

5、构建掩码梯度反传框架mgb：

6、使用白盒检测器生成对抗补丁p，并对对抗补丁p进行数据增强，再复制n次，对复制后的对抗补丁通过伯努利分布采样随机遮挡对抗补丁的部分区域，形成随机掩码增强补丁集合，并对随机掩码增强补丁的每个位置统计被掩码的次数，得到掩码计数矩阵，之后采用最近邻算法对掩码计数矩阵进行上采样，获得上采样后的掩码计数矩阵；将随机掩码增强补丁附加到输入图像x的物体中心得到中毒后的图像xp；

7、将中毒后的图xp输入到白盒检测器中进行梯度反向传播训练，在梯度反向传播过程中白盒检测器以拟攻击目标的预测分数和邻近像素差值目标函数之和作为损失函数；计算损失函数相对于网络输出的梯度g，，然后该梯度通过检测器的各个网络层向后传播，每一层的梯度乘以激活函数的导数并传递到前一层，这个过程一直持续向前传递到达输入对抗补丁p；

8、在梯度g和掩码计数矩阵之间进行逐元素乘法，并对结果进行归一化，得到加权梯度；

9、累加计算所有变量p的加权梯度值，获得累积梯度，每一层的加权梯度乘以激活函数的导数并传递到前一层，这个过程一直持续向前传递到达输入对抗补丁p；

10、其中，r为掩码比率；w, h分别为补丁宽度和高度；指的是上一个epoch累积梯度；

11、通过反复迭代，不断更新对抗性补丁p的像素值参数，逐渐最小化损失函数直至满足训练要求；并且每隔s步采样一次对抗补丁p，将它们存储在长期记忆库中；

12、将训练完成后的对抗补丁贴到测试集的测试图像中，在黑盒检测器中引入方差均值掩码正则化的惩罚项和时空掩码正则化的惩罚项在损失函数中，以该损失函数优化对抗性补丁，直至满足测试收敛条件。

13、进一步地，时空掩码正则化包括空间掩码正则化和时间掩码正则化，空间掩码正则化将高掩码区域的相邻像素差异视为目标函数正则化项，其作用在于确保优化器优先选择具有平滑颜色过渡的图像，并防止对抗补丁产生图像噪声，

14、

15、其中，为高掩码区域的对抗补丁值；为希尔伯特-施密特独立准则；

i,j为像素坐标索引，表示高掩码区域补丁在坐标

i,j处的像素值；

16、如果相邻像素相似，则正则化项的值较小；如果相邻像素不同，则正则化项的值较大；

17、时间掩码正则化，通过利用存储在长期记忆库中的对抗补丁来正则化当前对抗补丁的高掩码区域；每隔s步，先前的对抗补丁将离开队列，而最新生成的对抗补丁将进入队列，具体为：

18、

19、其中，高掩码区域定义为：

20、

21、其中，h表示由0和1组成的高掩码矩阵，r为掩码比率。

22、进一步地，方差均值掩码正则化的惩罚项为：

23、

24、其中，是h中1的个数，即高掩码区域的像素数量；表示期望运算；表示方差运算，通过以下公式计算得到：

25、

26、其中，为非掩码补丁的输出期望，为方差；

p为掩码比率，；表示高掩码区域补丁在坐标

i,j处的像素值。

27、本发明还保护一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现所述的方法。

28、与现有技术相比，本发明的有益效果是：

29、1. 为了增加对抗补丁的多样性，避免过拟合到单个代理模型，通过随机掩码增强对抗补丁。即在训练过程中随机遮挡对抗补丁的一部分区域。这种方法引入随机性，使得模型无法完全依赖对抗补丁的特定部分进行学习，从而提高了对抗补丁对其他模型的泛化能力。这种方法能够有效提升对抗补丁的迁移攻击能力，使其在未知模型上也能保持较高的攻击性能。

30、2. 面对单个代理模型的攻击存在的代理偏差问题，提出了对补丁更新梯度进行加权，控制补丁的更新方向的方法。加权策略基于掩码区域的重要性，对不同部分的更新进行差异化处理，使得对抗补丁能够跨越代理模型的偏差，更加有效地欺骗目标模型。这种加权策略有助于模型避免过度更新对抗补丁的某些部分，从而提高攻击的成功率和鲁棒性。

31、3. 为了减少由随机掩码引起的方差漂移的负面影响，本发明提出了对高掩码区域进行正则化处理的方法。通过对高掩码区域进行正则化处理，抑制这些区域的过度学习。在损失函数中加入正则化项，惩罚对抗补丁中高掩码区域的剧烈变化，从而稳定补丁的数据分布。这种方法能够有效减少方差漂移，提升对抗补丁在不同模型上的攻击性能。

32、综上，本发明将随机掩码增强与掩码梯度加权、正则化相结合，形成完整的mgb框架，在梯度反向传播过程中引入掩码计数矩阵，对随机掩码区域分配更高的梯度权重，促使模型关注掩码部分，捕获通用迁移模式，实现掩码梯度加权。此外在测试阶段针对方差漂移问题，对高掩码区域进行方差均值正则化和时空正则化，稳定补丁数据分布，实现掩码正则化。系统性解决了现有方法中的代理偏差和方差漂移问题，通过掩码梯度加权和掩码正则化，实现了对掩码区域的精细化控制和优化，显著提升了对抗补丁的黑盒迁移攻击性能。