一种面向伪装目标检测的场景感知对抗伪装生成方法及系统

本申请涉及计算机视觉、图像处理、数字伪装和对抗样本生成，具体涉及一种将背景修复、场景统计分析和伪装目标检测模型输出反馈相结合的场景感知对抗伪装生成方法。

背景技术：

1、数码迷彩伪装通常通过像素化色块、多尺度图案结构、颜色相似性和轮廓破碎等机制降低目标与背景之间的视觉可分性，已广泛用于目标隐蔽、场景伪装和视觉对抗评测等任务。

2、随着深度学习视觉模型的发展，伪装目标检测技术能够利用语义上下文、边界细节和多尺度特征从高相似背景中定位伪装目标。传统数码迷彩主要面向人眼视觉系统设计，在面对基于深度神经网络的伪装目标检测器时，容易出现检测响应仍然较高、目标轮廓仍可被模型捕获的问题。

3、现有对抗伪装方法多面向通用目标检测模型，或者主要通过像素级扰动降低检测器响应。此类方法虽然能够在一定程度上削弱模型输出，但往往忽视目标区域与真实背景之间的颜色协调性、纹理尺度一致性和方向结构一致性，容易产生高频噪声、突兀色块或局部伪影，从而降低视觉自然性。

4、另一方面，若直接在含目标的原始图像上统计背景主色、纹理频率和方向结构，目标自身的颜色与纹理会参与统计计算，导致生成的伪装图案偏离真实背景分布。因此，如何在消除目标像素干扰的基础上提取可靠的场景统计信息，并将该场景统计先验与多检测器联合对抗优化结合，是提高对抗伪装自然性和攻击有效性的关键技术问题。

技术实现思路

1、本申请的目的在于提供一种面向伪装目标检测器的场景感知对抗伪装生成方法、系统及存储介质，以解决现有技术中伪装图案缺乏场景自适应性、对抗优化易产生视觉伪影、单一检测器优化泛化能力不足以及缺少对未参与优化检测器进行迁移评估的问题。

2、为实现上述目的，本申请提供一种场景感知对抗伪装生成方法。该方法以原始图像和目标掩码为输入，围绕场景参考构建、场景特征分析、数码迷彩图案生成以及多检测器联合对抗优化四个阶段展开，使伪装图案既能够适应真实背景的颜色和纹理统计，又能够针对伪装目标检测器的响应特征进行优化。

3、在场景参考构建阶段，本申请基于目标掩码对原始图像中的目标区域进行背景修复，得到不含目标像素干扰的场景参考图。与直接在原始图像上提取背景统计信息相比，该处理能够避免目标自身颜色、纹理和轮廓进入背景特征估计过程，从源头提高后续主色、纹理尺度和方向结构分析的可靠性。

4、在场景特征分析阶段，本申请在所述场景参考图上分别提取颜色特征、纹理频率特征和方向结构特征。其中，颜色特征可通过cielab颜色空间下的主色聚类获得，纹理频率特征可通过浅层视觉特征的gram能量分布获得，方向结构特征可通过多方向gabor滤波响应获得。上述特征共同构成用于控制伪装图案生成的场景特征参数。

5、在数码迷彩图案生成阶段，本申请根据主色中心和颜色比例控制色块颜色分布，根据纹理频率指数控制基础色块尺寸，并根据主纹理方向和各向异性比控制色块的排列方向及长短轴比例，从而生成多尺度方向性数码迷彩图案。进一步地，可对生成图案执行cielab颜色对齐，使目标区域图案在亮度和色调上更接近周围背景。

6、在联合对抗优化阶段，本申请以所述数码迷彩图案作为初始纹理，构造由原始图像、目标掩码和当前优化纹理融合得到的输入图像，并将该输入图像分别送入多个伪装目标检测器。优化过程中仅更新目标区域内的纹理像素，非目标背景区域保持不变，以降低对原始场景内容的破坏。

7、作为一种可选实施方式，联合对抗优化的损失函数包括多检测器联合攻击损失、感知一致性损失和全变差正则化项。多检测器联合攻击损失用于抑制不同伪装目标检测器在目标区域内的输出响应；感知一致性损失用于约束优化后纹理相对于初始数码迷彩图案的深层特征偏移；全变差正则化项用于抑制局部孤立噪声和不连续纹理。

8、本申请还提供一种场景感知对抗伪装生成系统，所述系统包括数据获取模块、背景修复模块、场景特征分析模块、迷彩图案生成模块、融合模块和联合对抗优化模块。各模块可通过软件程序部署在计算机、服务器、图像处理设备或其他具有处理器和存储器的电子设备中，以执行上述方法。

9、本申请还提供一种电子设备、计算机可读存储介质及计算机程序产品。所述电子设备包括处理器和存储器，所述存储器中存储有计算机程序；所述计算机程序被处理器执行时，实现从原始图像和目标掩码的获取、场景参考图生成、场景特征提取、初始迷彩图案生成到目标区域纹理联合优化的上述方法。

10、与现有技术相比，本申请至少具有以下有益效果：第一，通过背景修复消除目标像素对场景统计的干扰，使主色、纹理尺度和方向结构的估计更接近真实背景；第二，通过颜色、纹理和方向联合约束生成初始数码迷彩图案，使目标区域在视觉上与背景更加协调；第三，通过多检测器联合对抗优化提高对不同伪装目标检测模型的响应抑制能力；第四，通过感知一致性损失和全变差正则化限制纹理退化为高频噪声，提高最终伪装结果的视觉自然性；第五，通过仅更新目标掩码对应区域，避免对非目标背景造成不必要改变。

1.一种面向伪装目标检测器的场景感知对抗伪装生成方法，其特征在于，包括：获取原始图像以及用于指示待伪装目标区域的目标掩码；根据所述目标掩码对所述原始图像中的目标区域进行背景修复，得到不含目标像素干扰的场景参考图；从所述场景参考图中提取主色及其颜色比例、纹理频率参数、主纹理方向和各向异性参数；根据所述主色及其颜色比例、所述纹理频率参数、所述主纹理方向和所述各向异性参数，生成多尺度方向性数码迷彩图案；按照所述目标掩码将所述多尺度方向性数码迷彩图案与所述原始图像进行融合，得到初始融合图像；以所述多尺度方向性数码迷彩图案作为初始纹理，将当前纹理按照所述目标掩码与所述原始图像进行融合，构成迭代图像，并将所述迭代图像输入至少两个伪装目标检测器，根据所述至少两个伪装目标检测器的输出响应联合更新所述当前纹理，将纹理更新限制于所述目标掩码指示的目标区域，得到对抗伪装图像。

2.根据权利要求1所述的场景感知对抗伪装生成方法，其特征在于，所述背景修复包括：将所述原始图像和二值化的所述目标掩码输入掩码感知transformer背景修复网络，利用所述目标区域周围的上下文特征对所述目标区域进行结构补全和纹理补全，并保持非目标区域的像素不变，输出与所述原始图像具有相同空间尺寸的所述场景参考图。

3.根据权利要求1所述的场景感知对抗伪装生成方法，其特征在于，提取所述主色及其颜色比例包括：将所述场景参考图由rgb颜色空间转换至cielab颜色空间；采用k-means++算法对所述场景参考图中的采样像素进行聚类，得到多个主色中心；统计各聚类簇的像素数量占所述采样像素总量的比例，得到各主色中心对应的颜色比例。

4.根据权利要求1所述的场景感知对抗伪装生成方法，其特征在于，提取所述纹理频率参数包括：利用预训练卷积神经网络的至少一个浅层特征层提取所述场景参考图的特征响应；根据不同特征通道的gram能量统计低频能量和高频能量；根据所述高频能量占所述低频能量与所述高频能量之和的比例确定纹理频率指数，并根据所述纹理频率指数，在预设最小尺寸和预设最大尺寸之间确定基础色块尺寸。

5.根据权利要求1所述的场景感知对抗伪装生成方法，其特征在于，提取所述主纹理方向和各向异性参数包括：在多个预设方向上构建gabor滤波器组；计算所述场景参考图在各预设方向上的平均响应能量；将平均响应能量最大的预设方向确定为所述主纹理方向；根据所述主纹理方向的平均响应能量与垂直于所述主纹理方向的平均响应能量之间的比值，确定所述各向异性参数。

6.根据权利要求1所述的场景感知对抗伪装生成方法，其特征在于，生成所述多尺度方向性数码迷彩图案包括：以所述主色及其颜色比例作为颜色约束，以根据所述纹理频率参数确定的基础色块尺寸、所述主纹理方向和所述各向异性参数作为结构约束，分别生成大尺度、中尺度和细尺度的方向性色块层；对所述大尺度、中尺度和细尺度的方向性色块层进行融合，并将融合后的颜色重新量化至所述主色，得到所述多尺度方向性数码迷彩图案。

7.根据权利要求6所述的场景感知对抗伪装生成方法，其特征在于，在将所述多尺度方向性数码迷彩图案与所述原始图像进行融合之前，还包括：对所述目标区域内的多尺度方向性数码迷彩图案执行cielab全通道颜色对齐，其中，l通道采用均值和标准差匹配以对齐亮度分布，a通道和b通道采用均值平移以对齐色调分布。

8.根据权利要求1所述的场景感知对抗伪装生成方法，其特征在于，联合更新所述当前纹理所采用的总损失函数包括多检测器联合攻击损失、感知一致性损失和全变差正则化项；所述多检测器联合攻击损失用于降低所述至少两个伪装目标检测器在所述目标区域内的输出响应；所述感知一致性损失用于限制所述当前纹理相对于所述初始纹理的感知特征偏移；所述全变差正则化项用于限制所述目标区域内相邻纹理像素之间的差异。

9.根据权利要求8所述的场景感知对抗伪装生成方法，其特征在于：所述多检测器联合攻击损失对不同伪装目标检测器设置模型权重，并针对各伪装目标检测器的输出响应，为所述目标区域内的像素设置随输出响应增大而增大的自适应像素权重，以使联合更新优先降低所述目标区域内具有较高输出响应的位置；联合更新所述当前纹理时采用渐进式权重调度，使所述多检测器联合攻击损失的权重随迭代次数增加而增大，使所述感知一致性损失的权重随迭代次数增加而减小；每次联合更新之后，将所述当前纹理的像素值限制在预设图像取值范围内。

10.一种面向伪装目标检测器的场景感知对抗伪装生成系统，其特征在于，包括：数据获取模块，用于获取原始图像以及用于指示待伪装目标区域的目标掩码；背景修复模块，用于根据所述目标掩码对所述原始图像中的目标区域进行背景修复，得到场景参考图；场景特征分析模块，用于从所述场景参考图中提取主色及其颜色比例、纹理频率参数、主纹理方向和各向异性参数；迷彩图案生成模块，用于根据所述主色及其颜色比例、所述纹理频率参数、所述主纹理方向和所述各向异性参数，生成多尺度方向性数码迷彩图案；融合模块，用于按照所述目标掩码将所述多尺度方向性数码迷彩图案与所述原始图像进行融合；联合对抗优化模块，用于将当前纹理按照所述目标掩码与所述原始图像进行融合，并根据至少两个伪装目标检测器的输出响应，仅在所述目标掩码指示的目标区域内更新所述当前纹理，得到对抗伪装图像。