一种不确定性语义感知的鲁棒对抗净化方法

本发明涉及计算机视觉对抗防御，具体涉及一种不确定性语义感知的鲁棒对抗净化方法。

背景技术：

1、计算机视觉大模型广泛落地于人脸识别、自动驾驶、图像检索等高安全需求场景，对抗攻击带来的模型失效风险持续加剧。攻击者通过向干净图像添加人眼不可感知的微小扰动生成对抗样本，可使成熟图像分类模型输出完全错误的识别结果，严重制约视觉系统的落地可靠性。对抗净化作为主流测试阶段防御方案，无需重新训练原始分类网络，仅通过输入预处理消除对抗扰动，具备部署成本低、适配各类预训练模型的突出优势。近年来扩散模型凭借强大的生成与去噪能力成为对抗净化主流骨干，其反向去噪流程能够将对抗样本向干净数据分布映射，同时采样过程自带随机噪声可扰乱扰动的梯度有效方向，大幅降低自适应攻击成功率。但扩散模型固有的随机采样特性会造成净化输出存在显著不确定性：同一输入多次采样会生成存在语义偏差的多张净化图像，部分采样结果仍残留扰动干扰，直接使用单次净化样本分类会大幅降低干净样本识别精度与对抗鲁棒性，如何平衡扩散随机性带来的防御增益与采样不确定性造成的性能损耗，成为当前对抗净化领域亟待突破的核心技术瓶颈。

2、现有国际主流学术研究针对扩散模型随机采样缺陷提出硬投票集成净化思路，代表性公开学术文献包括nie等人2022年发表的diffpure算法论文、xiao等人2023年densepure相关研究，两篇文献均采用多次扩散采样+多数硬投票的集成框架处理对抗样本，技术逻辑为对同一对抗图像执行多轮独立去噪，将全部净化样本送入分类器后统计各类别预测票数，选取票数最高类别作为最终输出结果，以此平滑随机采样带来的预测波动、扩大干净样本鲁棒分布区间，在常规pgd攻击场景下取得一定防御提升效果。但该类硬投票方案存在难以根除的底层理论缺陷，从信息论角度结合数据处理不等式dpi、fano不等式可完整论证其固有短板：硬投票属于确定性聚合操作，会丢失多次采样中次优类别携带的有效鲁棒信息，真实标签与投票输出之间的互信息存在固定上界约束，大量蕴含正确语义的次优预测被直接舍弃，人为压缩了采样带来的信息增益；同时多次采样结果经过平均投票平滑后，会强化分类器对各类预处理变换的不变性，使模型退化至未净化前的原始脆弱状态，面对bpda+eot这类专为净化防御设计的自适应攻击时鲁棒准确率断崖式下跌。此外上述文献均未设计独立对抗样本判别模块，无法区分输入是干净样本还是强、弱对抗样本，全部输入统一执行硬投票聚合策略，未针对不同样本类型差异化挖掘鲁棒信息，干净样本场景下会无意义消耗计算资源，强扰动对抗样本场景下又无法针对性放大次优类别的校正作用，即便增加采样次数也难以突破互信息损失带来的性能上限，在cifar-100、imagenet等复杂多分类数据集上缺陷暴露更为明显。

3、国内针对扩散模型对抗净化同样开展专利布局，现有公开发明专利cn119516428a（一种视觉复杂度引导的扩散模型对抗防御方法）提出基于图像视觉复杂度自适应调整扩散净化尺度的技术方案，该专利核心创新点为逐帧计算输入图像视觉复杂度，建立复杂度与扩散噪声强度、采样步数的映射关系，根据映射参数动态调整前向加噪与反向去噪流程，针对不同纹理、细节丰富程度的图像差异化消除对抗扰动，相较于固定净化参数的基础diffpure方法，能够减少过度去噪造成的图像主体语义丢失，在常规ℓ∞范数约束攻击下小幅提升干净样本识别准确率，该方案具备即插即用、无需微调分类器的落地优势，适配移动端轻量化视觉设备实时防御场景。但该专利技术仍存在多重无法规避的短板：其一该专利未引入多次随机采样集成架构，仅执行单次扩散去噪，完全无法利用扩散随机性扰乱对抗扰动梯度方向，面对autoattack联合强攻击、bpda自适应攻击时防御能力大幅衰减；其二该专利缺少鲁棒信息提取逻辑，仅使用单次净化样本的分类结果直接输出，不存在最高、次优频次类别的信息挖掘机制，完全忽略采样不确定性中隐藏的校正信息；其三该专利未构建量化分布差异的对抗样本检测模块，无法通过kl散度、l2距离量化原图与净化样本的特征分布偏移，不能自动区分干净、强扰动、弱对抗三类输入，全程采用统一净化与分类逻辑，无法针对对抗样本放大次优标签的校正权重；其四该专利未基于信息论互信息理论优化输出决策，不存在最大化正确互信息的加权融合机制，从理论层面无法降低模型分类误差下界，在大规模imagenet数据集、多分类cifar-100数据集上鲁棒性能提升幅度有限，难以满足高安全等级视觉识别系统的防御需求。

4、现有学术文献的硬投票集成方案、国内公开专利cn119516428a的单尺度单次净化方案，虽一定程度缓解了扩散模型对抗净化的基础缺陷，但均未从信息论层面解决随机采样带来的不确定性与互信息损耗核心矛盾，硬投票机制丢失大量鲁棒次优信息、单采样架构无法发挥随机扰动抑制作用、缺少分层对抗样本判别与差异化决策机制等问题始终无法同步解决。

技术实现思路

1、基于上述技术问题，本技术公开了一种不确定性语义感知的鲁棒对抗净化方法，包括以下：

2、s1、搭建同时搭载对抗图像语义约束、鲁棒文本语义约束的多模态语义引导ddpm扩散模型；对单张输入图像执行k次相互独立的反向去噪随机采样操作，每次采样生成一张净化样本，汇总全部采样结果形成净化样本集合；

3、s2、将集合s中每一张净化样本依次送入预训练分类器，逐样本输出分类预测标签；整合k组预测标签开展鲁棒信息提取运算，输出两类候选标签：最高频次类别、次优频次类别；

4、s3、以分类器未归一化逻辑输出为基础，分别构建kl散度均值度量、距离均值度量两种分布差异指标；将两类度量指标分别与预设判别阈值对比，生成二元判别标记，划分干净样本、强对抗样本、弱对抗样本三类输入；

5、s4、根据s3输出的样本类型匹配对应的加权融合计算公式，对、进行加权融合计算，挖掘多次采样不确定性信息内的正确互信息，输出最终分类预测标签。

6、优选的，s2中最高频次类别具体为：

7、采用指示函数统计每一个分类类别在k次采样预测标签中出现的总次数，对全部类别统计结果取最大值对应的类别作为，公式为：；

8、其中为固定下游图像分类器，为输入图像第次扩散采样得到的净化样本，为指示函数且大括号内等式成立时输出1、不成立输出0，为图像分类任务任意候选类别，为遍历全部类别并取求和结果最大值对应的类别，为扩散采样总次数。

9、优选的，s2中次优频次类别具体为：

10、剔除求得的最高频次类别，对剩余全部类别分别统计预测出现总次数，取次数最大值对应的类别作为，公式为：；

11、其中为剔除最高频次类别后剩余的任意候选类别，为固定下游图像分类器，为输入图像第次扩散采样得到的净化样本，为指示函数且大括号内等式成立时输出1、不成立输出0，为遍历限定类别并取求和结果最大值对应的类别，为扩散采样总次数。

12、优选的，s3中kl散度均值具体为：

13、采用温度系数的softmax平滑函数对原图、各净化样本的分类逻辑输出平滑，逐样本计算原图与净化样本平滑分布的kl散度，对k组散度结果取算术平均，计算公式：；

14、其中为分类器未归一化原始逻辑输出，为温度系数对应的softmax平滑函数，为分布p相对分布q的kl散度运算，为扩散采样总次数，为原始输入图像，为输入图像第次扩散采样得到的净化样本。

15、优选的，s3中距离均值具体为：

16、使用温度系数的softmax平滑函数平滑原图与净化样本逻辑输出，逐样本计算两组平滑概率向量的欧氏距离，对k组距离结果取算术平均，计算公式：；

17、其中代表向量二范数即欧氏距离运算，为温度系数对应的softmax平滑函数，为分类器未归一化原始逻辑输出，为扩散采样总次数，为原始输入图像，为输入图像第次扩散采样得到的净化样本。

18、优选的，s3划分输入样本类型的判定逻辑包括：

19、将与阈值对比，则强对抗标记，反之；

20、将与阈值对比，则弱对抗标记，反之；

21、当且时判定输入为干净样本并生成干净标记；式中为预设固定分布差异判别阈值，为kl散度均值指标，为距离均值指标。

22、优选的，s4对干净样本的标签加权融合计算，具体为：

23、以原图直接输入分类器得到的预测类别为匹配参照，根据类别匹配状态对、加权叠加，计算公式：；

24、其中为原图不经扩散净化直接输入分类器得到的预测类别，为二元条件标识，条件成立取值1、不成立取值0，为干净样本二元判别标记，为最高频次类别，为次优频次类别，为最终输出预测标签。

25、优选的，s4对kl散度判定的强对抗样本的标签加权融合，公式为：

26、根据强对抗二元标记，结合最高频次类别与原图预测类别的匹配关系分配两类候选标签权重，计算公式：；

27、其中为强对抗二元标记，为原图不经扩散净化直接输入分类器得到的预测类别，为二元条件标识，条件成立取值1、不成立取值0，为最高频次类别，为次优频次类别，为最终输出预测标签。

28、优选的，s4对距离判定的弱对抗样本的标签加权融合，具体为：

29、根据弱对抗二元标记，结合最高频次类别与原图预测类别的匹配关系分配两类候选标签权重，计算公式：；

30、其中为弱对抗二元标记，为原图不经扩散净化直接输入分类器得到的预测类别，为二元条件标识，条件成立取值1、不成立取值0，为最高频次类别，为次优频次类别，为最终输出预测标签。

31、优选的，所述方法根据信息论约束构建互信息优化逻辑，包含两类基础信息论公式约束；

32、第一类为数据处理不等式dpi约束硬投票互信息关系：，

33、第二类为fano不等式建立预测误差与互信息关联：；

34、其中为图像真实标签，为原始输入图像，为k次采样全部预测标签集合，为传统硬投票输出标签，为互信息运算，为模型分类预测误差，为信息熵函数，为图像分类任务总类别数量，为扩散采样总次数。

35、相对于现有技术，本技术的技术方案具有以下技术效果：

36、本发明根据多模态语义引导完成多轮独立扩散采样处理，能够充分释放扩散模型自带随机噪声的扰动抑制能力，在生成多份净化样本集合的过程中持续丰富图像不确定性信息，双向语义约束可稳定扩散反向去噪流程，规避单一语义引导引发的图像主体结构丢失、类别语义偏移问题，每一轮采样输出均可保留完整判别特征。多组差异化净化样本能够覆盖不同扰动消除路径，充分挖掘数据流形内有效干净信息。

37、本发明设置分层鲁棒信息提取逻辑，同步统计全部采样预测的最高频次类别与次优频次类别，完整留存两类携带真实语义的候选标签。该处理方式不再舍弃次优类别中具备校正作用的判别信息，充分挖掘采样不确定性内隐藏的有效校正线索，通过标准化统计运算统一提取两类候选标签，实现采样预测信息无遗漏归集，完整保留单次采样误判场景下的补偿信息。

38、本发明采用两种独立分布度量指标完成样本属性判别，分别从概率分布整体偏移、概率向量细微偏差两个维度量化原图与净化样本的特征差异，能够精准区分干净样本、强对抗样本与弱对抗样本，双度量互补判别机制适配不同攻击强度、不同扰动偏移程度的输入样本，无需提前获取攻击类型相关先验条件即可完成自动分层标记，分层标记结果可精准匹配后续决策逻辑，实现输入样本精细化区分，为差异化加权融合提供可靠判定基础，保证不同类型样本均能适配专属信息优化逻辑。

39、本发明根据样本分层结果设置独立加权融合规则，对三类样本分别配置专属运算逻辑，摒弃统一投票的信息压缩处理方式，持续放大采样信息内与真实标签相关的互信息。整套融合逻辑根据信息论基础约束构建，持续降低模型分类误差下限，充分利用次优类别完成预测校正，全程完整保留扩散模型随机采样带来的全部有效信息，同步降低净化过程自带不确定性对分类结果的干扰，稳定提升模型分类输出的可靠性。

40、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，从而可依照说明书的内容予以实施，并且为了让本技术的上述和其他目的、特征和优点能够更明显易懂，以下以本技术的较佳实施例并配合附图详细说明如后。

41、根据下文结合附图对本技术具体实施例的详细描述，本领域技术人员将会更加明了本技术的上述及其他目的、优点和特征。