深度图像分类模型鲁棒性增强方法、系统及终端设备

摘要: 本发明涉及计算机视觉,具体为深度图像分类模型鲁棒性增强方法、系统及终端设备。背景技术:1、随着深度学习技术的发展,基于深度神经网络的图像分类模型已广泛应用于图像...
深度图像分类模型鲁棒性增强方法、系统及终端设备

本发明涉及计算机视觉,具体为深度图像分类模型鲁棒性增强方法、系统及终端设备。

背景技术:

1、随着深度学习技术的发展,基于深度神经网络的图像分类模型已广泛应用于图像识别、目标分析等任务,图像分类模型通常根据输入图像所包含的特征信息确定相应类别,但在输入图像受到幅度较小的对抗扰动时,模型提取到的判别特征可能发生偏移,使分类结果产生变化,为了降低对抗扰动对既有分类模型的影响,可在分类模型(分类器)之前设置图像净化模型,对待分类图像进行预处理,在尽可能保留原始图像内容及类别相关信息的同时削弱对抗扰动,再将净化后的图像输入分类模型进行类别判定。

2、扩散模型(扩散净化器)具有逐步添加噪声并根据含噪状态恢复图像的能力,因而可被用于图像对抗净化,现有扩散净化方法通常对输入图像执行前向加噪,使输入中的局部扰动在噪声作用下受到削弱,再利用扩散模型的去噪能力恢复图像,为进一步提高扩散净化模型对对抗输入的适应能力,还可以利用对抗样本、含噪图像或者分类模型提供的类别信息对净化模型进行训练或调整,使净化后的图像在恢复原始内容的同时保持与原图相应的类别判别信息。

3、然而,现有扩散净化器的训练或适配过程通常针对某一类输入扰动或者净化链路中的局部状态进行处理,难以同时覆盖外部输入扰动、扩散内部含噪状态变化以及随机净化条件变化等不同层级的威胁,使净化器针对特定威胁获得的恢复能力难以覆盖其他处理层级产生的不利状态,适应能力不均衡。

技术实现思路

1、本发明的目的在于提供深度图像分类模型鲁棒性增强方法、系统及终端设备,能够提高训练过程中对不同层级威胁状态的覆盖能力,并兼顾恢复内容与类别语义,有利于增强扩散净化器对不同来源扰动状态的适应能力,进而增强分类器的鲁棒性。

2、根据本发明的第一方面,为实现上述目的,本发明提供如下技术方案:一种深度图像分类模型鲁棒性增强方法,包括以下步骤:

3、获取训练样本、初始扩散净化器和分类器,根据初始扩散净化器的参数初始化当前待训练共享扩散净化器,并保持所述分类器的参数不变,其中训练样本包括干净图像及其对应的真实标签;

4、基于同一所述干净图像分别构造扩散噪声域威胁状态、像素输入域威胁状态和随机净化代理域威胁状态,其中,所述扩散噪声域威胁状态由所述干净图像结合经噪声域扰动的扩散噪声进行前向扩散得到,所述像素输入域威胁状态由对所述干净图像施加像素域扰动并经前向扩散得到,所述随机净化代理域威胁状态由基于随机扩散条件下的分类风险确定针对所述干净图像的代理扰动,并经前向扩散得到;

5、将三类威胁状态分别输入待训练共享扩散净化器,获得各威胁状态对应的恢复结果,根据各恢复结果与干净图像计算对应的重建损失,并根据各恢复结果、所述分类器和所述真实标签计算对应的分类语义损失;

6、聚合三类威胁状态对应的重建损失和分类语义损失得到总体训练目标,根据所述总体训练目标更新待训练共享扩散净化器的参数,输出训练后共享扩散净化器。

7、进一步地,在构造三类威胁状态之前,对所述干净图像进行归一化处理,将像素取值位于区间的干净图像映射至[-1,1]扩散归一化空间,得到归一化干净图像。

8、进一步地,根据所述当前待训练共享扩散净化器的当前参数复制建立停止梯度净化器,利用所述停止梯度净化器完成扩散噪声域威胁状态和随机净化代理域威胁状态的构造,并利用参数保持不变的分类器生成像素域扰动图像后经前向扩散构造像素输入域威胁状态。

9、进一步地,所述扩散噪声域威胁状态的构造包括:

10、采样扩散时间步和高斯张量,基于所述分类器和停止梯度净化器对噪声域扰动变量进行迭代优化;

11、对所述高斯张量排序,并按照所述噪声域扰动变量的秩次重新分配高斯样本值,以获得保留扰动秩结构的高斯样噪声;

12、根据所述扩散时间步的累积信号保留系数与剩余噪声系数之比的平方根确定混合系数;

13、利用所述混合系数对所述高斯张量与所述高斯样噪声进行混合,并按照前向扩散过程将混合后的噪声与归一化干净图像组合为扩散噪声域威胁状态。

14、进一步地,对噪声域扰动变量进行迭代优化,具体如下:

15、将由当前噪声域扰动变量形成的扩散噪声域威胁状态输入所述停止梯度净化器,获得对应的干净图像估计;

16、将所述干净图像估计输入参数保持不变的所述分类器,根据所述分类器的输出与所述真实标签计算分类损失;

17、以增大所述分类损失为目标,采用投影梯度方式更新所述噪声域扰动变量;

18、其中,在根据所述噪声域扰动变量的元素秩次重新分配所述高斯样本值的反向传播过程中,将排序和秩匹配操作的梯度按照输入梯度进行近似。

19、进一步地,所述像素输入域威胁状态的构造包括:

20、在预设范数约束和扰动预算内,基于所述分类器对干净图像生成像素域扰动图像;

21、将所述像素域扰动图像映射至扩散归一化空间;

22、采样扩散时间步,并根据所述扩散时间步向归一化后的所述像素域扰动图像注入高斯噪声,获得所述像素输入域威胁状态。

23、进一步地,所述随机净化代理域威胁状态的构造包括:

24、在代理扰动的迭代更新过程中重复采样扩散时间步和高斯噪声;

25、根据当前代理扰动形成代理扰动图像,将所述代理扰动图像在各采样条件下分别进行前向扩散,并通过停止梯度净化器获得对应的代理净化结果;

26、将各代理净化结果分别输入参数保持不变的所述分类器,根据所述分类器的输出与所述真实标签计算分类损失,并对各采样条件对应的分类损失进行聚合;

27、以增大聚合后的分类损失为目标,在预设范数约束内更新所述代理扰动;

28、根据更新后的代理扰动形成代理扰动图像,并在采样得到的扩散时间步下进行前向扩散,获得所述随机净化代理域威胁状态。

29、进一步地,将三类威胁状态分别输入待训练共享扩散净化器,获得各威胁状态对应的恢复结果,具体如下:

30、将各威胁状态与构造该威胁状态时采用的扩散时间步进行配对,并分别输入所述待训练共享扩散净化器,获得各威胁状态对应的干净图像估计;

31、保留各所述干净图像估计作为重建损失的计算对象,并对各所述干净图像估计分别执行逆归一化和像素范围裁剪,获得对应的恢复结果。

32、进一步地,根据各恢复结果与干净图像计算对应的重建损失,并根据各恢复结果、所述分类器和所述真实标签计算对应的分类语义损失,具体如下:

33、重建损失计算:

34、根据各威胁状态对应的干净图像估计与归一化干净图像计算均方误差,并根据对应扩散时间步的信号与噪声比例对所述均方误差进行加权,得到各威胁状态对应的重建损失;

35、分类语义损失计算:

36、将各恢复结果输入参数保持不变的分类器,得到类别分值,根据所得类别分值与所述真实标签计算交叉熵,分别得到各威胁状态对应的分类语义损失。

37、进一步地,聚合三类威胁状态对应的重建损失和分类语义损失得到总体训练目标,具体如下:

38、根据三类威胁状态对应的预设重建权重,分别对各重建损失进行加权,并将加权后的重建损失进行求和,得到重建监督项;

39、将三类威胁状态对应的分类语义损失进行求和,并根据威胁状态的数量进行平均,得到平均分类语义损失;

40、根据预设的分类语义损失总体权重对所述平均分类语义损失进行加权,得到分类语义监督项;

41、将所述重建监督项与所述分类语义监督项进行求和,得到所述总体训练目标。

42、进一步地,获得训练后共享扩散净化器之后,还包括:

43、获取待分类图像,对所述待分类图像进行归一化,并按照预设扩散时间步执行前向扩散加噪;

44、将前向扩散得到的含噪状态输入所述训练后共享扩散净化器,将预设引导尺度乘以所述预设扩散时间步对应的累积噪声系数的平方根并除以累积信号保留系数的平方根以确定引导系数,利用所述引导系数、反向采样方差以及含噪状态相对于参考含噪状态的均方误差梯度修正反向采样均值,并基于修正后的反向采样均值执行单步干净图像预测,获得净化图像;

45、将所述净化图像输入所述分类器,获得对应的图像分类结果;

46、其中,对所述待分类图像进行分类的过程中不构造所述扩散噪声域威胁状态、所述像素输入域威胁状态和所述随机净化代理域威胁状态。

47、根据本发明的第二方面,本发明提供一种深度图像分类模型鲁棒性增强系统,用于实现第一方面描述的深度图像分类模型鲁棒性增强方法,包括:

48、训练初始化模块,用于获取训练样本、初始扩散净化器和分类器,根据所述初始扩散净化器的参数初始化当前待训练共享扩散净化器,并保持所述分类器的参数不变,其中,所述训练样本包括干净图像及其对应的真实标签;

49、威胁状态构造模块,用于基于同一所述干净图像分别构造扩散噪声域威胁状态、像素输入域威胁状态和随机净化代理域威胁状态,其中,所述扩散噪声域威胁状态由所述干净图像结合经噪声域扰动的扩散噪声进行前向扩散得到,所述像素输入域威胁状态由对所述干净图像施加像素域扰动并经前向扩散得到,所述随机净化代理域威胁状态由基于随机扩散条件下的分类风险确定针对所述干净图像的代理扰动,并经前向扩散得到;

50、共享净化及损失计算模块,用于将三类威胁状态分别输入所述当前待训练共享扩散净化器,获得各威胁状态对应的恢复结果,根据各恢复结果与所述干净图像计算对应的重建损失,并根据各恢复结果、所述分类器和所述真实标签计算对应的分类语义损失;

51、训练更新模块,用于聚合三类威胁状态对应的重建损失和分类语义损失得到总体训练目标,并根据所述总体训练目标更新所述当前待训练共享扩散净化器的参数,输出训练后共享扩散净化器。

52、根据本发明的第三方面,本发明提供一种终端设备,包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序,所述存储器中存储有能够在处理器上运行的计算机程序,所述处理器加载并执行计算机程序时,采用了第一方面描述的深度图像分类模型鲁棒性增强方法。

53、本发明至少具备以下有益效果:

54、1.本发明通过基于同一干净图像分别构造扩散噪声域威胁状态、像素输入域威胁状态和随机净化代理域威胁状态,使训练过程能够覆盖扩散内部含噪状态、外部像素输入及随机净化条件等不同层级的威胁,改善单一威胁训练对净化链路不利状态覆盖不足的问题。

55、2.本发明通过将三类威胁状态分别输入同一共享扩散净化器进行恢复,并将各分支对应损失共同用于参数更新,使不同来源的威胁能够协同参与扩散净化器训练,提高扩散净化器对不同威胁状态的适应能力。

56、3.本发明通过结合重建损失和分类语义损失进行联合监督,在约束恢复图像内容的同时保留与真实标签对应的类别判别信息,减少仅依据重建误差进行训练时恢复结果发生类别语义偏移的情况。

57、4.本发明在训练过程中保持分类器参数不变,并将三类威胁状态的构造限定于训练阶段,训练完成后利用训练后共享扩散净化器执行单步引导扩散净化,减少训练阶段附加威胁构造过程对正常测试分类流程的影响。

58、当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。