一种对抗扰动图像的生成方法及系统

摘要: 本发明涉及图像处理领域,尤其是一种对抗扰动图像的生成方法及系统。背景技术:1、对抗扰动生成是指向输入数据(如图像、音频、文本等)添加人眼等感知器官难以察觉的微小...
一种对抗扰动图像的生成方法及系统

本发明涉及图像处理领域,尤其是一种对抗扰动图像的生成方法及系统。

背景技术:

1、对抗扰动生成是指向输入数据(如图像、音频、文本等)添加人眼等感知器官难以察觉的微小扰动,其在攻击层面上可用于测试模型脆弱性,以及在防御层面上可用于提高模型鲁棒性而逐渐受到相关技术人员的重视。

2、目前,相关技术通常是基于输入数据的梯度生成相应的扰动特征,但由于该种方式严重依赖于输入数据的梯度相关信息,其生成的扰动特征的对抗性能不尽人意,后续基于该扰动特征对抗训练得到的模型的对抗鲁棒性不尽人意。

3、因此,相关技术存在的问题还亟需解决和优化。

技术实现思路

1、本发明的目的在于至少一定程度上解决相关技术中存在的技术问题之一。

2、为此,本发明实施例的一个目的在于提供一种对抗扰动图像的生成方法及系统,其中,该方法可以有效提高对抗扰动图像的对抗性能,从而有利于提高后续对抗训练得到的模型的对抗鲁棒性。

3、为了达到上述技术目的,本技术实施例所采取的技术方案包括:

4、第一方面,本技术实施例提供了一种对抗扰动图像的生成方法,包括:

5、获取源输入图像、随机图像、编解码生成网络和所述编解码生成网络的引导约束函数;

6、根据所述引导约束函数,将所述源输入图像和所述随机图像输入至编解码生成网络中进行网络训练及引导特征生成,得到训练好的编解码生成网络,以及所述训练好的编解码生成网络输出的目标引导特征;

7、根据所述目标引导特征,对所述源输入图像进行特征融合,得到目标融合图像;

8、对所述目标融合图像进行扰动特征生成,得到与所述源输入图像对应的对抗扰动图像。

9、另外,根据本技术上述实施例的方法,还可以具有以下附加的技术特征:

10、进一步地,在本技术的一个实施例中,所述根据所述引导约束函数,将所述源输入图像和所述随机图像输入至编解码生成网络中进行网络训练及引导特征生成,得到训练好的编解码生成网络,以及所述训练好的编解码生成网络输出的目标引导特征,包括:

11、获取第一生成网络和收敛阈值,所述第一生成网络为所述编解码生成网络或前一训练过程得到的第二生成网络;

12、将所述源输入图像和所述随机图像输入至所述第一生成网络中进行特征生成,得到当前训练过程的中间特征图,所述中间特征图的图像尺寸与所述源输入图像的图像尺寸相同;

13、根据所述引导约束函数,对所述源输入图像和所述当前训练过程的中间特征图进行损失分析,得到目标损失值;

14、若所述目标损失值大于或等于所述收敛阈值,则根据所述目标损失值,对所述第一生成网络进行参数更新,得到当前训练过程的第二生成网络,并返回执行获取第一生成网络和收敛阈值的步骤;或者,若所述目标损失值小于所述收敛阈值,则将所述当前训练过程的中间特征图确定为所述目标引导特征。

15、进一步地,在本技术的一个实施例中,所述将所述源输入图像和所述随机图像输入至所述第一生成网络中进行特征生成,得到当前训练过程的中间特征图,包括:

16、对所述源输入图像和所述随机图像进行拼接,得到拼接图像;

17、对所述拼接图像进行逐层特征编码,得到编码特征图;

18、对所述编码特征图进行逐层特征解码,得到所述中间特征图。

19、进一步地,在本技术的一个实施例中,所述根据所述引导约束函数,对所述源输入图像和所述当前训练过程的中间特征图进行损失分析,得到目标损失值,包括:

20、根据所述引导约束函数,获取结构相似度损失函数和范数距离损失函数;

21、根据所述结构相似度损失函数,对所述源输入图像和所述中间特征图进行结构损失分析,得到结构损失值;

22、根据所述范数距离损失函数,对所述源输入图像和所述中间特征图进行距离损失分析,得到距离损失值;

23、根据所述距离损失值和所述结构损失值,得到所述目标损失值。

24、进一步地,在本技术的一个实施例中,所述根据所述结构相似度损失函数,对所述源输入图像和所述中间特征图进行结构损失分析,得到结构损失值,包括:

25、对所述源输入图像和所述中间特征图进行灰度变换,得到与所述源输入图像对应的第一灰度图和与所述中间特征图对应的第二灰度图;

26、根据所述第一灰度图和所述第二灰度图,进行结构相似度分析处理,得到中间结构相似度;

27、根据所述中间结构相似度和所述结构相似度损失函数,得到所述结构损失值。

28、进一步地,在本技术的一个实施例中,所述根据所述第一灰度图和所述第二灰度图,进行结构相似度分析处理,得到中间结构相似度,包括:

29、对所述第一灰度图和所述第二灰度图进行单尺度滑动窗口统计分析,得到若干个不同空间位置的窗口统计量;

30、对所有所述窗口统计量进行单尺度结构相似度分析,得到所述中间结构相似度;

31、或,

32、对所述第一灰度图和所述第二灰度图进行多尺度图像提取,得到若干个不同尺度的尺度图像组;

33、对所有所述尺度图像组进行多尺度结构相似度分析,得到所述中间结构相似度。

34、进一步地,在本技术实施例中,所述根据所述范数距离损失函数,对所述源输入图像和所述中间特征图进行距离损失分析,得到距离损失值,包括:

35、对所述源输入图像和所述中间特征图进行范数距离分析,得到范数距离值;

36、对所述源输入图像和所述中间特征图进行感知距离分析,得到感知距离值;

37、根据所述范数距离值和所述感知距离值,得到所述距离损失值。

38、进一步地,在本技术实施例中,所述根据所述目标引导特征,对所述源输入图像进行特征融合,得到目标融合图像,包括:

39、对所述目标引导特征进行范数距离平均,得到平均引导特征;

40、根据所述平均引导特征,对所述源输入图像的第一灰度图进行结构注意力加权,得到结构加权融合特征;

41、根据所述平均引导特征和所述结构加权融合特征,对所述源输入图像进行融合,得到所述目标融合图像。

42、第二方面,本技术实施例提供一种对抗扰动图像的生成系统,包括:

43、第一处理单元,用于获取源输入图像、随机图像、编解码生成网络和所述编解码生成网络的引导约束函数;

44、第二处理单元,用于根据所述引导约束函数,将所述源输入图像和所述随机图像输入至编解码生成网络中进行网络训练及引导特征生成,得到训练好的编解码生成网络,以及所述训练好的编解码生成网络输出的目标引导特征;

45、第三处理单元,用于根据所述目标引导特征,对所述源输入图像进行特征融合,得到目标融合图像;

46、第四处理单元,用于对所述目标融合图像进行扰动特征生成,得到与所述源输入图像对应的对抗扰动图像。

47、第三方面,本技术实施例还提供了一种电子设备,包括:

48、至少一个处理器;

49、至少一个存储器,用于存储至少一个程序;

50、当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现上述的方法。

51、第四方面,本技术实施例还提供了一种计算机可读存储介质,其中存储有处理器可执行的程序,所述处理器可执行的程序在由所述处理器执行时用于实现上述的方法。

52、第五方面,本技术实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存介质中,电子设备的处理器从计算机可读存储介质读取该计算机程序,处理器执行该计算机程序,使得该电子设备执行实现前面所述的方法。

53、本技术的优点和有益效果将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本技术的实践了解到:

54、本技术实施例所公开的一种对抗扰动图像的生成方法及系统,其中,该方法获取源输入图像、随机图像、编解码生成网络和所述编解码生成网络的引导约束函数; 根据所述引导约束函数,将所述源输入图像和所述随机图像输入至编解码生成网络中进行网络训练及引导特征生成,得到训练好的编解码生成网络,以及所述训练好的编解码生成网络输出的目标引导特征;根据所述目标引导特征,对所述源输入图像进行特征融合,得到目标融合图像;对所述目标融合图像进行扰动特征生成,得到与所述源输入图像对应的对抗扰动图像。该方法通过引导约束函数及编解码生成网络生成与源输入图像和随机图像对应的引导特征,并将引导特征融合至源输入图像后进行扰动特征,其可以使得生成的扰动图像具有较好的对抗性能,有利于提高后续基于对抗扰动图像对抗训练得到的模型的对抗性能。