一种面向社交网络信道的图像失真生成方法及介质

本发明涉及多媒体内容安全、图像处理领域，尤其是涉及一种面向社交网络信道的图像失真生成方法及介质。

背景技术：

1、以随着社交网络平台、即时通信软件和云端图像服务的广泛应用，图像在实际传播过程中通常会经历复杂的现实信道处理过程。例如，图像在上传、转发、下载或重新编码过程中，可能受到尺寸缩放、重采样、颜色空间转换、jpeg 压缩重编码、量化截断、高频信息损失以及平台自适应压缩策略等多种因素的共同影响。上述处理过程往往并非单一、固定或完全公开的图像退化操作，而是具有平台相关性、内容相关性和非线性耦合特征。在现有技术中，常见的图像噪声模拟方法通常采用固定参数的高斯噪声、椒盐噪声、模糊、随机裁剪或固定质量因子的 jpeg 压缩来近似现实信道失真。这类方法实现简单，但难以准确反映真实图像传播链路中的复合退化特性。一方面，现实平台对不同图像内容可能采用不同的压缩质量、重采样策略和编码参数；另一方面，空间域退化与频域压缩退化之间存在耦合关系，单一噪声模型难以同时描述图像的平滑退化、颜色偏移、块效应、高频截断和局部纹理损伤。

2、此外，部分方法虽然能够通过神经网络学习图像退化映射，但通常将现实信道视为黑盒端到端变换，缺乏对空间连续失真和频域压缩失真的结构化建模，导致模型可解释性不足，且在不同平台、不同压缩策略或不同图像内容上的泛化能力有限。对于数字水印、图像隐写、图像恢复、图像取证、内容认证和鲁棒视觉模型训练等任务而言，如果训练阶段采用的噪声模型与真实信道失真分布不一致，模型在实际传播环境中的性能会显著下降。因此，亟需一种能够面向真实图像传播链路，对现实信道中的空间退化、频域压缩、高频损失和内容自适应压缩行为进行联合建模的图像噪声模拟器。该模拟器应能够从原始图像及其对应的信道退化图像中学习现实信道失真规律，并生成与真实信道处理结果更一致的模拟退化图像，从而为后续图像鲁棒训练、多媒体内容安全、图像恢复、数字水印和图像取证等应用提供更可靠的现实信道模拟环境。

技术实现思路

1、本发明的目的就是为了提供一种仿真贴合真实社交信道、失真还原精度高的面向社交网络信道的图像失真生成方法及介质。

2、本发明的目的可以通过以下技术方案来实现：

3、一种面向社交网络信道的图像失真生成方法，包括以下步骤：

4、获取待处理图像输入预先训练好的现实信道噪声模拟器中，输出模拟现实信道处理结果的失真图像，其中所述现实信道噪声模拟器包括条件特征提取网络、级联噪声生成网络，其训练步骤包括：

5、获取原始干净图像和对应的经过平台信道的信道退化图像，构成数据集，其中所述信道退化图像作为真值标签；

6、将所述原始干净图像输入条件特征提取网络中，提取出与现实信道失真相关的信道条件特征，并预测出与现实信道对应的图像压缩质量参数；

7、将所述信道条件特征和随机潜在变量输入级联噪声生成网络中，生成压缩前高频敏感退化扰动，并将所述压缩前高频敏感退化扰动与原始干净图像融合，得到预压缩失真图像，再基于所述图像压缩质量参数和预压缩失真图像得到现实信道处理后的失真图像；

8、基于所述失真图像与信道退化图像的差异构建损失函数对现实信道噪声模拟器进行迭代训练，直至完成训练。

9、进一步地，所述信道条件特征的获取步骤包括：

10、对于同一批次中的第个原始干净图像，进行通道级高频残差提取，得到高频残差特征，表示为：

11、

12、式中，为第个原始干净图像提取出的高频残差特征，为高频残差提取模块；

13、将所述第个原始干净图像与高频残差特征在通道维度上进行拼接，得到融合输入特征，表示为：

14、

15、式中，为融合输入特征，表示通道维拼接操作；

16、将所述融合输入特征输入深度特征融合网络中，得到第个原始干净图像对应的信道条件特征，表示为：

17、

18、式中，为第个原始干净图像对应的信道条件特征，表示深度特征融合网络。

19、进一步地，所述图像压缩质量参数的获取步骤包括：

20、对所述信道条件特征进行全局特征聚合，得到全局信道表征，表示为：

21、

22、式中，为全局信道表征，表示全局特征聚合操作，为第个原始干净图像对应的信道条件特征；

23、将所述全局信道表征输入压缩质量参数预测模块，得到归一化质量参数，表示为：

24、

25、式中，为归一化质量参数，表示压缩质量参数预测模块，为压缩质量参数预测模块的可学习参数；

26、令预设压缩质量范围为，将所述归一化质量参数映射至所述压缩质量范围内，得到图像压缩质量参数，表示为：

27、

28、式中，为第个原始干净图像对应的图像压缩质量参数，、为压缩质量上下限。

29、进一步地，所述级联噪声生成网络包括空间失真流网络、频域扰动流网络和可微图像压缩模块，所述空间失真流网络，所述空间失真流网络用于将所述原始干净图像、信道条件特征和随机潜在变量作为输入，输出空间阶段退化图像、空间连续退化扰动以及空间阶段潜在变量，其中空间失真流网络的运算表达式为：

30、

31、式中，表示空间失真流网络；

32、所述频域扰动流网络用于将所述空间阶段退化图像、信道条件特征、空间阶段潜在变量和图像压缩质量参数作为输入，输出压缩前高频敏感退化扰动和预压缩失真图像，其中频域扰动流网络的运算表达式为：

33、

34、

35、式中，表示频域扰动流网络；

36、所述可微图像压缩模块用于将所述空间阶段退化图像、压缩前高频敏感退化扰动和图像压缩质量参数作为输入，输出在当前迭代轮次下模拟现实信道处理后的失真图像，其中，可微图像压缩模块的运算表达式为：

37、

38、式中，为失真图像，表示可微图像压缩模块。

39、进一步地，所述空间失真流网络包括多个级联的条件可逆流模块，每个条件可逆流模块的执行步骤包括：

40、设第个条件可逆流模块的输入为，经过可逆通道置换层后得到：

41、

42、式中，为置换后的输入；

43、将沿通道维度划分为第一空间特征分量和第二空间特征分量，即：

44、

45、式中，表示通道维度拼接；

46、基于所述第二空间特征分量和信道条件特征，生成作用于第一空间特征分量的尺度参数和平移参数，并得到第一输出特征分量，其中所述第一空间特征分量的尺度参数和平移参数以及第一输出特征分量分别表示为：

47、

48、

49、

50、式中，、分别为作用于第一空间特征分量的尺度参数和平移参数，表示尺度变换子网络，表示平移变换子网络，表示尺度约束函数；

51、基于所述第一空间特征分量和信道条件特征，生成作用于第二空间特征分量的尺度参数和平移参数，并得到第二输出特征分量，其中所述第二空间特征分量的尺度参数和平移参数以及第二输出特征分量分别表示为：

52、

53、

54、

55、式中，、分别为作用于第二空间特征分量的尺度参数和平移参数，表示尺度变换子网络，表示平移变换子网络；

56、将所述第一输出特征分量和第二输出特征分量进行通道拼接，得到第个条件可逆流模块的输出，表示为：

57、

58、式中，为第个条件可逆流模块的输出，即第个条件可逆流模块的输入。

59、进一步地，所述频域扰动流网络包括多个基于kan非线性通道映射的条件可逆流模块，每个基于kan非线性通道映射的条件可逆流模块的执行步骤包括：

60、设第个基于kan非线性通道映射的条件可逆流模块的输入为，经可逆通道置换层后得到：

61、

62、式中，为置换后的输入；

63、将沿通道维度划分为第一频域特征分量和第二频域特征分量，即：

64、

65、式中，表示通道维度拼接；

66、基于所述第一频域特征分量、第二频域特征分量和信道条件特征，生成第一频域输出特征分量，表示为：

67、

68、

69、

70、式中，表示尺度约束函数，、分别为作用于第一频域特征分量的尺度参数和平移参数，和分别表示基于kan非线性通道映射的尺度参数生成单元和平移参数生成单元；

71、基于所述第一频域输出特征分量与信道条件特征进行拼接，再通过所述基于kan非线性通道映射的尺度参数生成单元和平移参数生成单元处理，得到第二频域输出特征分量，表示为：

72、

73、

74、

75、式中，、分别为作用于第二频域特征分量的尺度参数和平移参数；

76、将所述第一频域输出特征分量和第二频域输出特征分量在通道维度上拼接，得到第个基于kan非线性通道映射的条件可逆流模块的输出，表示为：

77、

78、式中，为第个基于kan非线性通道映射的条件可逆流模块的输出，即第个基于kan非线性通道映射的条件可逆流模块的输入。

79、进一步地，所述基于kan非线性通道映射的条件可逆流模块的执行步骤还包括：在每一空间位置上对通道向量进行非线性映射，具体步骤包括：

80、在得到所述第一频域输出特征分量时，将所述第二频域特征分量与信道条件特征的拼接结果作为非线性映射的输入，在得到所述第二频域输出特征分量时，将所述第一频域特征分量与信道条件特征的拼接结果作为非线性映射的输入；

81、取所述输入在空间位置的通道向量，表示为：

82、

83、式中，为空间位置处的通道向量；

84、对进行基于可学习样条函数的非线性变换，得到输出通道向量，表示为：

85、

86、式中，为输出通道向量，表示由可学习基函数构成的通道维非线性映射；

87、根据所有空间位置对应的输出通道向量，得到非线性映射的输出特征，其中所述输出特征为所述尺度参数、或平移参数、，所述输出特征用于通过放射变换得到所述第一频域输出特征分量或第二频域输出特征分量，以获取第个基于kan非线性通道映射的条件可逆流模块的输出。

88、进一步地，所述损失函数为：

89、

90、其中：

91、中间态监督损失为：

92、

93、

94、最终图像像素域损失为：

95、

96、频域高频子带损失为：

97、

98、感知一致性损失为：

99、

100、压缩质量参数预测损失为：

101、

102、式中，为总损失，、、、、、为权重系数，为空间阶段退化图像，为平滑后的中间退化图像，表示下采样操作，表示上采样操作，为信道退化图像，为失真图像，表示提取小波变换中的水平和垂直高频子带，表示提取小波变换中的对角高频子带，表示基于预训练感知特征提取网络计算的感知距离，和分别表示将失真图像和信道退化图像由数值范围[0,1]映射至数值范围[-1,1]后得到的图像，为图像压缩质量参数预测值，为图像压缩质量参数真实值。

103、进一步地，训练完成的现实信道噪声模拟器接入下游视觉模型的训练过程，在训练过程中，现实信道噪声模拟器的参数保持冻结，并通过梯度由现实信道噪声模拟器输出端反向传播至下游视觉模型，下游视觉模型将干净传输条件下输出的重建图像输入现实信道噪声模拟器，得到在模拟现实信道扰动条件下输出的重建图像，并构建下游模型的鲁棒训练损失：

104、

105、

106、

107、式中，为鲁棒训练损失，为通道协方差矩阵，为frobenius范数，为总特征点数，为批大小，、分别为潜空间噪声扰动特征的高和宽，为取中心化的通道特征矩阵，为潜空间噪声扰动特征，通过将沿批维度和空间维度展开，得到通道特征矩阵，表示潜空间编码器。

108、本发明还提供一种存储介质，其上存储有程序，所述程序被执行时实现如上述所述的一种面向社交网络信道的图像失真生成方法。

109、与现有技术相比，本发明具有以下有益效果：

110、（1）本发明通过条件特征提取网络从原始干净图像学习平台专属信道条件特征并预测图像压缩质量参数，再以空间、频域两级串行流网络解耦空间色彩偏移、非线性截断、jpeg量化三类失真，分层独立建模扰动，仿真失真图像与真实平台信道退化图像误差更小，高度还原线上传输复合退化效果。

111、（2）本发明通过学习原始图像与真实信道退化图像之间的对应关系，构建面向现实图像传输链路的可学习噪声生成网络，能够模拟社交网络平台上传、压缩重编码、缩放重采样、颜色偏移、量化截断、块效应及高频信息损失等复合退化过程。与传统固定噪声或固定质量因子jpeg压缩方法相比，本发明将现实信道退化分解为空间连续失真和频域压缩退化两个阶段，并通过空间失真流网络、频域压缩流网络和可微图像压缩模块进行联合建模，提高了噪声模拟的真实性和可解释性。

112、（3）本发明空间失真流网络独立建模空间色彩偏移、像素非线性截断两类空域扰动，频域扰动流网络依托预测的图像压缩质量参数单独生成量化频域扰动，即压缩前高频敏感退化扰动，三类失真分量分层独立建模、分步叠加生成仿真失真图像。该解耦方式可精准贴合社交平台真实图像退化规律，提升仿真精度；各失真分量独立可调，适配多类社交平台差异化信道；梯度无交叉冲突，训练收敛更快更稳定；可按需单独启用部分失真，适配隐写、水印等多样下游任务，模块独立便于迭代优化，泛化能力更强。

113、（4）本发明引入高频残差条件感知和压缩质量参数预测机制，使现实信道噪声模拟器能够根据输入图像内容自适应生成信道条件特征和压缩控制参数。该现实信道噪声模拟器既可独立生成接近真实平台处理结果的退化图像，也可作为可微现实信道模块接入数字水印、图像隐写、图像恢复、图像取证、内容认证和鲁棒视觉模型训练等任务，从而提升下游模型在实际传播场景中的稳定性、鲁棒性和泛化能力。