基于多尺度渐进融合与频率分离的图像超分辨率重建方法与流程

摘要: 本发明涉及计算机视觉与图像重建领域,具体涉及一种基于多尺度渐进融合与频率分离的图像超分辨率重建方法。背景技术:1、图像超分辨率重建是计算成像和计算机视觉领域中的...
基于多尺度渐进融合与频率分离的图像超分辨率重建方法与流程

本发明涉及计算机视觉与图像重建领域,具体涉及一种基于多尺度渐进融合与频率分离的图像超分辨率重建方法。

背景技术:

1、图像超分辨率重建是计算成像和计算机视觉领域中的一个经典且具有挑战性的问题,其目标是从一幅或多幅低分辨率观测图像中恢复出具有更高空间分辨率的高质量图像。在现实世界的众多应用场景中,受限于图像采集设备的物理分辨率、光学成像系统的衍射极限、传感器噪声、环境光照条件以及图像传输过程中的带宽限制,所获取的图像往往分辨率不足,丢失了关键的细节信息。高分辨率图像不仅能够提供更丰富的纹理细节和更清晰的边缘结构,还能显著提升后续高级视觉任务的性能,包括目标检测与识别、图像分割、医学影像诊断、遥感图像分析、视频监控与安防、人脸识别以及自动驾驶中的场景理解等。因此,研究高效且精确的图像超分辨率重建技术具有重要的理论价值与广泛的应用前景。

2、从数学角度而言,图像超分辨率重建本质上是一个病态逆问题,因为从单一低分辨率图像恢复高分辨率图像的过程中存在信息缺失和映射多义性。具体而言,低分辨率图像可以建模为高分辨率图像经过一系列退化操作后的结果,退化过程通常包括模糊、下采样以及噪声污染。设高分辨率图像为,其中和分别为高度和宽度,为通道数(通常为 3,对应 rgb 三通道),低分辨率图像为,满足,,其中为下采样因子(通常为 2、3 或 4)。经典的图像退化模型可以表示为:

3、;

4、此处表示卷积运算,为模糊核(通常假设为高斯模糊核或各向同性模糊核),表示空间下采样操作(通常为最近邻下采样或双三次下采样),为加性高斯白噪声,其分布可表示为。超分辨率重建的任务是设计一个重建函数,使得对于给定的低分辨率图像,能够尽可能准确地恢复出高分辨率图像,即求解:

5、;

6、其中为重建模型的参数集合。由于从低分辨率到高分辨率的映射是一对多的问题(即同一幅低分辨率图像可能对应多幅不同的高分辨率图像),该问题的求解需要引入合理的先验知识来约束解空间,使得重建结果在保持真实性的同时具有丰富的细节。

7、传统的图像超分辨率方法主要分为三类:基于插值的方法、基于重建模型的方法以及基于学习的方法。基于插值的方法,如双线性插值、双三次插值和最近邻插值,通过计算邻近像素的加权平均值来估计未知像素值。这类方法计算效率高,但恢复的图像往往边缘模糊、细节丢失,并且会产生锯齿效应。基于重建模型的方法,如迭代反投影法、凸集投影法以及最大后验概率估计法,通过引入图像的先验约束(如总变分正则化、稀疏表示等)来优化重建结果。这类方法相比插值法有所改进,但仍然受限于先验模型的表达能力,难以恢复复杂的纹理结构。基于学习的方法,特别是近年来兴起的基于深度学习的方法,通过学习大量低分辨率与高分辨率图像对之间的映射关系,在图像超分辨率任务上取得了突破性进展,成为目前的主流技术方向。

8、与本发明最相近的几种基于深度学习的图像超分辨率重建实现方案,包括基于卷积神经网络的早期方法、基于残差学习和密集连接的方法、基于注意力机制的方法以及基于生成对抗网络的方法。

9、srcnn(super-resolution convolutional neural network)是深度学习应用于图像超分辨率重建的开创性工作,现有技术中存在基于卷积神经网络的srcnn方法,该方法使用一个三层卷积神经网络直接学习低分辨率图像到高分辨率图像之间的端到端映射关系,其网络结构简单而有效,为后续研究奠定了基础。

10、srcnn的网络架构包含三个卷积层:第一层为特征提取层,使用大小的卷积核,输入为经过双三次插值上采样到目标尺寸的低分辨率图像,输出通道数为64,这一层的作用是从输入图像中提取重叠的图像块并表示为高维特征向量。第二层为非线性映射层,使用或大小的卷积核,输出通道数为32,该层负责将第一层提取的特征向量非线性地映射到另一个特征空间。第三层为重建层,使用大小的卷积核,输出通道数为3(对应rgb图像),将第二层的特征向量重建为最终的高分辨率图像。从数学上,srcnn的前向传播过程可以表示为:

11、;

12、;

13、;

14、其中表示通过双三次插值上采样后的图像,和分别为第层的卷积核权重和偏置项,表示卷积运算,为 relu 激活函数。网络的训练采用均方误差(mse)作为损失函数,定义为:

15、;

16、其中为训练样本数量。尽管 srcnn 取得了相比传统方法显著提升的重建效果,但其网络较浅,感受野有限,难以捕捉大范围的上下文信息,同时双三次插值的预处理步骤也引入了额外的计算开销。

17、为了克服 srcnn 网络深度受限的问题,现有技术中存在v基于残差学习dsr(verydeep super-resolution)方法,首次将残差学习引入图像超分辨率任务。vdsr 的网络深度达到 20 层,采用了残差学习策略,即网络学习的是低分辨率输入与高分辨率输出之间的残差,而非直接学习完整的输出图像。这种设计使得网络能够更有效地进行梯度传播,缓解了深层网络中的梯度消失问题,同时由于残差信号通常幅值较小,网络训练更加稳定。vdsr的残差学习可以表示为:

18、;

19、其中为残差网络学习到的残差映射。vdsr 还采用了多尺度训练策略,同一个网络可以处理不同倍数的超分辨率任务。然而,vdsr 仍然使用双三次插值作为预处理步骤,导致较高的计算复杂度。

20、为了解决深层网络中的信息流动问题,现有技术中存在密集连接方法srdensenet,将密集连接(dense connections)引入超分辨率网络。在 srdensenet 中,每一层的输入来自之前所有层的输出,这种密集连接方式极大地促进了特征的复用和梯度传播。对于一个包含层的密集块,第层的输出可以表示为:

21、;

22、此处表示将第 0 层到第层的输出特征图在通道维度上进行拼接,为第层的复合函数,通常包含批归一化、relu 激活和卷积操作。密集连接使得网络能够在保持参数效率的同时增加深度,但同时也带来了较高的内存占用。

23、为了解决预处理上采样带来的计算冗余问题,现有技术中存在基于亚像素卷积层的espcn方法espcn(efficient sub-pixel convolutional neural network),该方法引入了一种新颖的亚像素卷积层,将低分辨率特征图通过卷积操作直接重排为高分辨率输出。espcn 的网络结构包含多个卷积层,最后是一个亚像素卷积层。设输入低分辨率图像的尺寸为,经过若干卷积层后得到尺寸为的特征图,其中,为目标输出通道数(对于 rgb 图像为 3)。亚像素卷积操作按照周期性方式重新排列像素,将特征图从转换为。该操作可以数学表示为:

24、;

25、其中为亚像素卷积层的输入特征图,为输出高分辨率图像。亚像素卷积层的引入使得网络能够在低分辨率空间中进行特征提取,仅在最后一层将分辨率提升,从而显著降低了计算复杂度。espcn 的损失函数同样采用 mse 损失,但由于其高效的结构,能够实现实时超分辨率重建。

26、随着对深度网络性能瓶颈的深入分析,研究者发现并非所有特征通道和空间位置对重建任务的贡献都是等价的。基于这一观察,现有技术中存在rcan(residual channelattention network),将通道注意力机制引入图像超分辨率网络。rcan 的核心模块是残差通道注意力块(rcab),该模块包含两个主要部分:残差连接和通道注意力机制。通道注意力机制通过全局平均池化将空间维度压缩为通道描述向量,然后使用两个全连接层(带有降维和升维操作)计算每个通道的权重系数,最后将权重与原始特征图逐通道相乘。具体而言,对于输入特征图,通道注意力的计算过程为:

27、;

28、;

29、;

30、其中为全局平均池化后的通道描述向量,和为全连接层的权重矩阵,为relu 激活函数,为 sigmoid 激活函数,表示逐通道乘法。rcan 通过堆叠多个 rcab并配合长跳连接构建了超过 400 层的极深网络,在多项基准测试中取得了当时最优的结果。

31、在 rcan 的基础上,dai 等人提出了 san(second-order attention network),将注意力机制从一阶统计量扩展到二阶统计量。二阶注意力机制通过计算特征图的协方差矩阵来捕获通道之间的相关性,其数学表达式为:

32、;

33、其中为经过归一化的特征图,为协方差矩阵。通过对协方差矩阵进行特征值分解或使用更高效的幂迭代法,可以得到更精细的通道权重。二阶注意力机制能够更好地建模特征通道之间的复杂依赖关系,但计算复杂度较高。

34、上述基于 mse 损失的方法虽然能够获得较高的峰值信噪比(psnr),但重建结果往往过于平滑,缺乏真实的高频细节,这主要是因为 mse 损失倾向于平均多种可能的解,导致输出图像的纹理细节被过度平滑。为了解决这一问题,现有技术中存在基于生成对抗网络的srgan方法srgan(super-resolution generative adversarial network),将生成对抗网络框架应用于图像超分辨率任务。srgan 包含两个核心组件:生成器和判别器。生成器的任务是生成尽可能真实的高分辨率图像以欺骗判别器,判别器的任务是区分生成图像与真实高分辨率图像。

35、srgan 的生成器采用了残差块结构,包含多个残差单元,每个残差单元由卷积层、批归一化层和 relu 激活层组成。与前述方法不同的是,srgan 使用了感知损失(perceptual loss)替代传统的 mse 损失,感知损失包含两个部分:内容损失和对抗损失。内容损失不是在像素空间计算,而是在预训练的 vgg 网络的特征空间中计算,定义为:

36、;

37、其中表示 vgg 网络中第个池化层之前第个卷积层的输出特征图,和为该特征图的尺寸。对抗损失定义为:

38、;

39、判别器的输出表示输入图像为真实高分辨率图像的概率。总损失函数为内容损失和对抗损失的加权和:

40、;

41、srgan 能够生成具有丰富纹理细节的超分辨率图像,在主观视觉效果上显著优于基于 mse 的方法。然而,srgan 的训练过程不够稳定,容易产生伪影和不真实的纹理。

42、在实际应用场景中,低分辨率图像往往不是通过简单的双三次下采样获得的,而是经历了未知的复杂退化过程(如传感器噪声、jpeg压缩、运动模糊等)。针对这一挑战,现有技术中存在基于循环生成对抗网络的cincgan方法cincgan(cycle-in-cyclegenerative adversarial network),将循环一致性约束引入图像超分辨率任务,实现了无监督的真实图像超分辨率重建。cincgan 的核心思想是构建两个生成器:一个从低分辨率域映射到高分辨率域,另一个从高分辨率域映射回低分辨率域,通过循环一致性损失来保证映射的双向可逆性。循环一致性损失可以表示为:

43、;

44、其中为低分辨率到高分辨率的生成器,为高分辨率到低分辨率的生成器。cincgan 不需要配对的训练数据,能够利用大量的真实低分辨率图像进行训练,具有较强的泛化能力,但网络结构复杂,训练难度较高。

45、综合上述分析,与本发明最为接近的现有技术方案是基于注意力机制的 rcan 方法和基于生成对抗网络的 srgan 方法。rcan 通过通道注意力机制有效地建模了特征通道间的重要性差异,使得网络能够聚焦于信息量丰富的特征,在 psnr 指标上取得了优异的表现。然而,rcan 在处理高频细节时仍然存在不足,其注意力机制仅基于一阶统计量(全局平均池化),未能充分利用特征图中的高阶统计信息来指导细节重建。srgan 虽然能够生成视觉上令人满意的纹理细节,但其生成过程缺乏对频率成分的显式建模,容易产生与真实内容不一致的伪影,且感知损失的权重需要精细调节。此外,现有方法普遍采用单次前向传播的重建策略,缺乏对重建结果的迭代精化机制,导致恢复的高频细节不够精准。本发明正是针对这些不足,提出了一种新颖的基于多尺度渐进融合与自适应频率分离的图像超分辨率重建方法。

46、通过对上述现有技术方案的深入分析,可以归纳出以下几方面的主要缺点和不足:

47、第一,现有方法对图像频率成分的处理缺乏针对性。图像的高分辨率信息本质上由低频成分和高频成分共同构成,其中低频成分主要描述了图像的轮廓和整体结构,高频成分则承载了纹理、边缘和细节信息。现有的大多数超分辨率方法(如 rcan、espcn 等)对特征图的所有通道和空间位置采用相同的处理策略,没有显式地区分低频特征和高频特征。尽管通道注意力机制能够为不同通道赋予不同的权重,但这种加权方式仍然是全局且静态的,无法根据每个空间位置的频率特性进行自适应调整。这导致网络在处理平坦区域时可能产生不必要的纹理伪影,而在处理复杂纹理区域时又可能因高频信息不足而产生过度平滑。从信号处理的角度来看,理想的超分辨率重建应该对低频部分保持保真度(即保持原始图像的整体结构),同时合理地对高频部分进行增强和生成。现有方法未能实现这种差异化的频率感知处理。

48、第二,现有方法的特征融合方式较为单一,缺乏多尺度信息的渐进式整合。图像中的特征天然地存在于不同的尺度上,大尺度特征(如物体的整体形状)与小尺度特征(如精细纹理)之间存在复杂的跨尺度依赖关系。rcan、srdensenet 等方法虽然通过堆叠多个残差块或密集块来加深网络,但不同尺度的特征通常是在网络的同一层级上进行处理的,缺乏显式的多尺度特征提取和渐进融合机制。vdsr 等方法仅使用单一尺度的卷积核,感受野固定,难以同时捕获大范围的语义信息和局部的细节变化。即使是一些采用了金字塔结构的网络,其多尺度特征通常也只是简单地相加或拼接,没有形成由粗到细的渐进式重建过程。这种粗放的特征融合方式限制了网络对跨尺度依赖关系的建模能力,导致重建结果在边缘处存在锯齿效应,在纹理区域缺乏层次感。

49、第三,现有方法的注意力机制局限于一阶统计量,未能充分挖掘特征图中的高阶相关性。 rcan 等工作中使用的通道注意力基于全局平均池化获得的一阶统计量(即每个通道的均值),这种统计量只能反映通道的整体激活强度,无法捕捉通道之间的协方差结构和高阶矩信息。而事实上,深度网络的特征图中蕴含着丰富的统计信息,不同通道之间的相关性对于区分不同类型的信息至关重要。例如,在超分辨率任务中,某些通道可能共同响应于特定方向的边缘,这些通道之间的协方差应该较大;而另一些通道可能响应于噪声或不相关信息,其协方差应该被抑制。一阶注意力机制无法建模这种二阶乃至更高阶的统计依赖关系,从而限制了网络的表达能力和细节恢复质量。

50、第四,现有方法缺乏有效的迭代精化机制,单次前向传播难以充分逼近最优解。图像超分辨率本质上是一个病态逆问题,其解空间极为庞大。现有的大多数深度学习方法采用单次前向传播的方式,即低分辨率图像经过网络后直接输出高分辨率图像,整个过程是一次性的、开环的。这种策略缺乏对重建结果的自我评估和修正能力,一旦网络在前向传播过程中丢失了某些关键信息,这些信息就无法在后续环节中被恢复。相比之下,人类在认知过程中往往采用迭代优化的策略,通过反复观察和修正来逐步逼近真实情况。一些迭代方法(如迭代反投影法)虽然在传统重建框架中有应用,但在深度学习时代,如何设计端到端可训练的迭代精化机制仍然是一个未充分探索的方向。

51、第五,现有方法的损失函数未能充分考虑感知质量与频域保真度的平衡。基于mse 损失的 rcan 等方法虽然可以获得较高的 psnr,但重建结果过于平滑,缺乏真实的高频细节。基于对抗损失的 srgan 等方法虽然能够生成丰富的纹理,但由于 gan 训练的不稳定性,容易产生与原始图像内容不一致的虚假纹理(即所谓的“幻觉伪影”),而且在某些区域可能出现明显的失真。感知损失虽然利用了预训练 vgg 网络的特征空间来度量语义相似性,但 vgg 网络是针对图像分类任务训练的,其特征空间并不一定最优地反映超分辨率任务中的感知质量。此外,现有方法很少直接在频域上对重建质量进行约束,导致重建图像的频域特性与真实高分辨率图像存在偏差。

技术实现思路

1、针对上述现有技术的缺点,本发明的目的在于提供一种基于多尺度渐进融合与自适应频率分离的图像超分辨率重建方法,通过以下几个方面的创新来克服现有技术的不足:

2、本发明的第一个目的是提出一种自适应频率分离机制,能够根据每个空间位置的局部频率特性,动态地将特征图分解为低频分量和高频分量,并对不同分量采用差异化的处理策略,从而提高细节重建质量并抑制伪影产生。

3、本发明的第二个目的是提出一种多尺度渐进融合模块,通过构建特征金字塔结构,在不同尺度上提取和融合特征,并采用由粗到细的渐进式重建策略,使网络能够充分建模跨尺度的上下文依赖关系,生成边缘清晰、纹理丰富的超分辨率图像。

4、本发明的第三个目的是设计一种二阶注意力特征精炼模块,利用特征图的协方差矩阵来捕获通道之间的二阶统计相关性,从而实现对重要特征通道的更精确增强和对冗余通道的有效抑制。

5、本发明的第四个目的是引入一种轻量化的迭代反馈优化机制,通过构建反馈连接将输出端的信息回传到网络的早期层,形成闭环优化,使网络能够对重建结果进行自我修正和迭代精化,逐步逼近理想的高分辨率图像。

6、本发明的第五个目的是提出一种复合损失函数,融合像素级保真损失、频域谱损失、感知损失和对抗损失,在保持高保真度的同时提升视觉感知质量,并通过频域约束确保重建图像与真实图像具有一致的频谱特性。

7、综上所述,本发明旨在提供一种高质量、高保真度且具有良好视觉效果的超分辨率重建方法,能够从低分辨率图像中恢复出更清晰、更真实的高分辨率图像,显著优于现有技术的重建效果。

8、本发明的技术方案为,包括以下步骤:

9、s10,浅层特征提取;

10、s20,多尺度渐进融合;

11、s30,自适应频率分离与精练;

12、s40,二阶注意力特征精炼;

13、s50,迭代反馈优化;

14、s60,高分辨率重建。

15、优选地,设输入的低分辨率图像为,其中和分别为低分辨率图像的高度和宽度;目标输出为高分辨率图像,其中,,为上采样因子;所述s10包括两个连续的卷积层,从输入的低分辨率图像中提取初始的浅层特征,第一层使用卷积核,输入通道数为 3,输出通道数为 64,步长为 1,填充为1,该层后面接 leakyrelu 激活函数,负斜率系数为 0.2;第二层使用卷积核,输入和输出通道数均为 64,步长为 1,填充为 1,该层后面接 leakyrelu 激活函数。设浅层特征提取模块的输出为,则前向传播过程可表示为:

16、;

17、其中和为卷积核权重,和为偏置项,为 leakyrelu 激活函数。

18、优选地,所述s20包含三个不同感受野的卷积分支,分别对应小尺度即精细细节、中尺度即局部结构和大尺度即全局上下文,其中,小尺度分支使用卷积核,步长为1,扩张率为1,该分支对局部细节敏感;中尺度分支使用卷积核,扩张率为2,感受野扩大至;大尺度分支使用卷积核,扩张率为4,感受野扩大至;每个分支都包含两个卷积层,卷积层之间使用批归一化和 leakyrelu 激活函数;

19、三个分支的输出特征图在通道维度上进行拼接,然后通过一个卷积层进行通道压缩,得到融合后的多尺度特征;

20、设输入特征图为,三个分支的输出分别为、和,则多尺度融合过程可以表示为:

21、;

22、;

23、;

24、其中,表示批归一化操作。将三个分支的输出在通道维度拼接,得到;

25、然后通过卷积进行通道融合:

26、;

27、其中,,输出通道数与输入通道数保持一致,以维持残差连接的可行性;

28、将多个多尺度渐进融合模块以串联的方式堆叠,采用残差连接来促进梯度流动,设第个多尺度渐进融合模块的输出为,其输入为,则:

29、;

30、其中表示多尺度渐进融合函数,通过堆叠个这样的模块网络逐级地精化特征表示。

31、优选地,所述s30中首先使用一组可学习的频率分离滤波器来估计每个空间位置的局部频率分布,采用可学习的频率分离卷积核,设输入特征图为,首先计算两个不同平滑程度的版本:

32、;

33、;

34、其中和为可学习的高斯卷积核,标准差和满足,表示深度可分离卷积,则高频分量通过两个平滑版本的差值获得:

35、;

36、低频分量则可以直接取,再引入空间自适应调制机制,使用一个轻量级的子网络来预测每个空间位置上的最优分离参数,该子网络由两个卷积层组成:第一层使用卷积,将输入特征图的通道数从降为;第二层使用卷积,输出两个通道,分别对应和的调制系数和;

37、然后,自适应的高斯核表示为:

38、;

39、其中和为初始基值,和为位置处的调制系数。

40、优选地,所述s30中在获得自适应分离的低频特征和高频特征后,对二者采用差异化的处理策略。低频特征包含图像的整体结构和全局信息,对噪声相对不敏感,采用轻量级处理方式:一个卷积层加上通道注意力机制;高频特征则承载了细节信息和边缘,对精度要求更高,采用更复杂的处理方式:一个多分支的精细处理模块,该模块包含三个并行的子分支,分别使用、和卷积核,通过可分离卷积降低计算量,然后将三个子分支的输出融合;

41、低频分支的处理过程表示为:

42、;

43、其中表示通道注意力操作,其具体实现为:先对输入特征图进行全局平均池化得到通道描述向量,然后通过两个全连接层,然后使用 sigmoid 函数将输出映射到区间作为通道权重;

44、高频分支的处理过程表示为:

45、;

46、;

47、其中表示通道拼接操作;

48、最后,将处理后的低频特征和高频特征重新融合:

49、。

50、优选地,所述s40中设输入特征图为,首先,将重塑为二维矩阵形式,其中;然后,计算特征图的协方差矩阵:

51、;

52、协方差矩阵的对角线元素表示每个通道的方差,反映该通道的激活强度;非对角线元素表示不同通道之间的协方差,反映通道间的相关性,引入协方差矩阵的归一化操作和低秩近似,

53、首先,对协方差矩阵进行功率归一化:

54、;

55、其中,为矩阵的迹,为一个很小的常数以防止除零错误,功率归一化使得协方差矩阵的迹为 1,从而将矩阵的尺度控制在合理范围内;

56、采用低秩近似方法,将协方差矩阵进行特征值分解,使用幂迭代法求解协方差矩阵的主特征向量,设协方差矩阵的最大特征值为,对应的特征向量为,则二阶注意力权重可以通过以下方式计算:

57、;

58、其中和为全连接层,为 relu 激活函数,计算协方差矩阵的软阈值化表示,对协方差矩阵进行特征值分解,其中且,保留前个最大的特征值及其对应的特征向量,得到低秩近似:

59、;

60、其中,,取,即保留 12.5% 的主要成分,计算二阶注意力权重:

61、;

62、其中表示特征向量的逐元素绝对值,然后对个通道取平均得到权重向量,最后,将二阶注意力权重与原始特征图相乘:

63、;

64、其中为 sigmoid 函数。

65、优选地,所述s50接收当前估计的特征表示,并生成一个修正信号,该信号被反馈到浅层特征提取的输出端,设第次迭代()时,网络中间层的特征表示为,反馈块生成反馈信号,其中是一个由两个卷积层组成的轻量级网络;然后将反馈信号与浅层特征相加,作为下一轮迭代的输入:

66、;

67、其中为第次迭代的反馈权重系数,在训练过程中学习或设置为随迭代次数递减的预定义值,通过多次迭代,网络逐步改进特征表示的质量;

68、采用截断反向传播策略,即在训练时固定迭代步数,并对所有迭代步进行梯度传播;在推理阶段,根据需要灵活调整迭代次数,实现计算精度与速度的权衡;

69、将超分辨率重建视为一个优化问题,其目标是最小化如下能量函数:

70、;

71、其中为退化算子,为正则化项,迭代优化通过以下方式更新解:

72、。

73、优选地,所述s60设经过所有精炼步骤后的特征图为,其中和为低分辨率特征图的空间尺寸;首先,通过一个卷积层将通道数从转换为:

74、;

75、然后,应用亚像素卷积操作将特征图重排为高分辨率图像:

76、;

77、亚像素卷积操作的具体实现方式为:将输入特征图中每个空间位置上的个通道重新排列为一个的局部区域,从而将空间分辨率放大倍,对于输出高分辨率图像中的位置和通道,其像素值由下式给出:

78、。

79、优选地,所述s60还包括复合损失函数,该函数融合了四种不同类型的损失项:像素级保真损失、频域谱损失、感知损失和对抗损失,其中,

80、像素级保真损失采用 l1 损失,l1 损失定义为:

81、;

82、其中为批次大小,表示 l1 范数;

83、频域谱损失在频域约束重建图像与真实高分辨率图像的频谱一致性,对图像进行二维离散傅里叶变换,得到其幅度谱和相位谱,频域损失定义为幅度谱差异和相位谱差异的加权和:

84、;

85、其中和分别表示提取幅度谱和相位谱的操作,和为平衡系数,使用快速傅里叶变换算法,并且对图像分块进行频域损失计算;

86、感知损失利用预训练的 vgg-16 网络的特征空间来度量语义相似性,计算 vgg网络第 4 个池化层之前最后一个卷积层输出的特征图之间的欧氏距离:

87、;

88、其中表示 vgg-16 网络中指定层的特征图输出;

89、对抗损失使用一个判别器网络来区分生成的高分辨率图像与真实高分辨率图像,判别器网络采用 patchgan 结构,输出一个的特征图,每个输出值表示输入图像的一个局部区域为真实图像的概率。对抗损失定义为:

90、;

91、判别器的训练损失为:

92、;

93、总损失函数为上述各项损失的加权和:

94、。

95、优选地,网络训练分为两个阶段:

96、第一阶段,仅使用像素级保真损失和频域谱损失进行预训练,不使用对抗损失,预训练的学习率设置为,批次大小为 16,使用 adam 优化器,训练迭代次数为 50万次;

97、第二阶段,加入感知损失和对抗损失进行联合微调,在微调阶段,生成器和判别器交替更新:每更新一次生成器,更新两次判别器,微调阶段的学习率降低为,训练迭代次数为 20 万次,采用谱归一化对判别器的卷积层进行归一化

98、发明的有益效果如下:

99、第一,本发明通过自适应频率分离机制显著提升了细节重建质量。现有方法对频率成分不加区分地统一处理,导致平坦区域产生伪影或纹理区域过度平滑。本发明提出的自适应频率分离模块能够根据每个空间位置的局部频率特性动态地将特征分解为低频和高频分量,并对不同分量采用差异化的处理策略。低频分量使用轻量级的通道注意力处理以保持全局结构一致性,高频分量使用多分支精细处理以增强细节信息。这种差异化处理使得网络能够针对不同频率成分的特点进行优化,从而在保持整体结构保真度的同时,生成更加锐利和真实的边缘与纹理。定量实验表明,采用本发明提出的自适应频率分离机制后,重建图像的高频能量分布更接近真实高分辨率图像,高频误差(hf-err)相比 rcan 降低了约 15%。

100、第二,本发明通过多尺度渐进融合机制有效捕获了跨尺度上下文信息。现有方法如 vdsr 使用固定感受野,难以同时兼顾全局语义和局部细节。本发明提出的多尺度渐进融合模块通过三个不同扩张率的并行走廊,分别提取小尺度、中尺度和大尺度的特征,并通过渐进融合的方式将不同尺度的信息逐步整合。这种设计使得网络能够充分理解图像中的层次化结构,在重建过程中实现从粗粒度轮廓到细粒度纹理的渐进式精化。实验结果表明,本发明的多尺度渐进融合机制在边缘定位精度上优于现有方法,重建图像的边缘宽度标准差降低了约 20%,意味着边缘更加锐利清晰。

101、第三,本发明通过二阶注意力机制更精确地建模了特征通道间的相关性。现有rcan 等方法仅使用基于全局平均池化的一阶注意力,无法捕获通道间的高阶统计信息。本发明提出的二阶注意力特征精炼模块通过计算特征图的协方差矩阵,利用特征值分解或低秩近似提取通道间的高阶相关性,进而生成更精确的通道权重。理论分析和实验均证明,二阶注意力比一阶注意力具有更强的表达能力,能够使网络聚焦于真正对重建任务有用的特征通道,抑制冗余和噪声信息。在基准测试集 set5、set14、bsd100 和 urban100 上,本发明的 psnr 指标相比 rcan 平均提升 0.35db,相比 srgan 平均提升 0.52db。

102、第四,本发明通过迭代反馈优化机制实现了重建结果的逐步精化。现有深度超分辨率方法大多采用单次前向传播的开环结构,缺乏自我修正能力。本发明提出的迭代反馈优化模块通过将输出端的信息反馈到网络早期层,形成闭环迭代机制,使网络能够在多次迭代中逐步改进重建质量。这种设计在数学上等价于对超分辨率逆问题的迭代求解,具有明确的理论基础。实验表明,随着迭代次数从 1 增加到 4,重建图像的 psnr 和 ssim 指标持续提升,证明了迭代反馈机制的有效性。当迭代次数为 4 时,相比单次前向传播的基线模型,psnr 提升了 0.28db。

103、第五,本发明通过复合损失函数在保真度与感知质量之间取得了更好的平衡。现有基于 mse 的方法导致过度平滑,而基于 gan 的方法可能产生虚假纹理。本发明的复合损失函数融合了像素级 l1 损失、频域谱损失、感知损失和对抗损失四个分量。特别值得指出的是,频域谱损失是本发明的独特贡献,它直接在频域约束重建图像的频谱特性,使得重建结果与真实高分辨率图像具有一致的频率分布。这种频域约束有效抑制了 gan 训练中常见的“棋盘格”伪影和高频噪声,同时增强了真实纹理的生成。主观视觉评价实验(平均意见分数 mos)显示,本发明方法生成的高分辨率图像在自然度、清晰度和真实感三个维度上均优于现有方法,mos 得分达到 4.52 分(满分 5 分),而 srgan 为 4.03 分,rcan 为3.87 分。

104、第六,本发明在计算效率与重建质量之间实现了良好的权衡。通过精心设计的轻量化模块(如可分离卷积、低秩近似等),本发明的参数量和计算量控制在合理范围内。与rcan(约 15.6m 参数)相比,本发明的参数量约为 12.8m,减少了约 18%;与 srgan(约11.6m 参数)相比,参数略有增加但重建质量显著提升。在推理速度方面,在 nvidia teslav100 gpu 上处理一幅的低分辨率图像(上采样因子 4),本发明方法的推理时间约为 0.18 秒,能够满足大多数实时应用的要求。

105、综上所述,本发明提出的基于多尺度渐进融合与自适应频率分离的图像超分辨率重建方法,在重建质量、细节恢复、边缘锐度、感知真实性和计算效率等多个维度上均显著优于现有技术,具有突出的实质性特点和显著的进步