一种基于多尺度条带窗口Transformer的图像超分辨率重建方法及系统

本发明涉及图像处理，特别是一种基于多尺度条带窗口transformer的图像超分辨率重建方法及系统。

背景技术：

1、图像超分辨率旨在从退化的低分辨率图像中重建出高质量的高分辨率图像，该技术在医学影像、自动驾驶、工业检测和卫星观测等领域具有广泛的应用前景。随着深度学习模型在移动设备和边缘计算场景中的部署需求日益增长，轻量化图像超分辨率逐渐成为重要研究方向，其目标是在有限计算资源下实现图像高质量重建。

2、近年来，基于深度学习的算法在该领域取得了显著进展。卷积神经网络（cnn）虽然显著提升了图像重建质量，但由于卷积操作本质上是内容无关的且受限于局部感受野，其在捕捉长距离全局上下文信息方面存在天然缺陷，难以有效恢复复杂纹理与精细结构。许多基于cnn的方法使用空间不变核提取局部特征，无法灵活地自适应建模像素间的关系。为弥补这一不足，基于自注意力机制的transformer架构通过全局建模能力提升了效果。transformer在图像超分辨率任务中的主要优势在于其强大的长距离依赖建模能力。

3、然而，自注意力机制的计算复杂度随空间分辨率的增加呈二次方增长。为降低计算复杂度，现有方法多将图像划分为无重叠的方形窗口，在窗口内计算自注意力，并通过滑动窗口机制实现窗口间的信息交互。swinir提供了轻量级版本，利用窗口自注意力和移位窗口机制来降低transformer的计算复杂度。elan通过分组多尺度自注意力模块在不同窗口尺寸的特征上计算自注意力以探索长程依赖关系。eswt引入了条带窗口机制以更高效地建模长程依赖。

4、但现有模型通常在网络中采用固定尺寸的窗口划分方式，这种单一化的方形窗口划分忽略了自然图像的各向异性结构特征，导致模型无法同时兼顾长距离依赖与细粒度特征的捕获。尽管已有研究尝试使用条带窗口自注意力机制，但仍然仅采用单一固定尺度的条带窗口，无法同时建模多尺度纹理模式，仅能适配特定尺寸的特征，在同时包含精细细节与大尺度结构的复杂场景中表现不佳。此外，现有轻量级transformer架构多采用简单的模块堆叠设计，未能结合特征蒸馏策略进一步压缩计算开销，难以在有限参数量与计算量下实现重建精度的有效提升。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于多尺度条带窗口transformer的图像超分辨率重建方法及系统，在保持轻量化参数量和计算量的前提下显著提升了超分辨率重建质量，特别适用于纹理丰富的复杂场景图像重建。

2、为实现上述目的，本发明采用如下技术方案：一种基于多尺度条带窗口transformer的图像超分辨率重建方法，包括以下步骤：

3、s1：将输入的低分辨率图像 ilr通过卷积层提取浅层特征 f0；

4、s2：将所述浅层特征 f0送入由k个残差蒸馏transformer块串联组成的深层特征提取模块，得到多阶段输出特征 f1,f2,…,fk；其中，每个残差蒸馏transformer块采用渐进式残差特征蒸馏策略，将输入特征分为特征提取分支与特征压缩分支并行处理，所述特征提取分支采用堆叠的多尺度条带窗口transformer模块捕获长距离依赖，所述特征压缩分支通过1×1卷积实现通道降维；

5、s3：将各阶段输出特征在通道维度拼接，依次经过1×1卷积层与3×3卷积层进行特征融合与通道校准，并与所述浅层特征 f0通过残差连接相加，得到深层特征 fdeep；

6、s4：将所述深层特征 fdeep送入亚像素卷积层进行上采样，生成超分辨率重建图像isr。

7、在一较佳的实施例中，步骤s2中所述多尺度条带窗口transformer模块包括多尺度条带窗口自注意力机制和门控深度卷积前馈网络；

8、所述多尺度条带窗口自注意力机制用于将输入特征沿通道维度划分为多组特征，将各组特征分别送入对应不同窗口尺寸的条带窗口自注意力单元，实现多尺度自注意力特征建模，并将各组输出在通道维度拼接后通过1×1卷积进行特征融合；

9、所述门控深度卷积前馈网络用于通过双分支门控结构对特征进行处理，其中一条分支经深度可分离卷积和gelu激活后与另一条分支的特征逐元素相乘，以放大有效特征并抑制冗余特征。

10、在一较佳的实施例中，所述多尺度条带窗口自注意力机制的具体实现方式为：

11、将输入特征 fin沿通道维度均等划分为三组特征：，分别对应大、中、小三种窗口尺寸，将三组特征分别送入对应窗口尺寸的条带窗口自注意力单元进行处理，将三组条带窗口自注意力单元的输出在通道维度拼接后经1×1卷积融合，得到输出特征 fout。

12、在一较佳的实施例中，所述条带窗口自注意力单元的具体实现方式为：

13、将输入特征 沿通道维度均等拆分为水平分支特征 与垂直分支特征；其中， e∈{s,m,l}；

14、对所述水平分支特征 执行水平条带窗口分割运算后执行自注意力计算，再通过水平条带窗口逆分割运算还原特征尺寸，得到 ；

15、对所述垂直分支特征 执行垂直条带窗口分割运算后执行自注意力计算，再通过垂直条带窗口逆分割运算还原特征尺寸，得到；

16、将与在通道维度拼接，得到条带窗口自注意力单元的输出特征。

17、在一较佳的实施例中，所述自注意力计算中，由输入特征 x 得到查询矩阵 q，所述查询矩阵 q 同时兼作键矩阵 k，并得到数值矩阵 v，自注意力计算公式为：

18、

19、其中，d为通道维度缩放因子。

20、在一较佳的实施例中，所述门控深度卷积前馈网络的具体实现方式为：

21、将输入特征 同时送入两条并行分支，各分支通过1×1卷积进行特征升维，再通过3×3深度可分离卷积提取高层特征；

22、对一条分支的特征执行gelu激活运算，再与另一条分支的特征逐元素相乘；

23、最后通过1×1卷积将特征维度还原至输入初始维度，得到输出特征 fout。

24、在一较佳的实施例中，步骤s2中所述残差蒸馏transformer块通过三次蒸馏步骤对残差特征进行渐进式优化，在每一步骤中，特征被分为两个并行分支：特征提取分支采用两个堆叠的多尺度条带窗口transformer模块进行处理，特征压缩分支通过1×1卷积实现通道降维；将各步蒸馏得到的蒸馏特征在通道维度拼接后依次经1×1卷积和3×3卷积进行融合，并与该残差蒸馏transformer块的输入特征通过残差连接相加，得到输出特征。

25、本发明还提供了一种基于多尺度条带窗口transformer的图像超分辨率重建系统，运行上述所述的一种基于多尺度条带窗口transformer的图像超分辨率重建方法，包括：

26、浅层特征提取模块，用于将输入的低分辨率图像通过卷积层提取浅层特征；

27、深层特征提取模块，由k个残差蒸馏transformer块串联组成，用于对所述浅层特征进行深层特征提取，输出多阶段特征；所述残差蒸馏transformer块采用渐进式残差特征蒸馏策略，包括特征提取分支与特征压缩分支，所述特征提取分支采用堆叠的多尺度条带窗口transformer模块，所述特征压缩分支采用1×1卷积；

28、特征融合模块，用于将各阶段输出特征在通道维度拼接，依次经1×1卷积层与3×3卷积层进行特征融合与通道校准，并与所述浅层特征通过残差连接相加；

29、上采样模块，采用亚像素卷积层，用于对融合后的深层特征进行上采样，生成超分辨率重建图像。

30、在一较佳的实施例中，所述多尺度条带窗口transformer模块包括：

31、多尺度条带窗口自注意力单元，用于将输入特征沿通道维度划分为多组特征并分别送入对应不同窗口尺寸的条带窗口自注意力模块，将各组输出在通道维度拼接后通过1×1卷积融合；

32、门控深度卷积前馈网络单元，用于通过双分支门控结构处理特征，其中一条分支经深度可分离卷积和gelu激活后与另一条分支的特征逐元素相乘；

33、所述多尺度条带窗口自注意力单元前端配置批量归一化层，所述门控深度卷积前馈网络单元前端配置层归一化层，两个单元均设置残差连接。

34、本发明还提供了一种计算机可读存储介质，包括：

35、该计算机可读存储介质上存储有计算机程序；

36、该计算机程序被处理器运行时执行如所述的一种基于多尺度条带窗口transformer的图像超分辨率重建方法。

37、与现有技术相比，本发明具有以下有益效果：

38、本发明通过将输入特征沿通道维度划分为多组并分别送入不同尺寸的水平与垂直条带窗口进行并行自注意力计算，使模型能够在轻量级约束下同时建模图像的各向异性特征与多尺度依赖关系。利用各向异性的条带窗口突破了传统方形窗口在几何边界上的对称限制，极大地扩展了水平和垂直方向的长距离上下文感受野；同时，多尺度窗口的并行设计使得网络能够在单层结构中同时自适应匹配不同尺寸的细粒度线条和大尺度结构，在显著降低轻量化模型计算开销的前提下，解决了传统固定窗口对各向异性异构纹理重建不充分的痛点，有效提升了对复杂场景的适配能力。

39、本发明通过渐进式残差特征蒸馏策略，将特征分为压缩分支与提取分支，提取分支通过堆叠的多尺度条带窗口transformer模块捕获长距离依赖，压缩分支通过1×11×1卷积降维控制计算量，在逐步精炼特征的同时保障网络轻量化。

40、本发明通过双分支门控结构放大有效特征、抑制冗余信息，结合深度卷积进一步降低计算开销，提升网络的特征表征效率。

41、在五个公开基准数据集（set5、set14、b100、urban100、manga109）上与多种最先进方法的定量和定性比较结果表明，本发明提出的方法在参数量与计算量均处于轻量级水平的前提下，取得了更优的超分辨率重建效果，尤其在纹理丰富的城市场景图像与动漫图像上优势显著，证明了本方法的有效性和优越性。