一种基于局部感知与全局特征建模的U-Net图像去噪方法与流程

本发明涉及图像处理，更具体的说是涉及一种基于局部感知与全局特征建模的u-net图像去噪方法，可广泛运用于拍照、摄影相关系统及终端设备。

背景技术：

1、图像去噪是数字图像处理领域中的一项基础性任务，旨在尽可能保留图像真实结构与细节信息的前提下，抑制或消除成像过程中引入的随机噪声干扰。噪声通常来源于传感器读出、电路热效应、光子统计涨落以及后续图像信号处理流程等多个环节，其存在会降低图像的信噪比，掩盖边缘、纹理等关键视觉信息，从而对后续的视觉感知、目标检测、图像理解等任务产生不利影响。

2、针对上述问题，现有的图像去噪方法大体可归纳为以下技术路线：

3、第一类是基于信号处理与先验建模的去噪方法。早期图像去噪方法主要依托经典信号处理理论，通过对图像统计特性或先验假设进行建模实现噪声抑制。此类方法通常假定干净图像在空间域或变换域中具备某种可刻画的结构特性，如局部平滑性、稀疏性或频域能量集中性，并借助滤波、变换或优化手段加以利用。在空间域层面，线性滤波方法（如均值滤波、高斯滤波）通过邻域像素的加权平均实现噪声平滑，计算简单但易造成边缘模糊；非线性滤波方法（如中值滤波、双边滤波）则通过自适应权重设计在抑制噪声的同时保护边缘信息。在变换域层面，基于小波变换、傅里叶变换等的阈值化去噪技术利用噪声与信号在变换域中的能量分布差异，通过对变换系数进行软阈值或硬阈值处理实现噪声分离。

4、第二类是基于非局部相似性的图像去噪方法。为突破局部先验的局限，后续研究引入了非局部自相似性假设，即自然图像中普遍存在大量重复或相似的局部结构块，这些相似块可能分布于图像的不同空间位置。基于该假设的方法通过在全图范围内搜索与目标块具有相似结构的块集合，并对其实施协同滤波建模，从而充分利用图像的冗余信息实现对噪声的有效抑制。典型代表如非局部均值滤波通过相似块的加权平均进行去噪。

5、第三类是基于深度学习的图像去噪方法。随着深度学习技术的迅速发展，基于神经网络的数据驱动去噪方法已逐渐成为研究主流。此类方法通过构建端到端的映射模型，从大规模训练样本中自动学习干净图像与噪声图像之间的复杂非线性映射关系，从而规避了人工设计去噪规则与先验模型的繁琐过程，并在多种噪声类型和场景下展现出优于传统方法的去噪效果。根据网络结构与建模策略的差异，该类方法可进一步细分为：以卷积神经网络为核心的局部感知建模方法，如dncnn、ffdnet等，侧重于利用卷积操作捕获局部空间相关性，通过堆叠卷积层逐步提取和融合多层次特征；引入注意力机制或transformer架构的全局特征建模方法，如swinir、restormer等，用于刻画图像中的长程依赖关系，增强对全局上下文信息的感知能力；以及结合编码器-解码器多尺度结构进行特征重建的混合建模方法，如u-net及其变体，通过跨尺度的特征提取与融合，增强对不同空间尺度噪声与结构特征的适应能力。

6、尽管上述噪声建模与退化合成方法在一定程度上促进了图像去噪技术的发展，但在通用盲去噪应用场景下仍存在局限性，具体分析如下：

7、（1）基于信号处理与先验建模的去噪方法：该方法虽具有计算代价低、算法透明、可解释性强等优点，但其性能高度依赖于人工设定的先验假设与滤波器参数。在空间域层面，线性滤波方法虽能有效抑制高频噪声，但同时也会不可避免地平滑掉图像的边缘与纹理细节，导致去噪结果呈现过度模糊的视觉效果；非线性滤波方法虽在边缘保持方面有所改进，但其自适应能力有限，难以应对噪声强度空间分布不均匀或噪声类型动态变化的复杂场景。在变换域层面，基于阈值化的去噪技术对阈值参数的选取较为敏感，阈值过高会导致信号细节丢失，阈值过低则噪声残留明显，且此类方法通常基于加性高斯白噪声等理想化假设，在面对真实场景中信号依赖型噪声、结构化噪声或混合噪声时，去噪效果往往大幅下降。

8、（2）基于非局部相似性的图像去噪方法：该方法在具有规则纹理和重复结构的区域表现出优异的去噪性能，但仍存在若干固有缺陷。首先，此类方法的计算复杂度较高，相似块搜索过程需要在全图或大范围窗口内进行逐块匹配，时间开销随图像尺寸呈平方级增长，难以满足实时性要求较高的应用场景。其次，相似块搜索的准确性直接影响去噪效果，当图像中缺乏足够的重复结构或噪声强度较大导致相似度度量失准时，方法的鲁棒性将显著下降。此外，对于具有独特结构或非重复性细节的图像区域，由于难以找到有效的相似块进行协同滤波，去噪效果往往不理想，甚至可能引入伪影或结构失真。

9、（3）基于深度学习的图像去噪方法：该方法尽管在去噪性能上取得了显著突破，但现有模型在实际应用中仍面临诸多挑战。其一，在局部细节恢复与全局结构一致性之间存在固有的权衡难题：以卷积神经网络为核心的方法受限于卷积核的局部感受野，难以有效捕获图像的长程依赖关系，在处理大尺度结构时易出现语义不连贯或全局一致性不足的问题；而基于transformer架构的全局建模方法虽能有效刻画长程依赖，但其自注意力机制的计算复杂度与图像分辨率呈平方关系，在处理高分辨率图像时面临显著的计算开销与内存占用压力。其二，现有多尺度融合策略在跨尺度特征对齐与信息整合方面仍不够精细，不同尺度特征之间的语义鸿沟可能导致细节恢复不完整或尺度间结构不协调。其三，深度学习方法的泛化能力受限于训练数据的分布特性，当测试图像的噪声类型、强度或场景特征与训练集存在较大差异时，模型性能可能出现明显退化，在真实世界复杂多变的盲去噪场景下表现不够稳健。

10、因此，如何解决现有图像去噪方法中局部细节恢复与全局结构一致性难以兼顾、跨尺度特征融合冗余、全局建模计算开销大且自适应能力不足，导致盲去噪场景下去噪效果差、计算效率低、泛化性弱的不足，是本领域技术人员亟需解决的技术问题。

技术实现思路

1、有鉴于此，本发明提供了一种基于局部感知与全局特征建模的u-net图像去噪方法，解决了背景技术存在的问题。

2、为了实现上述目的，本发明提供如下技术方案：

3、一种基于局部感知与全局特征建模的u-net图像去噪方法，包括以下步骤：

4、s1、对含噪输入图像进行特征提取，得到初始特征图；

5、s2、将初始特征图输入并行处理模块，经通道级可学习分流划分为局部感知分支与全局特征建模分支，分别提取图像局部纹理与边缘细节特征、图像全局结构与长程依赖特征，再将两路分支特征融合并形成全局残差连接，得到兼具局部精细信息与全局语义信息的融合特征；

6、s3、将融合特征输入优化后的u-net架构中进行多尺度编码、瓶颈处理与解码重建，编码与解码过程中采用逐元素相加的方式实现跨尺度跳跃连接特征融合，并根据各层级特征图分辨率动态切换窗口注意力模式，输出去噪后的清晰图像。

7、可选的，s2中，通道级可学习分流的具体操作为：

8、设初始特征图为，其中

h、

w、

c分别表示特征图的高度、宽度和通道数；通过1×1逐点卷积对初始特征图进行通道级线性变换与重组：

9、

10、将变换后的特征沿通道维度均匀划分为两个子特征：

11、

12、式中：为可学习的卷积核参数，表示卷积操作；表示输入局部感知分支的特征图，表示输入全局特征建模分支的特征图。

13、可选的，s2中，局部感知分支采用残差卷积结构提取局部纹理与边缘细节特征，具体操作为：

14、设表示由两个3×3卷积层与relu激活函数构成的非线性映射：

15、

16、局部感知分支的输出特征为：

17、

18、式中：为卷积核参数，表示relu激活函数，

f表示输入特征。

19、可选的，s2中，全局特征建模分支采用基于移位窗口的多头自注意力机制建模长程依赖关系，具体操作为：

20、将输入全局特征建模分支的特征图划分为[

h/

m]×[

w/

m]个大小为

m×

m的非重叠局部窗口，其中

m为窗口尺寸；对于第

i个窗口内的特征序列，经层归一化后通过线性投影生成查询矩阵、键矩阵、值矩阵：

21、

22、窗口内的注意力计算为：

23、

24、为实现相邻窗口间的信息交互，交替采用常规窗口划分与移位窗口划分的方式，移位窗口通过将特征图沿水平方向和垂直方向循环移位

m/2个像素实现；

25、全局特征建模分支的完整变换包括多头自注意力层与前馈网络层，均采用残差连接：

26、

27、

28、式中：为投影矩阵；为每个注意力头的维度，为注意力头数；为可学习的相对位置偏置矩阵，用于编码窗口内像素对之间的相对空间位置信息；表示层归一化操作，表示两层前馈网络，

x表示全局输入特征，表示经窗口多头自注意力后的中间特征，表示窗口多头自注意力操作，表示全局特征建模分支的输出特征。

29、可选的，s2中，融合特征的获取方式具体为：

30、局部感知分支的输出特征、全局特征建模分支的输出特征经通道维度拼接后，通过1×1卷积进行跨分支的特征交互与融合，并与初始特征图形成全局残差连接：

31、

32、式中：为融合特征，为融合卷积的参数，表示沿通道维度的拼接操作。

33、可选的，s3中，多尺度编码、瓶颈处理与解码重建，具体为：

34、将并行处理模块作为u-net各层级的基本构建单元，在编码器、瓶颈层和解码器中统一部署；设第

s个尺度层级的输入特征为，经并行处理模块处理后得到：

35、

36、式中：表示并行处理模块，为并行处理模块的输出结果。

37、可选的，s3中，采用逐元素相加的方式实现跨尺度跳跃连接特征融合，具体为：

38、设编码器第

s层输出为、解码器对应层经上采样后的特征为，则融合特征为：

39、

40、式中：表示逐元素相加操作。

41、可选的，s3中，根据各层级特征图分辨率动态切换窗口注意力模式，具体为：

42、在u-net的编码路径、瓶颈路径及解码路径中，引入与特征图分辨率相关联的全局特征建模调度机制，根据当前特征层的空间尺寸自适应地调整全局特征建模模式；

43、设第

s个尺度层级的特征图空间分辨率为、预设窗口尺寸为

m，则全局特征建模模式的选择规则定义为：

44、

45、式中：表示常规窗口多头自注意力，表示移位窗口多头自注意力。

46、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于局部感知与全局特征建模的u-net图像去噪方法，具有以下有益效果：

47、（1）局部与全局特征的协同建模能力增强：本发明通过双路径并行处理模块，将卷积的局部感知能力与窗口自注意力的全局建模能力有机融合，克服了传统方法中卷积感受野受限或注意力机制计算开销过大的问题，能够在有效抑制噪声的同时较好地保留图像的边缘纹理与整体结构信息。

48、（2）特征分配与建模方式的自适应性提升：本发明采用可学习的通道重排与分流机制，使网络能够根据输入图像特性自适应调整局部与全局特征的分配比例；同时引入分辨率感知的注意力调度策略，根据特征图尺寸动态切换窗口注意力模式，实现了建模能力与计算效率的平衡。

49、（3）多尺度特征融合效率优化：本发明采用逐元素相加替代传统通道拼接实现跳跃连接，在保持编码器与解码器之间信息传递功能的同时，避免了通道维度的冗余膨胀，有效降低了网络参数量与计算复杂度。

50、（4）去噪性能与视觉质量的综合提升：通过上述优化设计，本发明在图像去噪任务中能够有效平衡细节恢复与结构保持，在多种噪声水平下均表现出良好的去噪效果与视觉质量。