基于掩码感知Mamba的图像修复方法、设备和介质

本发明涉及图像修复，具体涉及基于掩码感知mamba的图像修复方法、设备和介质。

背景技术：

1、当前计算机视觉领域中，状态空间模型（state space models，ssms）凭借线性时间复杂度下对长序列依赖关系的高效建模能力，逐步成为相关技术方向的研究热点，为克服传统transformer架构的计算瓶颈提供了全新的研究路径。这类模型在自然语言处理任务中展现出突出的效率优势，后续衍生出的相关变体进一步融合选择性机制，能够根据输入数据动态筛选调控关键信息，在降低计算开销的同时提升了整体建模效率。

2、随着相关技术的不断发展，状态空间模型逐步被引入图像修复领域，各类面向视觉任务的改进架构相继出现，在长程依赖建模方面展现出优于传统transformer的计算效率。同时频域分析也逐渐成为图像修复领域的重要研究方向，频域变换可将图像内容分解为不同频率成分，在纹理生成与细节保持方面具备显著优势，相关改进方案也在重复纹理生成等场景中取得了明显成效。

3、现有基于状态空间模型的图像修复模型普遍忽略了对频域高频信息的充分利用，难以满足图像修复对精细纹理恢复的实际需求。而当前的频域图像修复相关工作，大多仅在网络架构或损失函数中单一方面引入频域处理，未能在架构与损失约束层面形成有效协同，导致频域信息的利用仍不充分，限制了图像修复质量的进一步提升。

技术实现思路

1、为了更好地进行图像修复，本发明提供基于掩码感知mamba的图像修复方法、设备和介质。

2、本发明的第一方面提供一种基于掩码感知mamba的图像修复方法，其包括以下步骤：

3、将待修复图像输入到图像修复模型，由图像修复模型输出图像修复结果，其中图像修复模型的训练方法包括以下步骤：

4、获取破损图像及其对应的二值掩码；

5、将破损图像和二值掩码在通道维度上进行拼接，并映射至高维特征空间，得到嵌入特征；

6、使用编码器对嵌入特征进行编码；

7、使用解码器对编码后的嵌入特征进行解码，得到修复图像；

8、其中，编码器和解码器均包括mdi（mamba-based dual-stream interaction，基于mamba的双流交互）模块；在mdi模块中，将输入特征分为全局流和局部流，对于全局流，经过掩码感知门控后进行几何变换，再通过高效视觉扫描模块处理，然后进行几何变换的逆变换，得到全局流特征；对于局部流，经过激活函数激活后进行由粗到细的递进式纹理特征提取，再进行实例归一化，然后通过门控机制进行动态特征调制，并通过残差连接得到局部流特征；将全局流特征和局部流特征进行融合，得到mdi模块的输出特征。

9、在本发明中，图像修复模型的编码器和解码器均包括mdi模块，mdi模块的全局流采用掩码感知mamba结合基于几何变换的单向选择性扫描（geometry-guidedunidirectional selective scan，guss）策略，实现线性复杂度的全局依赖建模；局部流通过由粗到细的递进式纹理特征提取，增强对纹理细节的捕捉能力。

10、在一可实施方式中，高效视觉扫描模块为efficientss2d模型（高效单向选择性扫描状态空间模型），在efficientss2d模型中，输入特征先经线性层投影并分为内容分支与门控分支；内容分支依次经深度可分离卷积（dwconv）、silu激活、s6选择性扫描和ln层归一化后，与门控分支的silu激活结果逐元素相乘，最后经线性层恢复特征维度。

11、在一可实施方式中，全局流特征由下式所示过程得到：

12、

13、其中，表示全局流特征，表示mdi模块的输入特征，表示对应的二值掩码，表示逐元素乘积，表示层归一化，表示几何变换，表示efficientss2d模型处理，表示几何变换的逆变换。

14、在一可实施方式中，局部流特征由下式所示过程得到：

15、

16、其中，表示局部流特征，表示mdi模块的输入特征，表示指数线性单元激活函数，表示逐元素乘积，表示sigmoid函数，和表示经实例归一化调制后的特征沿通道均匀划分得到的特征，其中经实例归一化调制后的特征由下式所示过程得到：

17、

18、其中，、、分别表示mdi模块的输入特征经1×1卷积、批归一化、silu激活、沿通道均匀划分得到的特征，，，表示3×3深度可分离多尺度瓶颈操作，表示5×5深度可分离多尺度瓶颈操作，表示7×7深度可分离多尺度瓶颈操作，表示1×1卷积，表示通道拼接；表示实例归一化。

19、在一可实施方式中，将全局流特征和局部流特征进行融合包括：

20、全局流特征经过1×1卷积和sigmoid函数激活，得到全局门控信号；

21、局部流特征经过1×1卷积和sigmoid函数激活，得到局部门控信号；

22、利用全局门控信号调制局部流特征，利用局部门控信号调制全局流特征，并将调制后的双路特征沿通道拼接，通过1×1卷积进行融合，得到双向交叉门控融合特征。

23、在一可实施方式中，在mdi模块中，还包括以下步骤：

24、将双向交叉门控融合特征与输入特征进行残差连接，再进行层归一化，然后通过频域增强前馈网络（fdefn）处理；

25、其中，在频域增强前馈网络中，依次进行1×1卷积、3×3逐通道卷积、利用门控机制筛选有效信息、1×1卷积，再进行分块，对分块得到的每个块进行二维实数快速傅里叶变换（2-dimensional real-input fast fourier transform, rfft2），在频域增强高频分量，然后进行二维逆实数快速傅里叶变换，将每个分块恢复为特征图。

26、在一可实施方式中，编码器还包括mad（mask-guided attention downsampling，掩码引导的注意力下采样）模块，mad模块用于处理mdi模块的输出特征；在mad模块中，输入特征图通过下采样得到查询矩阵，并分别经过1×1卷积映射为键矩阵和值矩阵，利用滑动窗口展开操作提取局部窗口块；根据查询矩阵和局部窗口块计算缩放点积注意力，并根据输入特征图对应的掩码特征图将破损区域的点积注意力分数置为负无穷，经softmax归一化后与值矩阵的局部窗口块加权聚合，得到聚合特征图。

27、在一可实施方式中，在图像修复模型的训练方法中，根据动态高通频域损失（dhfl）更新图像修复模型的参数，其中，动态高通频域损失的计算式为：

28、

29、其中，表示动态高通频域损失，表示频域空间所有频率点的集合，表示频率点总数，表示频率点处修复图像与真实图像高通频谱的欧氏距离，表示focal动态权重矩阵。

30、在一可实施方式中，在图像修复模型的训练方法中，还根据重构损失、感知损失、风格损失和对抗损失更新图像修复模型的参数。

31、本发明的第二方面提供一种电子设备，其包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述基于掩码感知mamba的图像修复方法的步骤。

32、本发明的第三方面提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现所述基于掩码感知mamba的图像修复方法的步骤。

33、在本发明中，基于掩码感知mamba的图像修复方法至少具有以下几个方面的有益效果：

34、（1）提出mdi模块。针对全局结构重建与局部纹理生成难以协同的问题，mdi模块通过全局流中的掩码感知mamba与guss策略实现线性复杂度的全局感知，通过局部流中的多尺度级联卷积增强纹理捕捉能力，并利用交叉门控机制实现双流特征的互补融合。同时，在分支末端引入频域前馈网络，进一步增强频域表征，以提升修复结果的纹理真实感。

35、（2）设计mad模块。针对传统卷积下采样导致空间特征错位及空洞噪声泄露的问题，mad模块以低分辨率特征图中的各空间位置为查询，在其对应的原始分辨率特征图中与之对应的高分辨率局部窗口内进行检索并动态聚合有效信息，并通过掩码注入机制和门控机制，屏蔽破损区域、实现空间连贯性与语义保持的下采样操作。

36、（3）引入动态高通频域损失（dhfl）。针对像素级损失函数导致修复结果边缘模糊、高频细节丢失的问题，dhfl通过全局2d-fft将图像转换至频域，设计固定阈值高通滤波器抑制低频分量，并基于focal机制计算加权欧氏距离，动态调整频谱损失权重，引导网络有效实现纹理与边缘的高频细节合成。