基于频带分解适配器的水下实例分割方法、设备

本发明涉及图像信息处理与计算机视觉，尤其涉及一种基于频带分解适配器的水下实例分割方法、设备。

背景技术：

1、目前，与本发明相关的技术主要包括三方面：第一是水下实例分割方法；第二是视觉基础模型在水下场景中的迁移方法；第三是面向水下退化特征的频域建模方法。

2、水下实例分割旨在复杂水下图像中对目标进行像素级定位与类别识别，并区分同一类别中的不同个体实例。与陆地自然场景相比，水下图像受到水体吸收、散射、悬浮颗粒以及非均匀光照等因素影响，通常存在颜色偏移、对比度下降、模糊、噪声和边界弱化等退化现象。上述退化会削弱目标边界和局部细节，并加剧目标实例与复杂背景纹理之间的混淆，使水下实例分割比常规实例分割更具挑战性。

3、针对水下实例分割任务，现有方法通常在通用实例分割框架的基础上引入水下场景相关模块。lian等人在文献《watermask: instance segmentation for underwaterimagery》中基于 mask r-cnn 框架设计了面向水下图像的实例分割方法，以增强模型对水下退化场景的适应能力。cong等人在文献《uis-mamba: exploring mamba for underwaterinstance segmentation via dynamic tree scan and hidden state weaken》中引入状态空间建模机制，以提升复杂水下场景中的全局感知能力。上述方法能够在一定程度上缓解水下退化造成的分割性能下降，但仍主要依赖任务特定模块，对复杂退化下的目标边界弱化和前景背景混淆问题处理不足。

4、近年来，视觉基础模型因具有较强的通用表征能力，被逐渐引入水下实例分割任务。lian等人在文献《diving into underwater: segment anything model guidedunderwater salient instance segmentation and a large-scale dataset》中利用 sam引导水下显著实例分割。该类方法能够利用视觉基础模型的通用语义表示提升水下实例分割性能，但其适配过程多从提示学习、整体特征对齐或域迁移角度展开，通常将水下退化视为统一的域偏移，难以刻画颜色偏移、模糊和噪声等不同退化因素对模型内部特征的差异化影响。

5、面向水下退化特征的频域建模方法为视觉基础模型适配提供了新的思路。chen等人在文献《empowering dino representations for underwater instance segmentationvia aligner and prompter》中提出 diveseg，通过 aquastyle aligner 利用傅里叶分解提取水下图像的颜色风格特征，并将其嵌入 dinov2 微调过程，以缓解水下图像与预训练模型之间的风格不匹配问题。该方法说明频域风格建模有助于提升视觉基础模型对水下场景的适应能力。然而，其主要侧重于水下颜色风格对齐和整体域适配，仍未进一步区分颜色偏移、模糊、噪声等退化因素对低频、中频和高频特征分量的不同影响，也缺少根据输入图像退化分布自适应调节不同频带贡献的机制。

6、综上，现有水下实例分割方法仍存在以下不足：一是传统水下实例分割方法对视觉基础模型的通用表征能力利用不足；二是现有视觉基础模型迁移方法多将水下退化作为整体域偏移进行适配，缺少对不同退化因素频带差异的建模；三是现有频域适配方法多侧重于整体风格对齐或全局频域处理，难以对不同频带上的特征偏移进行独立校正。因此，现有的技术方案中，存在如何针对水下退化在不同频带上的差异化影响，在保持视觉基础模型主体参数稳定的前提下，实现细粒度、自适应的频带特征校正，从而提升水下实例分割的精度和掩膜边界质量的问题。

7、因此有必要提供一种面向水下实例分割的频带分解适配方法，在保持视觉基础模型主体参数稳定的同时，对不同频带的振幅特征进行独立校正，并根据输入场景自适应融合各频带分支，从而提升复杂水下场景中的目标分离能力和掩膜边界质量。

技术实现思路

1、本发明提出一种基于频带分解适配器的水下实例分割方法、设备，解决了现有的技术方案中无法针对水下退化在不同频带上的差异化影响，在保持视觉基础模型主体参数稳定的前提下，实现细粒度、自适应的频带特征校正，从而提升水下实例分割的精度和掩膜边界质量的问题。

2、为解决上述技术问题，本发明采取的技术方案如下：

3、根据本发明的第一方面，提供了一种基于频带分解适配器的水下实例分割方法，该方法包括：

4、输入待分割的水下图像，并将水下图像输入至预训练视觉基础模型，获得预训练视觉基础模型中至少一个网络层输出的水下图像特征；

5、对水下图像特征进行傅里叶变换，获得对应的频域特征，并将频域特征分解为振幅谱和相位谱；

6、基于高斯函数构建多个平滑频带掩膜，并利用多个平滑频带掩膜将振幅谱划分为低频振幅分量、中频振幅分量和高频振幅分量；

7、将低频振幅分量、中频振幅分量和高频振幅分量分别输入至对应的独立频带适配子空间，获得不同频带对应的振幅校正特征；

8、根据振幅谱的全局分布生成动态路由权重，并利用动态路由权重对不同频带对应的振幅校正特征进行加权融合，获得融合后的振幅校正结果；

9、将融合后的振幅校正结果与原始振幅谱进行融合，获得校正后的振幅谱，并将校正后的振幅谱与相位谱进行频域重组，通过逆傅里叶变换重构得到频域校正后的空间特征；

10、通过轻量化空间分支对水下图像特征进行空间语义补充，获得空间补充特征；

11、将频域校正后的空间特征与空间补充特征进行融合，并与水下图像特征进行残差连接，获得适配后的视觉基础模型特征；

12、将适配后的视觉基础模型特征输入至实例分割解码器，输出水下图像中目标实例的类别预测结果和掩膜预测结果。

13、在第一方面的一些实现方式中，上述预训练视觉基础模型为冻结参数的视觉基础模型，频带分解适配器插入至预训练视觉基础模型的至少一个网络层之后，并仅对频带分解适配器和实例分割解码器中的参数进行训练。

14、在第一方面的一些实现方式中，对上述水下图像特征进行傅里叶变换，获得对应的频域特征，并将频域特征分解为振幅谱和相位谱，包括：

15、对于第个网络层输出的水下图像特征，执行二维傅里叶变换，得到频域特征；对频域特征进行频谱中心化处理，得到中心化频域特征；

16、计算中心化频域特征的模值作为振幅谱，并计算中心化频域特征的相角作为相位谱。

17、在第一方面的一些实现方式中，上述基于高斯函数构建多个平滑频带掩膜，包括：

18、以频域中心为原点，计算每个频率位置到频域中心的径向距离；

19、基于径向距离构建具有不同尺度参数的第一高斯函数和第二高斯函数；

20、将第一高斯函数作为低频掩膜，将第二高斯函数与第一高斯函数之差作为中频掩膜，将数值1减去第二高斯函数所得结果作为高频掩膜。

21、在第一方面的一些实现方式中，上述低频振幅分量、中频振幅分量和高频振幅分量分别由振幅谱与低频掩膜、中频掩膜和高频掩膜逐元素相乘得到。

22、在第一方面的一些实现方式中，上述独立频带适配子空间包括依次连接的第一线性投影层、非线性激活层和第二线性投影层；

23、其中，第一线性投影层用于将对应频带的振幅分量映射至低维隐空间，非线性激活层用于引入非线性校正能力，第二线性投影层用于将低维隐空间特征映射回原始通道维度，得到对应频带的振幅校正特征。

24、在第一方面的一些实现方式中，上述动态路由权重的生成过程包括：

25、对振幅谱进行全局池化，获得全局振幅描述向量；

26、将全局振幅描述向量输入至路由预测器，获得低频、中频和高频三个频带的路由响应；

27、通过函数对路由响应进行归一化，得到低频路由权重、中频路由权重和高频路由权重。

28、在第一方面的一些实现方式中，上述轻量化空间分支包括瓶颈结构，瓶颈结构包括降维投影层、非线性激活层和升维投影层，用于在空间域中补充频域校正后的空间特征未充分表达的局部结构信息和边界细节信息。

29、在第一方面的一些实现方式中，在训练阶段，采用实例分割联合损失函数对类别预测结果和掩膜预测结果进行监督优化；

30、其中，实例分割联合损失函数包括分类损失、二值交叉熵掩膜损失和dice掩膜损失。

31、根据本发明的第二方面，提供了一种电子设备，该电子设备包括：

32、至少一个处理器；

33、以及与至少一个处理器通信连接的存储器；

34、其特征在于，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，实现本发明第一方面的方法。

35、本发明提供的一种基于频带分解适配器的水下实例分割方法、设备以及存储介质，该方法首先对视觉基础模型中间特征进行傅里叶变换获得振幅谱与相位谱，利用高斯函数构建平滑频带掩膜将振幅谱分解为低频、中频、高频三个频带分量；之后为每个频带分别设置独立的适配子空间进行参数高效的差异化振幅校正；然后进一步根据振幅谱的全局分布生成动态路由权重，对各频带校正结果进行自适应加权融合，并与原始振幅谱残差融合后结合相位谱经逆傅里叶变换重构频域校正特征；同时引入轻量化空间分支补充局部结构与边界细节，最终将频域与空间分支融合后的特征输入实例分割解码器。该方法通过频带分解和独立适配实现了对水下退化在不同频带上差异化影响的细粒度特征校正，高斯平滑掩膜避免了频谱不连续带来的重构不稳定，动态路由机制能够根据输入场景的退化分布自适应调节各频带贡献，与空间分支互补有效提升了目标分离能力和掩膜边界质量，在保持视觉基础模型主干参数冻结的前提下显著提高了复杂水下场景中的实例分割精度。