基于空间-频域自适应门控融合的SAR船舶实例分割方法

摘要: 本发明涉及sar遥感图像处理与计算机视觉领域,具体地说,是涉及一种基于空间-频域自适应门控融合的sar船舶实例分割方法。背景技术:1、sar图像中的船舶实例分割...
基于空间-频域自适应门控融合的SAR船舶实例分割方法

本发明涉及sar遥感图像处理与计算机视觉领域,具体地说,是涉及一种基于空间-频域自适应门控融合的sar船舶实例分割方法。

背景技术:

1、sar图像中的船舶实例分割旨在同时检测船舶目标并生成像素级精确分割掩码,是sar图像解译的关键技术之一,在海洋监测、船舶检测、非法捕捞管控、港口动态监视等领域具有重要的应用价值。合成孔径雷达具有全天候、全天时的成像能力,但其固有的相干斑噪声严重干扰船舶目标的特征表达,导致图像信噪比降低、目标边界模糊、纹理细节丢失。

2、传统的图像实例分割方法主要依赖空域特征进行目标检测与分割,通过卷积神经网络提取多尺度特征,再利用特征融合和注意力机制增强目标的表达能力。然而,在sar图像船舶实例分割任务中,现有方法仅处理空域特征,缺乏对频域信息的利用。sar图像中船舶边界对应频域中的高频分量,相干斑噪声也主要分布在高频,频域处理对于抑制sar相干斑噪声、增强船舶边界和保留弱纹理具有天然优势,通过相位增强可以在抑制噪声的同时保留边界,现有方法难以捕捉船舶目标的细粒度边界信息,尤其对于小型船舶或弱回波船舶,目标特征在噪声中几乎不可见。同时,船舶目标尺度变化大,sar图像中船舶长度范围可从几米到几百米,对应像素尺寸从几个像素到上百像素,小型船舶在深层卷积网络的多次下采样操作中容易丢失信息,且易被噪声淹没,现有方法难以同时兼顾大船的结构完整性和小船的特征保持。此外,港口或锚地内船舶密集停靠时相互遮挡,边界交错,仅靠空域特征难以区分边界归属,导致分割掩码粘连或漏分割。再者,海面背景复杂多变,包含波浪杂波、近岸建筑物、码头设施等多种干扰要素,这些背景在sar图像中可能呈现与船舶类似的亮斑或线性特征,增加了区分船舶与背景的难度。

技术实现思路

1、本发明的目的在于提供一种基于空间-频域自适应门控融合的sar船舶实例分割方法,主要解决sar图像中船舶目标因相干斑噪声导致边界模糊、现有模型仅处理空域特征且无法自适应融合频域信息的不足。

2、为实现上述目的,本发明采用的技术方案如下:

3、一种基于空间-频域自适应门控融合的sar船舶实例分割方法,包括以下步骤:

4、s1,将sar图像输入至骨干网络,提取三个不同尺度的特征图,三者分辨率依次降低、语义层次依次升高,分别对应浅层高分辨率特征图、中层特征图和深层低分辨率特征图;

5、s2,将所述三个不同尺度的特征图同时输入至三个并行分支:

6、第一分支对三个特征图进行多尺度序列融合,通过通道统一、空间尺寸对齐、深度堆叠和三维卷积处理,输出空间域多尺度语义特征图;

7、第二分支对所述浅层高分辨率特征图和中层特征图进行多尺度频域相位增强处理,分别进行傅里叶变换分解为幅度谱和相位谱,对相位谱进行频率相关加权增强后与原始幅度谱结合,再经逆傅里叶变换转换回空域,将两个尺度得到的增强特征融合,输出频域边界增强特征图;

8、第三分支对三个特征图进行三特征编码,通过多级上采样和特征拼接融合,输出细节增强特征图;

9、s3,将所述空间域多尺度语义特征图与所述频域边界增强特征图输入至空间-频域门控融合模块进行自适应融合,得到融合特征图;

10、s4,将所述融合特征图与所述细节增强特征图进行路径聚合,得到聚合特征图;

11、s5,对所述聚合特征图依次进行通道注意力加权和位置注意力加权,输出注意力加权特征图;

12、s6,将所述注意力加权特征图输入检测头,输出船舶边界框和分割掩码。

13、进一步地,所述步骤s2中,第一分支的多尺度序列融合的过程为:

14、a. 对中层特征图和深层低分辨率特征图分别通过1×1卷积将通道数统一至预设通道数,对浅层高分辨率特征图的通道数保持不变;

15、b. 通过最近邻插值将中层特征图和深层低分辨率特征图上采样至与浅层高分辨率特征图相同的空间尺寸;

16、c. 将三个特征图分别沿深度维度扩展一维后进行深度拼接,得到四维张量;

17、d. 对所述四维张量依次进行三维卷积、批归一化、激活函数和三维最大池化处理,其中三维最大池化的池化核在深度维度上的尺寸为3,在空间维度上的尺寸为1;

18、e. 沿深度维度压缩,输出空间域多尺度语义特征图。

19、进一步地,所述步骤s2中第二分支的频域相位增强处理的数学表示如下:

20、对输入特征图进行二维快速傅里叶变换,分解为幅度谱和相位谱:

21、

22、

23、其中,为输入特征图在空域坐标处的值,m和n分别为特征图的高度和宽度,为频域表示,为幅度谱,为相位谱,为频域坐标;

24、对相位谱进行频率相关加权增强,增强公式为:

25、

26、

27、其中,u和v以频域中心为零点,和分别为频域的最大坐标值,为频率相关的加权系数,γ为控制加权曲线弯曲程度的预设常数,λ为控制增强幅度的增强强度系数;高频相位分量获得更强的增强,直流分量处ω(0,0)=0,相位保持不变;

28、使用增强后的相位谱与原始幅度谱重构频域特征:

29、

30、再经逆傅里叶变换转换回空域:

31、

32、最后将逆傅里叶变换结果与输入特征图进行残差连接,得到频域增强特征。

33、进一步地,所述第二分支对浅层高分辨率特征图和中层特征图分别进行频域相位增强处理时采用权重共享方式,即使用同一个相位增强模块处理两个不同尺度的特征图;对中层特征图处理前,先通过1×1卷积将其通道数调整至与浅层高分辨率特征图一致,再上采样至与浅层高分辨率特征图相同的空间尺寸;将两个尺度得到的增强特征逐元素相加后,再经1×1卷积融合,输出所述频域边界增强特征图。

34、进一步地,所述γ的取值范围为0.3~1.0,所述λ的取值范围为0.3~0.5;在所述傅里叶变换之前,若特征图的高度和宽度不是2的幂次方,则将特征图转换为全精度浮点格式再进行傅里叶变换,逆傅里叶变换完成后再转换回原始精度,以保证频域变换的数值稳定性。

35、进一步地,所述步骤s3中空间-频域门控融合模块的数学表示如下:

36、

37、

38、

39、其中,为空间域多尺度语义特征图,为频域边界增强特征图;α和β为可学习加权系数,由网络在训练过程中自动优化,初始值均为1.0;门控生成器为轻量级卷积神经网络,第一卷积层使用3×3卷积核将通道数降维至预设中间通道数,经批归一化bn和relu激活函数δ后,第二卷积层使用3×3卷积核将通道数降维至1,再经sigmoid激活函数σ输出空间门控权重图g,g中每个位置的取值在0到1之间;⊙表示逐元素相乘,g在计算时广播至与特征图相同的通道维度;当g中某位置取值接近1时,融合特征主要来自空间域语义特征图,当g中某位置取值接近0时,融合特征主要来自频域边界增强特征图。

40、进一步地,所述通道数降维的为16:1。

41、进一步地,所述步骤s5中的通道注意力加权和位置注意力加权通过注意力模块实现,该模块的处理流程为:

42、a. 对输入特征图在空间维度上进行压缩,通过一维卷积和sigmoid激活函数生成通道权重,与输入特征图逐通道相乘,完成通道注意力加权,其中一维卷积的卷积核大小根据输入通道数自适应确定;

43、b. 将通道注意力加权后的特征图与另一输入特征图逐元素相加;

44、c. 分别沿高度方向和宽度方向对相加后的特征图进行平均池化,将两个方向的池化结果拼接后经1×1卷积降维,再经批归一化和relu激活函数处理;

45、d. 分别沿高度方向和宽度方向通过1×1卷积和sigmoid激活函数生成高度方向权重和宽度方向权重,将两者与特征图逐位置相乘,完成位置注意力加权,输出最终的注意力加权特征图。

46、进一步地,所述步骤s6中检测头采用elou损失函数进行边界框回归。

47、进一步地,所述骨干网络为cspdarknet53;所述步骤s4中路径聚合采用panet结构,包含自顶向下和自底向上两条路径。

48、与现有技术相比,本发明具有以下有益效果:

49、(1)本发明通过引入频域相位增强和空间-频域门控融合机制,有效解决了sar图像中因相干斑噪声导致的船舶边界模糊问题,分割精度高,且保持了较高的推理速度,适用于近实时sar船舶监测应用。

50、(2)本发明在特征融合策略上采用了基于空间自适应门控权重的融合方式。通过轻量级门控网络生成像素级权重图,在船舶内部区域侧重空域语义特征以保证区域完整,在船舶边界区域侧重频域边界特征以实现精细分割。这种像素级自适应加权避免了传统固定融合方式导致的边界模糊或内部过增强缺陷,权重图可根据不同输入图像自适应调整,泛化性高。门控生成器采用降维设计,参数量少,对推理速度的影响极小。

51、(3)本发明在对多尺度特征图处理时使用了频域相位增强处理。通过对相位谱进行频率相关加权增强,高频相位获得更强的增强,从而有效突出船舶边界的相位信息,抑制相干斑噪声干扰,保留细粒度的边界结构信息,尤其对弱回波船舶目标具有显著改进。同时对该处理进行了多尺度扩展,采用权重共享方式处理两个不同尺度的特征图,高分辨率特征图提供细节边界线索,中分辨率特征图提供更稳定的结构信息,两者融合增强了模型对不同尺度船舶目标的适应性。