一种基于CBAM-Unet的多光谱遥感影像水体分割方法、装置及设备

摘要: 本发明属于遥感图像处理、深度学习与计算机视觉,具体涉及一种基于cbam-unet网络结构的多光谱遥感影像水体分割方法、装置及设备。背景技术:1、水体信息提取是遥...
一种基于CBAM-Unet的多光谱遥感影像水体分割方法、装置及设备

本发明属于遥感图像处理、深度学习与计算机视觉,具体涉及一种基于cbam-unet网络结构的多光谱遥感影像水体分割方法、装置及设备。

背景技术:

1、水体信息提取是遥感影像解译中的重要基础任务,常用于河湖水域调查、洪涝监测与水资源管理等应用。在多光谱遥感影像中,由于自然水体在光谱与空间分布上具有连续性与过渡性,水体边界区域常存在混合像元与光谱模糊现象,使得复杂地表场景下水体与非水体区域的区分更具挑战。随着深度学习的发展,语义分割网络被广泛用于遥感像素级解译任务。其中,经典unet作为典型的编码–解码式语义分割网络,具有端到端像素级预测能力,并通过跳跃连接融合浅层空间细节与深层语义信息,从而在样本规模有限的情况下仍能获得较好的分割效果,已在遥感影像像素级分割中得到广泛应用。

2、以u-net用于遥感水体分割的常见做法为例,通常将遥感影像经裁剪、归一化等预处理后输入编码–解码式语义分割网络,输出水体像素级分割结果;在多光谱水体分割任务中,已有研究与工程实现常采用可见光三通道输入进行训练与推理,但在复杂背景与类别不平衡条件下仍会暴露出一定局限。同领域也存在以“多源遥感影像+深度模型融合”为核心的水体识别路线:例如将雷达影像进行地形校正后与光学影像配准并划分得到优化影像,再分别输入双分支特征提取模型与深度特征提取模型获得不同层面的特征,并通过时序特征融合构建识别模型以输出水体识别结果。

3、在多光谱遥感水体分割任务中,现有基于深度学习的语义分割方法在复杂场景下仍存在局限:一方面,传统输入模式对红边、近红外等波段所承载的水体判别信息挖掘不足,水体与阴影、湿地及暗色地物之间易出现光谱混淆,导致细小河道、零散斑块等水体目标漏检、边界不完整;另一方面,在水体像元占比较小的类别不平衡条件下,单一交叉熵损失易受到多数类非水体主导,模型对少数类水体像元的表征和学习不足,影响分割结果的稳定性和精细程度,同时在地表环境复杂、干扰因素众多时还易出现边界识别不精确、细水体断裂及小水体漏检等现象。

技术实现思路

1、本发明的目的,在于提供一种基于cbam-unet的多光谱遥感影像水体分割方法、装置及设备,能够对多光谱遥感影像中的水体区域进行像素级提取与边界精细化分割,适用于河湖水域提取、洪涝监测、湿地资源调查及水环境监管等应用场景。

2、为了达成上述目的,本发明的解决方案是:

3、一种基于cbam-unet的多光谱遥感影像水体分割方法,包括如下步骤:

4、步骤1,在训练阶段,获取多光谱遥感影像及对应的标注数据,进行数据准备处理后生成网络输入数据;

5、步骤2,构建并训练水体分割网络得到水体分割模型;其中,所述水体分割网络为cbam-unet网络,包括编码器、瓶颈层和解码器,并通过跳跃连接将编码器各尺度特征与解码器对应尺度特征进行拼接融合;

6、步骤3,将待分割的多光谱遥感影像输入所述水体分割模型,得到水体像素级分割结果。

7、上述步骤2中,所述编码器依次设置四级下采样特征提取结构,每一级下采样特征提取结构均包括卷积块、cbam模块以及最大池化下采样,其中,所述卷积块由两层卷积组成,每层卷积的卷积核大小为3×3且padding为1,并在每层卷积后执行relu激活以输出该级特征图;所述cbam模块对该级特征图先执行通道注意力加权再执行空间注意力加权;所述最大池化下采样的核大小为2且步长为2,用于将该级加权特征图下采样后输入下一级;

8、所述瓶颈层设置于第四级下采样之后,并经与所述卷积块相同结构的卷积块得到瓶颈特征图;

9、所述解码器依次设置四级上采样特征恢复结构,每一级上采样特征恢复结构先采用双线性插值方式对特征图进行尺度因子为2的上采样,再将上采样后的特征图与编码器对应级输出的加权特征图在通道维进行拼接,并经与所述卷积块相同结构的卷积块融合得到该级解码特征图。

10、上述cbam模块包括依次连接的通道注意力子模块与空间注意力子模块;

11、所述通道注意力子模块用于根据输入特征图生成通道注意力权重并对输入特征图进行通道加权,得到通道增强特征图;

12、所述空间注意力子模块用于根据所述通道增强特征图生成空间注意力权重并对通道增强特征图进行空间加权,得到cbam模块输出特征图。

13、上述通道注意力子模块的实现方式为,

14、针对输入特征图,其中,为实数域,为通道数,为特征图高度,为特征图宽度,首先对其进行池化操作:

15、平均池化为,

16、,

17、最大池化为,

18、,

19、然后通过1×1卷积来学习通道的重要性,

20、,

21、其中和是卷积核,为线性整流激活函数,是sigmoid激活函数,是通道注意力权重;

22、最后得到加权后的特征图:

23、,

24、其中,表示逐元素相乘。

25、上述空间注意力子模块的实现方式为,

26、针对通道加权后的特征图,首先对其进行跨通道的池化操作:

27、平均池化为,

28、,

29、最大池化为,

30、,

31、将两者在空间维度上拼接,并通过7×7卷积操作来生成空间注意力权重,

32、,

33、其中,是卷积核,是sigmoid激活函数,是空间注意力权重;

34、最后得到加权后的特征图,

35、,

36、其中,表示逐元素相乘。

37、上述解码器四级上采样特征恢复结构按照由深到浅的顺序依次执行,具体为,

38、第一级解码时,对瓶颈层输出的特征图采用尺度因子为2的双线性插值上采样得到上采样特征图,并将所述上采样特征图与编码器第4级输出的加权特征图在通道维进行拼接得到拼接特征图,随后将所述拼接特征图输入由两层3×3卷积与relu激活构成的卷积块进行融合得到第一级解码特征图;

39、第二级解码时,对所述第一级解码特征图采用尺度因子为2的双线性插值上采样,并与编码器第3级输出的加权特征图在通道维拼接后输入所述卷积块融合得到第二级解码特征图;

40、第三级解码时,对所述第二级解码特征图采用尺度因子为2的双线性插值上采样,并与编码器第2级输出的加权特征图在通道维拼接后输入所述卷积块融合得到第三级解码特征图;

41、第四级解码时,对所述第三级解码特征图采用尺度因子为2的双线性插值上采样,并与编码器第1级输出的加权特征图在通道维拼接后输入所述卷积块融合得到第四级解码特征图。

42、上述步骤2中,用于训练所述cbam-unet网络的复合损失函数由二元交叉熵损失与dice损失的加权组合构成,满足,

43、,

44、其中,为权重系数,用于在bce与dice损失之间进行权衡;

45、所述二元交叉熵损失满足,

46、,

47、其中,预测的水体概率图为,对应的真实标签为,样本总像素数为n;

48、所述dice损失满足,

49、,

50、其中为防止分母为零的平滑项。

51、上述步骤2中,输入所述cbam-unet网络的多光谱遥感影像为6通道影像,所述6通道影像由同一地理区域的6个光谱波段影像按照波段顺序进行堆叠构成,形成尺寸为h×w且通道数为6的多通道输入数据;

52、将所述6通道输入数据按通道维组织为网络输入张量并输入所述cbam-unet网络进行特征提取与分割,其中所述通道维对应不同光谱波段,所述空间维对应影像像素位置。

53、一种基于cbam-unet的多光谱遥感影像水体分割装置,包括,

54、图像处理单元,被配置为获取多光谱遥感影像数据及对应的标注数据,进行数据准备处理后生成网络输入数据;

55、模型训练单元,被配置为构建并训练水体分割网络得到水体分割模型;其中,所述水体分割网络为cbam-unet网络,包括编码器、瓶颈层和解码器,并通过跳跃连接将编码器各尺度特征与解码器对应尺度特征进行拼接融合;以及,

56、推理单元,被配置为利用训练完成的水体分割模型对待分割的多光谱遥感影像进行水体分割推理,得到水体像素级分割结果。

57、一种基于cbam-unet的多光谱遥感影像水体分割设备,包括存储器、处理器,以及存储在所述存储器中并可在所述处理器上运行的计算机程序;所述处理器执行所述计算机程序时实现如前所述的基于cbam-unet的多光谱遥感影像水体分割方法的步骤。

58、采用上述方案后,本发明相较于现有的unet类水体分割方法具有如下优点:

59、1、采用多光谱多通道输入对水体与非水体的光谱差异进行联合表征,增强水体与阴影、暗色地物等易混淆区域的可分性,提高复杂背景下水体识别的鲁棒性;

60、2、在编码器各级特征提取过程中引入cbam注意力模块,通过通道注意力与空间注意力对水体相关特征进行自适应加权,突出水体显著信息并抑制岸线、建筑物及植被等背景干扰,从而提升边界区域与细小水体的特征提取能力;

61、3、在解码阶段采用双线性上采样进行特征图分辨率恢复,并结合跳跃连接进行多尺度特征融合,减少上采样引入的伪影与断裂现象,使水体边界预测更平滑连续;

62、4、训练过程中采用二元交叉熵损失与dice损失组合的复合损失函数,兼顾整体像素分类精度与少数类水体像元的学习效果,缓解类别不平衡导致的小水体漏检问题,提高分割结果的稳定性与精细程度。