一种双分支融合与坡度引导的遥感水体提取方法与系统
本发明涉及生态环境监测,特别是一种双分支融合与坡度引导的遥感水体提取方法与系统。
背景技术:
1、随着遥感对地观测技术的快速发展,高分辨率遥感影像已成为水资源调查、洪涝灾害监测、生态环境评估、河湖岸线管控等业务的核心数据基础。水体作为关键地表要素,其空间分布与动态变化直接决定了上述业务的基础数据质量。基于深度学习的语义分割技术,凭借端到端的特征学习能力,已成为遥感水体提取的主流技术路径。然而,实际业务中的水体提取始终面临复杂场景的核心挑战,单一特征建模范式无法同时兼顾水体提取的全局语义一致性与局部细节精度,同时,在山区、丘陵等复杂地形场景下,现有方法抗干扰能力差,误检率高同时。
2、目前,现有水体提取模型多采用单一cnn或transformer编码器:纯cnn受限于局部感受野,无法有效建模大范围水体的长距离连通关系,易出现大尺度水体提取不完整、复杂背景下同谱异物误判的问题;纯transformer虽具备全局建模能力,但易丢失高频细节信息,导致细长河渠断裂、小水体漏检、岸线边界过度平滑。现有cnn+transformer混合架构多为串行结构,先通过cnn提取特征再输入transformer处理,无法实现局部细节与全局语义的对等互补提取,特征融合多为简单拼接,缺乏自适应筛选机制,难以适配水体大尺度全局连通与细粒度岸线精准的双重特性;同时,现有技术对水体边界的优化多集中于末端损失约束或后处理,无法从解码初始阶段引入边界先验,难以从根源上解决岸线模糊、细长水体断裂的问题。
3、复杂地形下,sar影像虽不受光照限制,但存在散斑噪声强、地形畸变的问题,现有多模态水体提取方法多为简单的特征拼接或相加,属于粗粒度融合,无法根据场景自适应筛选有效特征,易将受干扰模态的噪声引入融合特征;现有技术忽略了水体多分布于平坦区域的天然物理先验,少数结合坡度的方案仅将坡度作为后处理阈值,在水体提取完成后剔除陡坡区域的误检结果,无法在特征学习阶段引入地形先验引导模型学习,无法从根源上解决山体阴影导致的误检问题,导致复杂地形下的鲁棒性极差。
技术实现思路
1、本发明的目的是提供一种双分支融合与坡度引导的遥感水体提取方法与系统,通过cnn-swin transformer双分支并行编码、局部-全局协同融合、边界感知增强及光学-sar-坡度三模态自适应融合与坡度门控调制,解决编码器兼顾性差、水体提取易断裂模糊、复杂地形误检率高、多模态融合粗劣、坡度先验利用滞后及算法落地难的问题,实现多尺度水体精准提取、边界完整、抗干扰鲁棒性强且易用性高。
2、为实现上述目的,本发明提出一种双分支融合与坡度引导的遥感水体提取方法,包括以下步骤:
3、步骤s1:获取待处理的遥感影像数据,对遥感影像数据进行裁剪、归一化预处理,得到符合网络输入要求的预处理后的光学遥感影像;
4、步骤s2:构建cnn与swin transformer双分支并行的编码器结构,预处理后的光学遥感影像同步输入两个分支,通过cnn分支对输入影像进行逐层下采样,提取局部细节特征得到四个不同尺度的阶段特征、、、,swin transformer分支提取全局上下文特征,得到四个阶段特征、、、;
5、步骤s3:在编码器的四个尺度阶段分别进行局部-全局协同融合,对同尺度的局部细节特征进行空间注意力增强、对全局语义特征进行通道注意力增强后,完成两类特征的自适应融合,得到每个尺度对应的融合特征、、、;
6、步骤s4:从cnn分支的四个不同尺度的阶段特征中提取边界感知特征,利用边界真值和边界损失的监督进行学习,通过边界感知增强模块将边界感知特征与编码器最高层融合特征进行融合,生成带边界先验约束的解码初始特征;
7、步骤s5:进入解码阶段,解码阶段由不少于两个的自适应解码融合模块级联构成,以解码初始特征为基础,逐级与对应尺度的融合特征进行自适应加权融合,并通过上采样恢复至原始影像分辨率,输出水体分割二值化结果;
8、当待处理区域为复杂地形场景时,同步获取与光学遥感影像空间配准的sar影像与坡度数据,在所述步骤s1至步骤s5的基础上,进一步执行以下步骤s6至步骤s10:
9、步骤s6:对多源遥感数据进行像素级空间配准、波段筛选与归一化预处理后,分别构建光学分支、sar分支与坡度分支的独立编码器,同步提取四个尺度的浅层特征;
10、步骤s7:在编码器的前三个浅层阶段分别进行跨模态自适应融合,基于光学与sar特征的全局统计信息学习双模态的相对可靠性权重,对光学与sar的同尺度特征进行自适应加权融合,得到浅层跨模态融合特征;
11、步骤s8:进行坡度引导模块,将同尺度的坡度特征映射为空间与通道维度的门控权重,对浅层跨模态融合特征进行逐像素条件化调制,抑制陡坡非水体区域的误激活,得到带地形先验约束的多尺度融合特征;
12、步骤s9:将光学、sar与坡度分支的最高层特征映射为token 序列,输入多模态增强模块,结合自注意力与交叉注意力实现跨模态全局语义的长距离交互,并利用坡度信息进行样本级全局动态调制,得到高层融合语义特征;
13、步骤s10:通过解码器对高层融合语义特征进行逐级上采样,过程中与对应尺度的带地形先验约束的融合特征进行跳跃连接,输出复杂地形场景下的水体分割结果。
14、优选的,步骤s2中,cnn分支采用resnet34作为主干网络,resnet34通过卷积操作逐步提取图像中的局部纹理、边缘轮廓和空间结构信息,同时借助残差连接缓解网络加深过程中出现的特征退化问题,四个局部细节特征图的尺寸分别为输入影像的1/4、1/8、1/16、1/32;swin transformer分支采用swin-t作为主干网络,通过窗口多头自注意力与移位窗口多头自注意力交替计算,建模影像长距离依赖与全局语义关系,输出与cnn分支尺寸一一对应的全局语义特征。
15、优选的,步骤s3中,具体包括以下步骤:
16、步骤s31:对cnn分支输出的局部细节特征,通过空间注意力机制进行特征增强,具体为:对输入特征分别进行通道维度的平均池化和最大池化,拼接后通过7×7卷积层与sigmoid函数生成空间注意力权重图,与原始特征逐元素相乘,得到增强后的局部特征,计算公式为;
17、;
18、;
19、其中,为生成的空间注意力权重图,为cnn分支第阶段的输出特征,为增强后的局部特征,为sigmoid激活函数,为卷积核大小为7×7的卷积操作,为通道维度上的特征拼接操作,为平均池化操作,为最大池化操作,为逐元素相乘;
20、步骤s32:对swin transformer分支输出的全局语义特征,通过通道注意力机制进行特征增强,具体为:对输入特征分别进行空间维度的全局平均池化和全局最大池化,将得到的两个通道向量,利用共享参数的全连接层进行映射,两路输出结果相加后再经过sigmoid函数归一化,得到通道注意力权重,将通道注意力权重与原始特征逐元素相乘,得到增强后的全局特征,计算公式为;
21、;
22、;
23、其中,为通道注意力生成的权重系数,为swin分支第阶段输出特征,为共享参数的多层感知机,为增强后的全局语义特征;
24、步骤s33;将增强后的局部特征与全局特征在通道维度拼接,通过1×1卷积进行通道压缩与初步特征映射,得到初步融合特征,公式为:
25、;
26、其中,为初步融合特征,为卷积核大小为1×1的卷积操作;
27、步骤s34:通过精炼块对初步融合特征进行细化,精炼块依次通过3×3深度可分离卷积和gelu激活函数,通过残差连接保留初步融合特征中的原始信息,通过批归一化和两层卷积对特征通道进行进一步映射与重组,得到不同尺度下的最终融合特征,公式为:
28、;
29、其中,为经过rb处理后第个阶段的最终融合特征,为精炼块。
30、优选的,步骤s4中,具体包括以下步骤:
31、步骤s41:对cnn分支输出的四个尺度局部细节特征、、、,分别通过1×1卷积进行通道对齐与尺度变换,拼接后通过3×3卷积提取得到边界感知特征;通过水体二值标签提取的形态学梯度运算提取边界真值,采用边界损失函数对边界感知特征进行监督训练,其中,边界损失由边界交叉熵损失与几何相似性损失加权组成,公式为:
32、,;
33、;
34、;
35、其中,为边界几何相似性损失,为预测边界与真实边界的联合概率分布,为预测边界的概率分布,为真实边界的概率分布,为预测边界图,为真实边界图,为特征图的高度,为特征图的宽度,代表边界图像素归一化至0~1概率区间,为复合边界损失,为边界交叉熵损失权重系数,为边界像素交叉熵损失,为几何相似性损失权重系数,为模型训练总损失函数,为分割损失权重系数,为水体语义分割损失;
36、步骤s42:将边界感知特征进行1×1卷积与上采样,使边界感知特征与最高层融合特征的尺度与通道对齐,将对齐后的边界感知特征与编码器最高层融合特征在通道维度拼接,通过3×3卷积映射与sigmoid函数生成边界引导权重图,利用边界引导权重图对融合特征进行重标定,生成带边界先验约束的解码初始特征。
37、优选的,步骤s5中,具体包括以下步骤:
38、步骤s51:将上一层解码特征进行2倍双线性插值上采样,至与当前尺度融合特征的空间分辨率相同,通过1×1卷积进行通道映射,得到当前尺度解码特征;
39、步骤s52:对同尺度的融合特征进行卷积预处理,实现通道对齐与噪声抑制,得到预处理后的融合特征;
40、步骤s53:将当前尺度解码特征与预处理后的融合特征在通道维度拼接,通过卷积与sigmoid函数生成自适应权重,利用自适应权重对两路特征进行加权融合,得到当前层的解码输出;
41、步骤s54:经过四级级联的自适应解码融合模块处理后,将最终输出的特征图通过卷积层映射为单通道概率图,经sigmoid函数归一化后,进行二值化处理,得到水体分割结果。
42、优选的,步骤s7中,具体包括以下步骤:
43、步骤s71:对第阶段的sar特征和光学特征分别在空间维度进行全局平均池化,得到各自对应的通道级全局描述向量,公式为:
44、,;
45、,;
46、其中,为第层级sar特征经全局平均池化得到的一维通道全局向量,为多尺度特征层级编号,模型设置3层特征层级,,为当前层级特征图的像素高度,为当前层级特征图的像素宽度,为第阶段输入特征图在空间位置的横坐标,为第阶段输入特征图在空间位置的纵坐标,为第层级sar分支原始二维特征图,为第层级光学特征经全局平均池化得到的一维通道全局向量,为第层级光学分支原始二维多光谱特征图,为c维实数向量空间,c为该层级特征通道数;
47、步骤s72:将两个通道描述向量拼接后输入两层全连接层与relu激活函数组成的mlp网络中,通过softmax归一化处理,输出两个在0-1之间且和为1的自适应可靠性权重因子,通过权重因子对原始sar特征与原始光学特征进行加权求和,得到跨模态自适应融合特征,公式为:
48、,;
49、,
50、,
51、;
52、,;
53、其中,为sar全局向量与光学全局向量通道拼接得到的维联合模态表征,为通道维度上的特征拼接操作,为第层级sar特征全局池化得到的维通道向量,为第层级sentinel-2光学特征全局池化得到的维通道向量,为sar模态自适应可靠性权重,为sentinel-2光学模态自适应可靠性权重,softmax用于归一化,输出区间为[0,1],relu为非线性激活函数,为mlp网络第一层的可学习权重矩阵,尺寸为,为mlp网络第二层的可学习权重矩阵,尺寸为,为单分支特征图的通道数量,为最终的跨模态自适应融合特征图,为第层级原始sar二维特征图,为第层级原始sentinel-2光学二维特征图。
54、优选的,步骤s8中,具体包括以下步骤:
55、步骤s81:将第阶段的坡度特征通过1×1卷积层映射为与融合特征同维度的特征,经批归一化与sigmoid函数生成坡度门控权重图,计算公式为:
56、;
57、其中,为由坡度特征条件化生成的门控图,取值在[0,1]之间,为sigmoid激活函数,为批归一化,为1×1卷积,为第阶段坡度分支的特征图;
58、步骤s82:将坡度门控权重图与跨模态融合特征逐元素相乘,得到受坡度先验约束的调制特征,公式为:
59、;
60、其中,为坡度引导后的输出特征,为最终的跨模态自适应融合特征,为逐元素乘法。
61、优选的,步骤s9中,具体包括以下步骤:
62、步骤s91:光学、sar与坡度分支的token序列先分别通过transformer编码块,经自注意力机制完成模态内上下文增强,得到对应的增强序列;
63、步骤s92:将光学与sar的增强序列进行跨模态交互,分别计算模态内自注意力与模态间交叉注意力,通过可学习混合权重,将两路输出进行自适应线性组合,进行双模态信息互补;
64、步骤s93:将坡度特征序列经全局平均池化、多层感知机与sigmoid函数,生成两个样本级全局标量权重,分别对光学与sar融合特征进行动态调制,调节当前样本地形条件下的特征更新强度,最终输出高层融合语义特征;
65、在网络训练过程中,采用加权二维交叉熵损失函数进行监督优化,通过为水体类别分配更高权重,缓解水体像素占比极低带来的类别不平衡问题。
66、本发明还提供了一种双分支融合与坡度引导的遥感水体提取系统,包括用户管理模块、数据管理模块、水体提取模块与结果可视化模块,其中:
67、用户管理模块,包含用户认证单元、权限管理单元、用户信息维护单元和用户行为统计单元,用于完成用户身份认证与权限控制,区分普通用户与管理员角色,保障多用户环境下的数据隔离与系统安全;
68、数据管理模块,用于实现遥感影像的上传、浏览、检索、标签化管理与删除操作,支持geotiff、png、jpeg格式的单文件与批量上传,同步提取并存储影像元数据;
69、水体提取模块内置双分支光学影像水体提取、坡度引导多模态水体提取两大算法,包括模型管理单元、影像预处理单元和模型推理单元;
70、结果可视化模块通过双屏对比模式同步展示原始遥感影像与水体提取结果,同时自动记录并管理预测任务的全量历史记录,支持历史结果的检索、浏览、多组对比与删除操作。
71、优选的,系统采用前后端分离的b/s架构,水体提取模块内置可扩展模型库管理单元,支持管理员完成预训练模型的注册、版本管理、参数配置与可用性测试,普通用户直接选择已发布的模型完成一键式水体提取,针对大幅面遥感影像,采用滑动窗口分块处理策略,相邻窗口设置预设重叠率,对各分块的推理结果进行加权融合与无缝拼接,消除分块接缝效应,采用celery+redis构建异步任务队列机制,将模型推理与前端请求解耦,支持任务排队、优先级调度、执行状态实时反馈与异常容错处理;结果可视化模块支持多组历史提取结果的同屏对比展示,同时提供历史记录自定义备注功能,辅助用户完成实验结果的回溯与分析。
72、因此,本发明提出了一种双分支融合与坡度引导的遥感水体提取方法与系统,其有益效果如下:
73、(1)本发明构建了cnn与swin transformer双分支并行的编码网络,充分结合了cnn对局部纹理、边缘细节的强表征能力,与swin transformer对长距离依赖、全局语义关系的强建模能力,解决了单一编码器难以同时兼顾全局一致性与局部细节的问题;通过局部-全局协同融合模块,在多尺度阶段实现两类互补特征的自适应筛选与融合,显著提升了对多尺度水体的特征表征能力,有效缓解了大尺度水体提取不完整、小尺度水体易漏检的问题。
74、(2)本发明引入边界感知增强模块,将浅层边界先验用于引导高层语义解码,同时结合包含几何相似性约束的联合损失进行监督优化,显著增强了网络对水体边界的刻画能力,有效解决了细长河渠易断裂、岸线模糊、边界过度平滑的问题,提升了细小水体的连通性与岸线完整性。
75、(3)本发明针对复杂地形场景,提出了基于坡度引导的多模态水体提取方法,通过光学、sar与坡度三模态协同建模,利用跨模态自适应融合模块实现双模态有效信息的增强与噪声的抑制,通过坡度引导模块引入地形先验对融合特征进行条件化调制,有效抑制了山体阴影、云影等造成的同谱异物误检问题;通过多模态增强模块实现跨模态全局语义的长距离交互,进一步提升了复杂背景下模型的鲁棒性,在山区、丘陵等复杂地形场景下仍能实现高精度的水体提取。
76、(4)本发明设计并实现了基于web端的复杂场景遥感水体自动提取系统,采用前后端分离架构,将复杂的算法推理过程封装为一键式操作,支持大幅面影像分块滑窗推理、重叠融合拼接,同时提供双屏对比与历史记录管理功能,在保障模型提取精度的前提下,显著降低了算法的应用门槛,具备良好的工程落地性与业务推广价值。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com