一种融合SAR、LiDAR点云与多源遥感特征及自适应权重寻优的语义分割方法及系统与流程

摘要: 本发明涉及遥感影像智能解译、多源异构数据融合、深度学习语义分割,特别涉及一种融合sar、lidar点云与多源遥感特征及自适应权重寻优的语义分割方法及系统。背景技...
一种融合SAR、LiDAR点云与多源遥感特征及自适应权重寻优的语义分割方法及系统与流程

本发明涉及遥感影像智能解译、多源异构数据融合、深度学习语义分割,特别涉及一种融合sar、lidar点云与多源遥感特征及自适应权重寻优的语义分割方法及系统。

背景技术:

1、现有遥感深度学习语义分割技术存在诸多技术缺陷,严重限制模型跨场景泛化能力与实际工程落地效果:

2、数据源利用单一,sar信息挖掘浅薄,缺少三维lidar点云异构特征支撑。现有方案多仅采用常规哨兵数据,未挖掘多极化散射机理、多波段穿透特性差异,也未引入lidar点云的回波强度、三维微地形等独有特征,无法区分二维影像中同高程的混淆目标。

3、多源异构特征融合粗放、算力开销大。传统方案采用全局无差别交叉注意力,对异构特征无分组约束,存在大量无效交互,参数量大、轻量化性能差。

4、模型推理权重固定,新场景适配能力极差。模型仅在训练阶段学习融合权重,推理阶段权重固化,无法根据陌生场景的云雾、植被覆盖、数据源缺失情况动态适配,跨场景精度波动剧烈。

5、权重寻优方式低效、评价体系单一、地物约束缺失。传统依赖网格搜索、随机搜索算力消耗大,且仅以miou单一指标优化,缺少针对阴影伪水体、低矮建筑漏检等典型痛点的专属约束。

6、无法适配数据源缺失场景。实际业务中普遍存在sar缺失、光学云雾遮挡、lidar点云稀疏等问题,固定多通道融合框架鲁棒性差。

7、时序与多源融合无法联动。无法兼容多季节时序数据,不能利用地物物候、丰枯变化先验辅助权重寻优,时序信息与多源融合体系割裂。

8、需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本发明的实践而习得。

2、根据本申请的一个方面,提供一种融合sar、lidar点云与多源遥感特征及自适应权重寻优的语义分割方法,包括:采集空间配准的多极化sar、光学多光谱、短波红外、ndvi/ndwi光谱指数、dem及lidar三维点云数据;完成sar辐射定标、斑点抑制,提取极化比值、纹理、叠掩掩膜、时序变异系数多维特征,兼容x/c/l/s多波段选型规则;完成lidar点云双重滤波分类,生成包括高程差、回波强度、坡面粗糙度的三维栅格特征;匹配像素级真值标签构建训练样本集;启动动态模态剔除机制,按信噪比、数据完整性屏蔽无效数据源;统一多源数据分辨率与数值范围,在分割网络编码器前端搭建轻量化融合模块,经通道对齐、eca通道注意力重标定后,按四大特征分组实现组内精细交互、组间残差互补的低算力异构融合;采用交叉熵与dice联合损失函数,引入类别加权平衡小样本类别,加载预训练权重执行分层冻结微调,通过梯度下降迭代训练,结合早停策略至模型收敛,保存通用基础语义分割模型;针对陌生新场景复用预处理流程并二次启动模态剔除,自适应生成对应维度权重向量,缺失模态权重置0;采用随机粗搜+网格精搜两级策略采样权重组合,输入基础模型生成分割结果;构建多指标加权评价体系,形成权重-精度映射样本集;选用机器学习回归模型作为精度代理模型,拟合权重与综合精度的非线性映射;嵌入l1稀疏正则、模态下限正则、空间平滑正则及sar、地形、lidar专属物理正则,求解符合地物规律的全局最优权重;可选融入时序特征实现时空联合优化;基于最优权重完成多源数据像素级加权融合,输入分割模型执行双分支多任务推理,同步输出像素级地物语义分割图谱与经sar叠掩几何法、高分7阴影法、lidar高程数据三源校正的建筑高度反演结果。

3、本申请的另一个方面,一种融合sar、lidar点云与多源遥感特征及自适应权重寻优的语义分割系统,用于执行可执行指令来执行实现上述的融合sar、lidar点云与多源遥感特征及自适应权重寻优的语义分割方法。

4、根据本申请的再一个方面,一种电子设备,包括:第一处理器;以及存储器,用于存储所述第一处理器的可执行指令;其中,所述第一处理器配置为经由执行所述可执行指令来执行实现上述的融合sar、lidar点云与多源遥感特征及自适应权重寻优的语义分割方法。

5、根据本申请的又一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被第二处理器执行时实现上述的融合sar、lidar点云与多源遥感特征及自适应权重寻优的语义分割方法。

6、本申请的有益技术效果在于:本申请融合sar多极化、多波段、纹理多维微波特征,同步引入lidar三维点云专属高程、粗糙度、点云密度特征,充分利用极化散射差异,大幅提升水体、植被、裸土、矿区微地物的区分能力。训练端采用四分组轻量化融合结构,将lidar三维特征独立分组交互,在保留异构特征互补性的同时降低算力开销,适配工程落地场景,且兼容各类主流分割网络骨架。增设动态模态剔除机制,可自适应适配数据源缺失、云雾遮挡、lidar点云空洞等场景,解决固定通道融合鲁棒性差的痛点。

7、构建推理端两级权重寻优框架,结合机器学习回归算法作为代理模型,大幅降低寻优算力;同时采用多指标联合评价,兼顾全局精度、小目标精度与边缘精度。引入多维度物理正则与lidar三维专属正则,覆盖水体阴影抗混淆、道路建筑抗混淆、滑坡地质灾害、矿区采排土场等九类场景约束,从源头杜绝违背地理物理规律的伪分割结果。支持时序先验拓展优化,打通多时相影像、多期lidar点云时序演变与多源权重融合的壁垒,适配长时序遥感监测任务。

8、应当理解的是,以上的一般描述和后文的细节描述仅是例如,性和解释性的,并不能限制本公开。

1.一种融合sar、lidar点云与多源遥感特征及自适应权重寻优的语义分割方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,启动动态模态剔除机制,按信噪比、数据完整性屏蔽无效数据源;统一多源数据分辨率与数值范围,在分割网络编码器前端搭建轻量化融合模块,经通道对齐、eca通道注意力重标定后,按四大特征分组实现组内精细交互、组间残差互补的低算力异构融合,包括:

3.如权利要求1所述的方法,其特征在于,针对陌生新场景复用预处理流程并二次启动模态剔除,自适应生成对应维度权重向量,缺失模态权重置0;采用随机粗搜+网格精搜两级策略采样权重组合,输入基础模型生成分割结果;构建多指标加权评价体系,形成权重-精度映射样本集,包括:

4.如权利要求1所述的方法,其特征在于,选用机器学习回归模型作为精度代理模型,拟合权重与综合精度的非线性映射;嵌入l1稀疏正则、模态下限正则、空间平滑正则及sar、地形、lidar专属物理正则,求解符合地物规律的全局最优权重;可选融入时序特征实现时空联合优化,包括:

5.如权利要求4所述的方法,其特征在于,基于最优权重完成多源数据像素级加权融合,输入分割模型执行双分支多任务推理,同步输出像素级地物语义分割图谱与经sar叠掩几何法、高分7阴影法、lidar高程数据三源校正的建筑高度反演结果,包括:

6.一种融合sar、lidar点云与多源遥感特征及自适应权重寻优的语义分割系统,其特征在于,所述系统用于执行可执行指令来执行权利要求1~5中任意一项所述的融合sar、lidar点云与多源遥感特征及自适应权重寻优的语义分割方法。

7.一种电子设备,其特征在于,包括:第一处理器;以及存储器,用于存储所述第一处理器的可执行指令;其中,所述第一处理器配置为经由执行所述可执行指令来执行权利要求1~5中任意一项所述的融合sar、lidar点云与多源遥感特征及自适应权重寻优的语义分割方法。

8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被第二处理器执行时实现权利要求1~5中任意一项所述的融合sar、lidar点云与多源遥感特征及自适应权重寻优的语义分割方法。