漂移引导融合方法、系统、电子设备及存储介质

本发明属于图像处理，具体涉及一种漂移引导融合方法、系统、电子设备及存储介质。

背景技术：

1、多模态遥感图像语义分割旨在综合不同传感器的互补观测信息，实现对地表场景的全面理解，光学遥感图像富含纹理、颜色和边缘信息，而sar（synthetic apertureradar，合成孔径雷达）图像具有全天时、全天候的成像能力，将二者融合，对于提升复杂环境下的地表感知能力至关重要。

2、光学-sar融合方法主要面临一个核心问题：光学与sar图像之间的局部语义错位，尽管经过预配准，但由于二者成像机理（光学被动成像与sar侧视主动成像）的根本差异，在局部区域内（如建筑物边缘、道路交叉口、水陆交界处）仍普遍存在边界偏移、几何畸变和语义响应不一致的现象。

3、多数现有融合方法（如简单的特征拼接、卷积融合或注意力加权）将跨模态交互视为离散特征图上的静态聚合过程，这些方法默认两种模态在固定像素网格位置上严格对应，这会导致错误的局部对应关系被传递至后续解码器，从而引发语义分割结果的边界模糊和结构断裂。

技术实现思路

1、本发明旨在至少解决相关技术中存在的光学-sar跨模态融合因局部语义错位导致分割边界模糊、结构不完整的技术问题。为此，本发明的目的在于提出一种漂移引导融合方法、系统、电子设备及存储介质。

2、第一方面，本发明提出的一种漂移引导融合方法，包括以下步骤：获取同一区域的光学遥感图像与sar遥感图像，分别提取光学多尺度特征与sar多尺度特征，其中，所述光学多尺度特征包括光学低层特征、光学中层特征和光学高层引导特征，所述sar多尺度特征包括sar低层特征、sar中层特征和sar高层特征；对所述光学低层特征和所述sar低层特征进行融合得到低层联合特征，对所述光学中层特征和所述sar中层特征进行融合得到中层桥接特征，并将所述中层桥接特征和所述低层联合特征进行融合得到增强低层联合特征，对所述光学高层引导特征和所述sar高层特征进行压缩得到高层基础语义特征；以所述光学高层引导特征为引导，在所述sar高层特征的局部邻域内构建漂移向量，利用所述漂移向量对sar查询特征进行方向性状态校正，得到校正后的sar查询特征；将所述校正后的sar查询特征、所述光学高层引导特征及相对坐标信息共同输入隐式映射函数，在连续坐标域中生成跨模态融合语义表征；将所述跨模态融合语义表征、所述高层基础语义特征和所述光学高层引导特征进行融合，得到最终高层融合特征，并将所述最终高层融合特征与所述增强低层联合特征共同输入解码器，输出像素级语义分割结果。

3、根据本发明实施例的漂移引导融合方法，首先获取同一区域的光学遥感图像与sar遥感图像，分别提取光学多尺度特征与sar多尺度特征，光学多尺度特征包括光学低层特征、光学中层特征和光学高层引导特征，sar多尺度特征包括sar低层特征、sar中层特征和sar高层特征，然后对光学低层特征和sar低层特征进行融合得到低层联合特征，对光学中层特征和sar中层特征进行融合得到中层桥接特征，并将中层桥接特征和低层联合特征进行融合得到增强低层联合特征，对光学高层引导特征和sar高层特征进行压缩得到高层基础语义特征，接着以光学高层引导特征为引导，在sar高层特征的局部邻域内构建漂移向量，利用漂移向量对sar查询特征进行方向性状态校正，得到校正后的sar查询特征，然后将校正后的sar查询特征、光学高层引导特征及相对坐标信息共同输入隐式映射函数，在连续坐标域中生成跨模态融合语义表征，最后将跨模态融合语义表征、高层基础语义特征和光学高层引导特征进行融合，得到最终高层融合特征，并将最终高层融合特征与增强低层联合特征共同输入解码器，输出像素级语义分割结果；以此通过光学引导的漂移校正机制与坐标调制隐式融合策略，形成了一个端到端的跨模态语义分割框架，该框架先以光学语义为锚点对sar特征进行方向性前置校正，有效缓解局部错位与边界偏移问题；再将校正后特征映射至连续坐标域生成平滑融合表征，突破离散网格的边界断裂瓶颈；最终通过高低层特征协同解码，实现了类别判别与空间细节的统一，显著提升了复杂场景下语义分割的边界连续性与结构完整性。

4、另外，根据本发明实施例的漂移引导融合方法，还可以具有如下附加的技术特征：

5、进一步地，所述获取同一区域的光学遥感图像与sar遥感图像，分别提取光学多尺度特征与sar多尺度特征，包括：将所述光学遥感图像输入光学图像特征编码器，提取所述光学低层特征、所述光学中层特征和所述光学高层引导特征；将所述sar遥感图像输入sar图像特征编码器，提取所述sar低层特征、所述sar中层特征和所述sar高层特征；对所述光学低层特征、所述光学中层特征、所述光学高层引导特征、所述sar低层特征、所述sar中层特征和所述sar高层特征进行通道投影，将特征通道统一至相同维度。

6、进一步地，所述对所述光学低层特征和所述sar低层特征进行融合得到低层联合特征，对所述光学中层特征和所述sar中层特征进行融合得到中层桥接特征，并将所述中层桥接特征和所述低层联合特征进行融合得到增强低层联合特征，对所述光学高层引导特征和所述sar高层特征进行压缩得到高层基础语义特征，包括：对所述光学低层特征和所述sar低层特征进行通道拼接与卷积编码，得到所述低层联合特征；对所述光学中层特征和所述sar中层特征进行跨模态结构关联，得到所述中层桥接特征；对所述中层桥接特征上采样后和所述低层联合特征进行残差融合，得到所述增强低层联合特征：将所述光学高层引导特征和所述sar高层特征进行通道重标定与压缩，得到所述高层基础语义特征；以及，对所述sar高层特征进行独立通道投影，得到sar高层查询特征，用于局部邻域采样。

7、进一步地，所述以所述光学高层引导特征为引导，在所述sar高层特征的局部邻域内构建漂移向量，利用所述漂移向量对sar查询特征进行方向性状态校正，得到校正后的sar查询特征，包括：以所述光学高层引导特征为引导，在sar高层查询特征的目标位置周围构建局部邻域，采样得到多个邻域查询特征作为sar查询特征；将所述邻域查询特征、所述光学高层引导特征、以及作为负向特征的同一邻域查询特征分别投影至统一特征空间；计算投影后的邻域查询特征与所述光学高层引导特征之间的特征距离，经归一化得到正向权重，以所述正向权重加权聚合光学高层引导特征，得到正向语义支撑项；计算投影后的邻域查询特征与作为负向特征的同源邻域查询特征之间的特征距离，经归一化得到负向权重，以该负向权重加权聚合所述负向特征，得到负向抑制项；将所述正向语义支撑项与所述负向抑制项做差，得到漂移向量；利用所述漂移向量对投影前的所述邻域查询特征进行方向性加性更新与归一化，得到校正后的sar查询特征。

8、进一步地，所述漂移向量用于同时表征修正方向与修正幅度，其中，所述修正方向由所述正向语义支撑项与所述负向抑制项的差分方向决定；所述利用所述漂移向量对所述邻域查询特征进行方向性加性更新与归一化，包括：当所述邻域查询特征和所述光学高层引导特征在投影特征空间中的一致性高于预设一致性阈值时，所述漂移向量的所述修正幅度小于预设幅度阈值，以使所述加性更新的变化量小于预设变化量阈值；当所述邻域查询特征和所述光学高层引导特征在投影特征空间中的一致性低于所述预设一致性阈值时，所述漂移向量的所述修正幅度大于所述预设幅度阈值，以使所述加性更新的变化量大于所述预设变化量阈值。

9、进一步地，所述将所述校正后的sar查询特征、所述光学高层引导特征及相对坐标信息共同输入隐式映射函数，在连续坐标域中生成跨模态融合语义表征，包括：计算目标位置与各邻域采样位置之间的相对坐标，并对所述相对坐标进行编码；将所述校正后的sar查询特征、所述光学高层引导特征和相对坐标编码结果共同输入隐式映射函数，以使所述隐式映射函数针对每个邻域分支输出一个语义特征向量和一个未归一化的权重标量；对所有邻域分支的权重标量进行归一化，得到各分支的归一化融合权重；将各分支的所述语义特征向量与对应的所述归一化融合权重相乘后求和，得到连续坐标域下的跨模态融合语义表征。

10、进一步地，所述隐式映射函数为多层感知机、坐标感知网络或卷积-感知机混合网络。

11、第二方面，基于同一发明构思，本发明还提出一种漂移引导融合系统，包括：特征提取模块，用于获取同一区域的光学遥感图像与sar遥感图像，分别提取光学多尺度特征与sar多尺度特征，其中，所述光学多尺度特征包括光学低层特征、光学中层特征和光学高层引导特征，所述sar多尺度特征包括sar低层特征、sar中层特征和sar高层特征；层级融合模块，用于对所述光学低层特征和所述sar低层特征进行融合得到低层联合特征，对所述光学中层特征和所述sar中层特征进行融合得到中层桥接特征，并将所述中层桥接特征和所述低层联合特征进行融合得到增强低层联合特征，对所述光学高层引导特征和所述sar高层特征进行压缩得到高层基础语义特征；漂移校正模块，用于以所述光学高层引导特征为引导，在所述sar高层特征的局部邻域内构建漂移向量，利用所述漂移向量对sar查询特征进行方向性状态校正，得到校正后的sar查询特征；隐式融合模块，用于将所述校正后的sar查询特征、所述光学高层引导特征及相对坐标信息共同输入隐式映射函数，在连续坐标域中生成跨模态融合语义表征；分割输出模块，用于将所述跨模态融合语义表征、所述高层基础语义特征和所述光学高层引导特征进行融合，得到最终高层融合特征，并将所述最终高层融合特征与所述增强低层联合特征共同输入解码器，输出像素级语义分割结果。

12、第二方面提供的漂移引导融合系统与第一方面提供的漂移引导融合方法具有相应的技术特征，因此，也具有与第一方面相似的技术效果，此处不再详述。

13、第三方面，基于同一发明构思，本发明还提出一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的计算机程序时，实现如本发明上述实施例所述的漂移引导融合方法的步骤。

14、第三方面提供的电子设备与第一方面提供的漂移引导融合方法具有相应的技术特征，因此，也具有与第一方面相似的技术效果，此处不再详述。

15、第四方面，基于同一发明构思，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明上述实施例所述的漂移引导融合方法的步骤。

16、第四方面提供的计算机可读存储介质与第一方面提供的漂移引导融合方法具有相应的技术特征，因此，也具有与第一方面相似的技术效果，此处不再详述。