一种基于跨模态高频特征增强的遥感图像实例分割方法

本发明涉及计算机视觉与多模态学习，尤其涉及一种基于跨模态高频特征增强的遥感图像实例分割方法。

背景技术：

1、随着遥感卫星航拍、航空对地观测技术不断发展，遥感图像实例分割已成为国土资源普查、地物目标精细提取、城乡规划、灾害遥感监测等领域的核心关键技术。遥感图像实例分割能够实现各类地物目标的目标检测与像素级轮廓划分，是遥感智能解译落地应用的重要基础。

2、目前，现有遥感图像实例分割方法主要存在以下技术缺陷。

3、第一，现有算法大多仅依靠单可见光rgb遥感图像单一模态进行网络训练与特征提取，仅利用原始遥感空域灰度与色彩信息，未引入边缘图像作为辅助模态进行跨模态融合。可见光遥感图像易受云雾遮挡、大气散射、光照变化、地物纹理混杂等干扰，单独依赖rgb模态特征易出现目标边缘模糊、弱目标特征淹没、小地物辨识度低的问题；而边缘图像能够精准刻画地物轮廓边界与纹理突变信息，现有技术未能利用rgb原图与边缘图像两种模态的互补优势，特征表达鲁棒性不足。

4、第二，现有遥感分割网络仅在图像空域内进行卷积特征提取，未专门挖掘和增强遥感图像的高频细节特征。遥感图像中的地物边缘、细微纹理、轮廓拐点均属于高频信息，是提升实例分割边缘精度、区分相邻密集地物的关键；传统卷积结构偏向提取低频语义与全局轮廓，缺少对高频特征的聚焦增强与强化利用，导致分割掩码边缘粗糙、细节缺失、相邻实例粘连难以区分。

5、第三，传统遥感特征提取网络普遍采用固定尺寸卷积核，形成单一固定感受野，不具备多尺度自适应感知能力。遥感场景中存在大尺度建筑群、中等尺度道路、大量密集小尺度地物目标，尺度跨度极大；固定感受野无法同时适配不同尺寸目标的特征捕获，易造成小目标漏分割、大目标特征表征不完整，直接降低遥感图像实例分割的整体精度与完整性。

6、此外，现有部分改进网络结构冗余、参数量偏高、推理开销大，难以在分割精度与部署效率之间取得平衡。

7、因此，亟需设计一种融合rgb遥感图像与边缘图像的跨模态方案，并结合高频特征增强与多感受野建模，从根本上改进现有技术存在的缺陷。

技术实现思路

1、针对现有技术存在的上述不足，本发明提供了一种基于跨模态高频特征增强的遥感图像实例分割方法，通过构建双跨模态融合主干网络引入边缘轮廓图像作为辅助模态、设计自适应高频特征增强模块在频域强化高频细节、并提出残差多感受野融合模块以多尺度并行卷积适配大跨度目标，解决了现有遥感图像实例分割方法中模态单一、高频细节缺失及感受野固定适配不足的技术问题，实现了边缘精细度的显著提升与多尺度目标的精准分割。

2、为了解决上述技术问题，本发明采用了如下技术方案：

3、一种基于跨模态高频特征增强的遥感图像实例分割方法，获取遥感图像数据，所述遥感图像数据包括可见光rgb遥感图像和边缘轮廓图像；将所述遥感图像数据输入至预先构建的跨模态高频特征增强网络，得到遥感图像数据的实例分割结果；

4、所述跨模态高频特征增强网络包括设置有自适应高频特征增强模块的双跨模态融合主干网络、设置有残差多感受野融合模块的颈部网络与预测头网络；

5、所述跨模态高频特征增强网络将输入的可见光rgb遥感图像和边缘轮廓图像同步输入至所述双跨模态融合主干网络，通过上下对称的特征提取分支独立进行逐级下采样，分别输出位于p3、p4、p5三个层级的多尺度特征图；在p4、p5层级，将所述上下两条特征提取分支输出的多尺度特征图输入至自适应高频特征增强模块，通过频域变换筛选并强化高频分量，并在p4、p5层级建立模态间跳跃连接，得到增强后的多模态特征；仅将上特征提取分支输出的p3层级特征与所述增强后的多模态特征一并输入至设置有残差多感受野融合模块的颈部网络，通过上采样、特征拼接以及所述残差多感受野融合模块进行深浅层特征融合，输出三层不同尺度特征，并接入所述预测头网络，得到作为跨模态高频特征增强网络输出的遥感图像数据的实例分割结果。

6、作为优选方案，所述双跨模态融合主干网络包括上下对称的特征提取分支，各特征提取分支包括级联的卷积层、4个卷积残差多感受野模块、sppf模块、c2psa模块和2个自适应高频特征增强模块，其中，所述卷积残差多感受野模块包括级联的卷积层和残差多感受野融合模块；

7、所述颈部网络包括依次连接的2个上采样感受野融合单元和2个多感受野特征融合单元，其中，所述上采样感受野融合单元包括级联的上采样层、特征拼接层和残差多感受野融合模块，所述多感受野特征融合单元包括级联的卷积层、特征拼接层和残差多感受野融合模块；

8、所述预测头网络包括3个并行的分割预测头，分别用于根据颈部网络的输出的三层不同尺度特征，各自独立输出对应尺度下的实例预测结果；将所有实例预测结果汇总并经非极大值抑制处理，剔除重叠的冗余预测后，输出遥感图像数据的实例分割结果，作为跨膜态高频特征增强网络的输出；

9、其中，跨膜态高频特征增强网络的输入作为双跨模态融合主干网络的输入；双跨模态融合主干网络中各特征提取分支的第三个卷积残差多感受野模块和c2psa模块的输出，还分别作为第一个和第二个自适应高频特征增强模块的输入；双跨模态融合主干网络中上特征提取分支的第二个卷积残差多感受野模块、第一个自适应高频特征增强模块和第二个自适应高频特征增强模块的输出，还分别作为颈部网络中第二个上采样感受野融合单元中特征拼接层、第一个上采样感受野融合单元中特征拼接层和第二个多感受野特征融合单元中特征拼接层的输入，双跨膜态融合主干网络中第二个自适应高频特征增强模块的输出作为颈部网络的输入；颈部网络中第一个上采样感受野融合单元的输出，还作为第一个多感受野特征融合单元中特征拼接层的输入，颈部网络中第二个上采样感受野融合单元以及2个多感受野特征融合单元的输出，分别作为3个并行的分割预测头的输入。

10、作为优选方案，所述自适应高频特征增强模块的具体处理过程包括：

11、首先，将输入特征输入至自适应高频特征生成器，经实快速傅里叶变换转换至频域，经自适应高频滤波器筛选并增强高频分量后，通过逆实快速傅里叶变换转换回空域，得到高频响应特征图；然后，对高频响应特征图并行进行全局平均池化和全局最大池化，经空间求和、relu激活及卷积映射后生成通道权重，将通道权重与原始输入特征相乘，得到通道增强特征；在空间增强路径中，将高频响应特征图经卷积压缩后生成空间注意力图，将空间注意力图与原始输入特征相乘，得到空间增强特征；最后，将通道增强特征与空间增强特征逐元素相加融合，经卷积和归一化处理，输出增强后的高频特征。

12、作为优选方案，所述高频响应特征图的提取过程表示为：

13、；

14、；

15、式中：为输入特征；为频域特征；为实快速傅里叶变换；为保留的高频信息；为逆实快速傅里叶变换；为高频响应特征图；

16、所述通道增强路径的具体处理过程表示为：

17、；

18、；

19、；

20、式中：为全局平均池化特征图；为全局最大池化特征图；为全局平均池化；为全局最大池化；为池化后特征图尺寸；为sigmoid激活函数；为1×1卷积；为通道增强特征；

21、所述空间增强路径的具体处理过程表示为：

22、；

23、；

24、式中：为空间注意力图；为批归一化；为空间增强特征；

25、所述增强后的高频特征表示为：

26、；

27、式中：为增强后的高频特征；为组归一化；为3×3卷积。

28、作为优选方案，所述残差多感受野融合模块包括依次连接的第一个卷积层、特征拆分层、n个级联的残差多感受野单元、特征拼接层和第二个卷积层，其中，特征拆分层和第一个残差多感受野单元的输出，还作为特征拼接层的输入；

29、所述残差多感受野融合模块的具体处理过程包括：

30、对输入特征图经所述第一个卷积层进行通道变换，将通道数进行压缩得到压缩后特征；将压缩后特征输入所述特征拆分层，沿通道维度均等分割为两组，得到第一支路特征和第二支路特征，其中，所述第一支路特征作为跳跃连接特征，传递至所述特征拼接层；所述第二支路特征输入至n个级联的残差多感受野单元，每个残差多感受野单元的输出作为下一个残差多感受野单元的输入，第n个残差多感受野单元输出特征和跳跃连接特征在特征拼接层沿通道维度拼接，得到拼接后特征；将所述拼接后特征输入第二个卷积层进行通道变换，得到恢复后特征。

31、作为优选方案，所述残差多感受野单元包括依次连接的第一个卷积层、n个级联的多感受野融合单元、特征拼接层和第二个卷积层，其中输入特征经第三个卷积层后还作为特征拼接层的输入；

32、所述残差多感受野单元的具体处理过程包括：

33、对输入特征图分别经过并行的主处理支路和旁路跳跃支路；主处理支路对输入特征经第一个卷积层进行通道变换，然后将第一个卷积层输出作为n个级联的多感受野融合单元的输入，进行多感受野提取，每个多感受野融合单元的输出作为下一个多感受野融合单元的输入，第n个多感受野融合单元的输出主路融合特征；旁路跳跃支路对输入特征经第三卷积层进行通道变换，输出旁路特征；将所述旁路特征与主路融合特征在特征拼接层进行拼接后，经第二个卷积层进行通道融合与降维，输出融合后特征。

34、作为优选方案，所述多感受野融合单元的具体处理过程包括：

35、对输入特征首先经前置3×3卷积进行初始通道映射，然后沿通道维度将特征均等拆分为三组，分别送入三条并行的深度可分离卷积支路，分别采用卷积核尺度为3×3、7×7、9×9的深度可分离卷积进行特征提取，得到不同尺度遥感目标特征；将不同尺度遥感目标特征沿通道维度拼接，再经1×1卷积进行通道降维与特征整合；将整合后特征与原始输入特征逐元素相加，输出最终特征。

36、作为优选方案，所述不同尺度遥感目标特征表示为：

37、；

38、式中：为条深度可分离卷积支路的遥感目标特征；为深度可分离卷积；为条深度可分离卷积支路的输入特征；为深度可分离卷积的卷积核尺寸。

39、与现有技术相比，本发明具有如下技术效果：

40、1、相较于现有遥感实例分割方法仅使用单rgb可见光模态特征，忽略轮廓边缘信息的缺陷，本发明同时引入可见光rgb遥感图像和边缘轮廓图像构建双模态输入，可见光rgb遥感图像提供完整场景语义与色彩纹理信息，边缘轮廓图像精准强化地物边界、目标轮廓突变特征，二者深度跨模态融合，有效克服云雾遮挡、大气散射、光照不均、地物混杂等遥感场景干扰，显著提升模型在恶劣复杂工况下的特征提取稳定性与泛化能力。

41、2、本发明通过自适应高频特征增强模块（ahffe），将空域特征经实快速傅里叶变换转换至频域，筛选并强化高频分量后逆变换回空域，再经通道增强路径（gap+gmp生成通道权重）与空间增强路径（1×1卷积生成空间注意力图）双路并行加权增强，实现了对地物边缘、细微纹理、轮廓拐点等高频信息的精准挖掘与自适应强化。相比传统网络仅在空间域进行常规卷积特征提取、忽视频域高频细节的缺陷，该模块能够主动聚焦有效高频特征，大幅改善了实例分割掩码的边缘精细度，有效解决了分割轮廓模糊、边缘锯齿粗糙、相邻实例相互粘连、细小地物轮廓丢失等痛点问题。

42、3、相较于传统瓶颈模块固定卷积核、单一固化感受野，无法适配遥感图像大跨度尺度目标分布的问题，本发明通过残差多感受野融合模块（rmrfb），通过3×3、7×7、9×9三种不同尺寸卷积并行捕获小、中、大尺度遥感目标特征，旁路跳跃特征直接传递至末端与主路输出拼接融合后经第二卷积层输出，彻底解决了传统固定卷积核单一感受野无法适配遥感图像中大跨度尺度目标的缺陷；通过多尺度并行卷积与残差跳连结构的有机结合，在参数量与计算量小幅可控增长的前提下，实现了对密集小目标、常规中目标与大范围地物目标的全面精准感知，同时有效缓解了深层网络训练中的梯度消失与特征退化问题。