基于三维掩码自编码器和视觉显著性特征融合的异源遥感影像处理方法

本发明属于遥感图像处理领域。

背景技术：

1、随着遥感技术的快速发展，合成孔径雷达（sar）与光学遥感成像技术已广泛应用于环境监测、灾害评估、农业估产及城市规划等领域。光学图像基于可见光或红外辐射，能够清晰地反映地物的光谱特征和颜色信息，但其成像受光照和天气条件限制；sar图像基于微波主动成像，具有全天时、全天候的观测能力，能够穿透云层和烟雾，但对地物的几何结构特性更为敏感。

2、现有异源遥感图像融合方法主要存在三个缺陷：一是过于依赖简单的特征堆叠，未能充分考虑光学和sar影像间的模态差异；二是对sar影像固有的斑点噪声抑制不足；三是缺乏有效的视觉感知优化机制，导致融合结果在实际应用中可解释性不足。

技术实现思路

1、本发明是为了解决现有异源遥感图像融合方法对多模态互补特征利用不充分、噪声抑制能力弱及视觉感知差的问题，现提供一种基于三维掩码自编码器和视觉显著性特征融合的异源遥感影像处理方法。

2、本申请所述基于三维掩码自编码器和视觉显著性特征融合的异源遥感影像处理方法，包括：

3、步骤一、获取同一区域配准后光学图像与sar图像，将配准后光学图像的rgb三通道与sar图像的单通道沿通道维度拼接构成三维输入张量；

4、步骤二、构建三维掩码自编码器，利用所述三维输入张量对所述三维掩码自编码器进行自监督预训练，获得预训练后编码器；

5、步骤三、利用预训练后的编码器对步骤一所述的配准后光学图像与sar图像进行特征提取，获取主结构特征msf和细节纹理特征dtf；

6、对所述主结构特征msf，采用全变分约束模型进行融合，获得结构融合结果；

7、对所述细节纹理特征dtf，通过gabor小波变换进行多方向、多尺度分解，获得多方向多尺度纹理响应系数，利用所述纹理响应系数，获得纹理融合结果；

8、步骤四、将所述结构融合结果与纹理融合结果进行加权融合，并通过ihs逆变换恢复rgb色彩信息，得到最终融合图像。

9、进一步地，本发明中，步骤二中，利用所述三维输入张量对所述三维掩码自编码器进行自监督预训练，获得预训练后编码器的过程为：

10、将所述三维输入张量划分为n个图像块，在空间维度和通道维度上同时执行随机无放回掩码操作，获得可见图像块与掩码标记；

11、三维掩码自编码器的编码器对所述可见图像块进行特征编码，生成潜在表示矩阵，将所述掩码标记插入至潜在表示矩阵中，获得与原始图像块总数n等长的完整序列；

12、三维掩码自编码器的轻量级解码器接收所述完整序列，重建被掩码的图像区域，完成自监督预训练。

13、进一步地，本发明中，在空间维度和通道维度上同时执行随机无放回掩码操作的掩码比率为75%。

14、进一步地，本发明中，步骤三中，所述主结构特征msf来源于编码器深层网络输出的特征图，所述细节纹理特征dtf来源于编码器浅层网络输出的特征图；所述深层网络为编码器最后k层，浅层网络为编码器前k层，其中，k=4。

15、进一步地，本发明中，步骤三中，所述全变分约束模型为：

16、；

17、其中，为最优结构融合结果，为待求的msf融合结果，为正则化参数，为梯度算子，表示l1范数，用于增强稀疏性和边缘保持，表示像素显著图（pixelsaliency map），由编码器的自注意力权重矩阵计算得到，用于定位重要像素；表示结构显著图（structural saliency map），由注意力梯度的frobenius范数归一化得到，用于捕获边缘结构信息；

18、；

19、其中，表示光学图像的像素显著图，表示sar图像的像素显著图；表示sar图像的主结构特征；表示光学图像的主结构特征；

20、；

21、其中，表示编码器的自注意力权重矩阵，表示注意力权重矩阵的空间梯度，表示注意力梯度矩阵的 frobenius 范数。

22、进一步地，本发明中，步骤三中，纹理融合结果为：

23、；

24、；；

25、其中，p和q分别为光学图像每个像素位置的多方向多尺度纹理响应系数归一化概率分布向量和sar图像对应位置的纹理响应系数归一化为概率分布向量；为像素位置(m,n)处的对称相似性度量；和分别为光学图像和sar图像在像素位置(m,n)处的纹理响应系数；∇为梯度算子；为融合后的细节纹理特征，表示当前输入或待处理的整张遥感影像所对应的二维空间像素特征矩阵（其尺寸由影像的高度h和宽度w决定），所有像素位置smv的均值，和分别表示纹理特征响应空间的特征通道x上的纹理响应系数归一化为概率值和sar图像在特征通道x上纹理响应系数归一化为概率值；x表示纹理特征响应空间中的特征通道索引，表示kl 散度，度量分布 q与分布 p之间的差异，表示kl 散度，表示度量分布p与分布q之间的差异。

26、进一步地，本发明中，最终融合图像为：

27、；

28、其中，为ihs变换矩阵，为其逆矩阵，表示图像色调，表示图像饱和度；、和分别表示最终融合后图像的红色通道、绿色通道和蓝色通道的颜色分量值，r、g、b分别表示原始光学图像的红色通道、绿色通道和蓝色通道的颜色分量值 ；为最终融合强度分量 。

29、进一步地，本发明中，图像强度为融合后的强度分量的值；

30、；

31、；

32、其中，为细节增强系数，表示光学图像的主结构特征（msf）经全变分约束模型融合后得到的结构融合结果（空间分布）；表示sar 图像的动态融合权重；表示融合后的细节纹理特征（dtf）；表示sar 图像的主结构特征（msf）经全变分约束模型融合后得到的结构融合结果；表示三维掩码自编码器在光学图像掩码区域上的重建误差，表示三维掩码自编码器在 sar 图像掩码区域上的重建误差；表示光学图像的动态融合权重。

33、本发明通过构建三维掩码自编码器并在空间与通道维度上同时执行掩码预训练，迫使模型有效学习光学与sar图像之间的跨模态互补信息；在此基础上，分层提取主结构特征与细节纹理特征，分别采用全变分约束模型与gabor小波-kl散度动态选择策略进行融合，显著提升了对sar斑点噪声的抑制能力和对纹理细节的保留效果；同时引入像素显著图和结构显著图引导融合过程，并依据重建误差自适应分配融合权重，增强了在云雾遮挡、噪斑干扰等退化情形下的鲁棒性。与现有方法相比，本发明能够更充分地利用多模态互补信息，在主观视觉质量和客观评价指标（结构相似性提升0.94以上、峰值信噪比提高2.8 db、变化检测准确率提高5.2%）上均取得明显优势，具有良好的实际应用价值。

1.基于三维掩码自编码器和视觉显著性特征融合的异源遥感影像处理方法，其特征在于，包括：

2.根据权利要求1所述的基于三维掩码自编码器和视觉显著性特征融合的异源遥感影像处理方法，其特征在于，步骤二中，利用所述三维输入张量对所述三维掩码自编码器进行自监督预训练，获得预训练后编码器的过程为：

3.根据权利要求1所述的基于三维掩码自编码器和视觉显著性特征融合的异源遥感影像处理方法，其特征在于，在空间维度和通道维度上同时执行随机无放回掩码操作的掩码比率为75%。

4.根据权利要求1所述的基于三维掩码自编码器和视觉显著性特征融合的异源遥感影像处理方法，其特征在于，步骤三中，所述主结构特征msf来源于编码器深层网络输出的特征图，所述细节纹理特征dtf来源于编码器浅层网络输出的特征图；所述深层网络为编码器最后k层，浅层网络为编码器前k层，其中，k=4。

5.根据权利要求1所述的基于三维掩码自编码器和视觉显著性特征融合的异源遥感影像处理方法，其特征在于，步骤三中，所述全变分约束模型为：

6.根据权利要求5所述的基于三维掩码自编码器和视觉显著性特征融合的异源遥感影像处理方法，其特征在于，步骤三中，纹理融合结果为：

7.根据权利要求1所述的基于三维掩码自编码器和视觉显著性特征融合的异源遥感影像处理方法，其特征在于，步骤四中，最终融合图像为：

8.根据权利要求7所述的基于三维掩码自编码器和视觉显著性特征融合的异源遥感影像处理方法，其特征在于，图像强度为融合后的强度分量的值；