基于SAR引导的多传感器变化检测方法及系统

本发明属于合成孔径雷达图像处理与多传感器遥感，具体涉及一种基于sar引导的多传感器变化检测方法及系统。

背景技术：

1、多传感器变化检测通过综合分析同一区域不同时间、不同传感器获取的遥感图像，识别地表覆盖的变化情况，在灾害评估、城市规划、土地资源管理等领域具有不可替代的应用价值。其中，合成孔径雷达(sar)与光学图像的融合尤为重要：sar具有全天时、全天候的成像能力，不受光照和天气条件影响，能够提供稳定的结构信息；而光学图像则具有丰富的光谱和纹理细节，能够提供更直观的语义信息。

2、近年来，基于深度学习的多传感器变化检测方法展现了强大的潜力。然而，现有方法多聚焦于简单的特征拼接或加权融合，对异构数据的固有特性与互补性的协同建模尚不充分。同时，纯粹的卷积神经网络在建模长程依赖方面存在固有局限，而纯粹的transformer架构虽能捕获全局上下文，却对局部细节学习不足且计算复杂。尽管有研究尝试引入注意力机制来提升融合效果，但大多采用通用的注意力模块，未能充分利用sar图像全天候的稳定性优势来指导光学特征的处理，光学图像易受云层、雾霾、阴影等大气干扰影响导致部分区域数据失效，sar图像则受相干成像机理限制存在严重的相干斑噪声会掩盖精细的地表特征，且由于成像角度、地形起伏和预处理误差，不同时相的图像往往存在细微的空间配准偏差会产生大量伪变化，严重降低检测精度。为了融合异构数据，现有方法通常试图将不同模态的特征映射到统一的语义空间，但这种强制对齐的过程会导致模型丢弃模态特有的关键信息，如sar对地表粗糙度的敏感性和光学图像的光谱区分度，形成信息瓶颈，限制了检测性能的进一步提升。

技术实现思路

1、基于现有技术中存在的上述不足，本发明的目的是提供一种基于sar引导的多传感器变化检测方法及系统，采用sar引导的自适应融合机制、运动感知的时相对齐模块和双自监督正则化策略，实现复杂环境下高精度、鲁棒的多传感器变化检测。

2、为了达到上述发明目的，本发明一方面，提供一种基于sar引导的多传感器变化检测方法，包括以下步骤：

3、s1.获取目标变化前后的sar图像与光学图像。

4、s2.利用离散小波变换模块对各时相的sar图像和光学图像分别进行频域分解，分别得到sar多频带子带系数和光学多频带子带系数。

5、s3.将所述sar多频带子带系数和光学多频带子带系数分别输入至结构异构的双分支编码架构中进行独立的层次化特征提取，其中，sar分支采用基于多尺度空洞卷积与通道注意力机制级联的上下文聚合编码器，通过级联的上下文引导块在多个感受野下捕获sar图像中散射特性隐含的局部纹理与周边上下文信息，生成sar模态的多层级跳连特征和深层语义特征；光学分支则采用卷积网络构建的混合编码器，混合编码器中通过在卷积层联引入mamba状态空间层与transformer自注意力层，在保持线性计算复杂度的同时建立光学图像中全局上下文的长程依赖关系，生成光学模态的多层级跳连特征。

6、s4.将s3中得到的sar多层级跳连特征和光学多层级跳连特征成对地进行基于归一化互相关与变分能量最小化的跨模态预融合，得到增强后的光学特征，再将原始sar特征与该增强后的光学特征一同输入至sar引导融合模块；对于每一层级，该模块首先基于输入的sar特征动态生成空间置信度图，利用该置信度图对增强后的光学特征进行自适应调制以增强可信区域并抑制不确定区域，进而将原始sar特征与调制后的光学特征在通道维度进行拼接与融合，得到多层级融合跳连特征。

7、s5.基于变化前后sar 图像与光学图像得到的多层级融合跳连特征，利用运动感知特征增强模块，应用可变形卷积学习事件前与事件后时相特征之间的偏移场，依据所述偏移场对大时相差异区域进行自适应特征对齐，计算对齐后的时相差异信号，然后通过基于局部结构张量与局部熵的门控自适应增强对该差异信号进行调制，再将调制后的差异信号输入至包含多尺度卷积分支与池化分支的多尺度信息聚合结构中，生成时空增强信号以强化变化敏感特征，最终得到增强后的时相特征。

8、s6.计算多层级融合跳连特征的时相绝对差异以及增强后时相特征的模态差异，输入解码器生成变化检测结果图。

9、s7.采用联合损失函数进行训练，所述联合损失函数由分割损失、跨模态对比损失和跨模态重建损失加权求和构成，其中，分割损失用于约束变化图的像素级精度，跨模态对比损失用于最大化sar与光学模态特征空间中不变特征的一致性，跨模态重建损失用于从模态的深层语义特征重建另一模态的原始频域表示以强化模态间信息互补性，保存最优训练权重。

10、作为优选方案，所述步骤s2中利用haar小波滤波器对输入图像进行卷积操作，分别生成低频近似子带(ll)、水平高频子带(lh)、垂直高频子带(hl)和对角高频子带(hh)，然后进行卷积操作，所有子带的卷积结果沿通道维度拼接，输出sar多频带子带系数和光学多频带子带系数。

11、作为优选方案，所述步骤s4具体实现过程中，对于编码器第  层的 sar 多层级跳连特征和光学多层级跳连特征，进行跨模态预融合，具体如下：

12、首先，基于第层的 sar 多层级跳连特征和光学多层级跳连特征。计算局部归一化互相关：

13、

14、其中、为局部窗口内的通道均值。构造自适应融合权重：

15、

16、得到加权组合特征进一步求解变分能量最小化问题：定义能量泛函：

17、

18、其中,，其中为局部方差，为正则化系数，表示梯度，表示二范数，能量泛函对应的欧拉-拉格朗日方程为：

19、

20、求解欧拉-拉格朗日方程得到预融合特征，作为增强后的光学特征。同时，将原始sar特征输入由两个3×3卷积层、批归一化层和relu激活函数构成的置信度头，经sigmoid函数归一化后生成空间置信度图：

21、

22、其中  为 sigmoid 函数， 为置信度头网络。

23、其次，通过逐元乘积将置信度图与增强后的光学特征相乘，实现软门控调制：

24、

25、最后，将原始sar特征与调制后的光学特征沿通道维度拼接，并通过1×1卷积层进行融合，生成多层级融合跳连特征：

26、

27、基于变化前后sar图像与光学图像得到的多层级融合跳连特征。

28、记其由步骤s3提取得到的多层级融合跳连特征为，多层级融合跳连特征为，具体增强步骤如下：

29、第一步，将特征与特征堆叠形成二通道特征，输入到一个由3×3卷积层构成的偏移预测网络，预测出一个密集的二维空间位移场,记为offset。

30、第二步，以特征为待采样图，以上一步预测的位移场offset为引导，执行可变形卷积操作。可变形卷积会根据offset中每个位置的偏移量，对进行自适应重采样，使事件后特征在空间上与事件前特征对齐，生成对齐后变化后特征,记为。

31、第三步，计算特征与变化后特征之间的绝对差异信号（记为），以突出发生变化的位置：。

32、第四步，对差异信号进行基于局部结构张量与局部熵的门控自适应增强。首先计算差异信号的空间梯度，，和为坐标轴方向对应的梯度，定义局部结构张量：

33、

34、其中为标准差为的高斯核，表示卷积。局部结构张量的迹反映局部梯度能量，构造门控系数：

35、

36、其中为敏感度参数。用该系数对差异信号进行调制：

37、

38、其中为正的超参数。然后计算局部熵：在局部窗口内计算差异信号的灰度直方图概率，定义局部熵：

39、

40、归一化至：。对已调制的信号进行幂次拉伸：

41、

42、其中为增强幅度参数，为非线性调节因子。将增强后的差异信号。

43、第五步，将增强后的差异信号输入到多尺度信息聚合模块。该模块同时包含五个并行的处理分支：3×3卷积分支、5×5卷积分支、7×7卷积分支、全局平均池化分支、全局最大池化分支。各分支分别捕获不同尺度的变化模式后，将五个分支的输出在通道维度上拼接在一起，再通过一个1×1卷积层进行融合，生成统一的时空增强信号，记为作为增强后的时相特征。

44、第六步，将时空增强信号通过残差连接分别加回变化前特征和对齐后的变化后特征，得到最终增强后的两时相特征（记为和），其中是一个可学习的缩放系数，初始值通常设为0.1，用于控制增强信号的注入强度：

45、

46、

47、作为优选方案，所述步骤s7具体实现过程中所述联合损失函数定义为：

48、

49、其中为监督分割损失，为对比损失，为跨模态重建损失，和为平衡超参数。

50、所述监督分割损失由二值交叉熵(bce)损失和dice损失混合构成，并引入深度监督机制，将中间解码器输出的损失加权求和。

51、所述对比损失基于infonce损失构建，将同一位置的sar和光学特征视为正样本对，在共享嵌入空间中拉近其距离，同时推远不同位置的负样本对。

52、所述跨模态重建损失包含两个方向：从sar深层特征重建光学频域输入，以及从光学深层特征重建sar频域输入，均采用均方误差(mse)进行度量。

53、本发明另一方面，还提供一种基于sar引导的多传感器变化检测系统，包括以下模块：

54、图像获取模块，用于获取目标变化前后的sar图像与光学图像。

55、频域分解模块，用于利用离散小波变换模块对各时相的sar图像和光学图像分别进行频域分解，分别得到sar多频带子带系数和光学多频带子带系数。

56、多上下文编码模块，用于将sar多频带子带系数和光学多频带子带系数分别输入至结构异构的双分支编码架构，进行层次化特征提取，分别生成多层级跳连特征。

57、sar引导融合模块，用于将sar多层级跳连特征和光学多层级跳连特征进行跨模态预融合，再通过sar引导融合模块，得到多层级融合跳连特征。

58、运动感知特征增强模块，基于变化前后sar 图像与光学图像得到的多层级融合跳连特征，利用运动感知特征增强模块，学习变化前后时相特征之间的偏移场进行自适应特征对齐与调制，再聚合生成时空增强信号，得到增强后的时相特征。

59、解码模块，计算多层级融合跳连特征的时相绝对差异以及增强后时相特征的模态差异，输入解码器生成变化检测结果图。

60、训练模块，用于构建包含分割损失、对比损失和跨模态重建损失的联合损失函数进行训练，并保存最优训练权重。

61、本发明的有益效果在于：

62、(1) 本发明提出了sar引导的自适应融合机制，利用 sar 图像全天候的稳定性生成动态置信度图，自动抑制光学图像中受云层、雾霾影响的不可靠区域，显著提升了模型在恶劣天气条件下的鲁棒性。

63、(2) 引入了运动感知特征增强模块，通过可变形卷积实现特征级的动态时相对齐，有效消除了由配准误差引起的伪变化；同时结合多尺度信息聚合，强化了变化相关的特征表示。

64、(3) 创新性地提出了双自监督正则化策略，将对比学习用于跨模态语义对齐，同时通过跨模态重建任务保留模态特有的关键信息，从根本上解决了表示对齐与信息瓶颈的矛盾。