一种AEF语义引导的SAR自监督去噪方法和系统

本发明涉及遥感图像处理与计算机视觉，尤其涉及一种alphaearthfoundations（aef）语义引导的sar自监督去噪方法和系统。

背景技术：

1、合成孔径雷达（sar）通过相干成像机制获取地物散射信息，其成像过程中固有的相干斑噪声严重降低了图像的可解译性，并对后续的目标检测、地物分类与变化检测等任务造成不利影响。现有的sar图像去噪方法主要包括监督式深度学习方法和自监督深度学习方法。

2、基于深度学习的监督去噪方法能够从带噪图像到无噪图像的映射关系中学习复杂的去噪特征，其训练通常依赖大量严格配准的噪声—干净图像对。然而，真实sar图像中的斑点噪声由相干成像机制产生，难以获得与实际图像严格配准的干净标签，这极大地限制了监督式方法在真实sar数据上的应用。

3、为减少对无斑标签的依赖，现有技术提出了基于盲点网络的自监督去噪方法。盲点网络在预测中心像素时屏蔽该像素本身，仅利用周围邻域像素完成重建，从而利用单幅带噪图像进行训练。但是，真实sar斑点噪声通常具有一定的空间相关性。当盲点范围过小时，邻域中的相关斑点可能被网络学习并重新映射至输出结果；当盲点范围过大时，又会损失中心像素附近的有效地物结构，造成边缘模糊和细节缺失。已有非对称可调盲点网络能够在原始分辨率下通过训练阶段和推理阶段采用不同大小的盲点进行训练，在一定程度上缓解了上述矛盾，但其仍然缺少独立于sar图像本身的地表语义信息，无法显式区分斑点噪声与真实地物结构。

4、因此，现有技术主要存在以下缺陷：

5、（1）斑点噪声抑制与局部结构保持难以兼顾：较大的盲点有利于削弱空间相关噪声，但会丢失更多局部信息，容易造成边缘模糊、纹理损失；较小的盲点有利于保持细节，却可能使网络继续利用与中心位置相关的噪声。

6、（2）仅依赖sar图像自身信息，难以准确区分斑点噪声与真实地物结构：现有自监督去噪方法主要根据sar局部空间特征进行像素重建，缺少地表语义层面的外部约束，容易将同类地物内部由斑点噪声引起的随机灰度波动误认为真实纹理，也可能将水陆边界、建筑边缘和农田边界等真实结构差异过度平滑。

技术实现思路

1、本发明针对现有技术的缺陷，提供了一种aef语义引导的sar自监督去噪方法和系统。

2、为了实现以上发明目的，本发明采取的技术方案如下：

3、一种aef语义引导的sar自监督去噪方法，包括以下步骤：

4、获取带噪的sar图像以及与所述sar图像在地理覆盖范围和时间范围上对应的alphaearth foundations（aef）地表基础嵌入数据；

5、将所述sar图像输入具有非对称可调盲点机制的自监督去噪网络，得到sar去噪预测结果以及训练阶段输出的全分辨率去噪融合特征；

6、根据不同空间位置的地表基础嵌入向量之间的余弦相似度，在每一个中心位置的局部邻域内构建局部语义相似权重图；

7、根据所述局部语义相似权重图，对所述自监督去噪网络输出的全分辨率去噪融合特征构建aef特征级语义一致性损失，并将所述语义一致性损失与盲点自监督损失联合优化，得到训练完成的sar去噪网络；

8、将待处理sar图像输入训练完成的sar去噪网络，获得sar去噪图像。

9、进一步地，所述自监督去噪网络为非对称可调盲点去噪网络，包括方向变换模块、共享参数的方向受限特征提取模块、特征位移模块、方向恢复模块、特征融合模块和去噪模块；所述方向变换模块将输入sar图像分别旋转0°、90°、180°和270°后，分别输入共享参数的方向受限特征提取模块；所述特征位移模块按照预设特征偏移量执行特征位移，使目标位置周围形成由四个方向共同限定的中心盲点区域；所述方向恢复模块对四个旋转分支的位移特征分别执行对应的逆旋转操作，使其恢复至输入sar图像的原始空间方向；所述特征融合模块对恢复后的上、下、左、右四个方向特征沿通道维度进行拼接，得到多方向拼接特征，并进一步得到空间尺寸与输入sar图像一致的全分辨率去噪融合特征；所述去噪模块对所述全分辨率去噪融合特征进行重建，得到sar去噪预测结果。

10、进一步地，所述非对称可调盲点去噪网络在训练阶段采用第一特征偏移量，在推理阶段采用第二特征偏移量，在推理阶段采用第二特征偏移量，训练阶段和推理阶段的有效盲点范围分别记为和，且满足、，其中表示由特征偏移量确定有效盲点范围的函数，并满足大于，使得训练阶段的有效盲点范围大于推理阶段的有效盲点范围。

11、进一步地，所述aef地表基础嵌入数据为64维地表嵌入向量；对于sar图像块中的任一中心位置，选取其局部邻域；所述局部邻域为以位置为中心的滑动窗口，其中为大于等于3的正奇数；对于中心位置及其局部邻域中的任一位置，从与sar图像在地理范围和时间范围上对齐后的地表基础嵌入数据中分别提取对应的嵌入向量和。

12、进一步地，所述局部语义相似权重图的构建过程包括：计算中心位置与邻域位置之间的余弦相似度：

13、

14、其中，表示中心位置与邻域位置之间的余弦相似度，和分别为中心位置和邻域位置对应的地表基础嵌入向量；引入温度系数对相似度进行指数映射，并在中心位置的局部邻域内执行softmax归一化，得到局部语义相似权重：

15、

16、其中，为温度系数，用于调节局部邻域中不同语义相似度之间的权重差异；对sar图像块中的全部位置重复上述计算，得到局部语义相似图，其中和分别为sar图像的高度和宽度。

17、进一步地，所述aef特征级语义一致性损失的具体形式为：

18、

19、其中，表示sar图像的总像素数；为中心位置与邻域位置之间的局部语义相似权重；和分别为中心位置与邻域位置对应的全分辨率去噪融合特征向量；为特征距离函数，包括smoothl1损失或charbonnier损失；当较大时，表示两个位置对应的地表语义较为相似，对二者施加较强的特征一致性约束；当较小时，表示两个位置的地表语义差异较大，减弱二者之间的特征一致性约束，以避免跨越真实地物边界进行错误平滑。

20、进一步地，所述联合优化包括：根据所述非对称可调盲点去噪网络的预测结果和带噪sar观测图像，计算盲点自监督损失：

21、将所述盲点自监督损失与所述aef特征级语义一致性损失进行加权组合，得到联合训练损失：

22、

23、其中，为盲点自监督损失；为aef特征级语义一致性损失；为aef语义一致性损失的权重系数，用于平衡两个损失项的相对贡献；基于所述联合训练损失进行反向传播，并更新网络参数，直至满足预设训练终止条件，得到训练完成的网络参数。

24、进一步地，所述获得sar去噪图像的步骤包括：固定训练完成的非对称可调盲点去噪网络参数，不再对网络参数进行更新；获取待处理sar图像，并执行与训练阶段一致的基础预处理；将训练阶段采用的特征偏移量调整为推理阶段的特征偏移量，使推理阶段的有效盲点范围小于训练阶段的有效盲点范围；将预处理后的待处理sar图像直接输入训练完成的去噪网络，得到sar去噪结果；推理阶段不需要输入aef地表基础嵌入数据，也不需要重新计算局部语义相似图，从而避免增加推理阶段的外部数据依赖；对网络输出结果进行逆归一化，恢复至sar图像原始数值范围，得到最终去噪图像。

25、本发明还公开了一种aef语义引导的sar自监督去噪系统，包括：

26、数据获取模块，用于获取带噪的sar图像以及与所述sar图像在地理覆盖范围和时间范围上对应的aef地表基础嵌入数据；

27、盲点去噪网络模块，用于基于非对称可调盲点机制对所述sar图像进行方向变换、共享参数的方向受限特征提取、特征位移、方向恢复、特征融合和去噪重建，得到sar去噪预测结果以及训练阶段输出的全分辨率去噪融合特征；

28、语义相似图构建模块，用于根据不同空间位置的地表基础嵌入向量之间的余弦相似度，在每一个中心位置的局部邻域内构建局部语义相似权重图；

29、联合训练模块，用于根据所述局部语义相似权重图对所述全分辨率去噪融合特征构建aef特征级语义一致性损失，并将所述语义一致性损失与盲点自监督损失联合优化，得到训练完成的sar去噪网络；

30、推理去噪模块，用于将待处理sar图像输入训练完成的sar去噪网络，获得sar去噪图像。

31、进一步地，所述盲点去噪网络模块包括：

32、方向变换模块，用于将输入sar图像分别旋转0°、90°、180°和270°；

33、共享参数的方向受限特征提取模块，用于对四个旋转方向的图像分别进行编码和解码，提取四个方向受限感受野特征，且四个旋转分支共享网络参数；

34、特征位移模块，用于按预设特征偏移量执行特征位移，使目标位置周围形成由四个方向共同限定的中心盲点区域；

35、方向恢复模块，用于对四个旋转分支的位移特征分别执行对应的逆旋转操作，使其恢复至输入sar图像的原始空间方向；

36、特征融合模块，用于对恢复后的上、下、左、右四个方向特征沿通道维度进行拼接，得到多方向拼接特征，并进一步得到空间尺寸与输入sar图像一致的全分辨率去噪融合特征；

37、去噪模块，用于对所述全分辨率去噪融合特征进行重建，得到sar去噪预测结果。

38、与现有技术相比，本发明的优点在于：

39、（1）本发明通过引入aef生成的64维地表嵌入向量作为外部结构先验，能够在去噪过程中显式区分斑点噪声与真实地物结构，减少将同类地物内部由斑点噪声引起的随机灰度波动误判为真实纹理，以及将水陆边界、建筑边缘和农田边界等真实结构差异过度平滑的问题。

40、（2）本发明通过构建基于余弦相似度与温度系数softmax归一化的局部语义相似权重，对盲点网络输出的融合特征施加语义一致性约束，使网络对地表语义相似的相邻位置保持特征一致，对语义差异较大的相邻位置减弱一致性约束，从而在抑制空间相关斑点噪声的同时，更好地保持地物边缘和纹理细节。

41、（3）本发明采用非对称可调盲点机制，训练阶段使用较大的有效盲点范围，推理阶段使用较小的有效盲点范围，在抑制空间相关斑点噪声的同时，进一步降低了对中心像素附近真实地物结构的损伤，改善了去噪图像的辐射保真度。

42、（4）本发明的语义一致性损失仅在训练阶段参与反向传播，推理阶段不需要输入aef地表基础嵌入数据，也不需要重新计算局部语义相似图，因此不会增加推理阶段的外部数据依赖，便于在工程平台上部署应用。