基于对象环境解耦与跨场景迁移的遥感影像重建方法

摘要: 本发明涉及遥感影像处理,涉及基于对象环境解耦与跨场景迁移的遥感影像重建方法。背景技术:1、随着高分辨率光学遥感卫星的发展,高分辨率光学遥感影像已经广泛应用于自然...
基于对象环境解耦与跨场景迁移的遥感影像重建方法

本发明涉及遥感影像处理,涉及基于对象环境解耦与跨场景迁移的遥感影像重建方法。

背景技术:

1、随着高分辨率光学遥感卫星的发展,高分辨率光学遥感影像已经广泛应用于自然资源调查、生态环境监测、灾害评估、城市规划及农业监测等领域。然而,由于云层遮挡、雾霾、大气散射以及光照变化等因素影响,大量遥感影像存在不同程度的云遮挡现象,导致地物信息缺失,严重影响遥感影像的后续应用。因此,如何重建云遮挡区域真实的地物信息成为遥感图像处理领域的重要研究方向。

2、目前,针对遥感影像云遮挡重建主要包括基于空间域插值、时序影像恢复、多源数据融合以及深度学习的方法。其中,近年来基于卷积神经网络(cnn)、生成对抗网络(gan)、transformer以及扩散模型(diffusion model)的深度学习方法已成为主流技术路线,通过学习有云影像与无云影像之间的映射关系实现云遮挡区域重建。

3、但是,这些深度学习方法普遍采用整体特征学习策略,将地物信息、云层、大气散射、光照条件以及传感器成像环境共同编码到同一特征空间中进行学习,存在以下不足:

4、(1)成像对象信息与成像环境信息高度耦合,无法有效分离地物固有结构与环境变化因素,导致重建结果容易产生光谱失真和纹理退化;

5、(2)在复杂场景或大面积云遮挡情况下,边界区域容易出现模糊、细节缺失及结构失真,难以保持高分辨率影像的空间细节;

6、(3)现有方法通常直接迁移整体特征,不能有效适应不同区域、不同传感器及不同成像条件造成的数据分布差异,导致跨场景泛化能力较差。

技术实现思路

1、针对现有技术中由于成像对象信息与环境信息耦合导致的遥感影像重建失真及跨场景泛化能力较差的技术问题,本发明提出了基于对象环境解耦与跨场景迁移的遥感影像重建方法,它包括以下步骤:

2、获取遥感影像、多时像影像,通过互补规则构建合成输入影像;

3、将所述合成输入影像和随机背景影像分别输入特征编码器,得到合成输入影像的潜在特征图和随机背景影像的潜在特征图;

4、根据所述合成输入影像的潜在特征图,利用通道极大值计算得到合成输入影像的初始环境特征,并通过归一化计算得到合成输入影像的初始对象特征;

5、对所述合成输入影像的初始对象特征进行成像对象特征提取,得到精细成像对象特征;

6、对所述合成输入影像的初始环境特征和所述随机背景影像的潜在特征图分别进行成像环境特征提取,得到合成输入影像的前景环境特征和随机背景环境特征;

7、将所述精细成像对象特征、所述合成输入影像的前景环境特征、所述随机背景环境特征输入扩散模型,对扩散模型进行前向扩散训练和反向去噪训练,当扩散模型的目标函数迭代优化次数达到预设的最大迭代次数时停止训练并输出影像分布数据。

8、进一步地,采用以下公式构建合成输入影像:

9、  ;其中,为待重建的遥感影像;为多时相影像;为二值云掩膜;为合成输入影像。

10、进一步地,采用以下公式计算得到合成输入影像的初始环境特征:

11、;

12、其中,表示合成输入影像在空间像素坐标(x,y)处的潜在特征图;c表示特征图的特征通道索引;c表示特征图的总通道数;表示在空间像素坐标(x,y)处的合成输入影像的初始环境特征;

13、采用以下公式计算得到合成输入影像的初始对象特征:

14、;

15、其中,为极小常数;为合成输入影像在空间像素坐标(x,y)处的初始对象特征。

16、进一步地,所述成像对象特征提取的方法为:

17、将所述合成输入影像的初始对象特征输入卷积神经网络的第一1×1卷积层,经sigmoid函数激活,生成逐像素注意力权重图;

18、将所述合成输入影像的初始对象特征输入卷积神经网络的第一3×3卷积层,提取局部空间特征;

19、将所述逐像素注意力权重图与所述局部空间特征相乘,得到像素注意力增强特征;

20、将所述合成输入影像的初始对象特征输入卷积神经网络的第二3×3卷积层,提取上下文结构特征;

21、将所述像素注意力增强特征与所述上下文结构特征沿通道维度拼接,得到拼接特征;

22、将所述拼接特征输入卷积神经网络的第二1×1卷积层,进行通道融合与降维,恢复至原通道数;

23、将降维后的特征与所述合成输入影像的初始对象特征进行像素残差相加,输出精细成像对象特征。

24、进一步地,所述成像环境特征提取的方法为:

25、获取transformer神经网络的编码器相邻两层中前一层的键矩阵和值矩阵,并将其固定共享给当前层使用;

26、在当前层通过线性投影矩阵更新查询矩阵,当前层的键矩阵和值矩阵保持前一层的值不变;

27、将当前层更新后的查询矩阵,与共享自前一层的键矩阵和值矩阵进行交叉注意力计算,得到跨层环境注意力分布;所述跨层环境注意力分布的计算公式为:

28、;

29、其中,;

30、式中,、,为神经网络的可学习投影矩阵,为神经网络的键向量维度缩放因子;为神经网络第l层的输入;为神经网络第l-1层的输入。

31、进一步地,所述前向扩散训练的方法为:

32、计算初始融合环境特征状态:;其中,为合成输入影像的前景环境特征,为精细成像对象特征;为随机背景环境特征;

33、再利用预定义的方差调度超参数序列调节高斯噪声添加强度,并在时间步的马尔可夫链单步转换中,通过如下公式实现从时刻图像状态到时刻含噪图像状态的转换:

34、;

35、其中,为预定义的方差调度超参数序列,为真实加噪数据;t为前向扩散训练的次数对应的时间。

36、进一步地,所述后向去噪训练的方法为:

37、将所述精细成像对象特征作为约束条件输入噪声估计网络,同时将随机背景环境特征作为条件特征注入噪声估计网络,引导生成目标场景下的辐射与环境分布数据,采用以下公式计算:

38、;

39、其中的均值预测向量计算为:

40、

41、式中,;为反向转移方差;n为高斯分布;i为单位矩阵;为噪声预测神经网络。

42、进一步地,所述扩散模型的目标函数为:

43、;

44、其中,为噪声重构的扩散型损失,为真实加噪数据,为噪声预测神经网络,为神经网络的超参数权重;为自约束一致性损失函数,采用以下公式计算:

45、;

46、其中,为初始融合环境特征状态,,式中,为精细成像对象特征;为经过校正后的背景环境特征,为环境校正因子。

47、进一步地,还包括整体解耦损失函数和影像重建损失函数,所述整体解耦损失函数用于评估遥感影像和环境特征解耦后与真实影像的误差,所述影像重建损失函数用于评估所述影像分布数据与真实影像的误差。

48、进一步地,所述整体解耦损失函数采用以下公式计算:

49、;

50、其中,、、为神经网络的超参数权重,为构建合成输入影像时的内容损失函数,为成像环境特征提取时的成像环境一致性损失函数,为成像环境特征提取时的成像环境平滑性损失函数。

51、本发明根据经典retinex物理成像理论,即观测影像显式且合理地近似建模为成像对象属性与成像环境因素的元素级乘积。本发明的基于对象环境解耦与跨场景迁移的遥感影像重建方法,将遥感影像输入特征编码器得到影像的潜在特征图,再通过潜在特征图计算得到初始环境特征和初始对象特征,最后通过神经网络解耦出遥感影像的成像对象特征和环境特征。不难理解地,这种成像对象特征与环境特征的显式解耦方法,能够有效降低环境变化对对象特征表达的干扰,提高光谱保持能力和纹理恢复能力,有效避免扩散过程中结构漂移,提高复杂云遮挡区域边界保持能力。此外,本方法通过在扩散模型中加入随机背景影像进行前向扩散训练和后向去噪训练,最终得到重建的影像分布数据。由此可见,该方法不受环境因素的影响,实现了不同区域、不同传感器及不同成像条件之间的环境迁移,提高了模型跨场景泛化能力。