一种多尺度多时相遥感影像去云的方法与流程

1.本发明涉及遥感图像预处理技术领域，具体涉及一种多尺度多时相遥感影像去云的方法。


背景技术：

2.光学遥感图像不可避免受到云及其阴影污染的影响，使得影像信息缺失，大大降低遥感图像应用于多个领域的可用性，对比于花费巨大的人力和财力投入遥感卫星而言，在遥感图像预处理阶段进行云去除来重建缺失信息，数据成本更低，可行性更高。
3.近些年来人们对遥感图像去云方法进行了大量的研究，云去除本质上是缺失信息重建的过程。基于深度学习的模型这两年应用尤为广泛，并且实现了最先进的重建结果。然而，大多数现有方法只能利用无云图像，而不是多时相有云序列图像，无法利用到更多的互补信息。因此发展一种多尺度多时相的遥感影像去云方法。


技术实现要素：

4.本发明的目的是针对现有技术的不足，而提供一种多尺度多时相遥感影像去云的方法。这种方法能有效利用互补信息，对多时相含云序列的时相个数没有要求，还能抑制无用特征，降低了计算复杂性。
5.实现本发明目的的技术方案是：
6.一种多尺度多时相遥感影像去云的方法，包括如下步骤：
7.1)训练数据处理：获取多组同一区域的不同卫星的多时相遥感影像数据来构成含云序列，对多时相含云序列做预处理，生成带标签的训练样本；
8.2)数据扩充：由于训练样本数过少，为了防止引起过拟合，对训练样本进行扩充，即对训练样本进行数据增强来增加训练样本数量；
9.3)测试数据处理：在步骤2)数据扩充后的训练样本中选择四组不同规模的云污染子图像，其中两组为模拟数据，两组为真实数据；
10.4)搭建多尺度多时相深度卷积网络模型：该模型包括特征提取层、特征融合层和特征重建层；
11.特征提取层负责对输入的数据进行多尺度特征提取，数据为一组组的多时相含云序列，将多时相含云序列中的待修复影像作为输入1，对输入1进行修复重建信息，将每组多时相含云序列的其余影像都为参考影像作为输入2，输入2为输入1进行修复提供了更多的互补信息；
12.特征融合层负责对由特征提取层所提取的输入1和输入2的特征信息进行融合，包括通道注意力融合和concat融合；
13.特征重建层负责对特征融合后的特征进行信息重建，即对特征融合层输出的多尺度多通道特征映射进行重建恢复；
14.5)多尺度多时相深度卷积网络模型参数设置：对损失函数、梯度下降算法、初始学
习率和迭代次数进行参数设置，用于训练步骤4)中搭建好的多尺度多时相深度卷积网络模型；
15.6)训练多尺度多时相深度卷积网络模型：将步骤2)扩充后的数据输入到步骤4构建好的多尺度多时相深度卷积网络模型中，采用步骤5)中设置的参数进行训练，得到多尺度多时相深度卷积网络模型；
16.7)遥感影像云去除：将步骤3)的模拟数据和真实数据输入到步骤6)训练好的多尺度多时相深度卷积网络模型中，得到云去除的影像重建结果。
17.步骤1)所述的不同卫星分别为sentinel-2和landsat-8，每组含云序列除为待修复影像外，其它均为参考影像，且所有含云序列的无云像素至少能重建一张无云影像，预处理操作包括裁剪、线性拉伸和波段合成。
18.步骤2)所述的数据扩充包括样本多角度旋转、裁剪、镜像，旋转角度从[-180
°
，180
°
]中随机取值，裁剪大小为400
×
400。
[0019]
步骤3)所述的两组模拟数据和两组真实数据中，一组模拟数据和真实数据为sentinel-2msi在a地采集数据的不同子图像，图像的尺寸为400
×
400
×
3；另一组模拟和真实数据为landsat-8在b地采集数据的不同子图像，图像的尺寸为500
×
500
×
3。
[0020]
步骤4)所述的多尺度多时相深度卷积神经网络模型中，特征提取层的每个多尺度特征提取单元由三种卷积核k＝3，5，7组成，padding为1、2、3，步长均为1，三种不同大小的卷积核同时对输入影像进行卷积滤波，分别提取20个特征映射；
[0021]
特征融合层的通道注意力融合是对多时相每个通道的尺度信息分别进行通道融合并通过concat将特征信息聚合，再次利用concat将融合后的三个通道信息进行融合得到多尺度多通道融合后的特征映射，遥感地表观测目标通常在不同的局部区域之间具有多尺度效应，因此多尺度多时相的特征信息更有利于信息重建；
[0022]
特征重建层在下采样部分使用了膨胀卷积层来减少特征图，在上采样部分使用了转置卷积层来恢复特征。
[0023]
步骤5)中所述的损失函数采用全局-局部损失函数；梯度下降优化算法采用adam优化方法；初始学习率为0.001，迭代次数设置为200个epoch。
[0024]
步骤4)所述的特征提取层负责对输入的数据进行多尺度特征提取中，当步骤6)训练模型时，输入的数据为训练数据，即步骤2)扩充后的数据；当步骤7)测试模型效果时，输入的数据为步骤3)中的模拟数据和真实数据。
[0025]
因步骤6)已将模型训练好，步骤7)的目的是为了用数据来测试模型效果，所以输入数据即可得到云去除的影像重建结果。
[0026]
与现有技术相比，本技术方案具有如下特点：
[0027]
1、可以利用多时相含云序列，而不需要无云参考图像，可以有效利用互补信息。
[0028]
2、多时相含云序列的时相个数没有要求，单个和多个都可以，时相冗余信息越多，互补区域就越多，对重建结果越有利。
[0029]
3、利用空间和通道注意力机制结合多尺度特征提取得到融合后的特征信息，抑制无用特征，降低了计算复杂性。
[0030]
这种方法能有效利用互补信息，对多时相含云序列的时相个数没有要求，还能抑制无用特征，降低了计算复杂性。
附图说明
[0031]
图1为实施例的原理示意图。
具体实施方式
[0032]
下面结合附图及具体实施例对本发明作进一步的详细描述，但不是对本发明的限定。
[0033]
实施例：
[0034]
参照图1，一种多尺度多时相遥感影像去云的方法，包括如下步骤：
[0035]
1)训练数据处理：获取多组同一区域的不同卫星的多时相遥感影像数据来构成含云序列，对多时相含云序列做预处理，生成带标签的训练样本；
[0036]
分别从sentinel-2和landsat-8这两个不同卫星获取含云序列，每组含云序列除为待修复影像外，其它均为参考影像，且所有含云序列的无云像素至少能重建一张无云影像，预处理操作包括裁剪、线性拉伸和波段合成；
[0037]
2)数据扩充：由于训练样本数过少，为了防止引起过拟合，对训练样本进行扩充，即对训练样本进行数据增强来增加训练样本数量；
[0038]
数据扩充即为数据增强，数据扩充包括样本多角度旋转、裁剪、镜像，旋转角度从[-180
°
，180
°
]中随机取值，裁剪大小为400
×
400；
[0039]
3)测试数据处理：在步骤2)数据扩充后的训练样本中选择四组不同规模的云污染子图像，其中两组为模拟数据，两组为真实数据；
[0040]
两组模拟数据和两组真实数据中，一组模拟数据和真实数据为sentinel-2msi在a地采集数据的不同子图像，图像的尺寸为400
×
400
×
3；另一组模拟和真实数据为landsat-8在b地采集数据的不同子图像，图像的尺寸为500
×
500
×
3；
[0041]
4)搭建多尺度多时相深度卷积网络模型：该模型包括特征提取层、特征融合层和特征重建层；
[0042]
特征提取层负责对输入的数据进行多尺度特征提取，数据为一组组的多时相含云序列，将多时相含云序列中的待修复影像作为输入1，对输入1进行修复重建信息，将每组多时相含云序列的其余影像都为参考影像作为输入2，输入2为输入1进行修复提供了更多的互补信息；
[0043]
特征融合层负责对由特征提取层所提取的输入1和输入2的特征信息进行融合，包括通道注意力融合和concat融合；
[0044]
特征重建层负责对特征融合后的特征进行信息重建，即对特征融合层输出的多尺度多通道特征映射进行重建恢复；
[0045]
特征提取层的每个多尺度特征提取单元由三种卷积核k＝3，5，7组成，padding为1、2、3，步长均为1，三种不同大小的卷积核同时对输入影像进行卷积滤波，分别提取20个特征映射；
[0046]
特征融合层的通道注意力融合是对多时相每个通道的尺度信息分别进行通道融合并通过concat将特征信息聚合，再次利用concat将融合后的三个通道信息进行融合得到多尺度多通道融合后的特征映射，遥感地表观测目标通常在不同的局部区域之间具有多尺度效应，因此多尺度多时相的特征信息更有利于信息重建；
[0047]
特征重建层在下采样部分使用了膨胀卷积层来减少特征图，在上采样部分使用了转置卷积层来恢复特征；
[0048]
5)多尺度多时相深度卷积网络模型参数设置：对损失函数、梯度下降算法、初始学习率和迭代次数进行参数设置，用于训练步骤4)中搭建好的多尺度多时相深度卷积网络模型；
[0049]
其中损失函数采用全局-局部损失函数，定义为ξ(θ)＝λ
l
ξ
l
λgξg，其中λ
l
和λg分别为局部损失项ξ
l
和全局损失项ξg的权重参数；梯度下降优化算法采用adam优化方法；初始学习率为0.001，迭代次数设置为200个epoch；
[0050]
6)训练多尺度多时相深度卷积网络模型：将步骤2)扩充后的数据输入到步骤4构建好的多尺度多时相深度卷积网络模型中，采用步骤5)中设置的参数进行训练，得到多尺度多时相深度卷积网络模型；
[0051]
7)遥感影像云去除：将步骤3)的模拟数据和真实数据输入到步骤6)训练好的多尺度多时相深度卷积网络模型中，得到云去除的影像重建结果。
[0052]
步骤4)所述的特征提取层负责对输入的数据进行多尺度特征提取中，当步骤6)训练模型时，输入的数据为训练数据，即步骤2)扩充后的数据；当步骤7)测试模型效果时，输入的数据为步骤3)中的模拟数据和真实数据。
[0053]
因步骤6)已将模型训练好，步骤7)的目的是为了用数据来测试模型效果，所以输入数据即可得到云去除的影像重建结果。
[0054]
本例着重解决的是云污染不可避免难以有无云信息参考的问题。