一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法与流程

1.本发明涉及光学卫星影像处理领域，具体涉及一种光学遥感影像薄云去除方法。


背景技术：

2.光学遥感影像在地球观测中一直发挥着重要作用。它们捕捉地球物体的反射光，并以类似于人类视觉的形式展现。因此，光学遥感成像技术可以被认为是空中的人眼视觉系统。由于人类的视线很容易被云雾遮挡，光学遥感影像，特别是光学卫星影像，通常或多或少会受到云的影响。据估计，由于独特的季节性循环，平均全球有55％的陆地表面被云覆盖，这严重影响了我们通过光学卫星影像对地球的连续观测。
3.目前，深度学习能够取得遥感影像去云较好的效果。但是，目前深度学习方法都是由数据驱动，训练深度学习模型的无云和多云陆地影像的质量是影响最终去云结果的一个关键因素。虽然训练数据需求很大，但这样的成对影像难以获取，这使得深度学习薄云去除方法总是受到训练数据稀缺的困扰。
4.对于某场景的无云陆地影像，几乎不可能精确地获得同一场景真实的多云陆地影像。一方面，目前人为模拟的云层与真实的云层相差较大，将其融合到无云陆地影像中很难满足某些实际应用中的要求。另一方面，同一景象不可能同时是无云和多云的。当一幅无云陆地影像中的场景在另一个时间出现多云陆地影像时，该多云陆地影像(以及影像中的地表细节)可能会有细微的变化，与原无云陆地影像不完全相同。因此，如何为同一场景构建真实、精确的无云和多云陆地成对影像是光学遥感领域的一个难题。
5.在基于深度学习的去云研究中，如何构建高质量的无云和多云陆地影像对，以及基于此类数据利用神经网络得到高质量的去云陆地影像，是一个极具挑战性的研究任务。


技术实现要素：

6.为了解决上述问题，本发明公开了一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，解决光学遥感影像被薄云遮挡的问题。
7.本发明的目的是这样实现的：
8.一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，包括以下步骤：
9.(1)根据像素分布百分位数，去除光学遥感多云海面影像的背景，提取云层；
10.(2)计算补偿系数，补偿退化云层；
11.(3)将云层在大气光辅助下，融合到无云陆地影像，得到多云陆地影像；
12.(4)饱和修正多云陆地影像；
13.(5)基于(1)-(4)描述的云图运算，构建以无云陆地影像和薄云覆盖陆地影像组成的同场景影像对为样本单元的数据集；
14.(6)设计无云影像生成器和真伪无云影像判别器，构成多尺度生成对抗网络；
15.(7)用(5)构建的数据集训练多尺度生成对抗网络，通过训练好的无云影像生成器实现光学遥感影像薄云去除。
16.其中，(1)和(2)为云自减算子的执行过程；(3)和(4)为云景加算子的执行过程；云自减算子和云景加算子构成云图运算。
17.上述一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，所述的步骤(1)具体为：
18.根据像素分布百分位数，去除光学遥感多云海面影像的背景，提取云层。令i
cs
表示包含无云区域和多云区域的m
×
n多云海面影像。设i
cs
表示单一光谱通道的影像。根据第α百分位数按如下关系确定像素强度的阈值г：
19.p(i
cs
(m，n)＜г)＝α
20.强度小于г的像素划分为背景区域。令1表示所有元素值都为1的m
×
n矩阵。如下去除海水背景：
21.i
α
＝i
cs-г1
22.对于光学遥感影像的每个光谱通道，执行以下操作：
[0023][0024]
其中，当其变量为真时为1，否则为0。上操作得到去除海面背景的云层i
dc
。
[0025]
上述一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，所述的步骤(2)具体为：
[0026]
计算补偿系数，补偿退化云层。补偿系数λ如下计算：
[0027][0028]
用λ按如下操作补偿影像中云层区域：
[0029]ici
＝λi
dc
[0030]
以上操作得到真实的云层i
ci
。
[0031]
上述一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，所述的步骤(3)具体为：
[0032]
将云层在大气光辅助下，融合到无云陆地影像，得到多云陆地影像。令b表示光学遥感影像的最大强度值。计算云层遮挡影像如下：
[0033][0034]
令i
cfl
表示无云陆地影像。将云层遮挡影像作用于无云陆地影像i
cfl
，得到遮挡陆地影像i
ol
：
[0035][0036]
其中
⊙
表示按元素相乘。
[0037]
云层受大气光a影响，得到大气光云层i
aci
：
[0038]iaci
＝i
ci
⊙
a1
[0039]
遮挡陆地影像i
ol
和大气光云层i
aci
合成，得到多云陆地影像i
scs
：
[0040]iscs
＝i
ol
i
aci
[0041]
上述一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，所
述的步骤(4)具体为：
[0042]
饱和修正多云陆地影像。多云陆地影像i
scs
最大像素值的坐标定位如下：
[0043][0044]
如果最大值超过b，按照以下公式更新大气光a的值：
[0045][0046]
基于自动调整后的大气光a，通过重复步骤(3)得到最终的合成多云陆地影像i
scs
。
[0047]
上述一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，所述的步骤(5)具体为：
[0048]
基于步骤(1)-(4)描述的云图运算，构建以无云陆地影像和薄云覆盖陆地影像组成的同场景影像对为样本单元的数据集。云图运算以薄云覆盖海面影像和无云陆地影像为输入，合成薄云覆盖陆地影像。无云陆地影像与其对应的合成薄云覆盖影像组成同场景影像对。多个同场景影像对形成数据集。以下步骤中薄云覆盖陆地影像均通过云图运算合成。
[0049]
上述一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，所述的步骤(6)具体为：
[0050]
设计无云影像生成器和真伪无云影像判别器，构成多尺度生成对抗网络。
[0051]
无云影像生成器从输入端至输出端依次为特征提取模块、残差模块、特征重构模块和残差模块，其中特征提取模块输出的特征另行拼接到尺度相同的特征重构模块。特征提取模块的每一层由卷积、实例归一化和泄漏校正线性单元组成。特征重构模块与特征提取模块结构相似，但转置卷积代替卷积且最后一层由卷积和双曲正切函数组成。无云影像生成器将薄云覆盖陆地影像作为输入，在第二个残差块之后输出去云陆地影像。真伪无云影像判别器由多个基础判别器构成，每个基础判别器与无云影像生成器中的特征提取模块结构相似，但其在最后一层只有卷积。每个基础判别器以薄云覆盖陆地影像与去云陆地影像或薄云覆盖陆地影像与无云陆地影像作为输入，输出不同尺度的矩阵。矩阵的元素值在0到1之间变化。矩阵元素值为1，代表输入是薄云覆盖陆地影像与无云陆地影像。矩阵元素值为0，代表输入是薄云覆盖陆地影像与去云陆地影像。
[0052]
上述一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，所述的步骤(7)具体为：
[0053]
用步骤(5)构建的数据集训练多尺度生成对抗网络，通过训练好的无云影像生成器实现光学遥感影像薄云去除。针对多尺度生成对抗网络，设计无云影像生成器损失函数和真伪无云影像判别器损失函数
[0054]
由四个损失函数构成。
[0055]
定义如下：
[0056][0057]
其中，d(
·
，
·
)代表真伪无云影像判别器，g(
·
)代表无云影像生成器。
[0058]
定义如下：
[0059][0060]
其中，d
mf
代表从真伪无云影像判别器的中间层提取特征。
[0061]
定义如下：
[0062][0063]
其中vgg(
·
)表示用vgg-19从影像提取特征。
[0064]
定义如下：
[0065][0066]
其中φ(
·
)表示将rgb转换为yuv色域的过程。
[0067]
无云影像生成器的总损失函数表示如下：
[0068][0069]
其中λ1，λ2，λ3和λ4是不同损失函数的不同权重。
[0070]
真伪无云影像判别器的损失函数定义如下：
[0071][0072]
多尺度生成对抗网络的损失函数由和构成。
[0073]
训练过程中，无云影像生成器与真伪无云影像判别器互相博弈达到均衡，真伪无云影像判别器无法区分去云陆地影像与无云陆地影像，无云影像生成器能够生成逼真的去云陆地影像。
[0074]
将薄云覆盖陆地影像输入训练好的无云影像生成器，即得到该薄云覆盖陆地影像的去云陆地影像。
[0075]
本发明首先根据像素分布百分位数，去除光学遥感多云海面影像的背景，提取云层；然后计算补偿系数，补偿退化云层；将云层在大气光辅助下，融合到无云陆地影像，得到多云陆地影像；接着饱和修正多云陆地影像；基于前述的云图运算，构建以无云陆地影像和薄云覆盖陆地影像组成的同场景影像对为样本单元的数据集；设计无云影像生成器和真伪无云影像判别器，构成多尺度生成对抗网络；用构建的数据集训练多尺度生成对抗网络，通过训练好的无云影像生成器实现光学遥感影像薄云去除。本发明突破了无云多云同场景数据稀缺的瓶颈，形成深度学习去云有效技术方案。
附图说明
[0076]
图1为本发明一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法的流程示意图；
[0077]
图2为一景多云海面影像的r、g、b三个通道的像素直方图；
[0078]
图3为云自减算子，即多云海面影像去除背景，提取云层流程图；
[0079]
图4为云景加算子，即将云层融合到无云陆地影像，得到多云陆地影像流程图；
[0080]
图5为云图运算框架图；
[0081]
图6为运用云图运算实现合成多云陆地影像的过程，上下两行分别为两景应用实例，每一例由左及右分别为选取的多云海面影像，提取的云层，无云陆地影像和合成的多云
陆地影像；
[0082]
图7为云图运算在不同地形上的应用效果示意图，不同地形的应用细节均与图6相同；
[0083]
图8为某一地区一月、三月、五月、七月、九月、十一月的无云陆地影像、真实的多云陆地影像和利用云图运算合成的多云陆地影像对比图；
[0084]
图9为某一数据集中无云陆地影像、真实的多云陆地影像和利用云图运算合成的多云陆地影像对比图；
[0085]
图10为无云影像生成器和真伪无云影像判别器的结构图；
[0086]
图11为训练多尺度生成对抗网络的损失函数示意图；
[0087]
图12为对于利用云图运算构建的数据集训练完成的多尺度生成对抗网络，其输入的薄云覆盖陆地影像和输出的去云陆地影像的对比图。
具体实施方式
[0088]
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0089]
本实施例的一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，流程图如图1所示，包括以下步骤：
[0090]
(1)根据像素分布百分位数，去除光学遥感多云海面影像的背景，提取云层；
[0091]
(2)计算补偿系数，补偿退化云层；
[0092]
(3)将云层在大气光辅助下，融合到无云陆地影像，得到多云陆地影像；
[0093]
(4)饱和修正多云陆地影像；
[0094]
(5)基于(1)-(4)描述的云图运算，构建以无云陆地影像和薄云覆盖陆地影像组成的同场景影像对为样本单元的数据集；
[0095]
(6)设计无云影像生成器和真伪无云影像判别器，构成多尺度生成对抗网络；
[0096]
(7)用(5)构建的数据集训练多尺度生成对抗网络，通过训练好的无云影像生成器实现光学遥感影像薄云去除。
[0097]
其中，(1)和(2)为云自减算子的执行过程；(3)和(4)为云景加算子的执行过程；云自减算子和云景加算子构成云图运算。
[0098]
本实施例以图2、图3所示的图片为例，所述的步骤(1)和(2)具体为：
[0099]
根据像素分布百分位数，去除光学遥感多云海面影像的背景，提取云层。令i
cs
表示包含无云区域和多云区域的m
×
n多云海面影像。设i
cs
表示单一光谱通道的影像。根据第α百分位数按如下关系确定像素强度的阈值г：
[0100]
p(i
cs
(m，n)＜г)＝α
[0101]
强度小于г的像素划分为背景区域。令1表示所有元素值都为1的m
×
n矩阵。如下去除海水背景：
[0102]iα
＝i
cs-г1
[0103]
对于光学遥感影像的每个光谱通道，执行以下操作：
[0104]
[0105]
其中，当其变量为真时为1，否则为0。上操作得到去除海面背景的云层i
dc
。
[0106]
计算补偿系数，补偿退化云层。补偿系数λ如下计算：
[0107][0108]
用λ按如下操作补偿影像中云层区域：
[0109]ici
＝λi
dc
[0110]
以上操作得到真实的云层i
ci
。
[0111]
本实施例以图4所示的图片为例，所述的步骤(3)和(4)具体为：
[0112]
将云层在大气光辅助下，融合到无云陆地影像，得到多云陆地影像。令b表示光学遥感影像的最大强度值。计算云层遮挡影像如下：
[0113][0114]
令i
cfl
表示无云陆地影像。将云层遮挡影像作用于无云陆地影像i
cfl
，得到遮挡陆地影像i
ol
：
[0115][0116]
其中
⊙
表示按元素相乘。
[0117]
云层受大气光a影响，得到大气光云层i
aci
：
[0118]iaci
＝i
ci
⊙
a1
[0119]
遮挡陆地影像i
ol
和大气光云层i
aci
合成，得到多云陆地影像i
scs
：
[0120]iscs
＝i
ol
i
aci
[0121]
饱和修正多云陆地影像。多云陆地影像i
scs
最大像素值的坐标定位如下：
[0122][0123]
如果最大值超过b，按照以下公式更新大气光a的值：
[0124][0125]
基于自动调整后的大气光a，通过重复步骤(3)得到最终的合成多云陆地影像i
scs
。
[0126]
本实施例以图5、图6、图7、图8、图9所示的图片为例，所述的步骤(5)具体为：
[0127]
基于步骤(1)-(4)描述的云图运算，构建以无云陆地影像和薄云覆盖陆地影像组成的同场景影像对为样本单元的数据集。云图运算以薄云覆盖海面影像和无云陆地影像为输入，合成薄云覆盖陆地影像。无云陆地影像与其对应的合成薄云覆盖影像组成同场景影像对。多个同场景影像对形成数据集。以下步骤中薄云覆盖陆地影像均通过云图运算合成。
[0128]
本实施例以图10所示的图片为例，所述的步骤(6)具体为：
[0129]
设计无云影像生成器和真伪无云影像判别器，构成多尺度生成对抗网络。
[0130]
无云影像生成器从输入端至输出端依次为特征提取模块、残差模块、特征重构模块和残差模块，其中特征提取模块输出的特征另行拼接到尺度相同的特征重构模块。特征提取模块的每一层由卷积、实例归一化和泄漏校正线性单元组成。特征重构模块与特征提取模块结构相似，但转置卷积代替卷积且最后一层由卷积和双曲正切函数组成。无云影像生成器将薄云覆盖陆地影像作为输入，在第二个残差块之后输出去云陆地影像。真伪无云
影像判别器由多个基础判别器构成，每个基础判别器与无云影像生成器中的特征提取模块结构相似，但其在最后一层只有卷积。每个基础判别器以薄云覆盖陆地影像与去云陆地影像或薄云覆盖陆地影像与无云陆地影像作为输入，输出不同尺度的矩阵。矩阵的元素值在0到1之间变化。矩阵元素值为1，代表输入是薄云覆盖陆地影像与无云陆地影像。矩阵元素值为0，代表输入是薄云覆盖陆地影像与去云陆地影像。
[0131]
本实施例以图11、图12所示的图片为例，所述的步骤(7)具体为：
[0132]
用步骤(5)构建的数据集训练多尺度生成对抗网络，通过训练好的无云影像生成器实现光学遥感影像薄云去除。针对多尺度生成对抗网络，设计无云影像生成器损失函数和真伪无云影像判别器损失函数
[0133]
由四个损失函数构成。
[0134]
定义如下：
[0135][0136]
其中，d(
·
，
·
)代表真伪无云影像判别器，g(
·
)代表无云影像生成器。
[0137]
定义如下：
[0138][0139]
其中，d
mf
代表从真伪无云影像判别器的中间层提取特征。
[0140]
定义如下：
[0141][0142]
其中vgg(
·
)表示用vgg-19从影像提取特征。
[0143]
定义如下：
[0144][0145]
其中φ(
·
)表示将rgb转换为yuv色域的过程。
[0146]
无云影像生成器的总损失函数表示如下：
[0147][0148]
其中λ1，λ2，λ3和λ4是不同损失函数的不同权重。
[0149]
真伪无云影像判别器的损失函数定义如下：
[0150][0151]
多尺度生成对抗网络的损失函数由和构成。
[0152]
训练过程中，无云影像生成器与真伪无云影像判别器互相博弈达到均衡，真伪无云影像判别器无法区分去云陆地影像与无云陆地影像，无云影像生成器能够生成逼真的去云陆地影像。
[0153]
将薄云覆盖陆地影像输入训练好的无云影像生成器，即得到该薄云覆盖陆地影像的去云陆地影像。