一种基于特征自适应校正的遥感图像薄云去除方法与流程

1.本发明涉及人工智能和图像处理技术领域，尤其涉及一种基于特征自适应校正的遥感图像薄云去除方法。


背景技术：

2.遥感卫星拍摄的光学图像能够捕捉地面信息，为人类掌握信息提供了很大的便利，例如天气预报，灾害预警等领域。然而，光学传感器会被大气环境所影响，尤其是云的影响最为严重，拍摄的遥感图像被云遮挡，限制了后续对遥感图像的利用，例如目标检测，目标定位和数据融合等方面。因此，研究云雾去除技术具有实际意义和现实价值。
3.传统的光学遥感图像薄云去除技术主要包括滤波法和先验知识法等。滤波方法一般采用同态滤波法等，同态滤波法将图像从空间域变换到频率域，由于云只影响低频信息，用滤波函数抑制低频增强高频，从而进行薄云去除。先验知识法通过分析传感器成像机理，根据经验和分析提出一些假设先验知识，并据此对无云遥感图像进行推理，从而恢复无云遥感图像。例如暗通道先验和暗目标减法等。暗通道先验法假设无云图像在非天空的局部区域的像素有一个通道接近于零，并基于大气散射模型实现图像去雾；暗目标减法假设图像由地表反射和大气散射构成，山体阴影和茂密的植被等暗目标在传感器中辐射值几乎都来自大气散射，假设云雾分布均匀时暗目标的辐射包括大气散射和云雾，因此通过暗目标减法可达到云雾去除的目的。此类方法弊端明显，适用性比较局限，在某些情况下先验知识失效，导致结果不尽人意。
4.近几年，随着人工智能技术飞速发展，卷积神经网络凭借强大的特征学习能力正成为科研人员的首选技术，深度学习在图像分类、目标检测和人脸识别等方面取得了不错的成绩，许多科研人员尝试采用基于深度学习的方法进行光学遥感图像薄云去除算法，并取得了较好的效果。基于深度学习的薄云去除技术已经成为比较热门的研究方向，此类算法性能较好，可以避免手工设计特征和经验主义的缺点。
5.通过上述分析可知，传统薄云去除算法具有明显的局限性，而基于深度学习的端到端遥感图像薄云去除算法能够拟合出薄云遥感图像和清晰遥感图像之间的函数映射，薄云去除效果更加自然和真实。


技术实现要素：

6.本发明解决的技术问题是：克服现有技术的不足，提供了一种基于特征自适应校正的遥感图像薄云去除方法，通过多层特征交互单元完成特征提取与重建工作，采用特征自适应校正机制根据对薄云去除的重要程度进行图像特征重标定，实现图像特征自校准工作。本发明不依赖先验知识和物理模型，通过训练学习薄云遥感图和无云遥感图之间的关系，实现单张遥感图像薄云去除，详见下文描述：
7.本发明的技术方案是：一种基于特征自适应校正的遥感图像薄云去除方法，所述方法包括：
8.采用深度卷积神经网络设计薄云去除网络，实现单张图像薄云去除，薄云去除网络输入为有云图，输出为去云图，利用有云遥感图像和无云遥感图像构造训练数据集，用于网络学习有云图和无云图之间的映射关系；
9.薄云去除网络结构由特征提取子网络f1和特征恢复子网络f2组成，特征提取子网络f1负责提取与薄云有关的特征，特征恢复子网络f2负责完成无云遥感图像的重建，特征提取子网络f1和特征恢复子网络f2结构基于多层特征交互单元mfu搭建，并采用特征自适应校准单元fcu在子网络之间进行信息交换；
10.所述多层特征交互单元mfu负责提取不同感受野下的薄云特征，设计多条支路对不同层级的图像特征进行整合交互；
11.所述特征自适应校准单元fcu根据图像特征对薄云去除的重要程度，自适应地赋予相应权值完成图像特征重标定，使特征提取子网络f1将对薄云去除有价值的特征传递给特征恢复子网络f2完成无云图的重构；
12.薄云去除网络采用上述训练集进行训练，结合均值损失函数、vgg损失函数和最小绝对值偏差损失函数对网络进行优化，训练结束后采用该方法可实现单张遥感图像薄云去除。
13.其中，所述训练数据集具体为：
14.采用深度卷积神经网络设计一种端到端遥感图像薄云去除方法，该算法不依赖物理模型。薄云去除网络负责实现单张图像薄云去除，网络输入为有云遥感图像，输出为去云遥感图像；
15.收集p张无云遥感图像，并对图像进行加云操作，得到p张有云遥感图像，将无云图和有云图在相同位置进行裁剪，得到大小为n
×
n的图像块，剔除信息含量较少的图像块，从剩余图像块中选取具有对应关系的q张有云遥感图像块和q张无云遥感图像块，构成训练数据集，表示为{j
i
,h
i
},i∈{1,2,
…
,q}，用于网络学习有云图和无云图之间的映射关系，其中，n、p和q均为正整数。
16.其中，所述薄云去除网络具体为：
17.薄云去除网络结构由特征提取子网络f1(feature extraction sub
‑
network,fes)和特征恢复子网络f2(feature restoration sub
‑
network,frs)组成，两个子网络f1和f2实现图像特征的提取与重建任务；
18.所述特征提取子网络f1负责提取与薄云有关的特征，通过步幅卷积缩小特征图尺寸并增加特征数量，薄云只影响图像的低频特征，因此网络提取更多低频特征用于后续图像恢复。特征提取子网络f1由r个卷积层组成，每个卷积层的卷积核的个数分别为{20k,21k,
…
,2
r
‑1k}，卷积核尺寸均为e
×
e，卷积步幅为f，其中，r、k、e、f均为正整数，激活函数采用lrelu函数，斜率为β，β∈(0,1)；
19.所述特征恢复子网络f2负责完成无云遥感图像的重建，通过转置卷积扩大特征图尺寸并整合特征提取子网络f1提取的图像特征进行无云图的重构与恢复。特征恢复子网络f2由r个卷积层组成，每个卷积层的卷积核的个数分别为{2
r
‑1k,
…
,21k,20k}，卷积核尺寸均为e
×
e，卷积步幅为g，其中，r、k、e、g均为正整数，激活函数采用relu函数；
20.所述特征提取子网络f1和特征恢复子网络f2结构基于多层特征交互单元mfu搭建，并采用特征自适应校准单元fcu在子网络之间进行信息交换。
21.其中，所述多层特征交互单元具体为：
22.所述多层特征交互单元(multi
‑
layer feature interaction unit,mfu)在特征提取子网络f1中负责提取多种尺度下的薄云特征，在特征恢复子网络f2中负责整合图像特征，完成无云遥感图像的重构；
23.所述多层特征交互单元mfu采用m个不同系数的空洞卷积在多种感受野下提取图像特征，系数为{1,3,
…
,2m
‑
1},m≥1，空洞卷积的卷积核尺寸为d
×
d，激活函数为relu函数，在参数量不变的情况下，增大感受野来获取更大尺度下的特征；
24.所述多层特征交互单元mfu设计n条支路整合交互不同层级图像特征，从而使网络融合多种尺度的图像特征。
25.其中，所述特征自适应校准单元具体为：
26.所述特征自适应校准单元(feature adaptive calibration unit,fcu)考虑到图像特征中每个通道对于薄云去除工作的重要性不同，因此对图像特征进行通道上的优化，自适应地通过学习为每个特征通道赋予权值系数，完成通道特征的重标定任务，尽可能地提高图像特征的表达能力；
27.所述特征自适应校准单元fcu使用全局平均池化将每个通道特征整合成一个值，使用两层全连接学习每个通道对应权值系数，两个全连接层输出节点数为c为输入特征图通道数量，σ为正整数，激活函数分别为relu函数和sigmoid函数，最终将得到的权值系数与对应通道进行乘积，完成图像特征自适应校准工作；
28.所述特征提取子网络f1将提取到的有利于薄云去除的特征通过特征自适应校准单元fcu进行自适应重标定，再送给特征恢复子网络f2整合并重构无云图，有利于网络选择对薄云去除最有价值的特征进行图像重建，不断对特征图进行调整，优化网络的薄云去除效果。
29.所述均值损失函数的具体为：
30.l
m
＝||ω(h)
‑
ω(r(j))||131.式中，ω(
·
)表示尺寸为b
×
b窗口内的平均值，b为正整数，r(
·
)表示薄云去除网络的输出，h表示无云遥感图，j表示有云遥感图，r(j)表示去云遥感图。
32.所述vgg损失函数的具体为：
[0033][0034]
式中，表示vgg16网络的2
‑
2层输出，w，h和c表示特征图的宽、高和数量，i，j和k表示特征图的宽、高和数量的索引。
[0035]
所述最小绝对值偏差损失函数的具体为：
[0036]
l
l
＝||h
‑
r(j)||1。
[0037]
本发明提供的技术方案的有益效果是：
[0038]
1、本发明不依赖先验知识和物理模型，不需要辅助条件即可完成遥感图像薄云去除；
[0039]
2、本发明实现端到端的遥感图像薄云去除，仅需单张含云图像即可恢复清晰图像；
[0040]
3、本发明薄云去除方法适用范围广，实施简单方便，薄云去除效果真实自然。
附图说明
[0041]
图1为一种基于特征自适应校正的遥感图像薄云去除方法的流程图；
[0042]
图2为薄云去除网络模型结构示意图；
[0043]
图3为多层特征交互单元结构示意图；
[0044]
图4为特征自适应校准单元结构示意图；
[0045]
图5为实验结果中有云遥感图像和去云遥感图像；
[0046]
图6为实验结果中另一有云遥感图像和去云遥感图像。
具体实施方式
[0047]
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
[0048]
实施例1
[0049]
为了实现效果自然的遥感图像薄云去除，本发明实施例提出了一种基于特征自适应校正的遥感图像薄云去除方法，参见图1，详见下文描述：
[0050]
一种基于特征自适应校正的遥感图像薄云去除方法，所述方法包括：
[0051]
101：采用深度卷积神经网络设计薄云去除网络，实现单张图像薄云去除，薄云去除网络输入为有云图，输出为去云图，利用有云遥感图像和无云遥感图像构造训练数据集，用于网络学习有云图和无云图之间的映射关系；
[0052]
102：薄云去除网络结构由特征提取子网络f1和特征恢复子网络f2组成，特征提取子网络f1负责提取与薄云有关的特征，特征恢复子网络f2负责完成无云遥感图像的重建，特征提取子网络f1和特征恢复子网络f2结构基于多层特征交互单元mfu搭建，并采用特征自适应校准单元fcu在子网络之间进行信息交换；
[0053]
103：所述多层特征交互单元mfu负责提取不同感受野下的薄云特征，设计多条支路对不同层级的图像特征进行整合交互；
[0054]
104：所述特征自适应校准单元fcu根据图像特征对薄云去除的重要程度，自适应地赋予相应权值完成图像特征重标定，使特征提取子网络f1将对薄云去除有价值的特征传递给特征恢复子网络f2完成无云图的重构；
[0055]
105：薄云去除网络采用上述训练集进行训练，结合均值损失函数、vgg损失函数和最小绝对值偏差损失函数对网络进行优化，训练结束后采用该方法可实现单张遥感图像薄云去除。
[0056]
其中，步骤101实施的具体步骤为：
[0057]
1)采用深度卷积神经网络设计一种端到端遥感图像薄云去除方法，该算法不依赖物理模型，如图1所示。薄云去除网络负责实现单张图像薄云去除，网络输入为有云遥感图像，输出为去云遥感图像；
[0058]
2)收集p张无云遥感图像，并对图像进行加云操作，得到p张有云遥感图像，将无云图和有云图在相同位置进行裁剪，得到大小为n
×
n的图像块，剔除信息含量较少的图像块，从剩余图像块中选取具有对应关系的q张有云遥感图像块和q张无云遥感图像块，构成训练
数据集，表示为{j
i
,h
i
},i∈{1,2,
…
,q}，用于网络学习有云图和无云图之间的映射关系，其中，n、p和q均为正整数。
[0059]
其中，步骤102的具体步骤为：
[0060]
1)薄云去除网络结构由特征提取子网络f1(feature extraction sub
‑
network,fes)和特征恢复子网络f2(feature restoration sub
‑
network,frs)组成，两个子网络f1和f2实现图像特征的提取与重建任务，具体结构如图2所示；
[0061]
2)特征提取子网络f1负责提取与薄云有关的特征，通过步幅卷积缩小特征图尺寸并增加特征数量，薄云只影响图像的低频特征，因此网络提取更多低频特征用于后续图像恢复，如图2所示。特征提取子网络f1由r个卷积层组成，每个卷积层的卷积核的个数分别为{20k,21k,
…
,2
r
‑1k}，卷积核尺寸均为e
×
e，卷积步幅为f，其中，r、k、e、f均为正整数，激活函数采用lrelu函数，斜率为β，β∈(0,1)；
[0062]
3)特征恢复子网络f2负责完成无云遥感图像的重建，通过转置卷积扩大特征图尺寸并整合特征提取子网络f1提取的图像特征进行无云图的重构与恢复，如图2所示。特征恢复子网络f2由r个卷积层组成，每个卷积层的卷积核的个数分别为{2
r
‑1k,
…
,21k,20k}，卷积核尺寸均为e
×
e，卷积步幅为g，其中，r、k、e、g均为正整数，激活函数采用relu函数；
[0063]
4)特征提取子网络f1和特征恢复子网络f2结构基于多层特征交互单元mfu搭建，并采用特征自适应校准单元fcu在子网络之间进行信息交换。
[0064]
其中，步骤103的具体步骤为：
[0065]
1)多层特征交互单元(multi
‑
layer feature interaction unit,mfu)在特征提取子网络f1中负责提取多种尺度下的薄云特征，在特征恢复子网络f2中负责整合图像特征，完成无云遥感图像的重构，具体结构如图3所示；
[0066]
2)多层特征交互单元mfu采用m个不同系数的空洞卷积在多种感受野下提取图像特征，系数为{1,3,
…
,2m
‑
1},m≥1，空洞卷积的卷积核尺寸为d
×
d，激活函数为relu函数，在参数量不变的情况下，增大感受野来获取更大尺度下的特征；
[0067]
3)多层特征交互单元mfu设计n条支路整合交互不同层级图像特征，从而使网络融合多种尺度的图像特征。
[0068]
其中，步骤104的具体步骤为：
[0069]
1)特征自适应校准单元(feature adaptive calibration unit,fcu)考虑到图像特征中每个通道对于薄云去除工作的重要性不同，因此对图像特征进行通道上的优化，自适应地通过学习为每个特征通道赋予权值系数，完成通道特征的重标定任务，尽可能地提高图像特征的表达能力；
[0070]
2)特征自适应校准单元fcu使用全局平均池化将每个通道特征整合成一个值，使用两层全连接学习每个通道对应权值系数，两个全连接层输出节点数为c为输入特征图通道数量，σ为正整数，激活函数分别为relu函数和sigmoid函数，最终将得到的权值系数与对应通道进行乘积，完成图像特征自适应校准工作，具体结构如图4所示；
[0071]
3)特征提取子网络f1将提取到的有利于薄云去除的特征通过特征自适应校准单元fcu进行自适应重标定，再送给特征恢复子网络f2整合并重构无云图，有利于网络选择对薄云去除最有价值的特征进行图像重建，不断对特征图进行调整，优化网络的薄云去除效果。
[0072]
其中，步骤105的具体步骤为：
[0073]
1)薄云去除网络采用步骤101中所述训练数据集进行训练，结合均值损失函数、vgg损失函数和最小绝对值偏差损失函数对薄云去除网络进行优化，具体函数形式如下所述；
[0074]
2)均值损失函数的具体形式，如式(1)所示：
[0075]
l
m
＝||ω(h)
‑
ω(r(j))||1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0076]
式中，ω(
·
)表示尺寸为b
×
b窗口内的平均值，b为正整数，r(
·
)表示薄云去除网络的输出，h表示无云遥感图，j表示有云遥感图，r(j)表示去云遥感图；
[0077]
3)vgg损失函数的具体形式，如式(2)所示：
[0078][0079]
式中，表示vgg16网络的2
‑
2层输出，w，h和c表示特征图的宽、高和数量，i，j和k表示特征图的宽、高和数量的索引；
[0080]
4)最小绝对值偏差损失函数的具体形式，如式(3)所示：
[0081]
l
l
＝||h
‑
r(j)||1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0082]
5)采用损失函数(1)、(2)和(3)的组合训练薄云去除网络，如式(4)所示：
[0083]
l
total
＝ηl
m
αl
v
μl
l
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0084]
式中，η、α和μ分别为l
m
、l
v
和l
l
的权重；
[0085]
6)训练结束后采用该方法可实现单张遥感图像薄云去除。
[0086]
实施例2
[0087]
下面结合具体的附图以及计算公式对实施例1中的方案进行详细介绍，详见下文描述：
[0088]
一种基于特征自适应校正的遥感图像薄云去除方法，所述方法包括：
[0089]
201：采用深度卷积神经网络设计薄云去除网络，实现单张图像薄云去除，薄云去除网络输入为有云图，输出为去云图，利用有云遥感图像和无云遥感图像构造训练数据集，用于网络学习有云图和无云图之间的映射关系；
[0090]
202：薄云去除网络结构由特征提取子网络f1和特征恢复子网络f2组成，特征提取子网络f1负责提取与薄云有关的特征，特征恢复子网络f2负责完成无云遥感图像的重建，特征提取子网络f1和特征恢复子网络f2结构基于多层特征交互单元mfu搭建，并采用特征自适应校准单元fcu在子网络之间进行信息交换；
[0091]
203：所述多层特征交互单元mfu负责提取不同感受野下的薄云特征，设计多条支路对不同层级的图像特征进行整合交互；
[0092]
204：所述特征自适应校准单元fcu根据图像特征对薄云去除的重要程度，自适应地赋予相应权值完成图像特征重标定，使特征提取子网络f1将对薄云去除有价值的特征传递给特征恢复子网络f2完成无云图的重构；
[0093]
205：薄云去除网络采用上述训练集进行训练，结合均值损失函数、vgg损失函数和最小绝对值偏差损失函数对网络进行优化，训练结束后采用该方法可实现单张遥感图像薄云去除。
[0094]
其中，步骤201实施的具体步骤为：
[0095]
1)采用深度卷积神经网络设计一种端到端遥感图像薄云去除方法，该算法不依赖物理模型，如图1所示。薄云去除网络负责实现单张图像薄云去除，网络输入为有云遥感图像，输出为去云遥感图像；
[0096]
2)收集20张无云遥感图像，并对图像进行加云操作，得到20张有云遥感图像，将无云图和有云图在相同位置进行裁剪，得到大小为256
×
256的图像块，剔除信息含量较少的图像块，从剩余图像块中选取具有对应关系的1000张有云遥感图像块和1000张无云遥感图像块，构成训练数据集，表示为{j
i
,h
i
},i∈{1,2,
…
,1000}，用于网络学习有云图和无云图之间的映射关系。
[0097]
其中，步骤202的具体步骤为：
[0098]
1)薄云去除网络结构由特征提取子网络f1(feature extraction sub
‑
network,fes)和特征恢复子网络f2(feature restoration sub
‑
network,frs)组成，两个子网络f1和f2实现图像特征的提取与重建任务，具体结构如图2所示；
[0099]
2)特征提取子网络f1负责提取与薄云有关的特征，通过步幅卷积缩小特征图尺寸并增加特征数量，薄云只影响图像的低频特征，因此网络提取更多低频特征用于后续图像恢复，如图2所示。特征提取子网络f1由3个卷积层组成，每个卷积层的卷积核的个数分别为{64,128,256}，卷积核尺寸均为4
×
4，卷积步幅为2，激活函数采用lrelu函数，斜率为β＝0.2；
[0100]
3)特征恢复子网络f2负责完成无云遥感图像的重建，通过转置卷积扩大特征图尺寸并整合特征提取子网络f1提取的图像特征进行无云图的重构与恢复，如图2所示。特征恢复子网络f2由3个卷积层组成，每个卷积层的卷积核的个数分别为{256,128,64}，卷积核尺寸均为4
×
4，卷积步幅为0.5，激活函数采用relu函数；
[0101]
4)特征提取子网络f1和特征恢复子网络f2结构基于多层特征交互单元搭建，并采用特征自适应校准单元在子网络之间进行信息交换。
[0102]
其中，步骤203的具体步骤为：
[0103]
1)多层特征交互单元(multi
‑
layer feature interaction unit,mfu)在特征提取子网络f1中负责提取多种尺度下的薄云特征，在特征恢复子网络f2中负责整合图像特征，完成无云遥感图像的重构，具体结构如图3所示；
[0104]
2)多层特征交互单元mfu采用3个不同系数的空洞卷积在多种感受野下提取图像特征，系数为{1,3,5}，空洞卷积的卷积核尺寸为4
×
4，激活函数为relu函数，在参数量不变的情况下，增大感受野来获取更大尺度下的特征；
[0105]
3)多层特征交互单元mfu设计2条支路整合交互不同层级图像特征，从而使网络融合多种尺度的图像特征。
[0106]
其中，步骤204的具体步骤为：
[0107]
1)特征自适应校准单元(feature adaptive calibration unit,fcu)考虑到图像特征中每个通道对于薄云去除工作的重要性不同，因此对图像特征进行通道上的优化，自适应地通过学习为每个特征通道赋予权值系数，完成通道特征的重标定任务，尽可能地提高图像特征的表达能力；
[0108]
2)特征自适应校准单元fcu使用全局平均池化将每个通道特征整合成一个值，使用两层全连接学习每个通道对应权值系数，两个全连接层输出节点数为c为输入特
征图通道数量，激活函数分别为relu函数和sigmoid函数，最终将得到的权值系数与对应通道进行乘积，完成图像特征自适应校准工作，本发明中σ＝16，具体结构如图4所示；
[0109]
3)特征提取子网络f1将提取到的有利于薄云去除的特征通过特征自适应校准单元fcu进行自适应重标定，再送给特征恢复子网络f2整合并重构无云图，有利于网络选择对薄云去除最有价值的特征进行图像重建，不断对特征图进行调整，优化网络的薄云去除效果。
[0110]
其中，步骤205的具体步骤为：
[0111]
1)薄云去除网络采用步骤201中所述训练数据集进行训练，结合均值损失函数、vgg损失函数和最小绝对值偏差损失函数对薄云去除网络进行优化，具体函数形式如下所述；
[0112]
2)均值损失函数的具体形式，如式(1)所示，式中，ω(
·
)表示尺寸为11
×
11窗口内的平均值；vgg损失函数的具体形式，如式(2)所示；最小绝对值偏差损失函数的具体形式，如式(3)所示；采用损失函数(1)、(2)和(3)的组合训练薄云去除网络，如式(4)所示，式中，η、α和μ分别为l
m
、l
v
和l
l
的权重，具体设置为η＝5.0，α＝1.0，μ＝100.0；
[0113]
3)训练结束后采用该方法可实现单张遥感图像薄云去除。
[0114]
实施例3
[0115]
下面通过实验数据对实施例1和2中的方案进行可行性验证，详见下文描述：
[0116]
选取两张光学薄云遥感图像，利用本发明进行薄云去除，结果如图5和图6所示。通过结果可知，本发明能够实现效果自然、逼真的遥感图像薄云去除。
[0117]
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。