一种基于双支路通道和特征强化机制的遥感图像去云方法与流程

1.本发明涉及人工智能和图像处理技术领域，尤其涉及一种基于双支路通道和特征强化机制的遥感图像去云方法。


背景技术：

2.随着遥感技术的飞速发展，遥感图像应用在越来越多的技术领域，为科研、生活都提供了很大便利，例如灾害预测、天气预报和交通监控等诸多领域。然而，光学遥感图像在成像过程中受到云层的影响，使图像部分被遮挡导致图像信息丢失，为后续图像的利用带来很大困难。综上所述，提出一种光学遥感图像去云方法具有非常重要的应用价值。
3.传统光学遥感图像去云方法一般采用滤波法等，此类方法适用范围比较局限，不能适应复杂变化的场景。采用深度神经网络设计遥感图像去云方法不仅适用性强，不依赖先验信息和物理模型，因此采用深度学习方法提出一种端到端的遥感图像去云算法具有很大的研究价值。


技术实现要素：

4.本发明解决的技术问题是：克服现有技术的不足，提供一种基于双支路通道和特征强化机制的遥感图像去云方法，本发明采用深度学习方法实现光学遥感图像的去云方法，通过构建遥感图像去云数据集，并设计双支路结构的遥感图像去云网络完成去云算法，通过空间通道注意力单元和多尺度稠密连接单元实现特征提取与特征强化。
5.本发明的技术方案是：一种基于双支路通道和特征强化机制的遥感图像去云方法，步骤如下：
6.1)构建遥感图像去云数据集，包括彩色有云图、彩色无云图和灰度无云图；选取彩色无云遥感图进行灰度处理和加云操作分别得到灰度无云遥感图和彩色有云遥感图，在所有图像的相应位置裁剪得到图像块，组成训练集和测试集；
7.2)构建遥感图像去云网络，遥感图像去云网络设计为双支路通道结构，双支路分别用于恢复灰度无云遥感图和彩色无云遥感图，遥感图像去云网络输入为彩色有云遥感图，输出为灰度去云遥感图和彩色去云遥感图，遥感图像去云网络结构通过构建空间通道注意力单元和多尺度稠密连接单元实现特征提取与特征强化；
8.3)设计灰度损失函数彩色损失函数和云层特征损失函数lf的线性组合作为总体损失函数，用于训练遥感图像去云网络，网络收敛后得到模型参数；
9.4)将模型参数导入遥感图像去云网络，实现遥感图像去云任务。
10.所述步骤1)中，遥感图像去云数据集具体为：
11.11)所述遥感图像去云数据集包括彩色有云图像、彩色无云图像和灰度无云图像；选取m张彩色无云遥感图像进行灰度处理得到m张灰度无云遥感图像，对m张彩色无云遥感图像进行加云操作得到m张彩色有云遥感图像，在所有图像的相应位置进行无重叠裁剪得到n个彩色有云遥感图像块，即{ii|i∈(1,
…
,n)}；与之对应的n个彩色无云遥感图像块，即
{ji|i∈(1,
…
,n)}；与之对应的n个灰度无云遥感图像块，即{ki|i∈(1,
…
,n)}；将彩色有云遥感图像块i、彩色无云遥感图像块j和灰度无云遥感图像块k组成遥感图像数据集，记为{ii,ji,ki|i∈(1,
…
,n)}；
12.12)将所述遥感图像去云数据集图像尺寸缩放至n
×
n，同时随机旋转90
°
、180
°
和270
°
，并按照p1：p2划分得到训练数据集和测试数据集；n、p1、p2为正整数。
13.所述步骤2)中，遥感图像去云网络具体为：
14.21)所述遥感图像去云网络设计为双支路通道结构，支路1和支路2分别记为和分别从灰度图和彩色图层面进行无云遥感图像恢复任务，整体网络输入为彩色有云遥感图像，输出为灰度去云遥感图像和彩色去云遥感图像；
15.22)构建遥感图像去云网络结构中支路1，负责从灰度图上提取云层特征，实现灰度无云遥感图像的重建，并将提取到的特征共享给网络其他部分完成遥感图像去云；构建遥感图像去云网络结构中支路2，负责从彩色图上提取云层特征，同时对支路1提取的灰度图的云层特征进行整合，完成彩色去云遥感图像的重建。
16.所述构建空间通道注意力单元，具体为从空间上探索特征图中的云层特征，令网络对此类特征更加关注，实现特征强化。
17.所述构建空间通道注意力单元的具体过程为：
18.空间通道注意力单元对输入s
in
进行平均值通道池化和最大值通道池化操作，随后采用1
×
1卷积减少通道个数并采用sigmoid激活函数得到输出最终将输入s
in
与进行乘积操作实现空间通道注意力机制，得到空间通道注意力单元的最终输出s
out
。
19.所述构建多尺度稠密连接单元，具体为采用不同尺度滤波器的支路提取多尺度云层特征，设计稠密连接重复利用特征并减少参数量，实现去云工作。
20.所述构建多尺度稠密连接单元的具体过程为：
21.31)多尺度稠密连接单元由s条支路组成，每条支路包括2层卷积模块，{1,2,
…
,s}条支路的滤波器尺寸依次为{f1×
f1,f2×
f2,
…
,fs×fs
}，其中，fs表示第s条支路的滤波器尺寸，fs为正整数；{1,2,
…
,s}条支路的卷积模块输出依次为其中，表示第s条支路两层卷积模块的输出，表示第s条支路第一层卷积模块输出，表示第s条支路第二层卷积模块输出，所有卷积滤波器个数均为g，卷积步幅均为r，s，g和r均为正整数，所有激活函数均为relu函数；支路上的第一层卷积输出求和得到作为第二层卷积的输入，支路上的第二层卷积输出求和得到作为稠密连接部分的输入，具体如下式所示：
[0022][0023]
式中，表示第z条支路的第一层卷积输出，v表示第一层卷积，表示第一层卷积的s条支路输出求和结果，z为支路的序号，s为支路总数量，s和z均为正整数；
[0024]
[0025]
式中，表示第e条支路的第二层卷积输出，h表示第二层卷积，表示第二层卷积的s条支路输出求和结果，e为支路的序号，s为支路总数量，s和e均为正整数；
[0026]
32)构建多尺度稠密连接单元中稠密连接部分，设计u个卷积模块的稠密连接提取图像特征，{1,2,
…
,u}个卷积模块输出依次记为,u}个卷积模块输出依次记为表示第u个卷积模块的输出，其中，d表示该卷积模块属于稠密连接部分；最终采用一个残差连接整合模块输入x
in
，得到最终输出x
out
，具体如下式所示：
[0027][0028]
式中，x
in
和x
out
表示多尺度稠密连接单元输入和输出，表示多尺度特征提取部分中第二层卷积输出求和结果，表示稠密连接部分中第u个卷积模块的输出，concat为通道上的级联，u为卷积模块的个数，u为正整数。
[0029]
所述灰度损失函数具体如下式所示：
[0030][0031]
式中，j表示彩色无云图，i表示彩色有云图，表示去云网络输出的灰度图，表示灰度去云图。
[0032]
所述彩色损失函数具体如下式所示：
[0033][0034]
式中，表示去云网络输出的彩色图，表示彩色去云图。
[0035]
所述云层特征损失函数lf具体如下式所示：
[0036][0037]
式中，δ(
·
)表示vgg19网络输出特征图，q表示vgg19网络输出特征图层数的索引，t表示输出特征图的层数，i，j和k表示特征图的宽、高和个数的索引，w，h和c表示特征图的宽、高和数量，q∈{1,
…
,t}，i∈{1,
…
,w}，j∈{1,
…
,h}，k∈{1,
…
,c}；q，i，j，k，t，w，h和c均为正整数。
[0038]
本发明提供的技术方案的有益效果是：
[0039]
1、考虑到云对图像灰度值影响较大，本发明通过彩色有云图、彩色无云图和灰度无云图的遥感图像去云数据集，将云雾对图像灰度值的影响重点考虑，构建双支路通道结构的云雾去除网络用于恢复灰度和彩色无云遥感图，去云效果更加彻底、逼真；
[0040]
2、现有遥感图像去云方法通常采用物理模型和公式推导，本发明不依赖于物理模型及公式推导，通过构建的云雾去除网络学习有云遥感图和无云遥感图之间的映射关系，可直接完成单张有云遥感图像的去云任务；
[0041]
3、现有遥感图像去云方法适用范围局限，无法处理复杂的场景，本发明采用空间通道注意力单元和多尺度稠密连接单元实现云雾特征提取与特征强化，适用范围广，适用于复杂的场景，去云效果真实自然。
附图说明
[0042]
图1为一种基于双支路通道和特征强化机制的遥感图像去云方法的流程图；
[0043]
图2为遥感图像去云网络模型结构示意图；
[0044]
图3为空间通道注意力单元结构示意图；
[0045]
图4为多尺度稠密连接单元结构示意图。
具体实施方式
[0046]
为了实现光学遥感图像的薄云去除，本发明实施例提出了一种基于双支路通道和特征强化机制的遥感图像去云方法，参见图1，详见下文描述：
[0047]
一种基于双支路通道和特征强化机制的遥感图像去云方法，所述方法包括：
[0048]
101：构建遥感图像去云数据集，包括彩色有云图、彩色无云图和灰度无云图。选取彩色无云遥感图进行灰度处理和加云操作分别得到灰度无云遥感图和彩色有云遥感图，在所有图像的相应位置裁剪得到图像块，组成训练集和测试集。
[0049]
102：构建遥感图像去云网络，遥感图像去云网络设计为双支路通道结构，双支路分别用于恢复灰度无云遥感图和彩色无云遥感图，因此网络输入为彩色有云遥感图，输出为灰度去云遥感图和彩色去云遥感图，网络结构采用空间通道注意力单元和多尺度稠密连接单元实现特征提取与特征强化。
[0050]
103：构建空间通道注意力单元，目的是从空间上探索特征图中的云层特征，令网络对此类特征更加关注，实现特征强化；构建多尺度稠密连接单元，采用不同尺度滤波器的支路提取多尺度云层特征，设计稠密连接重复利用特征并减少参数量，实现去云工作。
[0051]
104：设计灰度损失函数彩色损失函数和云层特征损失函数lf的线性组合作为总体损失函数，用于训练遥感图像去云网络，网络收敛后得到模型参数。
[0052]
105：将模型参数导入遥感图像去云网络，实现遥感图像去云任务。
[0053]
其中，步骤101中构建数据集实施的具体步骤为：
[0054]
1)构建遥感图像去云数据集，包括彩色有云图像、彩色无云图像和灰度无云图像。选取m张彩色无云遥感图像进行灰度处理得到m张灰度无云遥感图像，对m张彩色无云遥感图像进行加云操作得到m张彩色有云遥感图像，在所有图像的相应位置进行无重叠裁剪得到n个彩色有云遥感图像块，即{ii|i∈(1,
…
,n)}；与之对应的n个彩色无云遥感图像块，即{ji|i∈(1,
…
,n)}；与之对应的n个灰度无云遥感图像块，即{ki|i∈(1,
…
,n)}；将彩色有云遥感图像块i、彩色无云遥感图像块j和灰度无云遥感图像块k组成遥感图像数据集，记为{ii,ji,ki|i∈(1,
…
,n)}。
[0055]
2)将上述制作得到的遥感图像数据集图像尺寸缩放至n
×
n，同时随机旋转90
°
、180
°
和270
°
，并按照p1：p2划分得到训练数据集和测试数据集；n、p1、p2为正整数。
[0056]
其中，步骤102中遥感图像去云网络实施的具体步骤为：
[0057]
1)如图2所示，遥感图像去云网络设计为双支路通道结构，支路1和支路2分别记为和分别从灰度图和彩色图层面进行无云遥感图像恢复任务，整体网络输入为彩色有云遥感图像，输出为灰度去云遥感图像和彩色去云遥感图像。
[0058]
2)考虑到云层对图像灰度值影响较为明显，因此支路1负责从灰度图上提取云层
特征，实现灰度无云遥感图像的重建，并将提取到的特征共享给网络其他部分完成遥感图像去云。支路2负责从彩色图上提取云层特征，同时对支路1提取的灰度图的云层特征进行整合，完成彩色去云遥感图像的重建。
[0059]
3)遥感图像去云网络结构采用空间通道注意力单元(spatial channel attention unit,scau)实现特征强化任务，采用多尺度稠密连接单元(multi-scale densely connected unit,mdcu)实现特征提取与重建，两种单元结构将在步骤103中详细介绍。
[0060]
其中，步骤103中实施的具体步骤为：
[0061]
1)构建空间通道注意力单元(spatial channel attention unit,scau)，目的是从空间上探索特征图中的云层特征，令网络对此类特征更加关注，实现特征强化。如图3所示，空间通道注意力单元对输入s
in
进行平均值通道池化(mean channel pooling)和最大值通道池化(max channel pooling)操作，随后采用1
×
1卷积减少通道个数并采用sigmoid激活函数得到输出最终将输入s
in
与进行乘积操作实现空间通道注意力机制，得到空间通道注意力单元的最终输出s
out
。
[0062]
2)构建多尺度稠密连接单元(multi-scale densely connected unit,mdcu)中多尺度特征提取部分，采用不同尺度滤波器的支路提取多尺度云层特征，并设计稠密连接重复利用特征并减少参数量，实现去云工作。如图4所示，多尺度稠密连接单元由s条支路组成，每条支路包括2层卷积模块，{1,2,
…
,s}条支路的滤波器尺寸依次为{f1×
f1,f2×
f2,
…
,fs×fs
}，其中，fs表示第s条支路的滤波器尺寸，fs为正整数。{1,2,
…
,s}条支路的卷积模块输出依次为其中，表示第s条支路两层卷积模块的输出，表示第s条支路第一层卷积模块输出，表示第s条支路第二层卷积模块输出，所有卷积滤波器个数均为g，卷积步幅均为r，s，g和r均为正整数，所有激活函数均为relu函数；支路上的第一层卷积输出求和得到作为第二层卷积的输入，支路上的第二层卷积输出求和得到作为稠密连接部分的输入，具体如式(1)和(2)所示：
[0063][0064]
式中，表示第z条支路的第一层卷积输出，v表示第一层卷积，表示第一层卷积的s条支路输出求和结果，z为支路的序号，s为支路总数量，s和z均为正整数；
[0065][0066]
式中，表示第e条支路的第二层卷积输出，h表示第二层卷积，表示第二层卷积的s条支路输出求和结果，e为支路的序号，s为支路总数量，s和e均为正整数；
[0067]
3)构建多尺度稠密连接单元中稠密连接部分，设计u个卷积模块的稠密连接提取图像特征，{1,2,
…
,u}个卷积模块输出依次记为,u}个卷积模块输出依次记为表示第u个卷
积模块的输出，其中，d表示该卷积模块属于稠密连接部分。最终采用一个残差连接整合模块输入x
in
，得到最终输出x
out
，具体如式(3)所示：
[0068][0069]
式中，x
in
和x
out
表示多尺度稠密连接单元输入和输出，表示多尺度特征提取部分中第二层卷积输出求和结果，表示稠密连接部分中第u个卷积模块的输出，concat为通道上的级联，u为卷积模块的个数，u为正整数。
[0070]
其中，步骤104中损失函数实施的具体步骤为：
[0071]
1)训练过程中，网络输出灰度去云图和彩色去云图均采用l2损失函数，其中灰度损失函数具体形式如式(4)所示：
[0072][0073]
式中，j表示彩色无云图，i表示彩色有云图，表示去云网络输出的灰度图，表示灰度去云图；
[0074]
2)其中彩色损失函数具体形式如式(5)所示：
[0075][0076]
式中，表示去云网络输出的彩色图，表示彩色去云图；
[0077]
3)采用预训练的网络模拟人类视觉系统提取图像语义信息，浅层网络提取的低级视觉属性包含更多与云相关的特征，因此训练采用的云层特征损失函数lf，函数具体形式如式(6)所示：
[0078][0079]
式中，δ(
·
)表示vgg19网络输出特征图，q表示vgg19网络输出特征图层数的索引，t表示输出特征图的层数，i，j和k表示特征图的宽、高和个数的索引，w，h和c表示特征图的宽、高和数量，q∈{1,
…
,t}，i∈{1,
…
,w}，j∈{1,
…
,h}，k∈{1,
…
,c}；q，i，j，k，t，w，h和c均为正整数。
[0080]
4)总体损失函数l
all
由灰度损失函数彩色损失函数和云层特征损失函数lf的线性组合构成，具体形式如式(7)所示：
[0081][0082]
式中，β和δ分别为和lf的权重；
[0083]
5)采用总体损失函数训练至网络收敛，得到训练好的模型参数。
[0084]
其中，步骤105的具体步骤为：将模型参数导入遥感图像去云网络，实现遥感图像去云任务。
[0085]
下面结合具体的附图以及计算公式对上述方案进行详细介绍，详见下文描述：
[0086]
一种基于双支路通道和特征强化机制的遥感图像去云方法，所述方法包括：
[0087]
201：构建遥感图像去云数据集，包括彩色有云图、彩色无云图和灰度无云图。选取彩色无云遥感图进行灰度处理和加云操作分别得到灰度无云遥感图和彩色有云遥感图，在所有图像的相应位置裁剪得到图像块，组成训练集和测试集。
[0088]
202：构建遥感图像去云网络，遥感图像去云网络设计为双支路通道结构，双支路分别用于恢复灰度无云遥感图和彩色无云遥感图，因此网络输入为彩色有云遥感图，输出为灰度去云遥感图和彩色去云遥感图，网络结构采用空间通道注意力单元和多尺度稠密连接单元实现特征提取与特征强化。
[0089]
203：构建空间通道注意力单元，目的是从空间上探索特征图中的云层特征，令网络对此类特征更加关注，实现特征强化；构建多尺度稠密连接单元，采用不同尺度滤波器的支路提取多尺度云层特征，设计稠密连接重复利用特征并减少参数量，实现去云工作。
[0090]
204：设计灰度损失函数彩色损失函数和云层特征损失函数lf的线性组合作为总体损失函数，用于训练遥感图像去云网络，网络收敛后得到模型参数。
[0091]
205：将模型参数导入遥感图像去云网络，实现遥感图像去云任务。
[0092]
其中，步骤201中构建数据集实施的具体步骤为：
[0093]
1)构建遥感图像去云数据集，包括彩色有云图像、彩色无云图像和灰度无云图像。选取100张彩色无云遥感图像进行灰度处理得到100张灰度无云遥感图像，对100张彩色无云遥感图像进行加云操作得到100张彩色有云遥感图像，在所有图像的相应位置进行无重叠裁剪得到1000个彩色有云遥感图像块，即{ii|i∈(1,
…
,1000)}；与之对应的1000个彩色无云遥感图像块，即{ji|i∈(1,
…
,1000)}；与之对应的1000个灰度无云遥感图像块，即{ki|i∈(1,
…
,1000)}；将彩色有云遥感图像块i、彩色无云遥感图像块j和灰度无云遥感图像块k组成遥感图像数据集，记为{ii,ji,ki|i∈(1,
…
,1000)}。
[0094]
2)将上述制作得到的遥感图像数据集图像尺寸缩放至512
×
512，同时随机旋转90
°
、180
°
和270
°
，并按照4：1划分得到训练数据集和测试数据集。
[0095]
其中，步骤202中遥感图像去云网络实施的具体步骤为：
[0096]
1)如图2所示，遥感图像去云网络设计为双支路通道结构，支路1和支路2分别记为和分别从灰度图和彩色图层面进行无云遥感图像恢复任务，整体网络输入为彩色有云遥感图像，输出为灰度去云遥感图像和彩色去云遥感图像。
[0097]
2)考虑到云层对图像灰度值影响较为明显，因此支路1负责从灰度图上提取云层特征，实现灰度无云遥感图像的重建，并将提取到的特征共享给网络其他部分完成遥感图像去云。支路2负责从彩色图上提取云层特征，同时对支路1提取的灰度图的云层特征进行整合，完成彩色去云遥感图像的重建。
[0098]
3)遥感图像去云网络结构采用空间通道注意力单元(spatial channel attention unit,scau)实现特征强化任务，采用多尺度稠密连接单元(multi-scale densely connected unit,mdcu)实现特征提取与重建，两种单元结构将在步骤203中详细介绍。
[0099]
其中，步骤203中实施的具体步骤为：
[0100]
1)构建空间通道注意力单元(spatial channel attention unit,scau)，目的是从空间上探索特征图中的云层特征，令网络对此类特征更加关注，实现特征强化。如图3所
示，空间通道注意力单元对输入s
in
进行平均值通道池化(mean channel pooling)和最大值通道池化(max channel pooling)操作，随后采用1
×
1卷积减少通道个数并采用sigmoid激活函数得到输出最终将输入s
in
与进行乘积操作实现空间通道注意力机制，得到空间通道注意力单元的最终输出s
out
。
[0101]
2)构建多尺度稠密连接单元(multi-scale densely connected unit,mdcu)中多尺度特征提取部分，采用不同尺度滤波器的支路提取多尺度云层特征，并设计稠密连接重复利用特征并减少参数量，实现去云工作。如图4所示，多尺度稠密连接单元由s条支路组成，每条支路包括2层卷积模块，{1,2,3}条支路的滤波器尺寸依次为{3
×
3,5
×
5,7
×
7}。{1,2,3}条支路的卷积模块输出依次为其中，表示第3条支路两层卷积模块的输出，表示第3条支路第一层卷积模块输出，表示第3条支路第二层卷积模块输出，所有滤波器个数均为64，卷积步幅均为1，s，g和r均为正整数，所有激活函数均为relu函数；支路上的第一层卷积输出求和得到作为第二层卷积的输入，支路上的第二层卷积输出求和得到作为稠密连接部分的输入，具体如式(1)和(2)所示，式中，表示第z条支路的第一层卷积输出，v表示第一层卷积，表示第一层卷积的s条支路输出求和结果，z为支路的序号，s为支路总数量，s和z均为正整数，式中，表示第e条支路的第二层卷积输出，h表示第二层卷积，表示第二层卷积的s条支路输出求和结果，e为支路的序号，s为支路总数量，s和e均为正整数；
[0102]
3)构建多尺度稠密连接单元中稠密连接部分，设计u个卷积模块的稠密连接提取图像特征，{1,2,3}个卷积模块输出依次记为图像特征，{1,2,3}个卷积模块输出依次记为表示第3个卷积模块的输出，其中，d表示该卷积模块属于稠密连接部分。最终采用一个残差连接整合模块输入x
in
，得到最终输出x
out
，具体如式(3)所示，式中，x
in
和x
out
表示多尺度稠密连接单元输入和输出，表示多尺度特征提取部分中第二层卷积输出求和结果，表示稠密连接部分中第u个卷积模块的输出，concat为通道上的级联，u为卷积模块的个数，u为正整数。
[0103]
其中，步骤204中损失函数实施的具体步骤为：
[0104]
1)训练过程中，网络输出灰度去云图和彩色去云图均采用l2损失函数，其中灰度损失函数具体形式如式(4)所示，式中，j表示彩色无云图，i表示彩色有云图，表示去云网络输出的灰度图，表示灰度去云图；
[0105]
2)其中彩色损失函数具体形式如式(5)所示，式中，表示去云网络输出的彩色图，表示彩色去云图；
[0106]
3)采用预训练的网络模拟人类视觉系统提取图像语义信息，浅层网络提取的低级视觉属性包含更多与云相关的特征，因此训练采用的云层特征损失函数lf，函数具体形式如式(6)所示，式中，δ(
·
)表示vgg19网络输出特征图，q表示vgg19网络输出特征图层数的索引，t表示输出特征图的层数，i，j和k表示特征图的宽、高和个数的索引，w，h和c表示特征图的宽、高和数量，q∈{1,
…
,t}，i∈{1,
…
,w}，j∈{1,
…
,h}，k∈{1,
…
,c}；q，i，j，k，t，w，h
和c均为正整数。
[0107]
4)总体损失函数l
all
由灰度损失函数彩色损失函数和云层特征损失函数lf的线性组合构成，具体形式如式(7)所示，式中，β＝1.0、δ＝100.0；
[0108]
5)采用总体损失函数训练至网络收敛，得到训练好的模型参数。
[0109]
其中，步骤205的具体步骤为：将模型参数导入遥感图像去云网络，实现遥感图像去云任务。
[0110]
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。