一种基于卷积网络的遥感图像薄云去除方法与流程

1.本发明涉及图像处理技术领域，尤其涉及一种基于卷积网络的遥感图像薄云去除方法。


背景技术：

2.光学遥感图像能够对地物目标进行全面细致的观察，然而，受其成像机制的限制，某些观测地区容易受到云层的干扰，包括厚云和薄云。厚云指的是云层较厚，基本已无法观测到其所覆盖的地表信息。而薄云是指云层较薄，能够被太阳光穿透的各类云，因其对光波的散射和吸收作用，使得对地物观察不够清晰。
3.目前关于遥感图像薄云去除的研究比较多，但是现在的研究往往集中在网络训练的方式上，例如采用对抗式生成方法或损失函数设计上。大部分基于深度学习的方法主要以常规的卷积为主要构件构成深度神经网络，从而进行薄云去除。这样的以常规卷积构成的网络往往感受野有限，因此得到的薄云去除结果图像性能表现有限。


技术实现要素：

4.本发明的目的在于克服上述一种或多种现有的技术问题，提供一种基于卷积网络的遥感图像薄云去除方法。
5.为实现上述目的，本发明提供的一种基于卷积网络的遥感图像薄云去除方法，包括：获取薄云遥感图像；将所述薄云遥感图像输入至扩张卷积分支，所述扩张卷积分支共有五个扩张卷积模块，将所述薄云遥感图像依次通过所述扩张卷积模块，得到特征图像；将所述特征图像输入至通道叠加分支，所述通道叠加分支共有四个通道叠加模块，将所述特征图像依次通过所述通道叠加模块，得到融合图像；将所述融合图像输入至薄云去除网络，得到无云遥感图像。
6.根据本发明的一个方面，所述得到特征图像的方法为：将所述薄云遥感图像通过第一个所述扩张卷积模块，其中公式为，；其中，表示通过第一个扩张卷积模块的输出；表示扩张卷积模块；表示薄云遥感图像；将通过第一个所述扩张卷积模块的输出依次输入至第二至第五个所述扩张卷积模块，其中公式为，；其中，表示通过第个扩张卷积模块的输出；
表示特征图像；表示最大池化层。
7.根据本发明的一个方面，使用所述扩张卷积模块的方法为，所述扩张卷积模块包括一个常规卷积和五个不同扩张率的扩张卷积，将所述薄云遥感图像输入至常规卷积中，其中公式为，；其中，表示通过常规卷积的输出；表示整流线性单元；表示常规卷积；将通过常规卷积的输出依次输入至五个不同扩张率的扩张卷积，其中公式为，；其中，表示卷积操作及输入输出特征的标识序号；表示通过第个扩张卷积的输出；表示扩张率为的扩张卷积；将通过常规卷积的输出和通过五个不同扩张率的扩张卷积的输出进行叠加得到叠加特征，其中公式为，；其中，表示叠加特征；表示通过第一个扩张卷积的输出；表示通过第二个扩张卷积的输出；表示通过第三个扩张卷积的输出；表示通过第四个扩张卷积的输出；表示通过第五个扩张卷积的输出；表示多个特征之间的通道叠加；将所述叠加特征进行融合精细计算，得到通过第一个扩张卷积模块的输出，其中公式为，；其中，表示常规卷积；表示整流线性单元。
8.根据本发明的一个方面，所述得到融合图像的方法为：将所述特征图像通过第一个所述通道叠加模块的公式为，；其中，表示通过第一个通道叠加模块的输出；表示上采样操作；标识多个特征之间的通道叠加；
将通过第一个所述通道叠加模块的输出依次输入至第二至第四个所述通道叠加模块，其中公式为，；其中，为特征的标识序号；对通过最后一个所述通道叠加模块的输出进行精细化处理得到所述融合图像，其中公式为，；其中，表示通过第四个通道叠加模块的输出；表示融合图像。
9.根据本发明的一个方面，采用均方误差损失函数对所述薄云去除网络进行训练，其中公式为，；其中，表示均方误差损失函数；表示薄云去除网络；表示无云标签图像。
10.为实现上述目的，本发明提供一种基于卷积网络的遥感图像薄云去除系统，包括：薄云遥感图像获取模块：获取薄云遥感图像；特征图像获取模块：将所述薄云遥感图像输入至扩张卷积分支，所述扩张卷积分支共有五个扩张卷积模块，将所述薄云遥感图像依次通过所述扩张卷积模块，得到特征图像；融合图像获取模块：将所述特征图像输入至通道叠加分支，所述通道叠加分支共有四个通道叠加模块，将所述特征图像依次通过所述通道叠加模块，得到融合图像；无云遥感图像获取模块：将所述融合图像输入至薄云去除网络，得到无云遥感图像。
11.为实现上述目的，本发明提供一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述针对一种基于卷积网络的遥感图像薄云去除方法。
12.为实现上述目的，本发明提供一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现上述针对一种基于卷积网络的遥感图像薄云去除方法。
13.基于此，本发明的有益效果在于：能够采用堆叠扩张卷积搭建遥感图像薄云去除网络，一方面能够在不增加网络参数的前提下有效提高网络的感受野，提升其对提取特征的上下文关联性，另一方面通过堆叠不同扩张率的扩张卷积，能够实现对于不同尺寸的特征提取，从而充分会考虑了较大区域的薄云去除和较小局部区域的细节恢复，从而实现性能较为良好的遥感图像薄云去除。
附图说明
14.图1示意性表示根据本发明的一种基于卷积网络的遥感图像薄云去除方法的流程图；图2示意性表示根据本发明的一种基于卷积网络的遥感图像薄云去除方法的扩张卷积示意图；图3示意性表示根据本发明的一种基于卷积网络的遥感图像薄云去除系统的薄云去除网络图；图4示意性表示根据本发明的一种基于卷积网络的遥感图像薄云去除系统的流程图。
具体实施方式
15.现在将参照示例性实施例来论述本发明的内容，应当理解，论述的实施例仅是为了使得本领域普通技术人员能够更好地理解且因此实现本发明的内容，而不是暗示对本发明的范围的任何限制。
16.如本文中所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”，术语“一个实施例”和“一种实施例”要被解读为“至少一个实施例”。
17.图1示意性表示根据本发明的一种基于卷积网络的遥感图像薄云去除方法的流程图，如图1所示，本发明的一种基于卷积网络的遥感图像薄云去除方法，包括：获取薄云遥感图像；将所述薄云遥感图像输入至扩张卷积分支，所述扩张卷积分支共有五个扩张卷积模块，将所述薄云遥感图像依次通过所述扩张卷积模块，得到特征图像；将所述特征图像输入至通道叠加分支，所述通道叠加分支共有四个通道叠加模块，将所述特征图像依次通过所述通道叠加模块，得到融合图像；将所述融合图像输入至薄云去除网络，得到无云遥感图像。
18.根据本发明的一个实施方式，所述得到特征图像的方法为：将所述薄云遥感图像通过第一个所述扩张卷积模块，其中公式为，；其中，表示通过第一个扩张卷积模块的输出；表示扩张卷积模块；表示薄云遥感图像；将通过第一个所述扩张卷积模块的输出依次输入至第二至第五个所述扩张卷积模块，其中公式为，；其中，表示通过第个扩张卷积模块的输出；表示特征图像；表示最大池化层。
19.根据本发明的一个实施方式，使用所述扩张卷积模块的方法为，
所述扩张卷积模块包括一个常规卷积和五个不同扩张率的扩张卷积，将所述薄云遥感图像输入至常规卷积中，其中公式为，；其中，表示通过常规卷积的输出；表示整流线性单元；表示常规卷积；图2示意性表示根据本发明的一种基于卷积网络的遥感图像薄云去除方法的扩张卷积示意图，如图2所示，将通过常规卷积的输出依次输入至五个不同扩张率的扩张卷积，其中公式为，；其中，表示卷积操作及输入输出特征的标识序号；表示通过第个扩张卷积的输出；表示扩张率为的扩张卷积；将通过常规卷积的输出和通过五个不同扩张率的扩张卷积的输出进行叠加得到叠加特征，其中公式为，；其中，表示叠加特征；表示通过第一个扩张卷积的输出；表示通过第二个扩张卷积的输出；表示通过第三个扩张卷积的输出；表示通过第四个扩张卷积的输出；表示通过第五个扩张卷积的输出；表示多个特征之间的通道叠加；将所述叠加特征进行融合精细计算，得到通过第一个扩张卷积模块的输出，其中公式为，；其中，表示常规卷积；表示整流线性单元。
20.根据本发明的一个实施方式，所述得到融合图像的方法为：将所述特征图像通过第一个所述通道叠加模块的公式为，；其中，表示通过第一个通道叠加模块的输出；表示上采样操作；标识多个特征之间的通道叠加；将通过第一个所述通道叠加模块的输出依次输入至第二至第四个所述通道叠加
模块，其中公式为，；其中，为特征的标识序号；对通过最后一个所述通道叠加模块的输出进行精细化处理得到所述融合图像，其中公式为，；其中，表示通过第四个通道叠加模块的输出；表示融合图像。
21.根据本发明的一个实施方式，图3示意性表示根据本发明的一种基于卷积网络的遥感图像薄云去除系统的薄云去除网络图，如图3所示，采用均方误差损失函数对所述薄云去除网络进行训练，其中公式为，；其中，表示均方误差损失函数；表示薄云去除网络；表示无云标签图像。
22.根据本发明的一个实施例，相比于常规卷积，扩张卷积通过在卷积中插入空洞的方式扩大卷积的感受野，从而提高网络对于特征提取的上下文信息关联性，该种方式无需增加网络参数。
23.根据本发明的一个实施例，表示扩张率为的扩张卷积，举例，当时，将特征也就是作为扩张卷积的输入，该扩张卷积的扩张率为，该过程卷积的输出为，类似地，共计得到一个常规卷积的输出，和五个不同扩张率的扩张卷积的输出，也就是，，，和。
24.根据本发明的一个实施例，前后用五个堆叠扩张卷积进行操作，每个堆叠扩张卷积的输出记为紧接着的相邻的下一个的堆叠扩张卷积的输入，这五个堆叠扩张卷积的结构相同，不同的是，后四个堆叠扩张卷积分别在其各自之前添加了一个最大池化层，maxpool操作对特征进行二倍下采样操作，从而实现特征的尺寸缩小，进而实现了对于遥感图像的多级特征提取，从而有助于网络性能。
25.根据本发明的一个实施例，五个特征的尺寸各不相同，与尺寸相同，的尺寸为尺寸的二分之一，的尺寸为尺寸的四分之一，的尺寸为尺寸的八分之一，的尺寸为尺寸的十六分之一。
26.不仅如此，为实现上述发明目的，本发明还提供一种基于卷积网络的遥感图像薄云去除系统，图4示意性表示根据本发明的一种基于卷积网络的遥感图像薄云去除系统的流程图，如图4所示，根据本发明的一种基于卷积网络的遥感图像薄云去除系统，该系统包括：薄云遥感图像获取模块：获取薄云遥感图像；特征图像获取模块：将所述薄云遥感图像输入至扩张卷积分支，所述扩张卷积分
支共有五个扩张卷积模块，将所述薄云遥感图像依次通过所述扩张卷积模块，得到特征图像；融合图像获取模块：将所述特征图像输入至通道叠加分支，所述通道叠加分支共有四个通道叠加模块，将所述特征图像依次通过所述通道叠加模块，得到融合图像；无云遥感图像获取模块：将所述融合图像输入至薄云去除网络，得到无云遥感图像。
27.根据本发明的一个实施方式，所述得到特征图像的方法为：将所述薄云遥感图像通过第一个所述扩张卷积模块，其中公式为，；其中，表示通过第一个扩张卷积模块的输出；表示扩张卷积模块；表示薄云遥感图像；将通过第一个所述扩张卷积模块的输出依次输入至第二至第五个所述扩张卷积模块，其中公式为，；其中，表示通过第个扩张卷积模块的输出；表示特征图像；表示最大池化层。
28.根据本发明的一个实施方式，使用所述扩张卷积模块的方法为，所述扩张卷积模块包括一个常规卷积和五个不同扩张率的扩张卷积，将所述薄云遥感图像输入至常规卷积中，其中公式为，；其中，表示通过常规卷积的输出；表示整流线性单元；表示常规卷积；图2示意性表示根据本发明的一种基于卷积网络的遥感图像薄云去除方法的扩张卷积示意图，如图2所示，将通过常规卷积的输出依次输入至五个不同扩张率的扩张卷积，其中公式为，；其中，表示卷积操作及输入输出特征的标识序号；表示通过第个扩张卷积的输出；表示扩张率为的扩张卷积；将通过常规卷积的输出和通过五个不同扩张率的扩张卷积的输出进行叠加得到叠加特征，其中公式为，；其中，表示叠加特征；
表示通过第一个扩张卷积的输出；表示通过第二个扩张卷积的输出；表示通过第三个扩张卷积的输出；表示通过第四个扩张卷积的输出；表示通过第五个扩张卷积的输出；表示多个特征之间的通道叠加；将所述叠加特征进行融合精细计算，得到通过第一个扩张卷积模块的输出，其中公式为，；其中，表示常规卷积；表示整流线性单元。
29.根据本发明的一个实施方式，所述得到融合图像的方法为：将所述特征图像通过第一个所述通道叠加模块的公式为，；其中，表示通过第一个通道叠加模块的输出；表示上采样操作；标识多个特征之间的通道叠加；将通过第一个所述通道叠加模块的输出依次输入至第二至第四个所述通道叠加模块，其中公式为，；其中，为特征的标识序号；对通过最后一个所述通道叠加模块的输出进行精细化处理得到所述融合图像，其中公式为，；其中，表示通过第四个通道叠加模块的输出；表示融合图像。
30.根据本发明的一个实施方式，图3示意性表示根据本发明的一种基于卷积网络的遥感图像薄云去除系统的薄云去除网络图，如图3所示，采用均方误差损失函数对所述薄云去除网络进行训练，其中公式为，；其中，表示均方误差损失函数；表示薄云去除网络；表示无云标签图像。
31.根据本发明的一个实施例，相比于常规卷积，扩张卷积通过在卷积中插入空洞的方式扩大卷积的感受野，从而提高网络对于特征提取的上下文信息关联性，该种方式无需
增加网络参数。
32.根据本发明的一个实施例，表示扩张率为的扩张卷积，举例，当时，将特征也就是作为扩张卷积的输入，该扩张卷积的扩张率为，该过程卷积的输出为，类似地，共计得到一个常规卷积的输出，和五个不同扩张率的扩张卷积的输出，也就是，，，和。
33.根据本发明的一个实施例，前后用五个堆叠扩张卷积进行操作，每个堆叠扩张卷积的输出记为紧接着的相邻的下一个的堆叠扩张卷积的输入，这五个堆叠扩张卷积的结构相同，不同的是，后四个堆叠扩张卷积分别在其各自之前添加了一个最大池化层，maxpool操作对特征进行二倍下采样操作，从而实现特征的尺寸缩小，进而实现了对于遥感图像的多级特征提取，从而有助于网络性能。
34.根据本发明的一个实施例，五个特征的尺寸各不相同，与尺寸相同，的尺寸为尺寸的二分之一，的尺寸为尺寸的四分之一，的尺寸为尺寸的八分之一，的尺寸为尺寸的十六分之一。
35.为实现上述发明目的，本发明还提供一种电子设备，该电子设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，计算机程序被处理器执行时实现上述一种基于卷积网络的遥感图像薄云去除方法。
36.为实现上述发明目的，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现上述一种基于卷积网络的遥感图像薄云去除方法。
37.基于此，本发明的有益效果在于，能够采用堆叠扩张卷积搭建遥感图像薄云去除网络，一方面能够在不增加网络参数的前提下有效提高网络的感受野，提升其对提取特征的上下文关联性。另一方面通过堆叠不同扩张率的扩张卷积，能够实现对于不同尺寸的特征提取，从而充分会考虑了较大区域的薄云去除和较小局部区域的细节恢复。从而实现性能较为良好的遥感图像薄云去除。
38.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
39.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
40.在本技术所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
41.所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显
示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。
42.另外，在本发明实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
43.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例节能信号发送/接收的方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
44.以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
45.应理解，本发明的发明内容及实施例中各步骤的序号的大小并不绝对意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。