一种非均匀雾密度分布先验的遥感影像去雾方法

1.本发明属于遥感数据质检和数据增强的相关技术领域，尤其是涉及一种非均匀雾密度分布先验的遥感影像去雾方法。


背景技术：

2.针对不均匀的雾，大部分学者都选择首先估计一个雾分布先验图，再利用这个先验引导模型进行精准的去雾。makarau等人在chavez的工作基础上，通过对黑暗物体的局部搜索，计算出一个雾密度图(htm)，以消除不均匀的雾(参考：a.makarau,r.richter,r.muller,and p.reinartz,“haze detection and removal in remotely sensed multispectral imagery,”ieee trans.geosci.remote sens.,vol.52,no.9,pp.5895
–
5905,jan.2014)。liu等人通过计算地面辐射率抑制的雾密度图(grs-htm)来消除雾成分(参考：q.liu,x.gao,l.he,and w.lu,“haze removal for a single visible remote sensing image,”signal process.,vol.137,pp.33
–
43,2017)，这比htm更精确。pan等人利用饱和度分量来对暗通道进行校正得到雾分布图(hdm)，并将其用于雾浓度估计(参考：pan,x.,xie,f.,jiang,z.,shi,z.,&luo,x.(2016).no-reference assessment on haze for remote-sensing images.ieee geoscience and remote sensing letters,13(12),1855
–
1859)。然而，上述方法严重依赖雾分布先验的精度。gu等人通过输入hdm和雾霾影像，提出了基于先验的致密脱色网络(dadn)(参考：gu,z.,zhan,z.,yuan,q.,&yan,l.(2019).single remote sensing image dehazing using a prior-based dense attentive network.remote sensing,11(24),3008)。在网络中采用堆叠方法来融合雾的分布先验，网络缺乏物理上的可解释性，而且容易产生雾与纹理特征混叠的问题。另外现有方法大多利用暗通道先验合成非均匀雾图，并没有考虑遥感成像的物理特性，比如遥感不同波段的雾成像辐射特征不同，其雾的时间和空间特征都具有随机性，因此现有方法对真实遥感雾的去除效果不佳，网络模型的泛化能力较弱。
3.深度学习方法随着网络的加深，会出现特征退化的现象，往往需要在传播过程中对特征进行增强。因此，应将注意力机制视为去雾的效果模块。liu等人基于注意力机制提出了一种基于注意力的多尺度网络(grid dehaze net)(参考：x liu,ma y,shi z,et al.griddehazenet:attention-based multi-scale network for image dehazing[j].2019)，通过计算一个通道上的权重，实现影像不同尺度特征的融合。qin等人考虑不同颜色光对形成雾的影响不同以及雾在影像上的分布不均匀等，提出了一个具有通道和空间注意力的特征融合注意力网络(ffa-net)(参考：qin x,wang z,bai y,et al.ffa-net:feature fusion attention network for single image dehazing[j].2019)，以分别解决影像不同波段和区域的雾问题。基于雾先验特征的网络学习方法，势必会增加信息的冗余性以及带来额外的噪声，上述方法并没有考虑引入雾分布先验后的多特征注意力问题；另外考虑到遥感影像的透射特性，雾特征在不同波段，不同区域的表征不同，因此如何设计一个适应遥感影像去雾网络的注意力模块，并能提高纹理和边缘的保持能力是关键。


技术实现要素：

[0004]
针对上述技术问题，本发明的目的在于克服已有技术的不足之处，提出了一种非均匀雾密度分布先验的遥感影像去雾网络模型，首先利用遥感影像的近红外波段修正雾密度分布先验物理模型，并以此模型构建了端到端的逼近真实场景的遥感雾训练集；以解码器-编码器为主干网络，设计了雾密度分布先验的雾特征感知融合模块fpfm，该模块采用仿射变换方法实现影像色彩和雾密度分布先验特征的融合，提升模型对不均匀雾分布特征的表征能力；然后设计了基于残差注意力机制的多尺度纹理特征增强模块mtem，该模块包括残差注意力、可变/差分卷积，增强模型对不同尺度地物几何和纹理特征的表征能力。
[0005]
为实现上述目的，本发明包括以下步骤：
[0006]
s1：对输入的雾天拍摄下的遥感影像，提取非均匀的雾分布先验图；
[0007]
s2：将步骤s1提取的非均匀雾分布先验图作为待模拟雾影像的透射率，并随机给定一个大气光参数构建大气散射模型；
[0008]
s3：对输入的无雾天拍摄下的清晰遥感影像，根据步骤s2所得的大气散射模型可生成具有非均匀分布特征的模拟雾影像，利用生成的模拟雾影像与原始清晰无雾影像，制作用于遥感影像去雾的训练数据集；
[0009]
s4：构建一种非均匀雾密度分布先验的遥感影像去雾网络模型，采用步骤s3的训练数据集对该网络模型进行参数的学习与训练，得到去雾网络模型的参数；
[0010]
s5：采用步骤s4中的去雾网络模型和参数，对待输入的雾影像进行测试，得到去雾之后的遥感影像。
[0011]
进一步的，所述的步骤s1中非均匀的雾分布先验图的提取方法，包括以下方法和步骤：
[0012]
(1)雾分布先验分量的表达：从真实遥感雾影像中提取暗通道分量图i
dark
(x)、饱和度分量图s(x)以及近红外波段ni(x)；
[0013]
(2)对真实遥感雾影像，采用以下模型提取雾分布先验图fdm(x):
[0014]
fdm(x)＝max(i
dark
(x)-αs(x)-gni(x)，0)
[0015]
其中，s(x)表示影像的饱和度分量图，i
dark
(x)影像的暗通道图，α为饱和度分量的比例因子，fdm(x)为雾密度分布图，ni(x)为影像的近红外波段，ε为近红外波段的比例因子。
[0016]
进一步的，所述的步骤s2中的透射率计算方法，包括以下方法和步骤：
[0017]
(1)遥感影像第1波段的透射率表达为：
[0018][0019]
其中，fdm(x)为雾密度分布图，为第1波段的透射率；
[0020]
(2)遥感影像其它波段的透射率ti表达为：
[0021][0022]
其中，λ1为第1波段的波长，λi为第i波段的波长，γ是与大气悬浮颗粒大小相关的一个固定量，ln为自然对数运算，ti为第i波段的透射率。
[0023]
进一步的，所述的步骤s4中非均匀雾密度分布先验的遥感影像去雾网络模型的构建方法，包括以下方法和步骤：
[0024]
(1)网络模型的总体结构：该网络为端到端的卷积网络结构，包括特征提取模块、雾特征感知融合模块fpfm、多尺度纹理特征增强模块mtem和特征输出模块；
[0025]
(2)网络的端到端输入：对训练集中的雾影像，采用步骤s1的方法提取雾分布先验图，把先验图和雾影像一起作为网络一端的输入，把训练集中的清晰影像作为网络的另一端输入；
[0026]
(3)特征提取模块的结构：该模块由三个上采样的卷积层构成，输出为特征图；
[0027]
(4)雾特征感知融合模块fpfm的结构：该模块有两个输入，一个是上一层特征提取模块的输出，另一个是步骤(2)中网络一端雾分布先验图的输入，输出为特征图；该模块由空间变换模块sft、通道注意力层ca和空间注意力层pa串联结构构成，其中空间变换模块sft的结构如下：
[0028]
第一模块是对输入的雾分布先验图进行三个卷积层的特征提取；
[0029]
第二模块是上下两个并行的结构，均为两个卷积层组成，其中，分别得到两个输出和再对这两个输出特征进行如下的表达：
[0030][0031]
其中，sft(x)为空间变换模块的最终输出，i(x)为上一层特征提取模块的输出，为乘积操作；
[0032]
(5)多尺度纹理特征增强模块mtem的结构：该模块为上下两个并行分支构成的残差注意力结构，一个分支是注意力通道，另一个分支是融合可变性卷积和差分卷积的多尺度通道；该模块有一个输入是上一层雾特征感知融合fpfm模块的输出，输出为特征图；
[0033]
其中，注意力通道的结构为：首先采用1
×
1的卷积层来提取通道的基本特征，再建立空间注意力和通道注意力两个分支提取注意力特征，并以残差结构进行特征的融合来获取一个全局注意图；
[0034]
其中，多尺度通道的结构为：首先采用一个3
×
3的可变性卷积，再采用多个尺度的池化操作，最后连接一个差分卷积；
[0035]
(6)特征输出模块：该模块由三个上采样的卷积层构成，输出为去雾后的预测图。
[0036]
进一步的，所述的步骤s4中构建的影像去雾模型中的损失包括内容损失lc，感知损失l
prep
和边缘损失l
gra
，损失函数采用计算量较小的均方差误差，上述可以用公式表示为:
[0037]
l＝lc λ1l
prep
λ2l
gra
[0038]
其中，λ1、λ2分别为感知损失和边缘损失的权重系数；
[0039]
感知损失采取固定的预训练vgg16网络，在第4阶段最后一个卷积层激活前的特征进行损失计算，具体可由公式所示：
[0040]
l
prep
＝∑||v1(gi))-v1(i)||2[0041]
其中，v1表示固定的vgg16网络，g表示本文网络，i表示输入影像；
[0042]
通过sobel算子对影像的梯度信息进行提取，从x和y两个方向上对网络的边缘恢复能力进行约束，边缘损失可由公式表示：
[0043]
l
gra
＝||(e
x
(gi))-e
x
i) (ey(gi))-eyi)||1[0044]
其中，e
x
为水平方向上的边缘提取，ey为垂直方向上的边缘提取；
[0045]
由上，本发明利用非均匀雾密度分布先验的学习网络可准确表达影像的真实雾特征，有效解决了遥感影像去雾不均匀、色彩和边缘退化的问题。本发明通过一种更新颖的，解释性更强的方式将雾分布先验与网络结合起来，提高网络对雾的感知能力，并利用注意力机制与特征金字塔的巧妙结合来增强特征，另外，本发明采用两种特殊卷积来代替传统卷积，加强边缘与纹理的恢复。本发明方法对遥感影像中存在的非均匀雾特征具有较好的去除效果，可在遥感数据质检、遥感数据增强等领域中使用，可有效提高遥感数据的质量。
附图说明
[0046]
本发明内容的描述与下面附图相结合将变得明显和容易理解，其中：
[0047]
图1为本发明一种非均匀雾密度分布先验的遥感影像去雾方法的流程图；
[0048]
图2为整体网络结构图；
[0049]
图3为雾特征感知融合模块fpfm结构图；
[0050]
图4为空间特征变换层sft结构图；
[0051]
图5为多尺度纹理特征增强模块mtem结构图；
[0052]
图6为影像去雾算法效果图。
具体实施方式
[0053]
按图1所示步骤，对本发明一种非均匀雾密度分布先验的遥感影像去雾方法进行详细说明。
[0054]
步骤1：对输入的雾天拍摄下的遥感影像，提取非均匀的雾分布先验图，详细操作如下：
[0055]
(1)雾分布先验分量的表达：从真实遥感雾影像中提取暗通道分量图i
dark
(x)、饱和度分量图s(x)以及近红外波段ni(x)；
[0056]
(2)对真实遥感雾影像，采用以下模型提取雾分布先验图fdm(x):
[0057]
fdm(x)＝max(i
dark
(x)-αs(x)-gni(x)，0)
[0058]
其中，s(x)表示影像的饱和度分量图，i
dark
(x)影像的暗通道图，α为饱和度分量的比例因子，fdm(x)为雾密度分布图，ni(x)为影像的近红外波段，ε为近红外波段的比例因子，通过大量实验验证可得两个经验值α＝0.5和ε＝0.2。
[0059]
步骤2：将步骤s1提取的非均匀雾分布先验图作为待模拟雾影像的透射率，并随机给定一个大气光参数构建大气散射模型，详细步骤如下：
[0060]
(1)遥感影像第1波段的透射率表达为：
[0061][0062]
其中，fdm(x)为雾密度分布图，为第1波段的透射率；
[0063]
(2)遥感影像其它波段的透射率ti表达为：
[0064][0065]
其中，λ1为第1波段的波长，λi为第i波段的波长，γ是与大气悬浮颗粒大小相关的一个固定量，ln为自然对数运算，ti为第i波段的透射率，γ的变化范围为0.5～1，薄云条件下，γ取1。
[0066]
步骤3：对输入的无雾天拍摄下的清晰遥感影像，根据步骤s2所得的大气散射模型可生成具有非均匀分布特征的模拟雾影像，利用生成的模拟雾影像与原始清晰无雾影像，制作用于遥感影像去雾的训练数据集，详细步骤如下：
[0067]
选取时间在2020年1月左右的zy3-02星的多光谱影像作为制作数据集的基础影像，传感器为tms，影像范围在东经102.9
°
，北纬24.7
°
周围；首先将影像经过预处理，裁剪为512
×
512大小，然后选取15张真实雾影像，并提取出雾密度分布，将大气光值在0.6、0.8、1.0中随机选择，最终生成10000张不同效果且非均匀分布的模拟雾影像。
[0068]
步骤4：构建一种非均匀雾密度分布先验的遥感影像去雾网络模型，采用步骤s3的训练数据集对该网络模型进行参数的学习与训练，得到去雾网络模型的参数，详细步骤如下：
[0069]
(1)网络模型的总体结构：如图2所示，该网络为端到端的卷积网络结构，包括特征提取模块、雾特征感知融合模块fpfm、多尺度纹理特征增强模块mtem和特征输出模块；
[0070]
(2)网络的端到端输入：对训练集中的雾影像，采用步骤s1的方法提取雾分布先验图，把先验图和雾影像一起作为网络一端的输入，把训练集中的清晰影像作为网络的另一端输入；
[0071]
(3)特征提取模块的结构：该模块由三个上采样的卷积层构成，输出为特征图；
[0072]
(4)雾特征感知融合模块fpfm的结构：如图3所示，该模块有两个输入，一个是上一层特征提取模块的输出，另一个是步骤(2)中网络一端雾分布先验图的输入，输出为特征图；该模块由空间变换模块sft、通道注意力层ca和空间注意力层pa串联结构构成，其中如图4所示，空间变换模块sft的结构如下：
[0073]
第一模块是对输入的雾分布先验图进行三个卷积层的特征提取；
[0074]
第二模块是上下两个并行的结构，均为两个卷积层组成，其中，分别得到两个输出和再对这两个输出特征进行如下的表达：
[0075][0076]
其中，sft(x)为空间变换模块的最终输出，i(x)为上一层特征提取模块的输出，为乘积操作；
[0077]
(5)多尺度纹理特征增强模块mtem的结构：如图5所示，该模块为上下两个并行分支构成的残差注意力结构，一个分支是注意力通道，另一个分支是融合可变性卷积和差分卷积的多尺度通道；该模块有一个输入是上一层雾特征感知融合fpfm模块的输出，输出为特征图；
[0078]
其中，注意力通道的结构为：首先采用1
×
1的卷积层来提取通道的基本特征，再建立空间注意力和通道注意力两个分支提取注意力特征，并以残差结构进行特征的融合来获
取一个全局注意图；
[0079]
其中，多尺度通道的结构为：首先采用一个3
×
3的可变性卷积，再采用多个尺度的池化操作，最后连接一个差分卷积；
[0080]
(6)特征输出模块：该模块由三个上采样的卷积层构成，输出为去雾后的预测图。
[0081]
(7)损失的表达：
[0082]
构建的影像去雾模型中的损失包括内容损失lc，感知损失l
prep
和边缘损失l
gra
，损失函数采用计算量较小的均方差误差，上述可以用公式表示为:
[0083]
l＝lc λ1l
prep
λ2l
gra
[0084]
其中，λ1、λ2分别为感知损失和边缘损失的权重系数；
[0085]
感知损失采取固定的预训练vgg16网络，在第4阶段最后一个卷积层激活前的特征进行损失计算，具体可由公式所示：
[0086]
l
prep
＝∑||v1(gi))-v1(i)||2[0087]
其中，v1表示固定的vgg16网络，g表示本文网络，i表示输入影像；
[0088]
通过sobel算子对影像的梯度信息进行提取，从x和y两个方向上对网络的边缘恢复能力进行约束，边缘损失可由公式表示：
[0089]
l
gra
＝||(e
x
(gi))-e
x
i) (ey(gi))-eyi)||1[0090]
其中，e
x
为水平方向上的边缘提取，ey为垂直方向上的边缘提取；
[0091]
步骤5：采用步骤s4中的去雾网络模型和参数，对待输入的雾影像进行测试，得到去雾之后的遥感影像，效果如图6所示，其中第一列的图像均为真实遥感云雾影像，第二列的图像为真实遥感云雾影像对应的去雾之后的遥感影像。
[0092]
本发明提供了一种非均匀雾密度分布先验的遥感影像去雾方法，针对目前的影像去雾算法，无论是基于先验知识的算法还是基于深度学习的算法都只是在影像的单一特征空间中进行去雾操作，存在去雾不均匀、色彩和边缘退化等问题，因此本发明提出一种新的非均匀雾密度分布先验的遥感影像去雾网络模型。
[0093]
以上所述，仅为本发明中的具体实施方式，本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖本发明的包含范围之内，因此本发明的保护范围应该以权利要求书的保护范围为准。