基于残差细节增强的无人机航拍图像去雾方法及装置

1.本发明涉及图像处理技术领域，尤其涉及一种基于残差细节增强的无人机航拍图像去雾方法、装置。


背景技术：

2.近几年空气质量退化严重，雾霾等恶劣天气出现频繁，pm2.5值越来越引起人们的广泛关注。在有雾天气下拍摄的图像模糊不清，清晰度不够，细节不明显，色彩保真度下降，出现严重的颜色偏移和失真，达不到满意的视觉效果。由此限制和影响了室外目标识别和跟踪、智能导航、公路视觉监视、卫星遥感监测、军事航空侦查等系统效用的发挥，给生产与生活等各方面都造成了极大的影响。
3.秋冬季节通常是雾的高发季节。对于在空中飞行的无人机，其与地面目标之间的距离越大，受到雾的影响就越严重。由于雾的影响，会导致无人机拍摄到的视频图像出现色彩泛白、对比度下降、色彩变淡等降质现象，不仅会降低这些图像的视觉质量，而且会严重影响以这些图像数据为处理源的计算机视觉算法的效能。
4.故现在迫切需要一种图像去雾方法，对雾天图像进行有效的去雾处理。
5.从生物视觉系统的角度来看，为了实现高效的信息处理，生物视觉系统已经发展成为一种有效的信息处理系统，可以提高输入视觉信息的质量。以人眼视觉系统为例，在早期视觉系统中，输入的视觉图像是通过视网膜中两种类型的细胞进行处理的，即midget细胞和parasol细胞。midget细胞属于小型细胞，其接收域较小，可用于编码高频信息，例如图像中的细节信息和噪声信息，对应着图像的细节分量；相应地，具有较大接收域的parasol细胞则更擅长于编码低频信息，例如图像的整体结构，对应着图像的基础分量。这样，midget细胞处理的通道(m-通道)和parasol细胞处理的通道(p-通道)作为视网膜中两个并行的视觉通道，分别对图像的细节分量和基础分量进行处理。
6.受到上述的生物视觉系统机理的启发，本技术提出了一种基于深度残差网络的细节增强单幅图像去雾算法，受早期视觉系统中的两个视觉通道机理启发，把待处理的有雾图像分解为基础分量图像(主要包含有雾图像的色彩、对比度以及亮度等特征)和细节分量图像(主要包含细节、边缘变化锐利的纹理等特征)两部分并行处理，以提高网络去雾效果。


技术实现要素：

7.本发明提供了一种基于残差细节增强的无人机航拍图像去雾方法及装置，以解决现有技术难以有效地学习到图像的颜色信息，并且不能很好地实现图像恢复的良好收敛性的问题。
8.本发明采用的技术方案如下：
9.第一方面，本发明公开一种基于残差细节增强的无人机航拍图像去雾方法，包括：
10.获取多对同一场景下的无人机航拍雾天图像及其对应的清晰图像作为训练数据集，并获取不同场景下的雾天图像作为待处理有雾图像；
11.将所述待处理有雾图像分解为基础分量图像和细节分量图像；
12.对所述待处理有雾图像的基础分量图像进行去雾处理，得到去雾后的基础分量图像，所述去雾处理为多尺度残差网络算法；
13.对所述待处理有雾图像的细节分量图像进行细节增强处理，得到增强后的细节分量图像并作为去雾后图像的细节分量图像，细节增强处理采用非线性回归细节增强算法；
14.将去雾后的所述基础分量图像和细节增强后的所述细节分量图像做加和处理，得到去雾后的图像。
15.在一种可实现的实施方式中，将所述待处理有雾图像分解为基础分量图像和细节分量图像，包括：
16.将所述待处理有雾图像通过高斯核函数滤波处理分解为基础分量图像和细节分量图像。
17.在一种可实现的实施方式中，还包括：
18.获取多对同一场景下的雾天图像及其对应的清晰图像作为训练数据集；分别将所述训练数据集中雾天图像及其对应的清晰图像样本分解为基础分量图像和细节分量图像。
19.在一种可实现的实施方式中，对待处理有雾图像的基础分量图像进行去雾处理，得到去雾后的基础分量图像，包括：
20.构建基于resnet的去雾网络模型；
21.将所述雾天图像的基础分量图像及其对应的清晰图像的基础分量图像分别作为训练样本输入所述resnet去雾网络模型进行训练，得到训练完成的resnet去雾网络模型；
22.将待处理有雾图像的基础分量图像输入至训练完成的resnet去雾网络模型，得到待处理有雾图像的基础分量与其对应的去雾后图像的基础分量之间的负残差；
23.再将所述待处理的有雾图像的基础分量与所述负残差相加，得到去雾后图像的基础分量。
24.进一步地，所述resnet去雾网络模型深度设置为26层，前25层由conv、bn和relu组成，第26层由conv和bn组成，参数设置为16
×3×3×
3，所述第26层用于估计出基础分量的负残差映射；
25.第1层中的参数设置为3
×3×3×
16，第2层～第25层的参数设置为16
×3×3×
16；
26.每层滤波器的尺寸为16；
27.第26层参数设置为16
×3×3×
3。
28.在一种可实现的实施方式中，对待处理有雾图像的细节分量图像进行细节增强处理，得到增强后的细节分量图像并作为去雾后图像的细节分量图像，包括：
29.构建细节增强网络模型；
30.将所述雾天图像的细节分量图像及其对应的清晰图像的细节分量图像作为训练样本输入所述细节增强网络模型进行训练，得到训练完成的细节增强网络模型并得到细节增强因子；
31.将待处理的有雾图像的细节分量图像与通过训练完成的细节增强网络得到的增强因子相乘，得到增强后的细节分量图像并作为去雾后图像的细节分量图像。
32.进一步地，所述细节增强网络依次包括两个卷积层和一个平均操作层；
33.所述两个卷积层中：
34.第一个卷积层含有32个卷积核大小为11
×
11的滤波器，且以2
×
2的步长缩小特征通道的大小；
35.第二个卷积层为1个核大小为1
×
1的滤波器，步长为1
×
1。
36.第二方面，本发明公开一种基于残差细节增强的无人机航拍图像去雾装置，包括：
37.获取模块，用于获取多对同一场景下的无人机航拍雾天图像及其对应的清晰图像作为训练数据集，并获取不同场景下的雾天图像作为待处理有雾图像；
38.分解模块，用于将所述待处理有雾图像分解为基础分量图像和细节分量图像；
39.去雾模块，用于对所述待处理有雾图像的基础分量图像进行去雾处理，得到去雾后的基础分量图像，所述去雾处理为多尺度残差网络算法；
40.细节增强模块，用于对所述待处理有雾图像的细节分量图像进行细节增强处理，得到增强后的细节分量图像并作为去雾后图像的细节分量图像，细节增强处理采用非线性回归细节增强算法；
41.加和模块，用于将去雾后的所述基础分量图像和细节增强后的所述细节分量图像做加和处理，得到去雾后的图像。
42.第三方面，本发明还公开一种计算机设备，包括：
43.一个或多个处理器；
44.存储器，用于存储一个或多个程序，
45.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或者多个处理器实现如上所述的基于残差细节增强的无人机航拍图像去雾方法。
46.第四方面，本发明又公开一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的基于残差细节增强的无人机航拍图像去雾方法。
47.采用本发明的技术方案的有益效果如下：
48.本发明的一种基于残差细节增强的无人机航拍图像去雾方法、装置及计算机设备，受早期视觉系统中的两个视觉通道机理启发，先将待处理的有雾图像分解为基础分量图像和细节分量图像；再对基础分量图像进行去雾处理，得到去雾后的基础分量图像，去雾处理为多尺度残差网络算法；然后对细节分量图像进行细节增强处理，得到增强后的细节分量图像，细节增强处理采用非线性回归细节增强算法；最后将去雾后的基础分量图像和细节增强后的细节分量图像加和处理，得到去雾后的图像。实验结果表明，本发明不仅能有效去除图像中的雾，而且可以较好地恢复图像的细节信息。
附图说明
49.为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
50.图1为残差学习单元的示意图；
51.图2为本发明一种基于残差细节增强的无人机航拍图像去雾方法的流程图；
52.图3为本发明一种基于残差细节增强的无人机航拍图像去雾方法中的resnet去雾网络模型；
53.图4为本发明一种基于残差细节增强的无人机航拍图像去雾方法中的细节增强网
络；
54.图5为本发明一种基于残差细节增强的无人机航拍图像去雾方法的流程图。
具体实施方式
55.下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本发明相一致的所有实施方式。仅是与权利要求书中所详述的、本发明的一些方面相一致的装置和方法的示例。
56.雾作为一种常见的自然天气现象，成像设备在雾天采集到的图像存在细节模糊、颜色失真、低对比度等问题，导致图像视觉效果受到严重影响，进而增大了对图像后续处理的难度。
57.从生物视觉系统的角度来看，为了实现高效的信息处理，生物视觉系统已经发展成为一种有效的信息处理系统，可以提高输入视觉信息的质量。以人眼视觉系统为例，在早期视觉系统中，输入的视觉图像是通过视网膜中两种类型的细胞进行处理的，即midget细胞和parasol细胞。midget细胞属于小型细胞，其接收域较小，可用于编码高频信息，例如图像中的细节信息和噪声信息，对应着图像的细节分量；相应地，具有较大接收域的parasol细胞则更擅长于编码低频信息，例如图像的整体结构，对应着图像的基础分量。这样，midget细胞处理的通道(m-通道)和parasol细胞处理的通道(p-通道)作为视网膜中两个并行的视觉通道，分别对图像的细节分量和基础分量进行处理。
58.受到上述生物视觉系统机理的启发，本发明提出了一种受生物视觉启发的基于残差细节增强的无人机航拍图像去雾方法，把待处理的有雾图像分解为基础分量图像(主要包含有雾图像的色彩、对比度以及亮度等特征)和细节分量图像(主要包含细节、边缘变化锐利的纹理等特征)两部分并行处理，以提高网络去雾效果。即首先对待去雾的雾天图像进行分解，得到基础分量图像和细节分量图像，针对基础分量图像所提出的去雾网络框架，采用跳跃连接的方式，通过整个网络直接传播无损信息，更有利于网络训练。去雾网络框架可以输出有雾图像的基础分量图像及其对应的清晰图像的基础分量图像之间的负残差，并与输入的雾天图像基础分量图像相加后得到待去雾的雾天图像去雾后的基础分量；进一步地，为了弥补待去雾的雾天图像的细节纹理损失，搭建了一个细节增强模块，该模块将待去雾雾天图像的细节分量图像作为输入信息，采用非线性回归预测得到增强因子，以增强图像细节分量图像；将去雾后的待去雾雾天图像的基础分量图像和待去雾雾天图像的细节分量图像加和处理，得到去雾后的图像。实验结果表明，本发明的算法不仅能有效去除图像中的雾，而且可以较好地恢复图像的细节信息。
59.因此，针对雾天场景下采集到的图像细节信息损失、色彩失真、低对比度等问题，本发明提出了一种基于残差细节增强的无人机航拍图像去雾方法、装置、计算机设备及计算机可读介质，具体如下所述。
60.其中，关于上述提到的残差网络的相关介绍如下：
61.在传统cnn中随着网络层数的加深，网络模型的分类准确性降低称为网络退化问题。基于此，深度残差网络—resnet可以有效解决该问题。对于一个普通的神经网络而言，当输入为x，其输出为h(x)，现在转而求取残差f(x)＝h(x)-x，原因是残差f(x)相较于h(x)
更容易学习。即使f(x)＝0，网络性能并未下降，此时相当于恒等映射。残差单元的基本结构如图1所示：
62.图1可以看出残差单元中通过添加跳跃连接使得网络能够最大程度的接受来自输入数据的全部信息。并且残差学习的内容较少，相较于普通cnn网络更加容易。接下来从数学理论的角度来分析该网络，首先将残差单元表示为：
63.y
l
＝h(x
l
) f(x
l
,w
l
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
64.和
65.x
l 1
＝f(y
l
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
66.上式中x
l
和x
l 1
分别表示第l个残差单元的输入信息和输出信息；f(
·
)表示残差函数，为上面的残差单元学习到的残差信息；h(x
l
)＝x
l
表示恒等映射；f(
·
)是relu激活函数。通过上式。更进一步，可以写出残差结构的表达式：
67.x
l 1
＝x
l
f(x
l
,w
l
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
68.通过对上式递归，可以求得残差网络中浅层i到深层l的学习特征：
[0069][0070]
上式(4)中x
l
是任意深层的单元l的特征表达式。由上述公式(1)～公式(4)可知，对于任意深的单元l的特征x
l
可以表达为浅层单元l的特征x
l
加上一个形如的残差函数，表明了任何单元l和l之间都具有残差特征。
[0071]
残差网络的另一个设计原则是，总能保证网络提取到的图像特征的数量。如果当特征图本身的大小缩小为原来的一半时，其数量会增加为原来数量的一倍。该操作保证了网络提取到的图像特征的丰富程度，并且每两层之间添加跳跃连接机制，就形成了残差学习。
[0072]
关于参见图1至图5所示。
[0073]
第一方面，如图1和图5所示，本发明公开了一种基于残差细节增强的无人机航拍图像去雾方法，包括：
[0074]
s100：获取不同场景下的无人机航拍雾天图像作为待处理有雾图像。
[0075]
在一种可实现的实施方式中，还包括：
[0076]
获取多对同一场景下的雾天图像及其对应的清晰图像作为训练数据集。
[0077]
s200：受到早期生物视觉系统中双通道处理机制的启发,将所述待处理有雾图像分解为基础分量图像和细节分量图像。
[0078]
对于任意一幅数字图像i，受到早期生物视觉系统中双通道处理机制的启发,可以将所述图像分解为基础分量图像和细节分量图像的加和，其表达式为：
[0079]
i＝i
base
i
detail
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0080]
在一种可实现的实施方式中，还包括对所述训练数据集中成对的雾天图像i
train haze
及其对应的清晰图像i
train clear
进行分解：
[0081]
将训练数据集的雾天图像i
train haze
分解为基础分量图像i
train haze base
和细节分量图像i
train haze detail
；
[0082]
将对应的清晰图像i
train clear
分解为基础分量图像i
train clear base
和细节分量图像itrain clear detail
。
[0083]
其中，此处需要说明的是：基础分量图像是指图像的低频(low-frequency)部分，细节分量图像指的是图像的高频(high-frequency)部分，图像最基本的信息保留在低频分量图像中，而细节和其他边缘、纹理信息将包含在图像的高频分量图像中。
[0084]
在步骤s200中，将所述待处理有雾图像分解为基础分量图像和细节分量图像，采用高斯核函数滤波处理分解。
[0085]
对于输入的待处理的有雾图像i
haze
，对其执行高斯滤波，以获得基础分量i
haze_base
和细节分量i
haze_detail
，为此，将雾天图像i
haze
建模如下所示：
[0086]ihaze
＝i
haze_base
i
haze_detail
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0087]
为了获取基础分量(低频信息)i
haze_base
，本发明对待处理的雾天图像进行高斯核模糊处理，消除纹理和内容信息的影响，进而提取到图像的雾、色彩饱和度、对比度和亮度等低频信息。模糊算子的作用过程如下：
[0088]
ig(x,y)＝∑
a,b
i(x a,y b)*g(a,b)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0089]
公式(6)中ig(x,y)表示对雾天图像i进行模糊处理后的图像，模糊算子表示为g(a,b)；高斯模糊算子g(a,b)中的a,b决定模糊半径的大小，模糊半径为其中高斯模糊算子g(a,b)的定义如下：
[0090][0091]
公式(7)中σ为正态分布的标准偏差。为了消除高频纹理信息对图像进行高斯模糊处理，在消除纹理和内容信息的同时最大限度地保留图像的原始信息，通过大量数据实验，σ2＝3的时候对各种类型的雾天图像的分解效果最好。
[0092]
上述训练数据集中雾天图像i
train_haze
所对应的清晰图像i
train_clear
，将其分解为清晰图像对应的基础分量i
train_clear_base
和清晰图像对应的细节分量i
train_clear_detail
：
[0093]itrain clear
＝i
train clear base
i
train clear detail
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0094]
s300：对待处理的有雾图像的基础分量图像i
haze base
进行去雾处理，得到去雾后的基础分量图像i
dehazed base
，所述去雾处理为多尺度残差网络算法。
[0095]
具体地，在步骤s300中，对待处理的有雾图像i
haze
的基础分量图像i
haze base
进行去雾处理，得到去雾后的基础分量图像i
dehazed base
，包括：
[0096]
构建resnet去雾网络模型；
[0097]
将训练数据集中雾天图像的基础分量图像i
train haze base
及其对应的清晰图像的基础分量图像i
train clear base
作为训练样本输入待训练的resnet去雾网络模型进行训练，得到训练完成的resnet去雾网络模型；
[0098]
将待处理的有雾图像i
haze
的基础分量图像i
haze base
输入至训练完成的resnet去雾网络模型，得到有雾图像的基础分量i
haze base
与其对应的去雾后图像的基础分量i
dehazed base
之间的负残差r(x,y)；
[0099]
将输入的有雾图像的基础分量i
haze base
与上述负残差r(x,y)相加，得到去雾后图像的基础分量i
dehazed base
。
[0100]
进一步地，所述resnet去雾网络模型深度设置为26层，前25层由conv、bn(batch normalization)和relu(rectified linear unit，线性整流单元)组成，第26层由conv和bn
组成，参数设置为16
×3×3×
3；bn层的加入是为了解决网络在训练中难度过大的问题，同时也有助于遏制网络过拟合。而relu激活函数会减少参数之间的相互依赖，使网络具有稀疏性，更好的拟合雾天图像域清晰图像之间的非线性映射关系。第1层中的参数设置为3
×3×3×
16，第2层～第25层的参数设置为16
×3×3×
16；每层滤波器的尺寸为16，是因为更大的滤波器尺寸能够捕获更多的结构信息；第26层参数设置为16
×3×3×
3，用于估计待处理的有雾图像的基础分量图像i
haze base
及其对应的去雾后图像的基础分量图像i
dehazed base
的负残差r(x,y)映射。
[0101]
也就是说，假设最终要求的去雾后的图像为i
dehazed
，本发明通过求取有雾图像对应的基础分量i
dehazed_base
及其对应的去雾后图像的基础分量i
dehazed_detail
之间的负残差定义为：
[0102]
r(x,y)＝i
dehazed_base-i
haze_base
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0103]
然后再通过公式：
[0104]
r(x,y) i
haze_base
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0105]
来求解去雾后图像的基础分量i
dehazed_base
。
[0106]
同时，为了避免去雾过程中可能出现的颜色失真问题，通过添加跳跃连接来保持输入模糊图像的颜色信息，这可以通过将残差学习概念嵌入到我们的去雾框架中来实现，因为无损信息通过跳跃连接可直接用于更新参数。此外，通过预测去雾后图像的基础分量图像和待处理有雾图像的基础分量的负残差来求解待去雾后图像的基础分量图像更加有利于模型的训练，因为上述负残差映射比resnet具有更低的训练和测试误差。目前已有的基于resnet的图像去雾方法通常采用“端到端”的去雾方式，以待去雾的图像作为输入，以去雾后的清晰图像作为输出。
[0107]
与之不同的是，本发明受到早期生物视觉系统中双通道处理机制的启发，首先对待处理有雾图像进行分解，得到基础分量图像和细节分量图像，针对基础分量图像所提出的去雾网络，采用跳跃连接的方式，通过整个网络直接传播无损信息，更有利于网络训练。去雾网络框架可以输出待处理有雾图像的基础分量图像及其对应的去雾后图像的基础分量图像之间的负残差，将所述负残差与原待处理有雾图像的基础分量图像相加后得到去雾后图像的基础分量；进一步地，为了弥补待处理有雾图像的细节纹理损失，本发明搭建了一个细节增强网络，该网络将训练数据集的雾天图像的细节分量图像作为输入信息，采用非线性回归预测得到增强因子，以增强图像细节分量图像，得到去雾后图像的细节分量图像；将去雾后图像的基础分量图像和去雾后图像的细节分量图像做加和处理，得到去雾后的图像。实验结果表明，本发明的算法不仅能有效去除图像中的雾，而且可以较好地恢复图像的细节信息。
[0108]
本发明利用resnet网络结构来预测待处理有雾图像的基础分量和与其对应的去雾后图像的基础分量之间的负残差，降低了网络训练的难度。同时在网络中添加跳跃连接，有助于输入信息通过所有参数层，最大限度地提取图像的特征信息。
[0109]
本发明提出的resnet去雾网络模型，在更好地提取雾天图像特征的同时保留了原始图像中的全部信息。并且，残差网络中的跳跃连接操作可以有效解决卷积神经网络中存在的梯度消失问题，提高图像信息流的传播效率。其中，本发明方法仅学习待处理有雾图像的基础分量图像和与其对应的去雾后图像的基础分量之间的负残差，并将上述负残差与原
始输入的待处理有雾图像的基础分量图像相加后得到去雾后图像的基础分量。整体resnet去雾网络结构如图3所示。
[0110]
s400：对待处理的有雾图像的细节分量图像进行细节增强处理，得到增强后的细节分量图像并作为去雾后图像的细节分量图像，细节增强处理采用非线性回归来增强细节算法。
[0111]
在一种可实现的实施方式中，对待处理的有雾图像的细节分量图像进行细节增强处理，得到增强后的细节分量图像，作为去雾后图像的细节分量图像，包括：
[0112]
构建细节增强网络模型；
[0113]
将训练数据集中雾天图像的细节分量图像和与其对应的清晰图像的细节分量图像作为训练样本输入待训练的所述细节增强网络模型进行训练，得到训练完成的细节增强网络模型进而得到细节增强因子；
[0114]
将待去雾处理有雾图像的细节分量图像与所述通过训练完成的细节增强网络模型得到的增强因子相乘，得到增强后的细节分量图像，作为去雾后图像的细节分量图像。
[0115]
进一步地，所述细节增强网络依次包括两个卷积层和一个平均操作层，两个所述卷积层用于提取有雾图像的细节分量图像和其对应的清晰图像的细节分量图像的特征张量，所述平均操作层用于对所述特征张量的所有元素进行均值运算处理，并获取用于训练的有雾图像的细节分量图像和其对应的清晰图像的细节分量图像的增强因子，所述两个卷积层中：层含有32个卷积核大小为11
×
11的滤波器，且以2
×
2的步长缩小特征通道的大小；第二层为1个核大小为1
×
1的滤波器，步长为1
×
1。
[0116]
步骤s400采用非线性回归来增强待处理有雾图像的细节分量图像i
haze_detail
。具体通过提出的细节增强网络对于给定的模糊图像，由所提出的细节增强网络学习一个增强因子m。如式(11)所示：
[0117]
e(i
dehazed_detail
)＝m
×ihaze_detail
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0118]
其中m是与输入待处理雾天图像i
haze
相关的细节增强预测因子，i
haze detail
为待去雾的雾天图像的细节图像。整体细节增强网络结构如图4所示。
[0119]
进一步地，如图4所示，细节增强网络模型由两个卷积层和一个平均操作层组成，两个所述卷积层用于提取第二细节分量图像和第三细节分量图像的特征张量，所述平均操作层用于对所述特征张量的所有元素进行均值运算处理，并获取第二细节分量图像和第三细节分量图像的增强因子。该细节增强网络模型的输入是待去雾的雾天图像对应的细节分量，其中层含有32个卷积核大小为11
×
11的滤波器，并且以2
×
2的步长缩小特征通道的大小，这将有助于降低计算成本；第二层为1个核大小为1
×
1的滤波器，步长为1
×
1。最终通过计算来自输入特征图的所有元素的平均值，可以获得用于细节分量图像增强的预测增强因子m，即为有雾图像-清晰图像数据对的增强因子m。
[0120]
由早期视觉系统中的两个视觉通道机理可以，任意一幅图像i可以用公式(4)所示的表达式分解为基础分量图像和细节分量图像的加和形式，因此可以由公式(4)反解出细节分量图像的计算方式如下：
[0121]idetail
＝i-i
base
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0122]
对于训练数据集中成对的有雾图像i
train_haze
及其对应的清晰图像i
train_clear
，利用公式(5)所示的高斯核模糊函数对图像进行分解，分别获得有雾图像的细节分量图像itrain_haze_detail
及其对应的清晰图像的细节分量图像i
train_clear_detail
，然后，训练有雾图像-清晰图像数据对的增强因子m的预测值可以通过下式计算后取平均得到，如下所示：
[0123][0124]
其中(i,j,k)表示张量元素的坐标；m
i,j,k
即为有雾图像的细节分量图像i
train_haze_detail
的张量(i
train_heze_detail
)
i,j,k
和与之对应的清晰图像的细节分量图像i
train_clear_detail
的张量(i
train_clear_detail
)
i,j,k
的比值。所有通道通过对两个张量的所有元素方向的计算结果进行平均，获得该训练图像对的预测增强因子m。
[0125]
在利用训练数据集中成对的有雾图像及其对应的清晰图像对细节增强网络模型进行训练后，可以得到训练完成的细节增强网络模型，进而获取到细节增强因子m值，可直接将待处理有雾图像的细节分量图像与通过训练完成的细节增强网络模型得到的增强因子m值相乘，得到增强后的细节分量图像。
[0126]
s500：将去雾后的基础分量图像和增强后的细节分量图像做加和处理，得到去雾后的图像。
[0127]
目前现有的基于深度学习的去雾算法通常采用“端到端”的去雾模型，将有雾图像作为输入信息，利用去雾网络完成去雾处理，输出结果为对应的清晰图像。在网络训练阶段，利用成对的有雾图像样本及其对应的清晰图像样本做训练数据，将有雾图像直接送入网络中用于模型学习一种端到端的映射关系，然而训练过程中经常无法有效地学习到图像的颜色信息，并且不能很好地实现图像恢复的良好收敛性。
[0128]
本发明选用基础分量作为去雾网络输入信息是为了评估图像之间的亮度、对比度和色彩饱和度之间的差异，同时消除纹理和内容信息；细节增强网络是为了弥补图像去雾后损失的细节信息。并且现有的大多图像去雾增强算法为端到端去雾模型，一般是将整个图像(包括色彩对比度和纹理)直接送入网络中用于模型学习一种端到端的映射关系，然而训练过程中可能无法良好的学习图像的颜色信息，并且不能很好的实现图像恢复的良好收敛性。受早期视觉系统中的两个视觉通道机理启发，本发明将待处理的雾天图像分解为第一基础分量图像和第一细节分量图像，提出一种受生物视觉启发的基于深度残差网络的细节增强单幅图像去雾算法，将图像分解为基础分量图像(色彩、饱和度、对比度)和细节分量图像(细节、纹理信息)两部分并行处理，以提高网络去雾效果。
[0129]
本发明提出的一种受生物视觉启发的基于残差细节增强的无人机航拍图像去雾方法，先将待处理有雾图像分解为基础分量图像和细节分量图像；再对基础分量图像进行去雾处理，得到去雾后的基础分量图像，去雾处理为多尺度残差网络算法；然后对有雾图像的细节分量图像进行细节增强处理，得到增强后的细节分量图像，细节增强处理采用非线性回归细节增强算法；最后将去雾后的基础分量图像和细节增强后的细节分量图像加和处理，得到去雾后的图像。实验结果表明，本发明不仅能有效去除图像中的雾，而且可以较好地恢复图像的细节信息。
[0130]
具体来说，本发明首先将待处理有雾图像分解为基础分量图像和细节分量图像；然后针对有雾图像的基础分量图像提出去雾网络框架，采用跳跃连接的方式，通过整个网络直接传播无损信息，去雾网络框架可以输出有雾图像的基础分量图像和与其对应的去雾后图像的基础分量图像之间的负残差，将上述负残差与输入的待处理有雾图像的基础分量
图像相加后得到去雾后图像的基础分量；进一步地，为了弥补待去雾的雾天图像的细节纹理损失，搭建了一个细节增强模块，该模块将有雾图像的第二细节分量图像和清晰图像的第三细节分量作为训练网络信息，采用非线性回归预测得到增强因子，将细节分量图像与通过训练完成的细节增强网络模型得到的增强因子m值相乘，以增强待处理的雾天图像的细节分量图像；将去雾后的基础分量图像和增强后的细节分量图像加和处理，得到去雾后的图像。实验结果表明，本发明的算法不仅能有效去除图像中的雾，而且可以较好地恢复图像的细节信息。
[0131]
第二方面，本发明提供了一种基于残差细节增强的无人机航拍图像去雾装置，包括：
[0132]
获取模块，用于获取不同场景下的无人机航拍雾天图像作为待处理有雾图像；
[0133]
分解模块，用于将所述待处理有雾图像分解为基础分量图像和细节分量图像；
[0134]
去雾模块，用于对所述待处理有雾图像的基础分量图像进行去雾处理，得到去雾后的基础分量图像，所述去雾处理为多尺度残差网络算法；
[0135]
细节增强模块，用于对所述待处理有雾图像的细节分量图像进行细节增强处理，得到增强后的细节分量图像并作为去雾后图像的细节分量图像，细节增强处理采用非线性回归细节增强算法；
[0136]
加和模块，用于将去雾后的所述基础分量图像和细节增强后的所述细节分量图像做加和处理，得到去雾后的图像。
[0137]
需要说明的是：上述实施例提供的基于残差细节增强的无人机航拍图像去雾装置在进行图像去雾时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于残差细节增强的无人机航拍图像去雾装置与基于残差细节增强的无人机航拍图像去雾方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0138]
其中，具体关于基于残差细节增强的无人机航拍图像去雾装置的限定可以参见上文中对基于残差细节增强的无人机航拍图像去雾方法的限定，在此不多做赘述。另外，上述基于残差细节增强的无人机航拍图像去雾装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0139]
作为第三方面，本发明还公开了一种计算机设备，该计算机设备可以是服务器。该计算机设备包括：一个或多个处理器，用于提供计算和控制能力；存储器，存储器用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或者多个处理器实现以下步骤：获取不同场景下的无人机航拍雾天图像作为待处理有雾图像；将待处理有雾图像分解为基础分量图像和细节分量图像；对待处理有雾图像的基础分量图像进行去雾处理，得到去雾后的基础分量图像，去雾处理为多尺度残差网络算法；对待处理有雾图像的细节分量图像进行细节增强处理，得到增强后的细节分量图像并作为去雾后图像的细节分量图像，细节增强处理采用非线性回归细节增强算法；将去雾后的基础分量图像和细节增强后的细节分量图像做加和处理，得到去雾后的图像。
[0140]
作为第四方面，本发明还公开了一种计算机可读介质，其上存储有计算机程序，该计算机可读介质可以是上述实施例中描述的设备中所包含的，也可以是单独存在，而未装配入该设备中。上述程序被处理器执行以下步骤：获取不同场景下的无人机航拍雾天图像作为待处理有雾图像；将待处理有雾图像分解为基础分量图像和细节分量图像；对待处理有雾图像的基础分量图像进行去雾处理，得到去雾后的基础分量图像，去雾处理为多尺度残差网络算法；对待处理有雾图像的细节分量图像进行细节增强处理，得到增强后的细节分量图像并作为去雾后图像的细节分量图像，细节增强处理采用非线性回归细节增强算法；将去雾后的基础分量图像和细节增强后的细节分量图像做加和处理，得到去雾后的图像。
[0141]
需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个....”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0142]
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
[0143]
应当理解的是,本发明并不局限于上面己经描述并在附图中示出的内容,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。