一种飞机图像去雾方法及系统与流程

1.本发明涉及图像处理技术领域，特别是涉及一种飞机图像去雾方法及系 统。


背景技术：

2.在实际工业应用中，为了掌握飞机飞行情况，获得飞机飞行姿态，我们经 常需要在飞机起飞、降落过程中用第三方相机进行拍摄，获取的飞机图片将用 于指挥室监控，或进行目标检测、姿态测量等高级视觉任务。然而，飞机起降 位于室外环境，经常受到有雾等恶劣天气的干扰，大大影响飞机图片质量，从 而干扰判断。对有雾飞机图像进行去雾操作，一方面能够获得具有更好的人眼 视觉效果的图片帮助监控，另一方面能够为后续高级视觉任务提供更好的预处 理图像。因此，研究有雾飞机图像的去雾问题十分重要。
3.解决有雾飞机图像的去雾问题，最容易想到的方法，就是利用现有去雾网 络，将有雾飞机图像直接作为输入，输出则为去雾后的无雾飞机图像。然而， 该方法获得的去雾飞机图像效果往往不好甚至失效。分析其原因在于飞机图像 具有与通用图像不同的特点，如色彩较单一、除有雾外还存在其他噪声、暗光 等降质因素，而现有方法均基于通用数据集进行训练，对飞机图像针对性较差。
4.对此，亟需一种对飞机图像具有针对性去雾的飞机图像去雾方法及系统， 提高有雾飞机图像的去雾效果。


技术实现要素：

5.本发明的目的是提供一种飞机图像去雾方法及系统，以提高有雾飞机图像 的去雾效果。
6.为实现上述目的，本发明提供了如下方案：
7.一种飞机图像去雾方法，包括：
8.获取有雾飞机图像；
9.对所述有雾飞机图像预去雾处理，得到初步去雾图像；
10.将所述有雾飞机图像作为有监督学习网络的输入，将所述初步去雾图像作 为所述有监督学习网络的参考标签，对所述有监督学习网络训练，得到训练好 的有监督学习网络；
11.利用所述训练好的有监督学习网络处理待评价图像，获得对应的第一无雾 飞机图像。
12.可选的，所述对所述有雾飞机图像预去雾处理，得到初步去雾图像，具体 包括：
13.采用msrcr方法对所述有雾飞机图像进行预去雾处理，得到所述初步去 雾图像。
14.可选的，所述将所述有雾飞机图像作为有监督学习网络的输入，将所述初 步去雾图像作为所述有监督学习网络的参考标签，对所述有监督学习网络训 练，得到训练好的有监督学习网络，具体包括：
15.所述有雾飞机图像作为有监督学习网络的输入，将所述初步去雾图像作为 所述
有监督学习网络的参考标签，对所述有监督学习网络训练，获得多个训练 模型；
16.从所述多个训练模型中选取具有最佳去雾效果的训练模型作为最佳去雾 模型；
17.根据所述最佳去雾模型得到训练好的有监督学习网络。
18.可选的，所述有监督学习网络表示为：
19.n(gt δh(x))
→
k
·
(gt δm(x))
20.其中，n(gt δh(x))表示所述有监督学习网络的输出图像；gt表示原始参考 无雾图；δh(x)表示所述有雾飞机图像与所述原始参考无雾图的差；k表示超参 数；δm(x)表示所述初步去雾图像与所述原始参考无雾图的差。
21.可选的，所述从所述多个训练模型中选取具有最佳去雾效果的训练模型作 为最佳去雾模型，具体包括：
22.选取损失函数最小的训练模型作为最佳去雾模型；
23.所述最佳去雾模型表示为：
24.model
*
＝argminmse((i
h
(x) i
m
(x)
‑
o
*
(x)),gt)
25.其中，model
*
表示所述最佳去雾模型；argminmse()表示使损失函数最小 时取得的去雾模型；i
h
(x)表示所述有雾飞机图像；i
m
(x)表示所述初步去雾图像； o
*
(x)表示所述训练模型输出的第一无雾飞机图像；gt表示原始参考无雾图。
26.所述从所述多个训练模型中选取具有最佳去雾效果的训练模型作为最佳 去雾模型，还包括：
27.分别计算各个有雾飞机图像的多变量高斯拟合与从自然图像数据库中提 取的多变量高斯模型之间的距离；
28.选取所述距离最小的有雾飞机图像对应的训练模型作为最佳去雾模型。
29.可选的，在所述利用所述训练好的有监督学习网络处理待评价图像，获得 对应的第一无雾飞机图像之后，还包括：
30.根据所述第一无雾飞机图像、所述待评价图像和对所述待评价图像进行预 去雾处理后得到的初步去雾图像，得到最终的无雾飞机图像。
31.可选的，所述在根据所述第一无雾飞机图像、所述待评价图像和对所述待 评价图像进行预去雾处理后得到的初步去雾图像，得到最终的无雾飞机图像之 后，还包括：采用分段伽马函数对所述最终的无雾飞机图像进行增强处理。一 种飞机图像去雾系统，包括：
32.采集模块，用于获取有雾飞机图像；
33.预去雾模块，用于对所述有雾飞机图像预去雾处理，得到初步去雾图像；
34.训练模块，用于将所述有雾飞机图像作为有监督学习网络的输入，将所述 初步去雾图像作为所述有监督学习网络的参考标签，对所述有监督学习网络训 练，得到训练好的有监督学习网络；
35.处理模块，用于利用所述训练好的有监督学习网络处理待评价图像，获得 对应的第一无雾飞机图像。
36.可选的，在所述处理模块之后还包括：最终图像确定模块，用于根据所述 第一无雾飞机图像、所述待评价图像和对所述待评价图像进行预去雾处理后得 到的初步去雾图像，得到最终的无雾飞机图像。
37.根据本发明提供的具体实施例，本发明公开了以下技术效果：
38.本发明提供了一种飞机图像去雾方法及系统，通过对实际拍摄的有雾飞机 图像进行预去雾处理，将得到的初步去雾图像代替原始无雾飞机图像，将有雾 飞机图像和初步去雾图像作为训练集训练有监督学习网络，得到训练好的有监 督学习网络，利用训练好的有监督学习网络对待评价图像处理，相较于现有技 术，其去雾效果大大提高；由于本发明的训练好的有监督学习网络是基于实际 拍摄的有雾飞机图像训练得到的，因此相较于现有的去雾网络，本发明的学习 网络对飞机图像更有针对性。
附图说明
39.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是 本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的 前提下，还可以根据这些附图获得其他的附图。
40.图1为本发明实施例1提供的一种飞机图像去雾方法中已有算法对有雾飞 机图像的去雾效果示意图；
41.图2为实施例1提供的一种飞机图像去雾方法的流程图；
42.图3为本发明实施例1提供的一种飞机图像去雾方法中原始res
‑
net网络 和残差思想改进后的res
‑
net网络的结构图；
43.图4为本发明实施例1提供的一种飞机图像去雾方法中有雾飞机 图像和残差图像各自像素分布的示意图；
44.图5为本发明实施例1提供的一种飞机图像去雾方法中有雾飞机图像在各 个训练模型训练得到的无雾飞机图像的niqe值的折线图；
45.图6为本发明实施例1提供的一种飞机图像去雾方法中最终的无雾飞机图 像恢复的网络的结构图；
46.图7为本发明实施例1提供的一种飞机图像去雾方法中的各类去雾方法的 有雾飞机图像去雾效果的示意图；
47.图8为本发明实施例2提供的一种飞机图像去雾系统的结构图。
具体实施方式
48.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.本发明的目的是提供一种飞机图像去雾方法及系统，以提高有雾飞机图像 的去雾效果。
50.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和 具体实施方式对本发明作进一步详细的说明。
51.实施例1：
52.在实际生活中，有许多场景需要对实际拍摄的有雾图像进行去雾处理。例 如，有雾天气下游客拍摄的旅行照片，为了使图中风景更加明艳、人物更加清 晰，需要对有雾照
片进行去雾处理；在自动驾驶领域，有雾天气下摄像头采集 的环境图片将严重干扰自动驾驶程序对道路情况进行判断，因此需要对采集的 有雾图片进行去雾处理。实验室c919飞机自动摄影跟踪及测量项目，立足航 空重点任务，在国产c919大型客机起飞、降落阶段进行跟踪拍摄，对拍摄的 飞机图像进行检测、跟踪、姿态测量等一系列计算机视觉任务。由于机场处于 露天环境，当出现有雾天气时，将严重影响所拍摄飞机图像的质量。有雾飞机 图像不仅影响人眼视觉观感，对机场监控产生干扰，从而影响工作人员的判断， 而且会对后续检测、跟踪、姿态测量等高级视觉任务带来较大的影响，从而降 低检测或测量精度。因此，对实际拍摄的有雾飞机图像进行去雾处理，不仅在 人眼视觉上能够提高机场监控质量，而且能进一步提高后续检测和测量精度， 为后续高级视觉任务服务，是十分必要的。
53.图像去雾算法按照是否使用深度学习方法，可以分为传统图像去雾算法和 基于深度学习的去雾算法两类。解决飞机图像去雾问题，最容易想到的方法， 就是利用现有去雾网络，将有雾飞机图像直接作为输入，输出则为去雾后的无 雾飞机图像，然而，该方法获得的去雾飞机图像效果往往不好甚至失效。分析 其原因在于飞机图像具有与通用图像不同的特点，如色彩较单一、除有雾外还 存在其他噪声、暗光等降质因素，而现有方法均基于通用数据集进行训练，对 飞机图像针对性较差。
54.为了使去雾网络对有雾飞机图像具有更强的针对性，考虑使用自制的有雾 飞机数据集作为训练集，对网络进行训练。此解决方案面临的一个重要问题在 于，目前基于深度学习的图像去雾方法，需要完全对应的成对有雾
‑
无雾图作 为训练集，他们通常使用合成图像数据集作为训练集，例如aod、msbdn 等。想要使用飞机数据集进行训练所面临的重要问题是，实际拍摄的有雾飞机 图像缺少对应的真实无雾图，因此不能直接对现有算法网络进行训练。
55.而基于生成对抗网络的去雾算法虽然能够获得更好的视觉观感，近几年图 像去雾领域的研究也都大多围绕此展开。然而由于c919飞机自动摄影跟踪及 测量项目主要面向的是预处理后飞机的检测和测量问题，因此对于数值的准确 性要求较高，在进行去雾处理时需要考虑图片的真实性。而基于生成对抗网络 的图像处理算法，由于其原理是通过生成器生成假图像，再进一步通过训练鉴 别器与生成器进行对抗来达到图像去雾目的，最终获得的无雾图像仍为生成器 生成的假图像，将对测量结果的真实性产生较大影响，因此在实际项目中不采 用基于生成对抗网络的图像去雾算法。
56.而目前的基于深度学习的图像去雾算法应用于有雾图像处理中，大多针对 合成有雾图像展开研究，或是利用域迁移方法，在合成有雾图像的基础上，向 真实有雾图像靠近。对于真实拍摄图像的去雾问题仅停留在将训练好的深度学 习模型进行直接应用的层面。
57.考虑这样一个问题，针对在机场实际拍摄的有雾c919飞机图像，要想对 其进行去雾处理，该如何实现？由于传统图像去雾算法的效果相较基于深度学 习的图像去雾算法的效果往往较差，因此这里只考虑基于深度学习的图像去雾 算法。首先最容易想到的方法是，直接利用目前已被提出的先进去雾算法，针 对已训练完成的图像去雾模型，直接将网络的输入替换为项目中实际拍摄的 c919有雾飞机图像，则网络输出即为去雾后的飞机图像。观察输出的飞机去 雾图像，可以发现其实际效果往往不好，图片可能与原图色调不一致(如 msrcr方法)，可能整体偏暗(如aod方法)，导致图片信息丢失，或产生 噪声等问题使
算法失效(如msbdn算法)，具体效果图参见图1，其中图(a) 为原始有雾飞机图像；图(b)为msrcr方法去雾后的飞机图像；图(c)为 aod方法去雾后的飞机图像；图(d)为msbdn方法去雾后的飞机图像。从 人眼观感和评价指标来看，直接利用已训练好的基于深度学习的图像去雾模型 进行飞机图像去雾，效果往往不好甚至与原有雾图像相比更差，因此该方案并 不可行。
58.分析导致已有算法直接应用于飞机图像去雾问题时失效的原因，可总结为 以下两点：一方面，有雾飞机图像具有独特性，从色彩角度看，其颜色较为单 一，图片中主要为灰白色飞机和蓝色、黄色或灰色天空背景，而训练深度学习 网络所用的训练集色彩多样、细节丰富，因此当所训练的模型对灰白色去雾能 力存在瑕疵时，飞机图像将会放大这种不足，同时由于飞机图像的细节相对训 练集较少，也更易暴露原算法的劣势。另一方面，网络训练所用的训练集通常 为合成雾图，而在实际应用中，真实的雾并非完全按照合成雾的物理公式形成， 且存在其他因素如霾、暗光、拍摄像素低等各方面因素共同影响图片质量，因 此如果不使用自身数据集作为训练集对网络训练，难以完全适应该场景下的图 像去雾要求。
59.进一步考虑，如果利用已有的基于深度学习的去雾算法的网络架构，再使 用项目中实际拍摄的有雾飞机图像作为训练集对已有网络进行训练，使网络不 断向实际有雾飞机图像的情况靠拢，是否将会得到适用于本项目中的具体情况 的、对有雾飞机图像具有更好效果的去雾网络？但这一思路将会遇到一个很关 键的问题，就是目前已有的基于卷积神经网络的深度学习图像去雾算法均为有 监督网络，在网络训练时需要完全对应的有雾图与真实无雾图作为训练集参与 训练。在通用数据集上这一训练方法是容易实现的，因为通用数据集是无雾图 像与利用大气传输物理模型合成的有雾图像的集合，其有雾、无雾图像是完全 对应的。然而实际应用中，往往只能获取图像质量较差的有雾图像，无法获得 与之完全对应的无雾图像，因此无法使用实际拍摄的图像作为训练集对网络进 行训练。
60.综合以上分析，上述现有技术对飞机图像的去雾效果均不理想。
61.对此，为了保证飞机去雾后图像的真实性，提高去雾效果，确保后续检测、 测量等环节数据的准确，本实施例提供了一种飞机图像去雾方法，用自己拍摄 的符合实际应用场景的有雾飞机图像作为训练集，对网络进行训练，使所获得 的训练后的网络将对该场景下的有雾飞机图像具有特异性，能够更好地解决该 场景下的图像去雾问题。而针对实验室重点科研任务c919自动摄影跟踪及测 量项目，则使用在c919飞机试飞现场自行拍摄的图像素材作为训练集对去雾 网络进行训练，能够更好地解决c919有雾飞机图像的去雾问题。
62.如图2所示，本实施例提供的一种飞机图像去雾方法，包括：
63.s1：获取有雾飞机图像：选取部分实际拍摄到的c919有雾飞机图像作为 有雾飞机图像。
64.s2：对所述有雾飞机图像预去雾处理，得到初步去雾图像。
65.由于在实际应用中，往往只能获取图像质量较差的有雾图像，无法获得与 之完全对应的无雾图像，或者只能合成对应的假图像作为无雾图像，因此将其 作为训练集对学习网络训练，然后利用该学习网络对有雾飞机图像去雾得到的 无雾图像的效果差，真实性低。因此在本实施中，提高去雾效果，需要获得更 真实的飞机无雾图像对有监督学习网络训练。
66.将已知的c919飞机有雾图像作为预去雾处理的对象，目的是获得飞机初 步去雾图像，并将这些初步去雾图像与有雾图像一起作为有监督学习网络的训 练集。由于训练集中需要大量处理后的初步去雾图像，因此要求预去雾方法复 杂度低、处理速度快、适用处理海量图片，对预去雾的效果可适当放宽。
67.目前常用的图像去雾方法包括基于深度学习和传统去雾方法两类，其中后 者按照去雾原理不同又可分为基于图像增强和基于物理模型的去雾方法。由于 基于物理模型和基于深度学习的图像去雾方法实现较复杂，因此选用基于图像 增强的去雾方法作为预去雾方法。此处选择retinex方法改进后的msrcr算 法，其基础是认为人眼看到的图像只与三原色光波以及物体反射性质有关，符 合公式(1)
68.s(x,y)＝l(x,y)
·
r(x,y) (1)
69.其中，s(x,y)表示原始图像，l(x,y)表示亮度图像，r(x,y)表示反射图像。
70.不同的预去雾方法对最终飞机图像去雾效果会产生不同的影响，但总体效 果相近。如使用msrcr方法能够较好地实现“雾”的去除，且能够在一定程 度纠正背景色偏，但得到的初步去雾图像整体颜色偏灰，色彩层次感略差。使 用基于深度学习的aod方法进行预去雾，得到的初步去雾图像色彩浓郁，但 受限于c919飞机图片本身颜色单一且偏暗，aod方法去雾后的图片整体颜色 偏暗，对色偏的纠正也不甚理想。综合最终去雾效果与预去雾方法的复杂性， 最终选定msrcr方法作为预去雾方法，它具有复杂度低、最终去雾效果好的 优势。
71.s3：将所述有雾飞机图像作为有监督学习网络的输入，将所述初步去雾图 像作为所述有监督学习网络的参考标签，对所述有监督学习网络训练，得到训 练好的有监督学习网络，其中选择26层res
‑
net网络作为有监督学习网络的 基础，包含12个残差块，每个残差快由两组卷积
‑
bn
‑
relu块组成；卷积全部 采用3
×
3卷积核。由于本实施中的飞机图像去雾方法在后续过程中提到引入了 残差思想，因此选择res
‑
net网路作为训练网络能够更好地对图片的细节特征 描述和处理，其网络结构如图3(a)所示。
72.在网络学习过程中引入残差思想，将有雾飞机图像与初始去雾图像的残差 作为网络输入。有雾飞机图像可认为是图片基础框架与“雾”图的和，写作：
73.i
hazy
＝i
base
i
haze (2)
74.其中i
base
代表图片基础框架，此处用有雾飞机图像经过预去雾后的初始去 雾图像代替，i
haze
代表“雾”图。图4(a)展示了一张有雾图像i
hazy
，图4(b) 为有雾飞机图像与有雾飞机图像与初始去雾图像相减后的残差图像，即“雾
”ꢀ
图i
haze
。观察图4(b)发现，i
haze
能够包含整图结构信息，因此具有作为网络 输入的能力。图4(c)和图4(d)展示了i
hazy
与i
haze
的像素值分布，观察发现， 与i
hazy
相比，i
haze
的灰度分布更加集中，因此，可将残差思想引入有监督学习 网络来帮助学习映射，以进一步提高图像的去雾效果，提高获得的去雾图像的 真实性，采用残差思想改进后的网络结构如图3(b)所示。
75.s4：利用所述训练好的有监督学习网络处理待评价图像，获得对应的第一 无雾飞机图像。
76.作为一种可选的实施方式，步骤s3具体包括：
77.s31：所述有雾飞机图像作为有监督学习网络的输入，将所述初步去雾图 像作为所述有监督学习网络的参考标签，对所述有监督学习网络训练，获得多 个训练模型；
78.s32：从所述多个训练模型中选取具有最佳去雾效果的训练模型作为最佳 去雾模型；
79.s33：根据所述最佳去雾模型得到训练好的有监督学习网络。
80.深度学习的过程实质上是有监督学习网络由输入向参考标签不断学习、不 断趋近的过程。通常基于卷积神经网络的图像去雾算法的输入图像为有雾飞机 图像，参考标签为真实无雾图像，通过模型的不断学习，使得模型输出不断接 近真实无雾图，最终获得去雾后的图像。
81.本实施例同样基于卷积神经网络，在有监督学习网络中输入有雾飞机图 像，网络的参考标签不再使用真实无雾图像，而采用初步去雾图像。本实施例 所提出的无真实无雾图像参与的训练过程，实质是由有雾飞机图像向初步去雾 图像不断学习的过程，最终网络输出的去雾图像非常接近初步去雾图像。然而 在训练过程中，可以找到某个中间模型，使得该模型获得的去雾后图像具有更 好的去雾效果。因此将寻找到的具有最佳去雾效果的训练模型称为最佳去雾模 型，记为model
*
，从训练过程众多模型中找到最佳去雾模型model
*
的过程称为 最佳去雾效果的选择过程，即：
82.model
*
＝model
i0 (3)
83.其中model
i0
表示第i0个训练模型。
84.为了使本领域技术人员更清楚地了解最佳去雾模型model
*
的确定过程，下 述进行具体阐释。
85.设有监督学习网络输入的有雾飞机图像写作i
h
(x)，初步去雾图像写作 i
m
(x)，损失函数采用l
‑
2损失，则训练的损失函数可表示为
86.loss
train
＝mse(n(i
h
(x),k
·
i
m
(x))) (4)
87.其中，n(i
h
(x))表示网络作用于输入i
h
(x)后获得的输出图像，k表示超参数， 用于调整训练方向。监督学习网络的功能可表达为：
88.n(i
h
(x))
→
k
·
i
m
(x)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
89.将有雾飞机图像i
h
(x)与初步去雾图像i
m
(x)分别写作以下形式：
90.i
h
(x)＝gt δh(x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
91.i
m
(x)＝gt δm(x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
92.其中gt表示原始参考无雾图；δh(x)表示所述有雾飞机图像与所述原始参考 无雾图的差，即待去除的“雾”的图像；k表示超参数；δm(x)表示所述初步去 雾图像与所述原始参考无雾图的差，初步去雾图像与真实无雾图之间仍存在的 差异。
93.将公式(6)、(7)代入式(5)，则网络功能可表示为：
94.n(gt δh(x))
→
k
·
(gt δm(x))
ꢀꢀꢀꢀꢀ
(8)
95.在有监督学习网络由向gt δh(x)向k
·
(gt δm(x))学习的过程中，训练模型输 出的第一无雾飞机图像o
*
(x)满足：
96.o
*
(x)＝n
*
(gt δh(x))≈gt δh(x) δm(x) (9)
97.其中，n
*
(gt δh(x))表示有监督学习网络中输入gt δh(x)的有雾飞机图像后 获得的输出图像。
98.对式(9)移项并在等式两边同时加gt，即有
99.2gt δh(x) δm(x)
‑
o
*
(x)≈gt
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
100.结合公式(6)、(7)，可知：
101.i
h
(x) i
m
(x)
‑
o
*
(x)≈gt
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
102.采用l
‑
2损失描述二者之间的差异，选择损失函数最小的训练模型作为最 佳去雾模型model
*
，则model
*
满足：
103.model
*
＝argminmse((i
h
(x) i
m
(x)
‑
o
*
(x)),gt)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
104.其中，model
*
表示所述最佳去雾模型；argminmse()表示使损失函数最小 时的去雾模型。
105.上述过程是基于能够获得原始参考无雾图的基础上选择最佳去雾模型，然 而由于实际拍摄的c919有雾飞机图像没有与之对应的无雾图，因此在实际应 用中无法使用mse作为去雾效果的评价指标。
106.因此对于无法获得原始参考无雾图的情况，本实施例则采用无参考图像质 量评价指标寻找最佳去雾模型，即将自然图像质量评估指标niqe作为最佳去 雾效果的找寻依据，具体地分别计算各个有雾飞机图像的自然场景统计特征的 多变量高斯拟合与从自然图像数据库中提取的质量感知特征的多变量高斯模 型之间的距离，该值越小，则说明有雾飞机图像在训练模型中的训练质量越好， 因此选取距离最小的无雾飞机图像对应的训练模型作为最佳去雾模型。
107.在飞机图像集中进行了大量实验，实验数据符合上述结论。图5表示了训 练过程中利用model0至model
39
分别进行无雾图恢复后得到的无雾飞机图像的 niqe值，发现在训练初始阶段model0至model
19
，能找到一个model5，其对应 的niqe值是整个训练过程中的最小值，则认为此时获得最佳去雾效果，公式 表示为：
108.model
*
＝model5ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
109.对比不同训练阶段恢复的无雾飞机图像，发现利用寻找到的model
*
恢复的 无雾图像不仅具有小的niqe值，同样具有最佳的人眼视觉表现。
110.作为一种可选的实施方式，在步骤s4之后，还包括：
111.根据所述第一无雾飞机图像、所述待评价图像和对所述待评价图像进行预 去雾处理后得到的初步去雾图像，得到最终的无雾飞机图像，具体表达式为：
112.j(x')＝i
h
(x') i
m
(x')
‑
o
*
(x') (14)
113.其中，j(x')为最终的无雾飞机图像，i
h
(x')为待评价图像，i
m
(x')为待评价 图像进行预去雾处理后得到的初步去雾图像，o
*
(x')为以待评价图像作为输入 时训练模型输出的第一无雾飞机图像，优选地o
*
(x')可以选用以待评价图像作 为输入时最佳去雾模型输出的第一无雾飞机图像，o
*
(x')的物理含义是：真实 需要去除的“雾”在预去雾图基础上的表现。
114.最终的无雾飞机图像恢复的网络结构如图6所示，在最终的无雾飞机图像 恢复的网络结构中引入有雾图与预去雾图的跳跃式连接，一方面遵循了公式 (14)的数学表述，另一方面能够保证原信息的无损传递，同时最大限度利用 已完成的预去雾操作，减少算力浪费。
115.观察得到的最终的无雾飞机图像，其颜色亮处偏亮，易使人产生雾未除 尽的感觉，而暗处偏暗，可能造成暗处部分细节信息的损失。因此为了获得 具有更好效果的去雾图，可以针对图片的亮部与暗部分别进行对应的增强处 理：对图片亮部进行压缩，暗部进
行拉伸，具体地选用伽马变换作为基本变 换原理，构建分段伽马函数对所述最终的无雾飞机图像增强处理，分段伽马 函数表示为：
[0116][0117]
其中，a为可调分段点，满足0＜a＜1，用于调节图像整体的明暗观感；γ1、 γ2分别调节明、暗两部分灰度拉伸程度；c1、c2为常系数。对于本实施例的训 练集，取a＝0.2，c1＝c2＝1，γ1＝1.3，γ2＝0.8。
[0118]
为了使本领域技术人员更清楚地了解本实施例提供的飞机图像去雾方法 的去雾效果，下述通过具体示例进行说明。
[0119]
1.获取数据集
[0120]
有雾飞机图像去雾的方法主要面向c919飞机自动摄影跟踪及测量项目， 在c919飞机试飞的起飞和降落阶段，利用在地面布置的转台操纵摄像头，对 飞机进行跟踪拍摄并选取其中有雾条件的图片组成有雾飞机图像数据集。图像 内容通常包括天空背景、机场建筑物背景及不同大小、不同姿态的起飞或降落 阶段的飞机。数据集包含1160张大小为1920*1080的c919有雾飞机图片， 选择其中1000张作为训练集，其余100张用于最佳去雾效果模型的选择，剩 下的60张作为测试集，三个集合互相独立，彼此不重叠。
[0121]
2.飞机图像去雾效果评价(1)人眼主观评价
[0122]
图7(a)展示了原始有雾飞机图像，图7(b)展示了使用传统图像去雾算 法msrcr去雾后的飞机图像，图7(c)展示了使用基于深度学习的aod去雾 算法去雾后的飞机图像，图7(d)展示了使用本发明提出的基于深度学习网络 使用自建有雾飞机图像集训练的图像去雾方法获得的飞机去雾图像。
[0123]
观察图7可知，msrcr方法能够较好地去除图片中的“雾”，但去雾后图片 背景全部变为灰色，与原图色调不一致。aod方法去雾后虽能保持与原图色 调一致性，但其颜色过于浓郁，图片偏暗，人眼视觉效果不佳。本发明提出的 算法能够有效去除图片中“雾”，保持与原图色调一致，且能够获得清朗明亮的 视觉观感，在c919飞机图像去雾中具有很好的主观视觉表现。
[0124]
值得注意的是，由于后续高级视觉任务要求图像的真实性，在基于深度学 习的图像去雾方法中，生成对抗网络得到的是假图像，故此处未将基于生成对 抗网络的图像去雾算法纳入比较。另由于部分已存在的去雾方法对于飞机图像 的去雾效果很差，如msbdn算法，见图1(d)，故未在此处列出。
[0125]
(2)客观指标对比
[0126]
a.平均主观意见分mos(mean opinion score)
[0127]
mos是一种基于主观人眼视觉观感的图像质量定量评价方法，其本质是 一种主观评价方法，此处为了对比方便，将其与客观评价方法共同列于表1 中。mos最初起源于对有线电话通话音质的评价，之后被引入到图像质量评 价中。mos将人对图片的主观观感定量分为1～5五级评分制度，依据评价时 是否有参考图像可分为绝对主观意见评价和相对主观意见评价，此处由于完全 对应的飞机真实无雾图难以获取，故采用相对主观意见评价方法，将需要对比 的一组图片放在一起，通过互相比较进行评价。1～5分分别对应：该群中最
差、 较差、平均、较好、最好五类概念，分数越高，说明图像质量越好。
[0128]
基于mos主观评价方法，本发明设计了对不同去雾方法的定量主观评价 实验。在考虑了实际操作成本、被试人员状态等诸多因素后，本发明选择了 10组图片，每组图片包含不同种去雾算法去雾后获得的飞机图像，在不告知 被试人员其他信息，仅提供图片的情况下，请被试人员对每张图片按照直观观 感进行打分，分数为1～5分，符合上述mos实验分值设置，为了使结果更加 客观，图片顺序被打乱。实验共收集到了26人的打分数据，被试者包含各个 年龄段，男女基本均等。表1展示了每种算法去雾效果的平均得分。观察表格 中mos数据可发现，msrcr方法相较aod方法的得分更高，本发明所提出 方法得分最高。实验数据一方面说明，虽然通常情况下基于深度学习的图像去 雾方法相较传统方法去雾效果更好，但对于有雾飞机图像并不一定如此，在这 里mos分值显示传统方法msrcr相较aod方法取得的视觉效果更佳。数 据另一方面说明了从人眼视觉观感角度出发，本发明方法优于上述两种方法。
[0129]
表1采用不同预去雾方法得到的去雾飞机图像评价指标对比
[0130][0131]
(3)无参考的自然图像质量评价指标niqe
[0132]
由于自行采集的c919有雾飞机图像没有真实无雾图，因此无法进行有参 考的图像质量评价，例如计算去雾后图片与真实无雾图的峰值信噪比psnr、 结构相似性指数ssim等。采用无需真实无雾图的评价指标作为去雾后飞机图 像质量的定量评价，此处选择自然图像质量评价指标niqe，niqe值越小， 说明图像质量越高。从采集的有雾飞机图像集合中选择与网络训练、最佳去雾 效果选择时所用图像集独立无重合的60张c919有雾飞机图像，作为计算niqe的测试集合，最终得到的niqe是此60张图像的平均值如表1所示。观 察表1中niqe数据发现，有雾图质量最差，这符合实际情况。msrcr方法 相较aod方法指标更小，说明质量更好，这符合上述人眼主观平均意见得分 的结果，而本发明方法的niqe值最小，说明在几种方法中，使用本发明方法 的去雾图像获得了最好的图像质量。
[0133]
同样的，考虑后续高级视觉任务要求图像真实性，此处未将基于生成对抗 网络的图像去雾算法纳入比较。另由于部分已存在的去雾方法对于飞机图像的 去雾效果很差，如msbdn算法，见图1，计算其评价指标已无意义，故未在 此处列出。
[0134]
由于与有雾飞机图像完全对应的原始无雾图像难以获取，对有雾飞机图像 进行预去雾处理，用预去雾后的图像代替原始无雾飞机图像，即将有雾飞机图 像作为网络输
入，飞机初始去雾图像作为参考标签，采用res
‑
net作为基础网 络，对有监督学习网络进行训练。在网络训练的初始阶段，总能找到具有最佳 去雾效果的最佳去雾模型，其输出的第一无雾飞机图像具有比初始去雾图像和 其他训练模型的输出图像具有更好的去雾效果，最后结合残差思想，根据所述 第一无雾飞机图像、所述待评价图像和对所述待评价图像进行预去雾处理后得 到的初步去雾图像，得到最终的无雾飞机图像，大大提高了飞机图像的去雾效 果。
[0135]
实施例2：
[0136]
参阅图8，本实施例还提供了一种飞机图像去雾系统，包括：
[0137]
采集模块m1，用于获取有雾飞机图像；
[0138]
预去雾模块m2，用于对所述有雾飞机图像预去雾处理，得到初步去雾图 像；
[0139]
训练模块m3，用于将所述有雾飞机图像作为有监督学习网络的输入，将 所述初步去雾图像作为所述有监督学习网络的参考标签，对所述有监督学习网 络训练，得到训练好的有监督学习网络；
[0140]
处理模块m4，用于利用所述训练好的有监督学习网络处理待评价图像， 获得对应的第一无雾飞机图像。
[0141]
作为一种可选的实施方式，在处理模块m4之后还包括：最终图像确定模 块，用于根据所述第一无雾飞机图像、所述待评价图像和对所述待评价图像进 行预去雾处理后得到的初步去雾图像，得到最终的无雾飞机图像。
[0142]
本说明书中每个实施例重点说明的都是与其他实施例的不同之处，各个实 施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与 实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明 即可。
[0143]
本发明中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实 施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域 的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改 变之处。综上所述，本说明书内容不应理解为对本发明的限制。