一种基于深度学习的图像去雾方法与流程

1.本发明属于图像数据处理的技术领域，尤其涉及到一种基于深度学习的图像去雾方法。


背景技术：

2.输电线路的正常运行保证了各地区的正常电力供给，随着人工智能的发展，输电线路智能巡检引起电力行业的重点关注。通过安装智能检测装置，对输电线路进行监控，其不仅节省了大量的人力、物力、财力，还能及时的对输电线路隐患进行检测并告警，保证了输电线路正常运行。但是在秋冬时节，监拍设备拍摄的图像总是会受到雾天天气因素的影响，导致拍摄图像的清晰度大幅度下降，从而对输电通道的隐患检测造成影响，对于模糊度较大的降质图像，检测模型难以提取有效的目标特征，对模型的特征学习产生负作用。因此，为了提高智能检测装置在雾天场景下隐患识别的有效性，需要对输电通道下的雾天图片进行去雾处理。
3.近年来，随着计算机和gpu计算能力的日益提升，深度学习已经成功应用在多种计算机视觉任务中，目前深度学习技术已经成功应用到图像恢复领域，并达到较好的效果，但由于输电通道数据与现有公开数据场景差异较大，无论是拍摄设备、角度、分辨率、距离和光照强度等拍摄条件都有所不同。目前的技术大多通过像素累加的方法去除雾气的影响，但是对于雾气边缘、稀薄雾气、斑点雾气的情况下效果并不好，因此如何提供一种高效、可靠的输电图像去雾技术，是目前本领域技术人员亟待解决的问题之一。


技术实现要素：

4.针对上述技术问题，本发明提出一种基于深度学习的图像去雾方法。本发明通过pix2pix算法进行图像复原，利用晴雾的差异性去补全雾天图像的信息。
5.本发明详细的技术方案如下：
6.一种基于深度学习的图像去雾方法，包括如下步骤：
7.s1.采集雾天图像数据和晴天图像的数据，构建晴雾成对数据集。在输电线路的情景下，存在多个监控设备进行监控，每个监控设备存在独自的设备号，按照同一设备号采集筛选邻时间点的雾天图像数据和对应的晴天图像数据，构建晴雾成对数据集。
8.s2.构建优化的图像去雾pix2pix模型。通过晴雾成对数据集调整模型结构，从而适配于雾天图像的处理，在pix2pix算法中具体修改为：增大生成器网络的输入尺度，从256*256*3改为512*512*3，选用unet3plus骨干网络，去掉l1loss，增加ssimloss，从而适应高分辨率的复杂背景信息的输电场景图片。
9.s3.输入晴雾成对数据集，进行模型训练。输入的晴雾成对数据集内的同设备号的晴雾图像在-45度到45度范围内随机角度旋转以增加数据集，并对高分辨率的输入数据进行预处理。
10.s4.模型训练成功后，即可输入雾天图像进行去雾处理。
11.进一步地，在输电线路的情景下，存在多个监控设备进行监控，每个监控设备存在独自的设备号，所述采集雾天图像和晴天图像的数据，构建晴雾成对数据集包括：
12.s11.按照同一设备号采集雾天图像数据，去除模糊等低质量的雾天图像数据，筛选得到高质量雾天图像数据；
13.s12.根据雾天图像数据即按照同一设备号采集筛选邻时间点的晴天图像数据构建晴雾成对数据集。
14.进一步地，通过晴雾成对数据集调整模型结构，从而适配于雾天图像的处理，所述优化的图像去雾pix2pix模型包括：
15.s21.增大生成器网络的输入尺寸，从256*256*3改为512*512*3，生成器网络使用unet3plus网络；通过全尺度的跳跃连接和深度监控，融合高层和底层的语义信息，并在上采样和下采样阶段分别增加卷积层来适应尺度为512*512的尺寸。增加了conv1和conv11两层卷积层，从而增加了细节信息，减少在下采样过程中因输电图像较大的尺寸而造成的局部信息损失的影响；
16.s22.损失函数由l1loss换为ssimloss；由于l1loss仅为了使目标域图像更接近于源域图像，关注于像素点的细节信息，因此换为ssimloss，使模型学习的方向更倾向于全局特征，提高对复杂的背景信息的鲁棒性，从而适应高分辨率的复杂背景信息的输电场景图片。
17.进一步地，所述输入晴雾成对数据集，进行模型训练具体包括：
18.s31.优选地，在-45度到45度范围内通过随机旋转扩充晴雾成对数据集，并将输入图像缩放到1024*1024；
19.s32.从上述的缩放图像中crop(剪切)出512*512的局部图像，形成局部图像晴雾成对数据集，减少缩放过程中的细节信息损失；
20.s33.将局部图像晴雾成对数据集输入优化的图像去雾pix2pix模型。
21.进一步地，所述模型训练后还包括：验证模型效果、生成图像质量评估；
22.s41.验证模型效果，即输入雾天图片数据，在模型中进行去雾处理得到去雾图像；
23.s42.当去雾图像质量评估为低质量图像时，继续将局部图像晴雾成对数据集输入优化的图像去雾pix2pix模型进行训练；
24.s43.当去雾图像质量评估为高质量图像时，表示所述优化的图像去雾pix2pix模型可用于现场图像的处理。
25.本发明与现有技术相比，具有以下优点和有益效果：
26.(1)本发明利用深度学习的图像去雾方法，能够提高降质图像的清晰度，从而为输电通道隐患检测的可靠性提供保障。
27.(2)本发明利用unet3plus网络，并增大生成器网络的输入尺度，适应高分辨率图像，并在复杂场景下也有较好的鲁棒性。
28.(3)修改损失函数，通过ssim损失函数的结构相似性去衡量恢复图像的质量，提高图像整体恢复的效果。
附图说明
29.图1为本发明的整体流程示意图。
30.图2为本发明的生成器网络的结构图。
31.图3为本发明的算法模型输入的雾天图。
32.图4为本发明的算法模型去雾后的效果图。
具体实施方式
33.下面结合附图与实施例对本公开做进一步说明。
34.应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
35.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
36.在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
37.实施例1
38.下面结合实施例和说明书附图对本发明做详细的说明，但不限于此。
39.如附图1所示，一种基于深度学习的图像去雾方法，包括如下步骤：
40.s1.采集雾天图像数据和晴天图像的数据，构建晴雾成对数据集。在输电线路的情景下，存在多个监控设备进行监控，每个监控设备存在独自的设备号，按照同一设备号采集筛选邻时间点的雾天图像数据和对应的晴天图像数据，构建晴雾成对数据集。
41.进一步地，所述采集雾天图像和晴天图像的数据，构建晴雾成对数据集具体包括：
42.s11.按照同一设备号采集雾天图像数据，去除模糊等低质量的雾天图像数据，筛选得到高质量雾天图像数据；所述模糊等低质量的雾天图像示与对应晴天图像对比差异，若差异仅是因为雾气造成的，即满足数据要求。不是因为雾气原因造成的模糊图像，对算法是属于低质量的图像数据；
43.s12.根据雾天图像数据即按照同一设备号采集筛选邻时间点的晴天图像数据构建晴雾成对数据集。
44.s2.构建优化的图像去雾pix2pix模型。通过晴雾成对数据集进行后序的调整模型结构，从而适配于雾天图像的处理，在pix2pix算法中具体修改为：增大生成器网络的输入尺度，选用unet3plus骨干网络，从256*256*3改为512*512*3，去掉l1loss，增加ssimloss，从而适应高分辨率(1024*1024)的复杂背景信息的输电场景图片。
45.进一步地，通过晴雾成对数据集调整模型结构，从而适配于雾天图像的处理，所述优化的图像去雾pix2pix模型具体包括：
46.s21.增大生成器网络的输入尺寸，生成器网络使用unet3plus网络，从256*256*3改为512*512*3，所述unet3plus网络通过特征叠加的方式融合不同层次的特征，拥有不同大小的感受野，灵活的网络结构加上深监督，让深度网络大幅度缩减参数量；
47.通过全尺度的跳跃连接和深度监控，融合高层和底层的语义信息，并在上采样和下采样阶段分别增加卷积层来适应尺度为512*512的尺寸，如图2所示，增加了conv1和conv11两层卷积层即意味着上采样和下采样阶段分别增加了一层，从而增加了细节信息，
减少在下采样过程中因输电图像较大的尺寸而造成的局部信息损失的影响；
48.s22.损失函数由l1loss换为ssimloss，ssim损失更偏重于图像的结构相似性，而不会过多关注局部区域的像素信息；由于l1loss仅为了使目标域图像更接近于源域图像，关注于像素点的细节信息，因此换为ssimloss，使模型学习的方向更倾向于全局特征，提高对复杂的背景信息的鲁棒性，从而适应高分辨率的复杂背景信息的输电场景图片。
49.s3.输入晴雾成对数据集，进行模型训练。输入的晴雾成对数据集内的同设备号的晴雾图像在-45度到45度范围内随机角度旋转以增加数据集即对收集到的晴雾图像进行旋转，并对高分辨率的输入数据进行预处理。
50.进一步地，所述输入晴雾成对数据集，进行模型训练具体包括：
51.s31.优选地，在-45度到45度范围内通过随机变换扩充晴雾成对数据集，优选地，所述通过随机变换包括：随机旋转、随机翻转；并将输入图像缩放到1024*1024；原始图像分辨率在2k，尺度太大，无法直接送入模型训练，计算量过大，计算资源损耗过大，模型难以收敛；
52.s32.从上述的缩放图像中crop(剪切)出512*512的局部图像，形成局部图像晴雾成对数据集，减少缩放过程中的细节信息损失；优选地，因为采集目标位于设备采集的图像中心处，故剪切图像剪切的依据一般是图像的中心点外扩成512*512；
53.s33.将局部图像晴雾成对数据集输入优化的图像去雾pix2pix模型。
54.s4.模型训练完成后，从当前数据集中分出10％的验证集进行验证，与真实晴天数据对比衡量，若有明显的去雾效果，即可输入雾天图像进行去雾处理。效果验证一般是人眼判断，模型的训练过程会查看loss指标，当不再进行波动，即认为模型训练完成，可进行实际应用。
55.进一步地，所述模型训练后还包括：验证模型效果、生成图像质量评估；
56.s41.验证模型效果，即输入雾天图片数据，在模型中进行去雾处理得到去雾图像；
57.s42.当去雾图像质量评估为低质量图像时，继续将局部图像晴雾成对数据集输入优化的图像去雾pix2pix模型进行训练；
58.s43.当去雾图像质量评估为高质量图像时，如图4所示，表示所述优化的图像去雾pix2pix模型可用于现场图像的处理。
59.实施例2
60.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现实施例1任一实施例所提供的一种基于深度学习的图像去雾方法。
61.一种实现实现实施例1任一实施例所提供的一种基于深度学习的图像去雾方法的非瞬态计算机可读介质，其特征在于，所述非瞬态计算机可读介质上包括机器可执行指令，所述机器可执行指令用于执行上述的方法。
62.显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。