一种基于生成对抗网络的低光照度下输电线路图像增强方法与流程

1.本发明属于低光照度下图像增强技术领域，涉及一种基于生成对抗网络的低光照度下输电线路图像增强方法。


背景技术：

2.我国220kv电压等级以上的重要输电线基本都已部署基于图像处理的在线监测设备，通过架设在高压输电铁塔上的摄像头对输电线路以及周围图像进行采集，进而对输电线路断股、悬挂异物、覆冰、外力破坏以及输电设备状态进行分析，及时发现隐患问题并进行处理。但是，遇到光照度较低的阴天，现场采集到的图像不清晰，无法有效反映输电线路现场实际情况，影响对输电线路的在线监测。为此，需要提高低光照度下输电线路在线监测图像的清晰度，进而有利于提高低光照度下输电线路在线监测的准确性。
3.低光照度下输电线路图像增强方法可以分为两个类，一大类就是采用传统方法对低光照度下输电线路图像进行增强，另一大类就是基于学习方法对低光照图像进行增强。传统方法可以分为两个方向，其中一个方向是直方图均衡方法，另外一个方向基于retinex理论的图像增强方法。基于直方图均衡的输电线路低光照图像增强方法在对图像增强的的同时，也增加了背景噪声，同时也容易造成图像的局部过饱和和局部信息的严重丢失。基于retinex理论的输电线路低光照图像增强方法在亮度差异大的区域的增强图像会产生光晕现象，影响图像视觉效果。此外，还存在边缘锐化不足，阴影边界突兀，部分颜色发生扭曲以及纹理不清晰的情况。传统图像增强方法相对比较简单且速度比较快，但是没有考虑到图像中的上下文信息等，所以增强后的图像效果不理想。
4.随着深度学习技术的发展，人们提出了基于深度学习的输电线路低光照度图像增强方法，这些方法使用成对(低光照度图像和原始高清图像)或者非成对输电线路图像来训练网络，并获得能够用于输电线路低光照度图像增强的模型。虽然，相对传统图像增强方法，基于深度学习的输电线路低光照度图像增强方法得到增强后的输电线路图像质量相对更好，但是在在一定程度上仍然存在伪影和部分细节丢失较为严重的现象，影响增强后的输电线路图像质量，进而影响低光照环境下基于人工智能的输电线路在线监测的准确性。


技术实现要素：

5.本发明要解决的技术问题是：提供一种基于生成对抗网络的低光照度下输电线路图像增强方法，能够有效地对单幅低光照度下输电线路图像进行增强，避免增强后的图像出现伪影以及保留更多的图像细节信息，提高增强后的输电线路图像质量。
6.本发明解决技术问题的方案是：提供一种基于生成对抗网络的低光照度下输电线路图像增强方法，其特征在于，具体步骤如下：
7.1)构建数据集
8.通过从输电线路视频监控系统中挑选出不同背景的低光照度图像和正常光照度图像并进行处理，构建出非配对样本训练集和配对样本测试集；
9.2)构建生成网络
10.构建用于对低光照度下输电线路图像进行增强处理的网络；
11.3)构建对抗网络
12.构建用于判断输入的输电线路图像是真图像还是假图像的网络；
13.将原始正常光照度下的输电线路图像定义为真图像；
14.将生成网络的输出图像定义为假图像；
15.4)构建生成对抗网络的损失函数
16.用来衡量网络训练过程的生成网络性能和对抗网络性能；
17.5)网络模型训练
18.通过网络模型训练得到最优的生成网络和对抗网络；
19.6)网络模型性能评估
20.将步骤)1中已构建的配对样本测试集中的低光照度图像输入到步骤5得到的已训练的生成网络中，得到增强后的输电线路图像，以衡量网络模型对低光照度下输电线路图像的增强能力；
21.7)网络模型应用
22.将已训练的网络模型部署在服务器上，对现场传回的低光照度输电线路图像进行增强，得到增强图像。
23.进一步，所述步骤1)构建数据集包括以下步骤：
24.⑴
从输电线路视频监控系统中挑选出不同背景的低光照度图像和正常光照度图像，将低光照度图像命名为原始低光照组，将正常光照度图像命名为正常组；
25.⑵
将正常组的图像划分为正常一组和正常二组，用原始低光照组的图像和正常一组的图像构建非配对样本训练集；
26.⑶
对正常二组的图像进行处理得到对应的低光照图像，命名为处理低光照组；
27.⑷
用正常一组的图像和处理低光照组的图像构建配对样本测试集，从而构建出非配对样本训练集和配对样本测试集。
28.进一步，将正常组的图像划分为正常一组和正常二组，正常一组的图像为正常组的图像的70％，正常二组的图像为正常组的图像的30％。
29.所述步骤2)构建生成网络中，生成网络由a网络、b网络和c网络组成，具体如下：
30.⑴
a网络用于对输入的低光照度输电线路图像进行预处理，其由亮度注意力映射组成，以减少生成图像的过度曝光或者曝光不足现象的发生，经过预处理得到的亮度注意力图和输入的输电线路的低光照度图像相加后作为b网络的输入图像；
31.⑵
b网络用于提取输入的输电线路低光照度图像的低频信息，由一个卷积模块、一个leakyrelu激活函数、第一组合模块、第二组合模块和一个基于混合注意力机制的残差模块组成，其中：
32.①
所述第一组合模块和第二组合模块均由第一分支和第二分支组成，每个组合模块的第一分支和第二分支的输出特征图通过拼接操作得到该组合模块的输出特征图；
33.②
所述基于混合注意力机制的残差模块依次由一个卷积模块、一个leakyrelu激活函数、一个卷积模块、一个并行注意力模块、一个卷积模块、一个leakyrelu激活函数、一个卷积模块、另一个并行注意力模块和一个卷积模块组成；
34.③
将步骤
②
所述的基于混合注意力机制的残差模块的输入特征图与该基于混合注意力机制的残差模块的中的最后一个卷积模块的输出特征图进行元素相加，得到基于混合注意力机制的残差模块的最终输出特征图；
35.⑶
c网络主要用于提取输入图像的高频信息，依次由第一混合模块、一个基于混合注意力机制的残差模块、第二混合模块、一个基于混合注意力机制的残差模块，一个卷积模块和一个tanh激活函数组成，其中：
36.所述第一混合模块和所述第二混合模块均由一个上采样，一个卷积模块和一个leakyrelu激活函数组成；
37.⑷
c网络的第一混合模块的输出与b网络的第一组合模块的输出通过拼接操作进行特征融合，c网络的第二混合模块的输出与b网络的第一组合模块的输入通过拼接操作进行特征融合，从而实现高频特征和低频特征的融合；
38.⑸
c网络的输出与a网络得到的亮度注意力映射图像进行元素相乘得到图像；
39.⑹
将步骤
⑸
得到的图像与生成网络输入的低光照度图像进行相加得到增强后的输电线路图像。
40.进一步，所述b网络的第一组合模块和第二组合模块均由第一分支和第二分支组成，其中：
41.第一分支由并行空洞卷积模块组成；
42.第二分支由基于混合注意力机制的残差模块和一个下采样组成。
43.进一步，所述基于混合注意力机制的残差模块中的两个并行注意力模块均由通道注意力模块和像素注意力模块组成。
44.进一步，所述步骤3)中构建对抗网络表示为：
45.对抗网络由全局判别网络和局部判别网络组成，其中：
46.全局判别网络依次由2个组合模块、一个残差空洞卷积模块和2个组合模块组成，其输入图像是假图像和真图像；
47.局部判别网络由6个组合模块组成，其输入图像是假图像和真图像的随机裁剪图像。
48.进一步，所述全局判别网络的组合模块和残差空洞卷积模块为：
49.所述全局判别网络的组合模块依次由卷积 leakyrelu激活函数组成；
50.所述全局判别网络的残差空洞卷积模块的主分支由三个空洞率分别为2,3和5的空洞卷积组成。
51.进一步，所述局部判别网络的组合模块为基于卷积 leakyrelu激活函数的网络模块。
52.进一步，所述步骤4)中构建生成对抗网络的损失函数表示为：
[0053][0054]
式中，和分别是对抗网络的全局判别网络的损失函数和局部判别网络的损失函数，l
per
和l
pix
分别是生成网络的感知损失函数和像素损失函数，α，β，γ和ω分别是上述对应损失函数的权重。
[0055]
进一步，所述对抗网络的全局判别网络的损失函数、局部判别网络的损失函数、生
成网络的感知损失函数和像素损失函数为：
[0056]
所述全局判别网络的损失函数表示为：
[0057][0058]
式中，dg为全局判别网络，g为生成网络，z和x分别为生成网络的输入图像和对抗网络的输入图像；
[0059]
所述局部判别网络的损失函数表示为：
[0060][0061]
式中，d
l
为局部判别网络；
[0062]
生成网络的感知损失函数表示为：
[0063][0064]
式中，x是生成网络的输入图像，w和h分别是图像的宽和高，是在vgg-19预训练网络；
[0065]
生成网络的像素损失函数表示为：
[0066][0067]
进一步，所述步骤5)模型训练具体如下：
[0068]
⑴
将训练集中的低光照输电线路图像输入到生成网络中，得到增强后的图像；
[0069]
⑵
将增强后的图像和训练集中的正常光照度图像输入到对抗网络中，判别输入的图像是增强后的图像还是原始正常光照图像；
[0070]
⑶
通过利用梯度下降方法对损失函数进行优化，不断更新生成网络和损失网络参数，最终完成生成网络和对抗网络的训练，得到最优的生成网络和对抗网络。
[0071]
进一步，所述步骤6)网络模型性能评估具体如下：
[0072]
⑴
将步骤)1中已构建的配对样本测试集中的低光照度图像输入到步骤5得到的已训练的生成网络中，得到增强后的输电线路图像，以衡量网络模型对低光照度下输电线路图像的增强能力；
[0073]
⑵
分别计算增强后的图像和测试集中对应的正常光照图像之间的结构相似度ssim和峰值信噪比psnr两个指标，来衡量网络模型对低光照度下输电线路图像增强能力；
[0074]
⑶
若平均ssim或者平均psnr值较低则调整网络模型参数继续训练，当平均ssim和平均psnr值达到理想值以上时，保持网络模型权重，用于低光照度下输电线路图像的增强。
[0075]
本发明提供了一种基于生成对抗网络的低光照度下输电线路图像增强方法，能够有效提高低光照度下输电线路图像亮度的同时，避免增强后的图像出现过度曝光或者曝光不足，以及伪影现象的出现，保留更多的图像细节信息，提高增强后的输电线路图像质量。
附图说明
[0076]
图1是本发明的一种基于生成对抗网络的低光照度下输电线路图像增强方法的流程图；
[0077]
图2是本发明的生成网络和并行空洞卷积模块结构图；
[0078]
图3是本发明基于混合注意力机制的残差模块结构图；
[0079]
图4是本发明对抗网络结构图。
具体实施方式
[0080]
下面结合附图和实施例对本发明进一步说明。
[0081]
参见图1-图4，实施例1，本实施例提供一种基于生成对抗网络的低光照度下输电线路图像增强方法，具体步骤如下：
[0082]
1)构建数据集
[0083]
通过从输电线路视频监控系统中挑选出不同背景的低光照度图像和正常光照度图像并进行处理，构建出非配对样本训练集和配对样本测试集，步骤如下：
[0084]
⑴
从输电线路视频监控系统中挑选出不同背景的低光照度图像和正常光照度图像，将低光照度图像命名为原始低光照组，将正常光照度图像命名为正常组；
[0085]
⑵
将正常组的图像划分为正常一组和正常二组，正常一组的图像为正常组的图像的70％，正常二组的图像为正常组的图像的30％，用原始低光照组的图像和正常一组的图像构建非配对样本训练集；
[0086]
⑶
对正常二组的图像进行处理得到对应的低光照图像，命名为处理低光照组；
[0087]
⑷
用正常二组的图像和处理低光照组的图像构建配对样本测试集，从而构建出非配对样本训练集和配对样本测试集。
[0088]
从输电线路视频监控系统中挑选出不同背景的低光照度图像和正常光照度图像，其图像像素大小调整为600
×
400。
[0089]
2)构建生成网络
[0090]
构建用于对低光照度下输电线路图像进行增强处理的网络；
[0091]
3)构建对抗网络
[0092]
构建用于判断输入的输电线路图像是真图像还是假图像的网络；
[0093]
将原始正常光照度下的输电线路图像定义为真图像；
[0094]
将生成网络的输出图像定义为假图像；
[0095]
4)构建生成对抗网络的损失函数
[0096]
用来衡量网络训练过程的生成网络性能和对抗网络性能；
[0097]
5)网络模型训练
[0098]
模型训练具体如下：
[0099]
⑵
将训练集中的低光照输电线路图像输入到生成网络中，得到增强后的图像；
[0100]
⑵
将增强后的图像和训练集中的正常光照度图像输入到对抗网络中，判别输入的图像是增强后的图像还是原始正常光照图像；
[0101]
⑶
通过利用梯度下降方法对损失函数进行优化，不断更新生成网络和损失网络参数，最终完成生成网络和对抗网络的训练，得到最优的生成网络和对抗网络。
[0102]
6)网络模型性能评估
[0103]
⑴
将步骤)1中已构建的配对样本测试集中的低光照度图像输入到步骤5得到的已训练的生成网络中，得到增强后的输电线路图像，以衡量网络模型对低光照度下输电线路
图像的增强能力；
[0104]
⑵
分别计算增强后的图像和测试集中对应的正常光照图像之间的结构相似度ssim和峰值信噪比psnr两个指标，来衡量网络模型对低光照度下输电线路图像增强能力；
[0105]
⑶
若平均ssim或者平均psnr值较低则调整网络模型参数继续训练，当平均ssim和平均psnr值达到理想值以上时，保持网络模型权重，用于低光照度下输电线路图像的增强。
[0106]
7)网络模型应用
[0107]
将已训练的网络模型部署在服务器上，对现场传回的低光照度输电线路图像进行增强，得到增强图像。
[0108]
所述步骤2)构建生成网络中，生成网络由a网络、b网络和c网络组成，具体如下：
[0109]
⑴
a网络用于对输入的低光照度输电线路图像进行预处理，其由亮度注意力映射组成，以降低生成图像的过度曝光或者曝光不足现象的发生，经过预处理得到的亮度注意力图和输入的输电线路的低光照度图像相加后作为b网络的输入图像；
[0110]
⑵
b网络用于提取输入的输电线路低光照度图像的低频信息，由一个卷积模块、一个leakyrelu激活函数、第一组合模块、第二组合模块和一个基于混合注意力机制的残差模块组成，其中：
[0111]
①
所述第一组合模块和第二组合模块均由第一分支和第二分支组成，每个组合模块的第一分支和第二分支的输出特征图通过拼接操作得到该组合模块的输出特征图；
[0112]
②
所述基于混合注意力机制的残差模块依次由一个卷积模块、一个leakyrelu激活函数、一个卷积模块、一个并行注意力模块、一个卷积模块、一个leakyrelu激活函数、一个卷积模块、另一个并行注意力模块和一个卷积模块组成；
[0113]
③
将步骤
②
所述的基于混合注意力机制的残差模块的输入特征图与该基于混合注意力机制的残差模块的中的最后一个卷积模块的输出特征图进行元素相加，得到基于混合注意力机制的残差模块的最终输出特征图；
[0114]
⑶
c网络主要用于提取输入图像的高频信息，依次由第一混合模块、一个基于混合注意力机制的残差模块、第二混合模块、一个基于混合注意力机制的残差模块，一个卷积模块和一个tanh激活函数组成，其中：
[0115]
所述第一混合模块和所述第二混合模块均由一个上采样，一个卷积模块和一个leakyrelu激活函数组成；
[0116]
⑷
c网络的第一混合模块的输出与b网络的第一组合模块的输出通过拼接操作进行特征融合，c网络的第二混合模块的输出与b网络的第一组合模块的输入通过拼接操作进行特征融合，从而实现高频特征和低频特征的融合；
[0117]
⑸
c网络的输出与a网络得到的亮度注意力映射图像进行元素相乘得到图像；
[0118]
⑹
将步骤
⑸
得到的图像与生成网络输入的低光照度图像进行相加得到增强后的输电线路图像。
[0119]
所述b网络的第一组合模块和第二组合模块均由第一分支和第二分支组成，其中：
[0120]
第一分支由并行空洞卷积模块组成；
[0121]
第二分支由基于混合注意力机制的残差模块和一个下采样组成。
[0122]
所述基于混合注意力机制的残差模块中的两个并行注意力模块均由通道注意力模块和像素注意力模块组成。
[0123]
所述步骤3)中构建对抗网络表示为：
[0124]
对抗网络由全局判别网络和局部判别网络组成，其中：
[0125]
全局判别网络依次由2个组合模块、一个残差空洞卷积模块和2个组合模块组成，其输入图像是假图像和真图像；
[0126]
局部判别网络由6个组合模块组成，其输入是假图像和真图像的随机裁剪图像。
[0127]
所述全局判别网络的组合模块和残差空洞卷积模块为：
[0128]
所述全局判别网络的组合模块依次由卷积 leakyrelu激活函数组成；
[0129]
所述全局判别网络的残差空洞卷积模块的主分支由三个空洞率分别为2,3和5的空洞卷积组成。
[0130]
所述局部判别网络的组合模块为基于卷积 leakyrelu激活函数的网络模块。
[0131]
所述步骤4)中构建生成对抗网络的损失函数表示为：
[0132][0133]
式中，和分别是对抗网络的全局判别网络的损失函数和局部判别网络的损失函数，l
per
和l
pix
分别是生成网络的感知损失函数和像素损失函数，α，β，γ和ω分别是上述对应损失函数的权重。
[0134]
所述对抗网络的全局判别网络的损失函数、局部判别网络的损失函数、生成网络的感知损失函数和像素损失函数为：
[0135]
所述全局判别网络的损失函数表示为：
[0136][0137]
式中，dg为全局判别网络，g为生成网络，z和x分别为生成网络的输入图像和对抗网络的输入图像；
[0138]
所述局部判别网络的损失函数表示为：
[0139][0140]
式中，d
l
为局部判别网络；
[0141]
生成网络的感知损失函数表示为：
[0142][0143]
式中，x是生成网络的输入图像，w和h分别是图像的宽和高，是在vgg-19预训练网络；
[0144]
生成网络的像素损失函数表示为：
[0145][0146]
本实施例所述卷积模块均为相同结构。
[0147]
本实施例所述基于混合注意力机制的残差模块组成均为相同结构。
[0148]
本实施例所述并行注意力模块均为相同结构。
[0149]
本实施例所述leakyrelu激活函数均为相同结构。
[0150]
本实施例所述组合模块为相同结构。
[0151]
本实施例采用现有技术实现。