基于改进MDIN网络的电力杆塔图像曝光异常校正方法

基于改进mdin网络的电力杆塔图像曝光异常校正方法
技术领域
1.本发明涉及深度学习技术领域的一种图像曝光优化处理方法，具体是涉及了一种基于改进mdin网络的电力杆塔图像曝光异常校正方法。


背景技术：

2.为了保证我国规模日渐扩大的输电线路能够正常运行，当下基于无人机智能巡检的方式在输电线路运维巡检中已经占绝大部分力量。相比于传统人工巡检的方式，无人机智能巡检更加高效和安全，也更能满足目前对智能化巡检和精益化管理的要求。
3.无人机的智能巡检过程中，能够在输电线路所在的恶劣环境中高效，安全且全面化的拍摄电力杆塔各部位细节图像和视频，不再需要运维检修小组人工前往进行拍摄，这为电力线路运维检修人员提供了极大的方便。然而，随着无人机智能化巡检的不断普及和应用，每一条巡检线路都将带来海量的数据，对于巨大的图像数据进行智能化处理的技术还不成熟。对于海量的图像数据，运维人员需要进行图像的人工整理，包含低质量照片的筛选剔除、对照片归类命名等，这就需要人工挑选出无法使用的低质量照片，为每个塔归类，再逐个检查分析并重新命名，才能开始制定后续的管控和巡检计划。
4.图像数据智能化处理技术的不成熟对于无人机的智能化巡检影响巨大，大大降低了电力巡检的效率。而人工整理部分首先需要对低质量照片进行筛选，低质量照片中包含拍摄图片模糊、拍摄部位偏差和拍摄图像过曝或欠曝等，其中对于所拍摄电力杆塔图像曝光异常的情况，通常需要先建立异常照片的判别模型，再记录每一张照片的飞控信息，让无人机重新回去拍摄，再将拍摄好的照片重新进行归类。这样不但耗费了大量的时间和精力，并且滞后时间大，还有可能产生重复拍摄等问题。


技术实现要素：

5.本部分旨在概述本发明对于实现电力杆塔图像曝光异常自动校正方法的实施方案，为了减少现有低质量照片处理方案带来的滞后时间大等问题，本技术的目的在于提供一种基于改进mdin网络的电力杆塔图像曝光异常校正方法，利用深度学习的方法，通过对mdin网络模型进行优化，搭建出一个用于校正图像曝光异常的改进mdin网络模型，实现了对曝光异常的图像实时校正并输出，使重新拍摄这一方案带来的时间滞后问题得到改善，智能化巡检效率更高。
6.为了实现上述目的，本技术方法包括如下步骤：
7.步骤1：获取电力杆塔图像，创建一个生成曝光异常的电力杆塔图像数据集；
8.步骤2：对电力杆塔图像数据集中的图像进行图像预处理；
9.步骤3：搭建用于校正图像曝光异常的改进mdin网络模型；
10.步骤4：根据改进mdin网络模型，建立针对性的损失函数，并以最小化损失函数为目标将电力杆塔图像数据集输入到改进mdin网络模型中进行训练；
11.步骤5：将待处理的曝光异常的电力杆塔图像输入到训练后的改进mdin网络模型
中，输出得到校正后的电力杆塔图像。
12.所述步骤1中：采集包含数张不同地点不同天气下光照正常的电力杆塔图像，将所采集图像由rgb空间转换到hsv空间，对hsv空间中的v通道做gamma变换得到新的v’通道，同时保持hsv空间的另外h通道、s通道的两个通道不变，转换回rgb空间得到曝光异常的电力杆塔图像；
13.将曝光异常的电力杆塔图像及其对应的光照正常的电力杆塔图像组成图像对，各个图像对构成了电力杆塔图像数据集。
14.所述步骤2中：将电力杆塔图像数据集中的图像转化成为固定尺寸的图像，并进行归一化处理，将处理后的图像的像素信息转换为张量信息作为改进mdin网络模型的输入。
15.所述步骤3中：
16.所述的改进mdin网络模型，采用编码-解码结构，主要由编码部分和解码部分依次连接构成；
17.编码部分主要由连续三个编码器依次连接构成，第一个编码器是由三个卷积模块连接构成，第二个编码器和第三个编码器均是由四个卷积模块构成，每个卷积模块均是由一个卷积层和一个激活函数依次连接构成；其中，第一个编码器的三个卷积模块、第二个编码器的前三个卷积模块、第三个编码器的前三个卷积模块均是以密集连接模块的连接方式连接形成；
18.解码部分主要由连续三个解码依次连接构成，三个解码器是由一个反卷积模块、连续两个卷积模块依次连接构成，每个反卷积模块均是由一个反卷积层和一个激活函数依次连接构成。
19.以密集连接模块的连接方式具体是：三个卷积模块依次连接，同时第一个卷积模块的输入和第二个卷积模块的输出经过通道叠加后共同输入到第三个卷积模块，并且第一个卷积模块的输入和输出和第三个卷积模块的输出经过通道叠加后输出。
20.所述步骤4中：损失函数设置为均方误差mse和smoothl1范数两种损失函数合并的方式，具体为：
[0021][0022][0023]
其中，ii表示训练到第i个曝光异常的电力杆塔图像；ji表示与第i个光照异常图像ii对应的光照正常的电力杆塔图像；f表示改进mdin网络模型的最后一个激活函数；ω表示改进mdin网络模型的参数；smooth
l1
()表示光滑后的l1损失函数公式；n表示训练时正常和异常电力杆塔图像样本对的个数；α和β表示第一、第二gamma变换参数。
[0024]
所述步骤5中：使用无人机拍摄采集一批曝光异常的电力杆塔图像，将图像进行步骤2所述的图像预处理后，按批次输入到训练完成后的改进mdin网络模型中，最终输出得到校正后的光照正常的电力杆塔图像。
[0025]
本发明的改进mdin网络模型具体为卷积神经网络模型。
[0026]
相对于现有曝光异常图像处理方案，本技术方法具有以下有益效果：
[0027]
本技术实施例提供的基于改进mdin网络的电力杆塔图像曝光异常校正方法，通过对mdin网络模型进行优化，搭建出优化后的改进mdin网络模型，实现对过曝或欠曝电力巡检杆塔照片的自动校正。
[0028]
相比于现有电力巡检时，需要记录每一张曝光异常的巡检照片的位置信息并重新去拍摄，不仅能够减少重新拍摄的运维时间滞后问题，并且处理效率高，计算方便，使电力巡检实现更高效智能的运行。
附图说明
[0029]
图1为本发明方法中的流程示意简图；
[0030]
图2为本发明方法中的密集连接模块示意图。
[0031]
图3为本发明方法中的改进mdin改进mdin网络模型结构示意图。
具体实施方式
[0032]
为使本发明的目的、技术方案和优点更加清楚，下面对本发明的实施方式作进一步详细描述。
[0033]
本发明的具体实施例及其实施过程如下：
[0034]
如图1所示，方法包括如下步骤：
[0035]
步骤1：获取电力杆塔图像，创建一个生成曝光异常的电力杆塔图像数据集；
[0036]
采集包含数张不同地点不同天气下光照正常的电力杆塔图像，将所采集图像由rgb空间转换到hsv空间，对hsv空间中的v通道做gamma变换得到新的v’通道，同时保持hsv空间的另外h通道、s通道的两个通道不变，转换回rgb空间得到曝光异常的电力杆塔图像；将曝光异常的电力杆塔图像及其对应的光照正常的电力杆塔图像组成图像对，各个图像对构成了电力杆塔图像数据集。
[0037]
具体实施采集500张原始的电力杆塔图像，对每一张光照正常的图像，随机选取8组不同的gamma变换参数，其中4组参数gamma值大于1，另外4组参数gamma值小于1，对原始的电力杆塔图像处理，生成4张欠曝和4张过曝电力杆塔图像。最终形成4000张曝光异常的电力杆塔图像数据集，且每个曝光异常的图像都能对应一个光照正常的图像。
[0038]
步骤2：对电力杆塔图像数据集中的图像进行图像预处理；
[0039]
将电力杆塔图像数据集中的图像转化成为224*224固定尺寸的图像，并进行归一化处理，将处理后的图像的像素信息转换为张量信息作为改进mdin网络模型的输入。
[0040]
步骤3：搭建用于校正图像曝光异常的改进mdin网络模型；
[0041]
如图3所示，改进mdin网络模型，主要由编码部分和解码部分依次连接构成；
[0042]
编码部分主要由连续三个编码器依次连接构成，第一个编码器是由三个卷积模块连接构成，第二个编码器和第三个编码器均是由四个卷积模块构成，每个卷积模块均是由一个卷积层和一个激活函数依次连接构成；其中，第一个编码器的三个卷积模块、第二个编码器的前三个卷积模块、第三个编码器的前三个卷积模块均是以密集连接模块的连接方式连接形成；
[0043]
解码部分主要由连续三个解码依次连接构成，三个解码器是由一个反卷积模块、连续两个卷积模块依次连接构成，每个反卷积模块均是由一个反卷积层和一个激活函数依
次连接构成。
[0044]
如图2所示，以密集连接模块的连接方式具体是：三个卷积模块依次连接，同时第一个卷积模块的输入和第二个卷积模块的输出经过通道叠加后共同输入到第三个卷积模块，并且第一个卷积模块的输入和输出和第三个卷积模块的输出经过通道叠加后输出，这样使得网络每个卷积层的输入都会接收到其前面所有卷积层的输出。
[0045]
本发明对mdin网络模型的编码部分进行优化，在编码部分引入密集连接模块，改变了原来卷积层之间的连接方式。
[0046]
从编码器中第一个编码器encoder1的输出开始，其后的第二个编码器encoder2和第三个编码器encoder3块中的卷积模块都分别采用密集连接模块的连接方式，其中每个编码器encoder中包含3个大小不一但通道数相同的卷积层。
[0047]
密集连接模块通过元素级相加将模块与模块之间的通道连接在一起叠加，通道叠加后的输出公式为：
[0048][0049]
其中，xi,yi表示不同的输入特征图，i表示输入特征图的通道数的序数；c表示通道数；ki表示第i个特征图的通道数；*号表示卷积。
[0050]
具体实施引入密集连接模块后，网络的通道数增加，改进后的mdin网络分别在第二个编码器encoder2和第三个编码器encoder3块的最后一层后，再添加一层1
×
1的卷积模块，使通道数恢复到原来的个数。
[0051]
最终改进后的mdin网络为多编码-少解码结构，分别由3个编码器encoder和3个解码器decoder组成。其中第一个编码器encoder1由浅到深依次使用1个9*9和2个3*3的卷积层；第二个编码器encoder2依次由密集连接的1个3*3和两个1*1的卷积层，改变通道数的1
×
1卷积层组成；第三个编码器encoder3由密集连接的3个1*1的卷积层和改变通道数的1
×
1卷积层组成，作为网络的编码部分。网络的解码部分由3个参数相同的decoder1、decoder2、decoder3解码器堆叠组成，其中每个解码器decoder中依次使用1个1*1的反卷积和2个1*1的卷积层。
[0052]
在上述卷积神经网络运行过程中，每一层卷积层都分别对图像做卷积来提取不同维度的特征，在每一层后使用非线性激活函数进行处理，得到响应结果后继续输入下一层卷积层提取特征。卷积层由浅到深逐渐提取并学习到图像的语义信息。
[0053]
步骤4：根据改进mdin网络模型，建立针对性的损失函数，并以最小化损失函数为目标将电力杆塔图像数据集输入到改进mdin网络模型中进行训练；
[0054]
损失函数设置为均方误差mse和smoothl1范数两种损失函数合并的方式，能够在不降低输出矫正图像质量的同时，比原损失函数收敛的速度更快，具体为：
[0055][0056][0057]
根据改进mdin网络模型和所给损失函数公式，以最小化损失函数为目标，输入步
骤1所创建的数据集进行训练，得到训练后的改进mdin网络模型。
[0058]
步骤5：将待处理的曝光异常的电力杆塔图像输入到训练后的改进mdin网络模型中，输出得到校正后的电力杆塔图像。
[0059]
使用无人机拍摄采集一批曝光异常的电力杆塔图像，将图像进行步骤2图像预处理后，按批次输入到训练完成后的改进mdin网络模型中，最终输出得到校正后的光照正常的电力杆塔图像。
[0060]
综上所述，本技术实施例通过对mdin网络模型进行优化，搭建出优化后的改进mdin网络模型，实现对过曝或欠曝电力巡检杆塔照片的自动校正。相比于现有电力巡检时，需要记录每一张曝光异常的巡检照片的位置信息并重新去拍摄，不仅能够减少重新拍摄的运维时间滞后问题，并且处理效率高，计算方便，使电力巡检实现更高效、智能的运行。
[0061]
最后，应当指出，以上实施例及提出的一种控制方法仅是本发明较有代表性的例子，显然，本发明的技术方案不限于上述实施例及提出的一种控制方法，还可以有许多变形。本领域的普通技术人员能从本发明公开内容直接导出或者进行若干改进，这些改进也应在本技术方案的权利要求保护范围内。