基于改进的DCGAN的输电线路图像增广方法及系统与流程

基于改进的dcgan的输电线路图像增广方法及系统
技术领域
1.本发明涉及图像处理技术领域，特别涉及一种基于改进的dcgan的输电线路图像增广方法及系统。


背景技术：

2.输电线路是电力系统的动脉，其稳定运行是供电安全可靠的重要保障。输电线路的绝缘子故障、防震锤故障、螺栓缺损丢失、销钉缺失等缺陷引起的输电故障，会对企业、工业生产造成无法弥补的经济损失，也会对人民日常生活带了极大的不便。因此，定期对输电线路进行安全巡检的工作是十分必要的。传统的人工巡检方式面临着巡检周期长、效率低、危险性高、应对复杂地形能力差等问题，难以满足电网运维的要求。随着深度学习的发展，利用无人机技术获取输电线路的图像，采用深度模型实现输电线路的缺陷检测，是目前的研究热点。
3.深度学习模型需要大量的训练样本。在给定网络结构和有限先验知识的条件下，在训练中为模型引入更多的新数据，意味着扩大其参数搜索空间，可以帮助模型进一步朝着全局最优解的方向不断优化，进而提高模型的性能。然而，在电网输电线路日常巡检中，出现输电线路故障的情况毕竟是少数，能采集到的缺陷样本数有限，从而导致训练的深度学习模型存在泛化能力差、测试精度不高等问题，难以满足应用需求。
4.数据增广技术在深度学习领域扮演着重要角色，可以有效缓解上述问题。目前存在数据增广技术主要包括以下几种方式：
5.(1)几何变换：通过旋转、镜像、平移、裁剪、缩放和扭曲等方式单独对原数据进行变换，或者选择其中任意几种方式组合改变图像的几何性质，增加图片数量。
6.(2)色域变换：通过改变图像的颜色通道来增加样本的多样性,最简单的是将图像的r\g\b三个颜色通道分离出来，直接呈现红\绿\蓝单一颜色的三幅图像，也可以通过在hsv颜色空间中，改变色相(hue)、饱和度(saturation)和明度(value)实现图像增强，类似的还有hsl/hsb等。
7.(3)局部擦除：受到dropout思想的启发，随机擦除或丢失图像的局部像素信息实现对输入图像的某个部分进行遮挡，模拟现实场景中检测目标被部分遮挡的情形，不仅能增加数据集大小，还能提升模型的鲁棒性。
8.(4)图像重叠：将多幅图像的信息进行混合以产生新的训练数据，比如mixup方法将2张图片进行叠加来获取新的样本，cutmix方法从一幅图中随机裁剪出一个roi然后覆盖当前图像的对应区域。
9.(5)基于深度学习的方法：主要指通过生成对抗网络来学习数据集的分布以生成新的图像。生成对抗网络是goodfellow于2014年首次提出的无监督深度学习模型，由生成器g(generator)和判别器d(discriminator)两部分组成，其算法流程如图1所示。g是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做g(z)。d是一个判别网络，它的输入参数是x和d(z)，x是真实数据，通过对比x和d(z)判断d(z)是否是真实的。
在训练过程中，生成器g的目标就是尽量生成真实的图片去欺骗判别网络d。而d的目标就是尽量把g生成的图片和真实的图片分别开来。这样，g和d构成了一个动态的“博弈过程”。本发明就采用生成对抗网络的方法实现输电线路数据集的增广。
10.上述5种方法虽然可以实现数据增广，但也具有一定的局限性。首先，前四种方法都是在仅有数据集的基础上进行一定的变换来增加数据集，存在对数据进行重复记忆、增加的信息量有限等缺点。其次，不恰当的操作也可能会丢失图像中的重要信息从而影响缺陷检测的性能，例如，几何变换中，可能会改变图像已有的标注信息；色域变换时，可能改变图像中重要的颜色信息；局部擦除时，重要的局部信息被擦除会导致图像无法识别。另外，图像重叠的方法不合常理，缺乏解释性，不太适用于输电线路缺陷数据的增广。最后，生成对抗网络的方法虽然可以较好的学习数据分布，产成大量的生成样本，但是，生成对抗网络本身也是一种深度学习模型，也需要一定数量的训练样本来训练gan模型。


技术实现要素：

11.本发明的目的是提供一种基于改进的dcgan的输电线路图像增广方法及系统，可以解决现有技术中图像增广的一系列问题。
12.本发明的目的是通过以下技术方案实现的：
13.第一方面，本发明提供一种基于改进的dcgan的输电线路图像增广方法，包括以下步骤：
14.采集输电线路的原始缺陷图像样本数据；
15.对dcgan网络模型的结构进行改进，得到改进结构的dcgan网络模型；
16.利用改进结构的dcgan网络模型对所述原始缺陷图像样本数据进行预处理，得到训练集；
17.对改进结构的dcgan网络模型进行训练，直到生成器g与鉴别器d达到纳什均衡；
18.利用所述生成器g，生成增广后的数据。
19.进一步的，所述对dcgan网络模型的结构进行改进包括：
20.在dcgan网络模型的生成式对抗网络中增加增广函数f；
21.在dcgan网络模型的鉴别器d中加入cbam注意力机制。
22.进一步的，所述利用改进结构的dcgan网络模型对所述原始缺陷图像样本数据进行预处理，得到训练集包括：
23.利用增广函数f对原始缺陷图像样本数据进行翻转和旋转变换的预处理，得到预处理图像样本数据集f(x)；
24.将预处理图像样本数据集f(x)与原始缺陷样本数据集x融合得到训练集。
25.进一步的，对改进结构的dcgan网络模型进行训练包括：
26.向生成器g中输入一个随机噪声z，得到生成数据g(z)；
27.固定生成器g，从所述训练集和g(z)中随机抽取数据训练鉴别器d；
28.固定鉴别器d的参数，训练生成器g；
29.反复迭代直到生成器g与鉴别器d达到纳什均衡。
30.进一步的，所述训练集的缺陷图像样本的总数量count(x)'用公式表示为：
31.count(x)'＝count(x) count(f(x))，其中：
32.x表示原始缺陷图像样本数据集，count(x)表示原始缺陷图像样本数量，f(x)表示经预处理得到的预处理图像样本数据集，count(f(x))表示经过预处理得到的预处理图像样本数量。
33.进一步的，所述纳什均衡指鉴别器d辨别的概率为0.5。
34.第二方面，本发明提供一种基于改进的dcgan的输电线路图像增广系统，包括：
35.采集模块，用于采集输电线路的原始缺陷图像样本数据；
36.网络模型改进模块，用于对dcgan网络模型的结构进行改进，得到改进结构的dcgan网络模型；
37.预处理模块，用于利用所述改进结构的dcgan网络模型对所述原始缺陷图像样本数据进行预处理；
38.训练模块，用于对改进结构的dcgan网络模型进行训练，直至生成器g与鉴别器d达到纳什均衡；
39.数据生成模块，用于利用所述生成器g，生成增广后的数据。
40.进一步的，所述预处理包括对所述原始缺陷图像样本数据进行翻转处理和旋转变换处理。
41.进一步的，所述纳什均衡指鉴别器d辨别的概率为0.5。
42.本发明的基于改进的dcgan的输电线路图像增广方法及系统，与现有技术相比，有益效果主要体现在以下几个方面：
43.首先，利用深度学习模型dcgan对已有数据集进行训练，可以提取图像的深层特征，从而获得更丰富的图像信息；
44.其次，在鉴别器网络中加入cbam注意力机制，可以使鉴别器更加关注图像的重要特征区域，然后在生成器和鉴别器之间的“博弈”将真实数据的焦点信息反馈给生成器网络，从而有助于生成器生成大量逼真的图像样本，不会丢失样本的重要信息；
45.最后，通过使用增广函数对原数据进行预处理，可以为dcgan的训练提供更多的训练数据，使网络学习到更全面的数据集特征，生成更有效的数据集。
附图说明
46.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
47.图1为现有技术中的生成对抗网络gan的算法流程图；
48.图2为现有技术中的dcgan生成器网络结构；
49.图3为现有技术中的dcgan鉴别器网络结构；
50.图4为本发明改进的dcgan网络的算法流程图；
51.图5为本发明的改进的鉴别器网络结构；
52.图6为本发明的cbam算法结构；
53.图7为本发明的基于改进的dcgan的输电线路图像增广方法步骤图；
54.图8为本发明的基于改进的dcgan的输电线路图像增广系统结构图。
具体实施方式
55.下面结合附图对本公开实施例进行详细描述。
56.以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
57.本发明的基于改进的dcgan的输电线路图像增广方法，包括以下步骤：
58.步骤s1、采集输电线路的原始缺陷图像样本数据。
59.该缺陷图像样本数据的采集可以利用无人机获取，也可以利用其它技术手段获取。本发明不做限制。
60.步骤s2、对dcgan网络模型的结构进行改进，得到改进结构的dcgan网络模型。
61.dcgan(deep convolutional gan)，是卷积神经网络与gan的结合，使用卷积层来构建gan的生成器和鉴别器。生成器的网络结构如图2所示，首先利用随机噪声生成100维的特征向量z，为了生成图片数据，reshape该向量使之拥有与图片特征图相同的形状，再经过4次反卷积操作得到生成的样本数据。鉴别器的网络结构如如3所示，以生成样本为输入数据为例，经过4个卷积层和一个全连接层后输出结果。所有卷积核的尺寸是5*5，步长为2。另外，在生成器中，除了最后一层用tanh激活函数，其它层全部使用relu；同样的，在判别器中，除了最后一层是sigmoid的激活函数，其它层都是leakyrelu。生成器和判别器都使用bn(batch normalization)层，在判别器中只需要一层全连接层用于最后的分类。
62.reshape函数是matlab中将指定的矩阵变换成特定维数矩阵一种函数，且矩阵中元素个数不变，函数可以重新调整矩阵的行数、列数、维数。函数语法为b＝reshape(a,size)是指返回一个和a元素相同的n维数组，但是由向量size来决定重构数组维数的大小。
63.为了有效实现输电线路缺陷数据的增广，对所述dcgan网络模型的结构进行两方面的改进。进一步的，对dcgan网络模型的结构进行改进包括：
64.步骤s201、在生成式对抗网络中增加增广函数f。
65.现有技术的生成式对抗网络(gan，generative adversarial networks)的算法如图1所示。现实中能够采集到的输电线路缺陷数据有限，能获取到的缺陷图像样本特征有限，因此需要对所述缺陷图像样本数据进行预处理来增加数据集的信息量。本发明通过在生成式对抗网络中增加增广函数来实现数据集的增加。
66.步骤202、在鉴别器d中加入cbam(convolutional block attention module)注意力机制。
67.注意力机制(attention mechanism)源于对人类视觉注意力的研究。人类可以通过快速扫描全局图像，获得需要重点关注的目标区域，而后对这一区域投入更多注意力，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。这是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段。
68.受到人类视觉注意力的启发，深度学习领域引入通道注意力和空间注意力等机制
让机器更关注图像中的焦点信息。本发明中将cbma注意力机制加入到鉴别器网络的conv1和conv2中间(conv(向量卷积运算))，通过注意力机制让鉴别器网络聚焦到图像的重要特征，从而激励生成器网络生成更加“逼真”的图像。新的鉴别器网络结构如图5所示。
69.cbam注意力机制的算法结构如图6所示，分为通道注意力模块和空间注意力模块，两个模块串行工作。
70.在注意力通道模块中，将输入的特征图f(h
×
w
×
c)分别经过基全局最大池化和全局平均池化，得到两个1
×1×
c的特征图，接着，再将它们分别送入一个两层的神经网络(mlp)，第一层神经元个数为c/r(r＝16)，激活函数为relu，第二层神经元个数为c，这个两层的神经网络是共享的。然后，将mlp输出的特征进行基于element
‑
wise的加和操作，再经过sigmoid激活函数，生成最终的channel attention feature，即mc。最后，将mc和输入特征图f做element
‑
wise乘法操作，生成spatial attention模块需要的输入特征。
71.将channel attention模块输出的特征图f’作为本模块的输入特征图。首先做一个基于channel的global max pooling和global average pooling，得到两个h
×
w
×
1的特征图，然后将这2个特征图基于channel做concat操作(通道拼接)。然后经过一个7
×
7卷积，降维为1个channel，即h
×
w
×
1。再经过sigmoid生成spatial attention feature，即ms。最后将ms和f’做乘法，得到最终生成的特征。
72.改进结构的dcgan网络模型的算法流程如图4所示。
73.步骤3、利用改进结构的dcgan网络模型对原始缺陷图像样本数据进行预处理，得到训练集。
74.进一步的，利用改进结构的dcgan网络模型对所述原始缺陷图像样本数据进行预处理，得到训练集包括：
75.步骤s301、利用增广函数f对原始缺陷图像样本数据进行翻转和旋转变换的预处理，得到预处理图像样本数据集f(x)；
76.步骤s302、将预处理图像样本数据集f(x)与原始缺陷样本数据集x融合得到训练集。
77.训练集的缺陷图像样本数据的总数量count(x)'用公式表示为：
78.count(x)'＝count(x) count(f(x))，其中：
79.x表示原始缺陷图像样本数据集，count(x)表示原始缺陷图像样本数量，f(x)表示经过翻转处理和旋转变换等预处理得到的预处理图像样本数据集，count(f(x))表示经过预处理得到的预处理图像样本数量。
80.使用f(x)进行训练模型学习到的是增广函数得到的数据集的分布，而不是原数据集的分布，因此必须将经增广函数预处理得到的缺陷图像样本数据与原始缺陷图像样本数据混合得到新的数据集，使网络学习到更全面的数据集特征。改进的算法流程如图4所示。
81.步骤4、对改进结构的dcgan网络模型进行训练，直到生成器g与鉴别器d达到纳什均衡。
82.该步骤的最终目的是为了使鉴别器无法判别图片来自于原始缺陷图像样本数据集还是来自预处理图像样本数据集，即为鉴别器d的辨别概率为0.5。
83.具体地，对改进结构的dcgan网络模型进行训练包括：
84.步骤s401、向生成器g中输入一个随机噪声z，得到生成数据g(z)；
85.步骤s402、固定生成器g，从训练集和g(z)中随机抽取数据训练鉴别器d；
86.由于鉴别器的任务是较好的区分输入数据的真假，即将g(z)判别为假，训练集中的数据判别为真，鉴别器的目标函数是最大化d(x)和最小化d(g(x))，鉴别器的优化函数如下：
[0087][0088]
其中，x表示训练集中的真实图片数据，z表示随机噪声数据，x～pdata(x)表示真实数据的分布，z～pdata(z)表示噪声数据的分布，e表示分布的期望值，g(z)表示生成器生成的数据，d(x)表示x被判别为真实数据的概率，v表示目标函数。
[0089]
步骤s403、固定鉴别器d的参数，训练生成器g。
[0090]
该步骤的目的是使鉴别器d尽可能区分不了真假。生成器g的任务就是生成与真实数据最接近的图像，使g(z)通过鉴别器d时被判别为真，生成器g的目标函数是最大化d(g(z))，生成器g的优化函数如下：
[0091][0092]
其中，z表示随机噪声数据，z～p
data(z)
表示噪声数据的分布，e表示分布的期望值，g(z)表示生成器生成的数据，d(g(z))表示g(z)被判别为真实数据的概率，v代表目标函数。
[0093]
步骤s404、重复步骤s402和步骤s403，直到生成器g与鉴别器d达到纳什均衡。
[0094]
生成器g与鉴别器d重复进行交替训练，在理想状态下，最终鉴别器d无法区分图片到底是来自真实的训练样本集合，还是来自生成器g生成的样本，此时生成器g与鉴别器d的博弈达到纳什均衡状态，鉴别器d辨别的概率为0.5，完成对改进结构的dcgan网络模型的训练。
[0095]
步骤5、利用所述生成器g，生成增广后的数据。
[0096]
在训练后的改进结构的dcgan网络模型中，生成器可以生成使鉴别器无法判别真假的图像，即生成器生成的图像非常“逼真”。因此，通过输入随机噪声z，训练好的生成器g可以生成大量的图像，实现数据增广。
[0097]
本发明还提供一种基于改进的dcgan的输电线路图像增广系统，包括：
[0098]
采集模块，用于采集输电线路的原始缺陷图像样本数据；
[0099]
网络模型改进模块，用于对dcgan(deep convolutional gan)网络模型的结构进行改进，得到改进结构的dcgan网络模型；
[0100]
预处理模块，用于利用所述改进结构的dcgan网络模型对所述原始缺陷图像样本数据进行预处理，其中，所述预处理包括对原始缺陷图像样本数据进行翻转处理和旋转变换处理；
[0101]
训练模块，用于对改进结构的dcgan网络模型进行训练，直至鉴别器d无法判别图片来自于训练样本集合即为缺陷图像样本或是生成器g生成的样本，即为所述鉴别器d的辨别概率为0.5；
[0102]
数据生成模块，用于利用所述生成器g，生成增广后的数据。
[0103]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目
的。
[0104]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0105]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0106]
以上仅为说明本发明的实施方式，并不用于限制本发明，对于本领域的技术人员来说，凡在本发明的精神和原则之内，不经过创造性劳动所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。