一种基于改进GAN实现输电线路图像增广的方法及系统与流程

一种基于改进gan实现输电线路图像增广的方法及系统
技术领域
1.本发明涉及计算机技术领域，尤其涉及一种基于改进gan实现输电线路图像增广的方法及系统。


背景技术：

2.输电线路的智能化巡检是实现智能电网的基础环节之一，随着我国智能电网建设在全国范围内的推进，图像与视频处理技术已经逐步应用在输电线路的智能巡检中。输电线路上的各类设备(杆塔、绝缘子、三角板、防震锤、螺栓、电线、间隔棒、销钉)的安全可靠运行是电力稳定供应的基础，绝缘子故障、防震锤故障、螺栓缺损丢失、销钉缺失等缺陷引起的输电故障，会对企业、工业生产造成了无法弥补的经济损失，也会对人民日常生活带了极大的不便。为了保障各类输电设备的安全可靠运行，在输电线路巡检检修过程中，巡检人员需要对各类输电设备进行识别和缺陷定位。
3.目前，通常通过巡检人员对输电线路进行巡检，巡检人员需要对各类输电设备的识别和缺陷进行定位，通常存在以下缺陷：对输电线路上的设备观察有难度，由于输电线路多为架空线路，距离地面平均有几十米的高度，仅凭巡检人员观察，视觉容易受到限制，观察误差较大。而且输电设备类型繁多，形态复杂，输电设备包括杆塔、绝缘子、三角板、防震锤、螺栓、电线、间隔棒、销钉等，使用的输电设备形态各异，因此不容易观测。
4.随着计算机和人工智能的发展，借助于计算机运算能力的大幅度提高和大数据技术的广泛应用，图像处理和识别在实际应用中达到了突飞猛进的效果，目前各类深度神经网络应用于图像识别领域中，基于深度神经网络的图像识别技术已广泛地应用于电力行业中。图像增广是在有效训练数据受限的情况下解决深度学习模型训练问题的一种有效方法，大量的增广技术和方法被提出来丰富和增广训练数据集，提升了神经网络的泛化能力，常见的增广方法主要基于图像变换，例如：几何变换、色域变换、局部擦除、图像重叠、生成对抗网络的方法等，随着深度学习中神经网络的层数不断扩大，表达能力的不断提升，为了能够更好防止模型过拟合，出现了以mixup为代表的合成样本图像增广方法和使用生成对抗网络为代表的虚拟图像样本生成的图像增广方法。在不同应用数据集合应用场景下，图像增广的策略和方法也不尽相同，因此，为了在特定的图像数据集和应用场景中找到最佳的图像增广策略，出现了基于算法或模型进行增广策略搜索的智能图像增广的相关研究。
5.现有技术中的增广方法虽然可以实现数据增广，但也具有一定的局限性。而且是在仅有数据集的基础上进行一定的变换来增加数据集，存在对数据进行重复记忆、增加的信息量有限等缺点。其次，不恰当的操作也可能会丢失图像中的重要信息从而影响缺陷检测的性能，例如，几何变换中，可能会改变图像已有的标注信息；色域变换时，可能改变图像中重要的颜色信息；局部擦除时，重要的局部信息被擦除会导致图像无法识别。另外，图像重叠的方法不合常理，缺乏解释性，不适用于输电线路缺陷数据的增广。最后，生成对抗网络的方法虽然可以较好的学习数据分布，产成大量的生成样本，但是，生成对抗网络本身也是一种深度学习模型，也需要一定数量的训练样本来训练gan模型。


技术实现要素：

6.本发明的目的在于克服现有技术的不足，本发明提供了一种基于改进gan实现输电线路图像增广的方法及系统，其通过改进dcgan模型，实现利用较少的缺陷数据实现数据增广的目的。
7.为了解决上述技术问题，本发明实施例提供了一种基于改进gan实现输电线路图像增广的方法，所述方法包括：
8.采集输电线路的缺陷图像样本数据；
9.改进生成对抗网络gan网络模型的结构，得到改进后的gan网络模型；
10.对改进后的gan网络模型进行训练，将所述缺陷图像样本数据输入至改进后的gan网络模型，直至鉴别器d无法判别图片来自于训练样本集合；
11.在所述鉴别器d无法识别图片为缺陷图像样本还是生成器g生成的样本时，设定所述鉴别器d的辨别概率为0.5；
12.利用所述生成器g生成增广后的数据。
13.所述改进生成对抗网络gan网络模型的结构，得到改进后的gan网络模型包括：
14.将频谱归一化技术应用于生成器g和鉴别器中的权重；
15.在生成式对抗网络gan的发生器和鉴别器中添加自注意力机制。
16.所述将频谱归一化技术应用于生成器g和鉴别器中的权重包括：
17.将谱范数设置为1来约束权重的lipschitz常数，用来控制渐变；
18.对发生器和鉴别器应用光谱归一化。
19.所述对改进后的gan网络模型进行训练包括：
20.在训练的过程中固定一方，更新另一方的网络权重；
21.固定鉴别器d的参数，更改生成器g的参数；
22.通过引入判别器d来实现得到高质量的生成器g。
23.所述固定生成器g的参数，更改鉴别器d的参数包括：
24.引入鉴别器d进行引入对抗训练，通过对抗训练的方式让生成器生成高质量的图片；
25.判别器d通过不断训练进行鉴别能力训练。
26.所述通过引入判别器d来实现得到高质量的生成器g包括：
27.d和g通过交替迭代，在这个过程中，双方都极力优化自己的网络，从而形成竞争对抗，直到双方达到一个动态的平衡，此时生成模型g恢复了训练数据的分布，判别模型再也判别不出来结果，准确率为50％。
28.相应的，本发明实施例还提供了一种基于改进gan实现输电线路图像增广的系统，所述系统包括：
29.采集模块，用于采集输电线路的缺陷图像样本数据；
30.网络模型改进模块，用于改进生成对抗网络gan网络模型的结构，得到改进后的gan网络模型；
31.训练模块，用于对改进后的gan网络模型进行训练，将所述缺陷图像样本数据输入至改进后的gan网络模型，直至鉴别器d无法判别图片来自于训练样本集合；在所述鉴别器d无法识别图片为缺陷图像样本还是生成器g生成的样本时，设定所述鉴别器d的辨别概率为
0.5；
32.生成模块，用于利用所述生成器g生成增广后的数据。
33.所述网络模型改进模块用于将频谱归一化技术应用于生成器g和鉴别器中的权重；在生成式对抗网络gan的发生器和鉴别器中添加自注意力机制。
34.所述网络模型改进模块还用于将谱范数设置为1来约束权重的lipschitz常数，用来控制渐变；对发生器和鉴别器应用光谱归一化。
35.所述训练模块用于在训练的过程中固定一方，更新另一方的网络权重；固定鉴别器d的参数，更改生成器g的参数；通过引入判别器d来实现得到高质量的生成器g。
36.在本发明实施例中利用深度学习模型gan对已有数据集进行训练，可以提取图像的深层特征，从而获得更丰富的图像信息。将谱范数设置为1来约束权重的lipschitz常数，对发生器和鉴别器应用光谱归一化。用来控制渐变，防止参数幅度的增大，避免异常梯度。在鉴别器和生成器网络中加入自注意力机制，可以使鉴别器更加关注图像的重要特征区域，然后在生成器和鉴别器之间的“博弈”将真实数据的焦点信息反馈给生成器网络，从而有助于生成器生成大量逼真的图像样本，不会丢失样本的重要信息。
附图说明
37.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
38.图1是本发明实施例中的基于改进gan实现输电线路图像增广的方法流程图；
39.图2是本发明实施例中的gan的算法流程图；
40.图3是本发明实施例中的注意力模块算法流程图；
41.图4是本发明实施例中的基于改进gan实现输电线路图像增广的方法系统结构示意图。
具体实施方式
42.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
43.图1示出了本发明实施例中的基于改进gan实现输电线路图像增广的方法流程图，具体包括以下步骤：
44.s101、采集输电线路的缺陷图像样本数据；
45.s102、改进生成对抗网络gan网络模型的结构，得到改进后的gan网络模型；
46.生成对抗网络gan(generative adversarial network)，可以将其看做博弈的过程，将生成模型(generative model)和判别模型(discriminative model)看作博弈的双方。博弈的简单模式如下：生成模型生成一些图片；通过判别模型学习区分生成的图片和真实图片；生成模型根据判别模型改进自己，生成新的图片；判别模型再学习区分生成的图片
和真实图片。
47.生成模型g捕捉样本数据的分布，用服从某一分布(均匀分布，高斯分布等)的噪声z生成一个类似真实训练数据的样本，追求效果是越像真实样本越好；判别模型d是一个二分类器，估计一个样本来自于训练数据(而非生成数据)的概率，如果样本来自于真实的训练数据，d输出大概率，否则，d输出小概率，图2示出了本发明实施例中的gan的算法流程图。
48.这里改进gan网络模型的结构的具体内容包括：针对上述背景技术的问题，为了有效实现输电线路缺陷数据的增广，对所述gan网络模型的结构进行两方面的改进：将频谱归一化技术应用于生成器g和鉴别器中的权重；在生成式对抗网络gan的发生器和鉴别器中添加自注意力机制。
49.这里将频谱归一化技术应用于发生器和鉴别器中的权重的内容包括：将谱范数设置为1来约束权重的lipschitz常数，用来控制渐变。对发生器和鉴别器应用光谱归一化。鉴别器和发生器都能从光谱归一化中受益，因为它可以防止参数幅度的增大，避免异常梯度。
50.所谓lipshcitz限制，在最简单的一元函数中的形式即：
51.|f(x1)
‑
f(x2)|≤k|x1‑
x2|
52.或者也可以写成：
[0053][0054]
从公式上看，f(x)任意两点(x1，f(x1))，(x2，f(x2))之间连线的斜率绝对值，或者在f(x)的基础上平移δ的单位，然就计算斜率的绝对值是小于lipshcitz常数k。在改进的gan中要求k＝1，1
‑
lipshcitz限制要求保证了输入的微小变化不会导致输出产生较大变化。
[0055]
虽然线性函数f(x)＝wx不满足1
‑
lipshcitz限制，但是可使用谱范数将w的“缩放大小”限定为小于等于1，这样处理后的f*(x)可以满足1
‑
lipshcitz限制。
[0056]
当k＝1时，函数的梯度上界被限制，因此函数更平滑，在神经网络的优化过程中，参数变化也会更稳定，不容易出现梯度爆炸，因此lipschitz continuity是一个很好的性质。
[0057]
自注意力(self
‑
attention)机制是注意力机制的变体，其减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性。首先通过与软注意力encoder
‑
decoder模型进行对比，来获得对自注意力模型的感性认识。自注意力模型可以建立序列内部的长距离依赖关系，自注意力模型可以动态生成不同连接的权重，那么生成多少个权重，权重的大小是多少，都是可变的，当输入更长的序列时，只需要生成更多连接边即可。
[0058]
本发明中将自注意力机制加入到生成器和鉴别器中，从而激励生成器网络生成更加“逼真”的图像。自注意力模块如图3所示。表示矩阵乘法，每一行都用softmax归一化。
[0059]
用数学公式来表达自注意力机制：设定一个神经层中的输入序列为x＝[x1，x2，...，xn]，输出序列为同等长度的h＝[h1，h2，...，hn]，首先通过线性变换得到三组向量序列：
[0060][0061]
[0062][0063]
其中q、k、v分别为查询向量序列，键向量序列和值向量序列，wq、wk、wv分别是可以学习的参数矩阵。输出向量hi的计算：
[0064][0065]
其中i、j∈[1,n]为输出和输入向量序列的位置，连接权重αij由注意力机制动态生成。
[0066]
自注意力模型可以作为神经网络的一层来使用，也可以用来替换卷积层或循环层，也可以与卷积层或循环层交叉堆叠使用。
[0067]
s103、对改进后的gan网络模型进行训练，将所述缺陷图像样本数据输入至改进后的gan网络模型，直至鉴别器d无法判别图片来自于训练样本集合；
[0068]
改进结构的gan网络模型的训练方法跟之前的gan是一样的，学习率不变、使用adam优化器，batch size设置为64，迭代次数设置为2000次，这里对改进后的gan网络模型进行训练包括：在训练的过程中固定一方，更新另一方的网络权重；固定鉴别器d的参数，更改生成器g的参数；通过引入判别器d来实现得到高质量的生成器g。
[0069]
(1)在训练的过程中固定一方，更新另一方的网络权重。首先固定生成器g的参数，更改鉴别器d的参数，d在训练过程中的目的就是尽可能取辨别真假图片，以假乱真的图片，让判别器以为这是真的图片。由于鉴别器的任务是较好的区分输入数据的真假，即将g(z)判别为假，真实数据判别为真，鉴别器的目标函数是最大化d(x)和最小化d(g(x))。d的优化函数为：
[0070][0071]
其中，x表示训练集中的真实图片数据，z表示随机噪声数据，x～pdata(x)表示真实数据的分布，同理，z～pdata(z)表示噪声数据的分布，e表示分布的期望值，g(z)表示生成器生成的数据，d(x)表示x被判别为真实数据的概率，v表示目标函数；训练判别器时，需要利用生成器生成的假图片和来自真实的真图片。
[0072]
(2)固定鉴别器d的参数，更改生成器g的参数：即引入鉴别器d进行引入对抗训练，通过对抗训练的方式让生成器生成高质量的图片；判别器d通过不断训练进行鉴别能力训练。
[0073]
这里引入鉴别器d，主要是为了引入对抗训练，通过对抗训练的方式让生成器能够生成高质量的图片。判别器d通过不断训练，提高了自己的鉴别能力，最终他可以准确的判断出所有的假图片。
[0074]
(3)所述通过引入判别器d来实现得到高质量的生成器g包括：d和g通过交替迭代，在这个过程中，双方都极力优化自己的网络，从而形成竞争对抗，直到双方达到一个动态的平衡，此时生成模型g恢复了训练数据的分布，判别模型再也判别不出来结果，准确率为50％。
[0075]
d和g通过交替迭代，在这个过程中，双方都极力优化自己的网络，从而形成竞争对抗，直到双方达到一个动态的平衡(纳什均衡)，此时生成模型g恢复了训练数据的分布(造出了和真实数据一模一样的样本)，判别模型再也判别不出来结果，准确率为50％，约等于
乱猜。上述过程可以表述为如下公式：
[0076][0077]
接着，开始训练出二代的g，它能生成稍好一点的图片，能够让一代的d认为这些生成的图片是真实的图片。然后会训练出一个二代的d，它能准确的识别出真实的图片，和二代g生成的图片。以此类推，会有三代，四代直至n代的g和d，最后d无法分辨生成的图片和真实图片，这个网络就拟合了，训练完成。
[0078]
s104、在所述鉴别器d无法识别图片为缺陷图像样本还是生成器g生成的样本时，设定所述鉴别器d的辨别概率为0.5；
[0079]
s105、利用所述生成器g生成增广后的数据。
[0080]
相应的，图4示出了本发明实施例中的基于改进gan实现输电线路图像增广的系统结构示意图，所述系统包括：
[0081]
采集模块，用于采集输电线路的缺陷图像样本数据；
[0082]
网络模型改进模块，用于改进生成对抗网络gan网络模型的结构，得到改进后的gan网络模型；
[0083]
训练模块，用于对改进后的gan网络模型进行训练，将所述缺陷图像样本数据输入至改进后的gan网络模型，直至鉴别器d无法判别图片来自于训练样本集合；在所述鉴别器d无法识别图片为缺陷图像样本还是生成器g生成的样本时，设定所述鉴别器d的辨别概率为0.5；
[0084]
生成模块，用于利用所述生成器g生成增广后的数据。
[0085]
所述网络模型改进模块用于将频谱归一化技术应用于生成器g和鉴别器中的权重；在生成式对抗网络gan的发生器和鉴别器中添加自注意力机制。
[0086]
所述网络模型改进模块还用于将谱范数设置为1来约束权重的lipschitz常数，用来控制渐变；对发生器和鉴别器应用光谱归一化。
[0087]
所述训练模块用于在训练的过程中固定一方，更新另一方的网络权重；固定鉴别器d的参数，更改生成器g的参数；通过引入判别器d来实现得到高质量的生成器g。
[0088]
在本发明实施例中利用深度学习模型gan对已有数据集进行训练，可以提取图像的深层特征，从而获得更丰富的图像信息。将谱范数设置为1来约束权重的lipschitz常数，对发生器和鉴别器应用光谱归一化。用来控制渐变，防止参数幅度的增大，避免异常梯度。在鉴别器和生成器网络中加入自注意力机制，可以使鉴别器更加关注图像的重要特征区域，然后在生成器和鉴别器之间的“博弈”将真实数据的焦点信息反馈给生成器网络，从而有助于生成器生成大量逼真的图像样本，不会丢失样本的重要信息。
[0089]
以上对本发明实施例所进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。