一种图像增强方法、装置、电子设备及存储介质与流程

1.本发明涉及数据处理领域，尤其涉及一种图像增强方法、装置、电子设备及存储介质。


背景技术：

2.在工业生产、机械制造、电网建设等热门领域中，一个系统的安全运行往往离不开各种设备(电气设备、自动化设备等)的稳定工作。一旦设备出现过热、老化、磨损等故障，将直接影响整个系统的运行效率，甚至引发严重的事故，造成巨大的经济损失。因此，需要定期对各种设备进行状态监测，提前发现故障问题并进行相应的维修保养。
3.传统的依赖人工对各类设备进行巡查的方式，由于漏检率高、效率低，难以满足实际任务需求。随着人工智能技术的飞速发展，目前，应用计算机视觉技术对设备进行故障诊断已成为常态，与传统的人工诊断相比，极大地提升了检测效率及准确度，且更加安全可靠。然而，由于实际采集条件及运行成本的限制，在基于深度学习技术的设备状态检测过程中常常面临故障样本稀缺的挑战，而深度学习模型需要大量的数据驱动。若将现有的小样本数据带入模型训练将不可避免出现过拟合问题，最终影响模型的检测精度及泛化能力。
4.为改善小样本数据造成的检测性能劣化的问题，必须通过适当的数据增强手段，获得较完备的数据集才能有效提升模型最终的检测效果。目前，处理小样本的图像增强技术主要包括以下几种方式：
5.(1)几何变换：将一幅图像中的坐标位置映射到另一幅图像中的新坐标位置，不改变图像的像素值，只是在图像平面上进行像素的重新安排。常见包括翻转、旋转、裁剪、缩放、平移、仿射等操作。
6.(2)颜色变换：通过改变图像本身的内容实现数据增强，主要包括加噪、模糊、擦除、填充、亮度、色度、锐度、对比度变化等操作。
7.(3)多样本融合：通过随机将多张图像的信息进行混合形成新的训练样本，比如samplepairing方法从数据集中随机挑选两张图像，分别采用基本的图像增强手段进行叠加组合为一个新样本，mixup方法以线性插值方式将两张不同类图片进行叠加获得新数据，cutmix方法将输入图像的一部分裁剪掉，并随机填充训练集中的其它数据的区域像素值来产生新数据。
8.(4)autoaugment：不同于常规人工设计的图像增广方式，autoaugment是由google提出的在一系列图像增广子策略的搜索空间中通过搜索算法找到的适合特定数据集的图像增强技术。作为一种无监督类深度学习模型，它的基本思路是使用增强学习从数据本身寻找最佳的图像变换策略，对于不同的任务学习获得不同的增强方法。
9.(5)生成对抗网络：作为无监督式图像增强的代表性方法，生成对抗网络于2014年首次被goodfellow提出，主要由两大模块构成：生成器g(generator，g)和判别器d(discriminator，d)。在训练过程中，生成器g通过一组随机噪声生成图片，其目的是尽量生成真实的图片去欺骗判别器d，判别器d的任务是尽量把生成器g生成的图片与真实的图片
区分开并反馈给生成器g。生成器g通过反馈信号更新优化网络参数，而判别器d通过学习真实数据样本及生成的图像也不断优化自身网络参数。这样，生成器g和判别器d就构成了一个动态的“博弈过程”。当博弈达到纳什均衡时，模型停止训练，本发明就是基于此核心思想来实现故障设备图像的增强。
10.上述五类技术都能够实现图像的增强，获得一定的训练数据，但也都存在相应的弊端。首先，几何变换类的图像数据增强方法操作简单、便捷，以此用来扩充数据最为常见。但通过此类方法获得的大批量数据分布过于单一，缺乏多样性，且会生成过多无实际价值的图像样本。其次，颜色变换类的图像增强方法能够在一定程度上增加数据样本的变化性，但颜色变换同几何变换一样都属于单样本数据增强方法，完全由人为定义，无法进行大规模的操控。另外，多样本融合在在大多研究领域中被广泛应用，也取得了比较理想的效果，但此类方法仍然完全由使用者定义，并不适合于所有领域的任务。最后，相比于前三类有监督的图像增强技术，无监督式的图像增强能够学习到更加全面的数据分布特征，生成更多有效的样本。但无监督式的图像增强也存在一定的局限性。如autoaugment探索出一个策略往往需要花费大量成本，且训练效率不高。原始生成对抗网络存在训练不稳定、模式易崩塌等问题，难以保证生成样本的质量。


技术实现要素：

11.为了解决上述技术问题或者至少部分地解决上述技术问题，本技术提供了一种图像增强方法、装置、电子设备及存储介质，可以提升网络训练的稳定性。
12.一种图像增强方法，具体包括以下步骤：
13.s1：采集获取原始故障设备图像样本；
14.s2：对原始故障设备图像进行数据预处理，作为训练数据集；
15.s3：对dcgan模型结构及网络函数进行优化，得到dcgan网络模型；
16.s4：将训练数据集用于改进后的dcgan模型训练，直至生成器g与判别器d达到纳什均衡；
17.s5：利用训练完成的模型进行图像增强，生成新的故障样本数据。
18.优选的，对原始故障设备图像进行数据预处理，作为训练数据集包括：
19.对采集得到的原始故障设备图像进行筛选，滤除特征模糊、存在过多冗余信息的低质量图像数据；
20.利用传统的图像扩充技术对过滤后的图像样本进行操作，得到预处理数据集；
21.将预处理数据集与原始筛选后的故障样本混合形成新的训练数据集。
22.优选的，训练数据集的故障图像数量final(x)用公式表示为：
23.final(x)＝org(x)-filt(x) aug[org(x)-filt(x)]
[0024]
式中org(x)表示原始的故障样本数量；filt(x)表示滤除的无效样本数量；aug为传统图像扩充操作，x表示样本数量。
[0025]
优选的，对模型结构及网络函数进行优化包括：
[0026]
在dcgan模型的生成器g中分别增加一层反卷积层及多层残差块，并在每层卷积网络后都进行批量归一化及激活处理；
[0027]
在dcgan模型的判别器d中分别增加一层卷积层及多层残差块，并在每层卷积网络
后都进行批量归一化及激活处理；
[0028]
将dcgan网络中生成器g的激活函数relu替换为selu；
[0029]
将dcgan网络的损失函数替换为wasserstein距离。
[0030]
优选的，将dcgan网络中生成器g的激活函数relu替换为selu，selu激活函数的表达式为：
[0031][0032]
式中λ为超参数，λ数值为1.0507；α为另一组超参数，α数值为1.6732，x表示横坐标数值，e为激活函数，e数值为2.71828。
[0033]
优选的，wasserstein距离为真实图像数据分布与生成图像数据分布之间的距离
[0034]
wasserstein距离的计算表达式为：
[0035][0036]
式中，x为真实故障设备图像分布；z为随机噪声；g(z)为随机噪声经生成器生成的图像分布；w代表两分布的wasserstein距离；∏(x,g(z))为真实图像和生成图像联合分布的集合；γ代表每一个可能的联合分布；inf为最大下界，表示取最小值；x,y表示从联合分布γ中采样得到的样本，||x-y||表示样本x与y之间的距离；e为样本对距离的期望值。
[0037]
优选的，将训练数据集用于改进后的dcgan模型训练，步骤包括：
[0038]
输入一组随机噪声z至生成器g，由生成器g生成随机噪声经生成器生成的图像分布g(z)；
[0039]
将g(z)传给判别器d,鉴别生成样本的真假并反馈给生成器g；
[0040]
固定生成器g的参数，通过训练集和g(z)不断训练判别器d；
[0041]
固定判别器d的参数，不断训练并优化生成器g的参数；
[0042]
不断循环这一过程，直至生成器g和判别器d达到纳什均衡，训练结束；
[0043]
所述生成器g和判别器d达到纳什均衡，此时判别器d的输出维持在0.5。
[0044]
一种基于dcgan的故障设备图像增强装置，所述装置包括：
[0045]
数据采集模块，用于采集获取元素故障设备图像样本；
[0046]
数据预处理模块，用于对原始故障设备图像进行数据预处理，作为训练数据集；
[0047]
数据分析模块，用于将训练数据集用于改进后的dcgan模型训练，直至生成器g与判别器d达到纳什均衡；
[0048]
数据汇总模块，用于将训练完成的模型数据汇总，生成新的故障样本数据。
[0049]
一种电子设备，所述电子设备包括：
[0050]
至少一个处理器；以及，
[0051]
与至少一个处理器通信连接的存储器；其中，
[0052]
所述存储器存储有可被至少一个处理器执行的计算机程序，所述计算机程序被至少一个处理器执行，以使至少一个处理器能够执行一种图像增强方法。
[0053]
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现一种图像增强方法。
[0054]
与现有技术相比，本方案的技术原理及有益效果在于：
[0055]
首先，对采集的原始故障设备图像进行预处理，可以在一定程度上减少低质量数据带来的不利影响，并为模型的训练提供更多的数据样本；
[0056]
其次，将生成器的relu激活函数替换为selu，能够在不过多增加计算量的同时，有助于模型学习更多丰富的数据特征；
[0057]
然后，在生成器及判别器中分别增加一层卷积层及若干残差块，并在每层卷积网络后都进行批量归一化及激活处理，能够提高生成图像的分辨率，并使得生成的样本更接近于真实数据分布；
[0058]
最后，采用wasserstein距离替代原模型的目标损失函数，可以有效解决模式崩塌及梯度消失的问题，提升网络训练的稳定性。
附图说明
[0059]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
[0060]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0061]
图1为本发明的一种图像增强方法步骤图；
[0062]
图2为原始dcgan模型的结构原理图；
[0063]
图3为本发明dcgan模型的结构原理图；
[0064]
图4为本发明改进的生成器g网络结构图；
[0065]
图5为本发明改进的生成器g中残差块结构图；
[0066]
图6为本发明改进的判别器d网络结构图；
[0067]
图7为本发明改进的判别器d中残差快结构图；
[0068]
图8为relu激活函数及selu激活函数曲线图。
具体实施方式
[0069]
应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
[0070]
下面将结合本发明实施例中的附图，对本发明的技术方案及优点更加完整、详细地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。
[0071]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互结合。
[0072]
本发明的一种图像增强方法，其操作步骤如图1所示。具体包括：
[0073]
步骤s1、采集获取原始故障设备图像样本。
[0074]
不同应用领域的故障设备图像样本可以通过现有的采集仪器获取(如输配电线路上的设备可以采用无人机搭载高清相机拍摄获得；高铁接触网中的电力部件可以采用无人车搭载高分辨率像素仪获得等)，也可以通过其它技术方式获取。
[0075]
步骤s2、对原始故障设备图像进行数据预处理，作为训练数据集。
[0076]
优选的，对所述原始故障设备图像进行数据预处理，作为训练数据集包括：
[0077]
步骤s201、对采集得到的原始故障设备图像进行筛选，滤除特征模糊、存在过多冗余信息的低质量图像数据；
[0078]
步骤s202、利用传统的常见图像扩充技术(几何变换、颜色变换等)对过滤后的图像样本进行操作，得到预处理数据集；
[0079]
步骤s203、将预处理数据集与原始筛选后的故障样本混合形成新的训练数据集。
[0080]
训练数据集的故障图像数量final(x)用公式表示为：
[0081]
final(x)＝org(x)-filt(x) aug[org(x)-filt(x)]
[0082]
式中org(x)表示原始的故障样本数量；filt(x)表示滤除的无效样本数量；aug为传统图像扩充操作，x表示样本数量。
[0083]
将采集得到的原始数据用于模型训练时，部分存在过多冗余干扰或特征信息不详的低质量样本容易影响模型的训练效果，甚至导致模型性能劣化。通过对原始数据样本进行筛选处理，再对筛选后的图像数据进行增强操作，能够最大程度减少劣质数据带来的干扰，并为模型提供更多的训练样本，使模型学习到更加全面的数据集特征。
[0084]
步骤s3、对dcgan模型结构及网络函数进行优化，得到dcgan网络模型。
[0085]
dcgan(deep convolutional generative adversarial network)是gan与cnn(convolutional neural network)的结合，其结构原理如图2所示。在原始gan的基础上，dcgan开创性地融合cnn，但与传统cnn并非完全相同，具体改进部分为：去除生成器g中的池化层，改用加入分数步长卷积代替实现上采样，完成图像生成，在判别器d中采用步长卷积代替池化操作实现下采样；在生成器g的输出层和判别器d的输入层加入批量归一化层(batch normalization，bn)，减少梯度爆炸的概率；除生成器g第一层以及判别器d的最后一层外，采用全局平均池化来替换全连接层，提高训练收敛速度；生成器g的输出层采用tanh激活函数而其他层采用relu函数。判别器d中所有层后都加入leaky-relu函数。
[0086]
为了有效实现故障设备图像的增强，对所述dcgan模型从3个方面进行改进，其dcgan结构如图3所示。具体步骤包括：
[0087]
步骤s301、在dcgan模型的生成器g中分别增加一层反卷积层及若干残差块，并在每层卷积网络后都进行批量归一化及激活处理。
[0088]
改进的生成器g结构如图4所示。
[0089]
为有效提升故障设备图像的生成像素，在原生成器g基础架构中增加一层反卷积至5层反卷积层，使得最终能够输出128
×
128分辨率的图像。且在每层卷积后都进行bn及激活操作，其中卷积层做分数步长卷积，卷积核大小为3
×
3，步长为2。此外，在网络每层输出后都连接一个残差模块，其使得生成的样本更接近于真实数据分布。
[0090]
改进的生成器g中残差块结构如图5所示。
[0091]
残差块中卷积层的卷积核大小为3
×
3，步长为1，且在卷积后进行bn和激活处理，其中激活函数选择relu函数。
[0092]
步骤s302、在dcgan模型的判别器d中分别增加一层卷积层及若干残差块，并在每层卷积网络后都进行批量归一化及激活处理。
[0093]
改进的判别器d结构如图6所示。
[0094]
与改进的生成器g结构类似，在原判别器d基础上增加了一层卷积层。且在每层卷积后都进行bn及激活操作，其中卷积层做分数步长卷积，卷积核大小为3
×
3，步长为2，激活函数采用leaky-relu函数。此外，为有效提高判别网络的判决能力，在每个激活层后都增添残差模块。
[0095]
改进的判别器d中残差块结构如图7所示。
[0096]
残差块中卷积层的卷积核大小为3
×
3，步长为1，且在每个卷积层操作后都连接bn和激活函数，其中激活函数选用leaky-relu。
[0097]
步骤s303、将dcgan网络中生成器g的激活函数relu替换为selu；
[0098]
relu激活函数及selu激活函数曲线如图8所示。
[0099]
修正线性单元relu能够缓解神经网络训练弥散状况，减少训练时间。然而，relu单元在训练时比较脆弱，容易出现神经元死亡现象，导致数据多样化丢失。相比于relu函数，selu函数能够缓解网络训练过程中出现的梯度爆炸问题，并提供更多样的图像细节。
[0100]
步骤s304、将dcgan网络的损失函数替换为wasserstein距离。
[0101]
原dcgan的目标损失函数js散度用于模型训练时极易引发模式崩溃现象，而采用wasserstein距离作为新的损失函数，能够更准确地评估生成样本数据分布与真实样本数据分布之间的距离，并保证模型训练的稳定性，进而达到生成逼近训练集数据分布的图像的目的。
[0102]
wasserstein距离的计算表达式为：
[0103][0104]
式中，x为真实故障设备图像分布；z为随机噪声；g(z)为随机噪声经生成器生成的图像分布；w代表两分布的wasserstein距离；∏(x,g(z))为真实图像和生成图像联合分布的集合；γ代表每一个可能的联合分布；inf为最大下界，表示取最小值；x,y表示从联合分布γ中采样得到的样本，||x-y||表示样本x与y之间的距离；e为样本对距离的期望值。
[0105]
步骤s4、将训练数据集用于改进后的dcgan模型训练，直至生成器g与判别器d达到纳什均衡。
[0106]
该步骤的目的是为了使判别器d最终无法断定图片的来源、区分图片的真伪，此时，生成器g生成的图像数据分布与真实数据分布最接近。
[0107]
具体地，将训练数据集用于改进后的dcgan模型训练包括：
[0108]
步骤s401、输入一组随机噪声z至生成器g，由生成器g生成随机噪声经生成器生成的图像分布g(z)。
[0109]
随机噪声z一般为服从均匀分布的高斯噪声。
[0110]
步骤s402、将g(z)传给判别器d,鉴别生成样本的真假并反馈给生成器g。
[0111]
判别器d不断鉴别由生成器g产生的图像样本，若判别图像结果为假，则执行惩罚给生成器g。
[0112]
步骤s403、固定生成器g的参数，通过训练集和g(z)不断训练判别器d。
[0113]
通过wasserstein距离计算真实数据集样本分布与生成器g产生的数据分布之间的距离，不断优化更新网络参数。
[0114]
步骤s404、固定判别器d的参数，不断训练并优化生成器g的参数。
[0115]
生成器g根据判别器d反馈回来的奖惩信号，尽可能地将惩罚降到最低，不断学习真实数据分布特征，优化更新自身网络参数。
[0116]
步骤s405、不断循环这一过程，直至生成器g和判别器d达到纳什均衡，训练结束。
[0117]
生成器g与判别器d不断交替进行训练，最终，判别器d无法辨别图像的真伪，生成器g与判别器d的对抗达到纳什均衡，此时，判别器d的输出概率为0.5，完成对dcgan模型的训练。
[0118]
步骤s5、利用训练完成的模型进行图像增强，生成新的故障样本数据。
[0119]
dcgan模型训练结束后，生成器g能够生成十分逼真的图像，使判别器d无法区分。因此，通过将一组随机噪声输送给训练好的生成器g，能够产生丰富的高质量样本，达到图像增强的目的。
[0120]
尽管已经示出和具体描述了本发明的实施例，但并不能因此而理解为对发明专利范围的限制。对于本领域的普通技术人员而言，可以在不脱离本发明的原理和精神的前提下，对这些实施例进行多种变换和改进，本发明的范围由所附权利要求及其等同物限定。
[0121]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
[0122]
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
[0123]
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0124]
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。