一种基于生成对抗网络的纺织品瑕疵样本生成方法与流程

一种基于生成对抗网络的纺织品瑕疵样本生成方法
【技术领域】
1.本发明涉及一种织物瑕疵样本的生成方法，具体涉及一种基于生成对抗网络的纺织品瑕疵样本生成方法，属于人工智能技术领域。


背景技术：

2.织物瑕疵是指在工业化生产制造过程中织物表面出现的瑕疵缺陷，这些织物瑕疵主要由机器故障、纱线问题、不良加工、过度拉伸等问题引起的。严重的瑕疵问题会导致织物产品的滞销和经济损失，而织物瑕疵的检测是一个旨在识别和定位这些瑕疵的质量控制过程。随着近些年来深度学习的发展，深度神经网络在各种任务上(分类、目标检测、实例分割)取得了革命性的突破，深度神经网络在有充足标签样本为训练数据的前提下可以达到很高的准确度。但是往往在一些场景下，有标签的数据难以收集或者获取这些数据成本高昂，费时费力。当数据不足时，神经网络很难稳定训练并且泛化能力较弱。
3.如何在小规模数据集上有效的训练神经网络成为当下一个研究热点，目前常见的方法为数据增强。传统的数据增强算法是以仿射变换为基础的
‑‑
例如旋转、缩放、平移等，以及一些简单的图像处理手段。
4.生成对抗网络是一种基于深度学习的图像增强模型，在生成图像的质量和多样性方面具有优势，然而，传统的gan在扩展瑕疵图像方面仍然存在一些挑战，例如：图像缺乏多样性、质量不好等。
5.因此，为解决上述问题，确有必要提供一种创新的基于生成对抗网络的纺织品瑕疵样本生成方法，以克服现有技术中的所述缺陷。


技术实现要素：

6.本发明的目的在于提供一种基于生成对抗网络的纺织品瑕疵样本生成方法，其基于深度卷积生成对抗网络(dcgan)的基础上，通过在生成器和鉴别器中加入注意力模块，修改loss函数的方法，生成高质量和多样性的纺织品瑕疵样本。
7.为实现上述目的，本发明采取的技术方案为：一种基于生成对抗网络的纺织品瑕疵样本生成方法，其包括如下步骤：
8.1)，收集纺织品瑕疵样本，构建所需数据集；
9.2)，构建深度卷积生成对抗网络，分别在生成器和判别器中引入cbam注意力模块，对网络模型进行优化；
10.3)，改变评估生成数据分布和真实数据分布差异的方法，并修改相应的loss函数进一步优化生成对抗网络模型；
11.4)，将现有数据样本输入到优化后的网络模型中进行训练，以生成高质量和多样性的纺织品瑕疵样本。
12.本发明的基于生成对抗网络的纺织品瑕疵样本生成方法进一步为：所述步骤1)中，采集的各种纺织品瑕疵图像包括带纱、脱经、污渍、双经、破洞的瑕疵类别图像。
13.本发明的基于生成对抗网络的纺织品瑕疵样本生成方法进一步为：所述步骤2)具体包括如下步骤：
14.2-1)，构建深度卷积生成对抗网络，其生成器和鉴别器均包含五层转置卷积或卷积层；
15.2-2)，在生成器和鉴别器网络倒数第二层分别引入cbam注意力模块，以卷积层的输出做为注意力模块输入特征图，经过global max pooling和global average pooling；然后分别经过mlp，将输出特征进行基于elementwise的加权操作；再经过sigmoid函数激活，生成最终的通道模块特征图，将该特征图与输入特征图做elementwise乘法操作，生成空间模块需要的输入特征；其公式表示如下：
[0016][0017]
w0∈r
c/r
×
c w1∈rc×
c/r
[0018]
2-3)，将通道注意模块输出的特征图作为空间注意模块的输入特征图，首先经过global max pooling和global average pooling；然后基于通道做concat操作，经过一个卷积操作降维为一个channel；再经过sigmoid生成空间注意特征图，最后将该特征图和输入特征图进行相乘，得到最终的特征；其公式表示如下：
[0019][0020]
本发明的基于生成对抗网络的纺织品瑕疵样本生成方法进一步为：所述步骤3)具体操作如下：
[0021]
采用earth-mover距离(emd)来替代原始网络模型中的js散度，以此来衡量生成数据分布和真实数据分布的距离，并修改相应的loss函数，其生成器和判别器的loss函数分别如下表示：
[0022]
生成器loss函数：lg＝-e
x～pg
[f
ω
(χ)]
[0023]
判别器loss函数：ld＝e
χ～pg
[f
ω
(χ)]-e
χ～pr
[f
ω
(χ)]。
[0024]
本发明的基于生成对抗网络的纺织品瑕疵样本生成方法还可为：所述步骤4)具体为：将图像数据输入判别器中对其进行训练，使用rmsprop算法进行优化，训练五次判别器之后固定，判别器不变，训练一次生成器，最终得到训练好的网络使其能够生成高质量和多样性的纺织品瑕疵图像。
[0025]
与现有技术相比，本发明具有如下有益效果：
[0026]
1.本发明的基于生成对抗网络的纺织品瑕疵样本生成方法可扩展到任何数据不足的场景中，通过对输入数据进行训练最终生成高质量和多样性的瑕疵图像，增加深度学习中的训练样本，解决了现有瑕疵检测方法中所需训练样本匮乏以及因少量样本导致网络过拟合的问题。
[0027]
2.本发明的基于生成对抗网络的纺织品瑕疵样本生成方法通过在深度卷积生成对抗网络中加入注意力模块，可以帮助模型对输入的每个部分赋予不同的权重，抽取出更
加关键的信息，使模型做出更加准确的判断，同时不会增加模型的计算量。
【附图说明】
[0028]
图1是本发明步骤2)中引入cbam注意力模块的生成器网络模型图。
[0029]
图2是本发明步骤2)中引入cbam注意力模块的判别器网络模型图。
[0030]
图3是本发明的通道注意力模型图。
[0031]
图4是本发明的空间注意力模型图。
[0032]
图5是本发明的cbam注意力模型图。
[0033]
图6是本发明的瑕疵图像生成的流程图。
【具体实施方式】
[0034]
请参阅说明书附图1至附图6所示，本发明为一种基于生成对抗网络的纺织品瑕疵样本生成方法，其包括如下步骤：
[0035]
1)，收集纺织品瑕疵样本，构建所需数据集。所述采集的各种纺织品瑕疵图像包括带纱、脱经、污渍、双经、破洞等瑕疵类别图像。
[0036]
2)，构建深度卷积生成对抗网络(dcgan)，分别在生成器和判别器中引入cbam注意力模块，对网络模型进行优化，使网络模型能够提取更加关键的信息，生成高质量的瑕疵图像。其中，所述cbam注意力模块包涵空间注意模块和通道注意模块，将卷积层的输出作为注意力模块的输入，通过注意力模块得到最终的特征图作为后续卷积层的输入。
[0037]
具体的说，本步骤包括如下步骤：
[0038]
2-1)，构建深度卷积生成对抗网络，深度卷积生成对抗网络中的生成器和鉴别器均包含五层转置卷积或卷积层。生成器的输入取自于正态分布的100维度的均匀噪声，使用大小为5*5的卷积核，步长为2的反卷积实现上采样过程，整个过程中使用批归一化方法且不使用池化，生成网络最后一层使用tanh激活函数，其余层全部采用relu激活函数。鉴别器包含五层卷积层，采用5*5的卷积核，步长为2的卷积操作是实现下采样过程，每一层均采用leakyrelu作为激活函数，因为新的网络模型采用earth-mover距离衡量生成分布和真实分布的距离，所以要去掉最后一层的sigmod，其次判别器d要满足1-lipschitz条件。
[0039]
2-2)，在生成器和鉴别器网络倒数第二层分别引入cbam注意力模块，以卷积层的输出做为注意力模块输入特征图，经过global max pooling和global average pooling；然后分别经过mlp，将输出特征进行基于elementwise的加权操作；再经过sigmoid函数激活，生成最终的通道模块特征图，将该特征图与输入特征图做elementwise乘法操作，生成空间模块需要的输入特征；其公式表示如下：
[0040][0041]
w0∈r
c/r
×
c w1∈rc×
c/r
。
[0042]
2-3)，将通道注意模块输出的特征图作为空间注意模块的输入特征图，首先经过global max pooling和global average pooling；然后基于通道做concat操作，经过一个卷积操作降维为一个channel；再经过sigmoid生成空间注意特征图，最后将该特征图和输
入特征图进行相乘，得到最终的特征；其公式表示如下：
[0043][0044]
最终得到的特征图具有全局和局部特征依赖信息，将最终得到特征图作为后续卷积层的输入，提高生成瑕疵图像的质量。
[0045]
3)，改变评估生成数据分布和真实数据分布差异的方法，并修改相应的loss函数进一步优化生成对抗网络模型。其具体操作如下：
[0046]
采用earth-mover距离(emd)来替代原始网络模型中的js散度，以此来衡量生成数据分布和真实数据分布的距离，并修改相应的loss函数，其生成器和判别器的loss函数分别如下表示：
[0047]
生成器loss函数：lg＝-e
x～pg
[f
ω
(χ)]
[0048]
判别器loss函数：ld＝e
χ～pg
[f
ω
(χ)]-e
χ～pr
[f
ω
(χ)]。
[0049]
4)，将现有数据样本输入到优化后的网络模型中进行训练，以生成高质量和多样性的纺织品瑕疵样本。具体的说，将图像数据输入判别器中对其进行训练，使用rmsprop算法进行优化，训练五次判别器之后固定，判别器不变，训练一次生成器，最终得到训练好的网络使其能够生成高质量和多样性的纺织品瑕疵图像。
[0050]
综上所述，本发明的基于生成对抗网络的纺织品瑕疵样本生成方法以真实织物瑕疵图像数据作为训练集，通过改进后的深度卷积生成对抗网络生成高质量和多样性的瑕疵图像。
[0051]
以上的具体实施方式仅为本创作的较佳实施例，并不用以限制本创作，凡在本创作的精神及原则之内所做的任何修改、等同替换、改进等，均应包含在本创作的保护范围之内。