基于生成对抗网络的瑕疵图像生成方法、装置及相关组件与流程

1.本发明涉及图像生成技术领域，特别涉及一种基于生成对抗网络的瑕疵图像生成方法、装置及相关组件。


背景技术：

2.布匹瑕疵检测是纺织行业生产和质量管理的重要环节，由于人工检测易受主观因素影响，缺乏一致性；并且检测人员在强光下长时间工作对视力影响极大。目前，基于机器视觉的表面缺陷装备已经在各工业领域广泛替代人工肉眼检测。现有的基于深度学习的瑕疵检测方法可以整体分为全监督学习模型、无监督学习模型和其他方法。其中，全监督学习模型中，可以分为表征学习和度量学习。表征学习本质是将瑕疵检测问题看成分类任务，包括三类网络，分类网络，检测网络，分割网络。分类网络实现任务的方法主要有三种，第一种是直接利用网络进行分类，但这样需要瑕疵在图像中比例不能太小，否则其特征容易被池化掉，同时一般一个图像中只允许存在一种类别的缺陷；第二种是利用网络进行缺陷定位，比如利用滑动窗口，但是这种比较依赖网络的性能，且速度较慢；第三种是利用网络做特征提取器，这种方法的缺点是依赖其他分类器才能获得最终分类结果。检测网络可以分为两阶段网络和一阶段网络，主要是通过网络中提取的特征预测缺陷的位置和类别。二阶段检测网络首先获取图像的特征图，之后计算锚框置信度，最后对标出的区域进行瑕疵分类。一阶段网络直接在输出层回归锚框的位置和所属的类别。分割网络将瑕疵检测转化为缺陷和正常区域的语义分割甚至实例分割问题，可以获取缺陷的位置、类别和相应几何属性。度量学习是使用深度学习直接学习输入图像的相似性度量，也可以通过将正常样本和缺陷样本同事作为输入来确定缺陷的位置。
3.无监督学习最常用的方法是基于图像空间或基于特征空间的正常样本学习的方法。通常是在正常样本上训练，使其有强大的正常样本分布的重建和判别能力。基于图像空间方法是通过网络实现样本的重建与补全。当输入任意样本图像到网络后，都可以得到重建后的正常样本。将输入图像减去修复图像，得到的残差是判断检测样本是否异常的指标。基于特征空间的方法是在特征空间中，通过正常样本与缺陷样本特征分布之间的差异来进行缺陷检测。无监督学习的方法常用于简单统一的纹理表面缺陷检测，在复杂的工业检测环境下效果不太理想。其他方法包括弱监督和半监督方法，在瑕疵检测中的应用较少。通常基于弱监督的方法是采用图像级别类别标注(弱标签)来获取分割/定位级别的检测效果。半监督学习通常使用大量未标记数据和少部分有标签数据训练模型，一般用于解决缺陷分类或识别任务。该方法还不能广泛应用到定位与分割任务中，精度相对较低。
4.在进行瑕疵检测的过程中，会使用生产中的摄像头采集布匹的图像，然后使用瑕疵检测的网络模型对图像中是否有瑕疵，瑕疵的类别和位置进行检测。一个良好的检测模型要求模型检测速度快且需要一个良好的数据集，而工业摄像头采集的样本往往会有样本数量小，样本种类不均衡的问题，不符合良好数据集的条件


技术实现要素：

5.本发明实施例提供了一种基于生成对抗网络的瑕疵图像生成方法、装置及相关组件，旨在解决现有技术中检测模型的数据集样本数量小的问题。
6.第一方面，本发明实施例提供了一种基于生成对抗网络的瑕疵图像生成方法，包括：
7.获取布匹图像，并标注所述布匹图像的图像类别和瑕疵位置，得到瑕疵真实图像；
8.将所述瑕疵真实图像及预设噪声向量输入生成对抗网络的生成器中，生成瑕疵模拟图像；
9.基于所述瑕疵真实图像和瑕疵模拟图像，根据预置损失函数分别对所述生成对抗网络的分辨器损失和生成器损失进行计算，得到分辨器损失和生成器损失，并基于所述分辨器损失和生成器损失对所述生成对抗网络的模型参数进行迭代，得到瑕疵图像生成网络；
10.将所述瑕疵图像生成网络输出的瑕疵模拟图像与对应的瑕疵真实图像进行小波融合处理，得到理想瑕疵图像。
11.第二方面，本发明实施例提供了一种基于生成对抗网络的瑕疵图像生成装置，包括：
12.获取模块，用于获取布匹图像，并标注所述布匹图像的图像类别和瑕疵位置，得到瑕疵真实图像；
13.生成模块，用于将所述瑕疵真实图像及预设噪声向量输入生成对抗网络的生成器中，生成瑕疵模拟图像；
14.迭代模块，用于基于所述瑕疵真实图像和瑕疵模拟图像，根据预置损失函数分别对所述生成对抗网络的分辨器损失和生成器损失进行计算，得到分辨器损失和生成器损失，并基于所述所述分辨器损失和生成器损失对所述生成对抗网络的模型参数进行迭代，得到瑕疵图像生成网络；
15.融合模块，用于将所述瑕疵图像生成网络输出的瑕疵模拟图像与对应的瑕疵真实图像进行小波融合处理，得到理想瑕疵图像。
16.第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于生成对抗网络的瑕疵图像生成方法。
17.第四方面，本发明实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权第一方面所述的基于生成对抗网络的瑕疵图像生成方法。
18.本发明实施例提供了一种基于生成对抗网络的瑕疵图像生成方法、装置及相关组件，该方法包括：获取布匹图像，并标注所述布匹图像的图像类别和瑕疵位置，得到瑕疵真实图像；将所述瑕疵真实图像及预设噪声向量输入生成对抗网络的生成器中，生成瑕疵模拟图像；基于所述瑕疵真实图像和瑕疵模拟图像，根据预置损失函数分别对所述生成对抗网络的分辨器损失和生成器损失进行计算，得到分辨器损失和生成器损失，并基于所述分辨器损失和生成器损失对所述生成对抗网络的模型参数进行迭代，得到瑕疵图像生成网络；将所述瑕疵图像生成网络输出的瑕疵模拟图像与对应的瑕疵真实图像进行小波融合处
理，得到理想瑕疵图像。本发明实施例通过训练后的生成对抗网络生成瑕疵模拟图像，并采用小波融合将瑕疵模拟图像与对应的瑕疵真实图像进行融合，提高瑕疵模拟图像的质量，既保证以瑕疵模拟图像作为数据集样本数量的同时，也保证数据样本的质量。
附图说明
19.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1为本发明实施例提供的一种基于生成对抗网络的瑕疵图像生成方法的流程示意图；
21.图2为图1中步骤s103的子流程示意图；
22.图3为图1中步骤s104的子流程示意图；
23.图4为本发明实施例提供的一种基于生成对抗网络的瑕疵图像生成装置的示意性框图；
24.图5为本发明实施例提供的一种基于生成对抗网络的瑕疵图像生成方法的生成对抗网络的网络结构示意性框图。
具体实施方式
25.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
27.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
28.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
29.下面请参见图1，图1为本发明实施例提供的一种基于生成对抗网络的瑕疵图像生成方法的流程示意图，具体包括：步骤s101～s104。
30.步骤s101、获取布匹图像，并标注所述布匹图像的图像类别和瑕疵位置，得到瑕疵真实图像；
31.本实施例中，获取布匹图像，布匹图像不要求必须含有无瑕图像，且图像类别根据需求可涵盖多种瑕疵，进行图像类别和瑕疵位置的标注，得到瑕疵真实图像。需要知道的是，图像类别还可以有无瑕真实图像。布匹的瑕疵包括沾污、错花、水印、花毛、缝头、缝头印、虫粘、破洞、褶子、织疵、漏印、色差及网折等。
32.步骤s102、将所述瑕疵真实图像及预设噪声向量输入生成对抗网络的生成器中，
生成瑕疵模拟图像；
33.本实施例中，预先随机初始化生成对抗网络中的生成器和分辨器的参数。对于生成对抗网络中的生成器g，将残差模块加入网络中来调整输出图像的通道数。为增加生成器输出的图像的随机性，在输入瑕疵真实图像到生成器g的同时输入一个均匀分布在(-1,1)的100维的噪声向量，生成器输出瑕疵模拟图像。其中，生成对抗网络的结构如图5所示。
34.步骤s103、基于所述瑕疵真实图像和瑕疵模拟图像，根据预置损失函数分别对所述生成对抗网络的分辨器损失和生成器损失进行计算，得到分辨器损失和生成器损失，并基于所述分辨器损失和生成器损失对所述生成对抗网络的模型参数进行迭代，得到瑕疵图像生成网络；
35.本实施例中，基于瑕疵真实图像和瑕疵模拟图像，根据损失函数分别计算生成对抗网络的分辨器损失和生成损失；并基于分辨器损失和生成器损失对生成对抗网络的模型参数进行迭代，得到瑕疵图像生成网络。
36.如图2所示，在一实施例中，步骤s103包括：
37.步骤s201、基于所述瑕疵真实图像和瑕疵模拟图像的瑕疵位置坐标，根据预置像素损失函数对瑕疵模拟图像的像素损失进行计算，得到像素损失；
38.步骤s202、将所述瑕疵真实图像和瑕疵模拟图像输入所述生成对抗网络的分辨器中，根据预置分辨器损失函数计算所述分辨器的损失，得到分辨器损失，并根据所述分辨器损失迭代所述分辨器的模型参数，得到瑕疵图像分辨器；
39.步骤s203、将所述瑕疵模拟图像输入所述瑕疵图像分辨器中，根据预置对抗损失函数对所述生成对抗网络的对抗损失进行计算，得到对抗损失；
40.步骤s204、基于所述像素损失和对抗损失，根据预置生成器损失函数对所述生成器的损失进行计算，得到生成器损失，并根据所述生成器损失对所述生成器的模型参数进行迭代，得到所述瑕疵图像生成网络。
41.本实施例中，基于瑕疵真实图像和瑕疵模拟图像的瑕疵位置坐标，根据以下像素损失函数计算瑕疵模拟图像的像素损失l
p
：
[0042][0043]
式中，l
p
表示像素损失；α，β表示权重系数；s表示瑕疵模拟图像；r表示瑕疵真实图像；(x,y)表示像素坐标；n表示整张图像的像素数；m表示瑕疵区域的像素数；g表示整张图像区域；l表示瑕疵区域；
[0044]
接着，将瑕疵真实图像和瑕疵模拟图像输入生成对抗网络的分辨器中，分辨器的权重参数向前传导，为了同时学习瑕疵区域特征和整体特征，所以将输入的瑕疵真实图像和瑕疵模拟图像沿锚框切分成块，并将所有块调整成256*256. 每个图像切分的块数量可能不一样，块的大小可能根据块数量不同而不一样，根据分辨器损失函数计算分辨器损失ld：
[0045][0046]
δ＝ηl
p
，
[0047]
式中，l
p
表示像素损失；ld表示分辨器损失；nb表示输入的图像沿锚框切分成块，并
将所有块调整成256*256之后的块数；表示瑕疵真实图像的第i块；表示瑕疵模拟图像的第i块；c是relu函数；θ表示权重参数；d表示分辨器网络；
▽
表示梯度算子；γ表示自定义的超参数；η表示用于对分辨器控制程度进行限制的超参数；根据分辨器损失迭代分辨器的模型参数，得到瑕疵图像分辨器，利用瑕疵图像分辨器能够将瑕疵真实图像和瑕疵模拟图像区分开；
[0048]
将经过一次迭代后的生成器生成的瑕疵模拟图像输入瑕疵图像分辨器中，根据对抗损失函数计算生成对抗网络的对抗损失la；接着基于像素损失l
p
和对抗损失la计算生成器损失ls：
[0049][0050]
ls＝l
p
γla，
[0051]
式中，ls表示生成器损失；la表示对抗损失；nb表示输入的图像沿锚框切分成块，并将所有块调整成256*256之后的块数；表示从迭代后的生成器输出的瑕疵模拟图像的第i块；d表示分辨器网络；γ表示自定义的超参数；i 表示瑕疵真实图像；z表示随机噪声；
[0052]
基于生成器损失对所述生成器的模型参数进行迭代，得到瑕疵图像生成器；最后基于训练完成的瑕疵图像生成器和瑕疵图像分辨器，得到训练完成的瑕疵图像生成网络。
[0053]
步骤s104、将所述瑕疵图像生成网络输出的瑕疵模拟图像与对应的瑕疵真实图像进行小波融合处理，得到理想瑕疵图像。
[0054]
本实施例中，利用训练好的瑕疵图像生成网络生成瑕疵模拟图像，但为了使瑕疵模拟图像质量更高，将瑕疵模拟图像与对应的瑕疵真实图像进行小波融合处理，得到图像质量更高的理想瑕疵图像。
[0055]
如图3所示，在一实施例中，步骤s104包括：
[0056]
步骤s301、提取所述瑕疵图像生成网络输出的瑕疵模拟图像的高频部分以及对应瑕疵真实图像的低频部分；
[0057]
步骤s302、将所述高频部分和低频部分进行融合，得到所述理想瑕疵图像。
[0058]
本实施例中，将训练好的瑕疵图像生成网络生成的瑕疵模拟图像与对应的瑕疵真实图像进行小波融合，具体包括：将瑕疵模拟图像和瑕疵真实图像进行小波分解，得到一系列不同频段的子图像；接着对瑕疵模拟图像的高频部分和瑕疵真实图像的低频部分进行融合，得到理想瑕疵图像。将理想瑕疵模拟图像加入瑕疵图像数据库中，得到更丰富的图像数据，从而增强原来的瑕疵图像数据库。
[0059]
本发明实施例通过使用生成对抗网络(gls-gan)生成瑕疵模拟图像，以增强布匹瑕疵图像数据，其中，使用改进后的损失函数，并加入像素损失函数，使图像更专注于学习有瑕疵的局部区域，同时尽量保持生成的瑕疵模拟图像中的非瑕疵区域不变，最后采用小波融合将瑕疵模拟图像与对应的瑕疵真实图像进行融合，提高瑕疵模拟图像的质量，既保证以瑕疵模拟图像作为数据集样本数量的同时，也保证数据样本的质量。
[0060]
本发明实施例还提供一种基于生成对抗网络的瑕疵图像生成装置，该基于生成对抗网络的瑕疵图像生成装置用于执行前述基于生成对抗网络的瑕疵图像生成方法的任一
实施例。具体地，请参阅图4，图4是本发明实施例提供的基于生成对抗网络的瑕疵图像生成装置的示意性框图。该基于生成对抗网络的瑕疵图像生成装置100可以配置于服务端节点中。
[0061]
如图4所示，基于生成对抗网络的瑕疵图像生成装置100包括获取模块110、生成模块120、迭代模块130、融合模块140。
[0062]
获取模块110，用于获取布匹图像，并标注所述布匹图像的图像类别和瑕疵位置，得到瑕疵真实图像；
[0063]
生成模块120，用于将所述瑕疵真实图像及预设噪声向量输入生成对抗网络的生成器中，生成瑕疵模拟图像；
[0064]
迭代模块130，用于基于所述瑕疵真实图像和瑕疵模拟图像，根据预置损失函数分别对所述生成对抗网络的分辨器损失和生成器损失进行计算，得到分辨器损失和生成器损失，并基于所述所述分辨器损失和生成器损失对所述生成对抗网络的模型参数进行迭代，得到瑕疵图像生成网络；
[0065]
融合模块140，用于将所述瑕疵图像生成网络输出的瑕疵模拟图像与对应的瑕疵真实图像进行小波融合处理，得到理想瑕疵图像。
[0066]
在一实施例中，所述迭代模块130包括：
[0067]
分辨器迭代单元，用于将所述瑕疵真实图像和瑕疵模拟图像输入所述生成对抗网络的分辨器中，根据预置分辨器损失函数计算所述分辨器的损失，得到分辨器损失，并根据所述分辨器损失迭代所述分辨器的模型参数，得到瑕疵图像分辨器；
[0068]
像素损失计算单元，用于基于所述瑕疵真实图像和瑕疵模拟图像中的瑕疵位置坐标，根据预置像素损失函数对瑕疵模拟图像的像素损失进行计算，得到像素损失；
[0069]
对抗损失计算单元，用于将所述瑕疵模拟图像输入所述分辨器中，根据预置对抗损失函数对所述生成对抗网络的对抗损失进行计算，得到对抗损失；
[0070]
生成器迭代单元，用于基于所述像素损失和对抗损失，根据预置生成器损失函数对所述生成器的损失进行计算，得到生成器损失，并根据所述生成器损失对所述生成器的模型参数进行迭代，得到所述瑕疵图像生成网络。
[0071]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0072]
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可
以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
[0073]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
[0074]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0075]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务端节点，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0076]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。