一种布匹缺陷检测方法及系统

1.本发明属于计算机视觉领域，更具体地，涉及一种布匹缺陷检测方法及系统。


背景技术：

2.在布匹在生产制造过程中，由于纺织设备故障、操作人员的失误等原因，导致布匹存在不同形态的缺陷，严重影响到布匹的质量。目前，大部分中小布匹企业还停留在由工人凭借个人经验对缺陷进行判断，使得相关产品的质量无法获得保障。因此亟需一种有效的自动化布匹缺陷检测方法。
3.目前，布匹缺陷检测方法主要可以分为统计方法、频域方法、模型方法和深度学习的方法。其中基于深度学习的方法对不同的应用场景都有较强的鲁棒性，逐渐成为研究热点。深度学习的方法可以分为监督学习和无监督学习两种模式，其中监督学习需要收集大量的正常样本与缺陷样本，同时需要对缺陷区域进行准确的标注。但在实际生产过程中缺陷样本数量稀少，样本种类不平衡，这给基于监督学习的方法带来困难，检测准确率相对较低。无监督学习虽然可以仅使用正常样本训练模型，但通常需要较高的运算量对硬件平台要求较高，难以在嵌入式平台上运行。


技术实现要素：

4.针对现有技术的以上缺陷或改进需求，本发明提供了一种布匹缺陷检测方法及系统，用以解决现有技术无法以较高的运算效率准确地进行布匹缺陷检测的技术问题。
5.为了实现上述目的，第一方面，本发明提供了一种布匹缺陷检测方法，包括以下步骤：
6.s1、将待测布匹样本输入到预训练好的轻量级生成对抗网络中，得到待测布匹样本的重构图；
7.s2、对比待测布匹样本与其重构图像之间的差异，以对布匹缺陷进行检测；
8.上述轻量级生成对抗网络包括轻量级生成器和判别器；轻量级生成器用于生成输入布匹样本的的重构图；判别器用于判断输入图像是真实的布匹样本还是生成的重构图；
9.其中，轻量级生成器包括：编码器和解码器；
10.编码器包括串联的卷积层和瓶颈模块；瓶颈模块包括尺寸从大到小依次串联的多个瓶颈层；编码器中的每一个瓶颈层之后均连接有一个激活层；
11.解码器中的瓶颈层与编码器中的瓶颈层镜像对称，解码器中不同尺寸的瓶颈层之间通过反卷积层进行上采样；解码器中的每一个瓶颈层之后均连接有一个激活层；
12.编码器和解码器中所得的长宽相等的特征图分别用跳跃连接方式进行拼接；
13.所述瓶颈层包括：串联的标准卷积层、深度卷积层、通道注意力模块和点卷积层；且所述瓶颈层的输入端与输出端跳跃相连。
14.进一步优选地，上述轻量级生成对抗网络的训练方法包括：将采集到的无缺陷布匹样本集复制成两份，在其中一份无缺陷布匹样本集中的样本上添加随机噪声作为轻量级
生成对抗网络的输入，另外一份无缺陷布匹样本集作为轻量级生成对抗网络的输出，通过在轻量级生成器和判别器之间进行博弈，以对轻量级生成对抗网络进行训练。
15.进一步优选地，上述随机噪声为椒盐噪声或者高斯噪声。
16.进一步优选地，步骤s2包括：逐像素计算待测布匹样本与其重构图之间的差值的绝对值，得到待测布匹样本的残差图，对残差图进行形态学处理后得到缺陷位置的掩码图，从而实现对布匹缺陷的检测。
17.进一步优选地，对残差图进行形态学处理的方法包括：对残差图依次进行高斯处理、阈值二值化处理和开运算。
18.进一步优选地，上述轻量级生成对抗网络的损失函数包括：生成损失函数和判别损失函数；
19.生成损失函数为：
[0020][0021]
判别损失函数为：
[0022]
ld(i,i')＝||d(i)-d(i')||2[0023]
其中，i为无缺陷布匹样本；i'为将添加随机噪声后的无缺陷布匹样本输入至轻量级生成器后所生成的图像；μi和μ
i'
分别为i和i'的均值；σi和σ
i'
分别为i和i'的方差；σ
i,i'
为i和i'的协方差；c1、c2和c3均为维持数值稳定的常数；α、β和γ均为调节因子；d(i)为i经判别器判别后的结果；
[0024]
生成损失函数用于度量i和i'之间的相似度；判别损失函数用于度量i和i'分别经判别器判别后所得结果的相似度。
[0025]
第二方面，本发明提供了一种布匹缺陷检测系统，包括：
[0026]
图像重构模块，用于将待测布匹样本输入到预训练好的轻量级生成对抗网络中，得到待测布匹样本的重构图；
[0027]
缺陷检测模块，用于对比待测布匹样本与其重构图像之间的差异，以对布匹缺陷进行检测；
[0028]
上述轻量级生成对抗网络包括轻量级生成器和判别器；轻量级生成器用于生成输入布匹样本的的重构图；判别器用于判断输入图像是真实的布匹样本还是生成的重构图；
[0029]
其中，轻量级生成器包括：编码器和解码器；
[0030]
编码器包括串联的卷积层和瓶颈模块；瓶颈模块包括尺寸从大到小依次串联的多个瓶颈层；编码器中的每一个瓶颈层之后均连接有一个激活层；
[0031]
解码器中的瓶颈层与编码器中的瓶颈层镜像对称，解码器中不同尺寸的瓶颈层之间通过反卷积层进行上采样；解码器中的每一个瓶颈层之后均连接有一个激活层；
[0032]
编码器和解码器中所得的长宽相等的特征图分别用跳跃连接方式进行拼接；
[0033]
所述瓶颈层包括：串联的标准卷积层、深度卷积层、通道注意力模块和点卷积层；且所述瓶颈层的输入端与输出端跳跃相连。
[0034]
第三方面，本发明提供了一种布匹缺陷检测系统，包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时执行本发明第一方面所提供的布匹缺陷检测方法。
[0035]
第四方面，本发明提供了一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现本发明第一方面所提供的布匹缺陷检测方法。
[0036]
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
[0037]
1、本发明提供了一种布匹缺陷检测方法，构建了一种轻量级生成对抗网络，对待测布匹样本进行重构，重构后的图像为该待测布匹样本无缺陷图像，通过比较重构图像与待测布匹样本之间的差异，来判断待测布匹样本是否存在缺陷以及缺陷位置。轻量级生成对抗网络主体结构由瓶颈层构成，瓶颈层通过串联的深度卷积和点卷积达到与标准二维卷积相同的效果，但是计算量却较低，能够以较高的运算效率准确地进行布匹缺陷检测。
[0038]
2、在本发明所提供的布匹缺陷检测方法中，轻量级生成对抗网络的损失函数包括生成损失函数和判别损失函数；其中，生成损失函数用于度量将添加随机噪声后的无缺陷布匹样本输入至轻量级生成器后所生成的图像与对应的无缺陷布匹样本之间的相似度，该损失函数通过调节因子α、β和γ来控制亮度相似度、对比度相似度以及结构相似度在重构图像中的影响程度，进一步增强了轻量级生成器重构效果。
[0039]
3、本发明所提供的布匹缺陷检测方法，使用形态学方法对布匹缺陷进行检测，包括对残差图依次进行高斯处理、阈值二值化处理和开运算；其中高斯处理使残差图数值趋向平滑方便后续分割，阈值二值化使残差图转化为二值图像，开运算消除了二值图像中孤立点和空洞区域使分割图像更准确。
[0040]
4、本发明所提供的布匹缺陷检测方法，采用无监督学习的方法对轻量级生成对抗网络进行训练，且在训练时，通过在输入图像中加入随机噪声来增强轻量级生成器重构能力，能够有效解决布匹生产过程中缺陷样本稀少，缺陷样本不平衡等问题，大大提高了布匹缺陷检测速度和准确度。
附图说明
[0041]
图1为本发明实施例1所提供的布匹缺陷检测方法流程图；
[0042]
图2为本发明实施例1所提供的轻量级生成对抗网络的结构示意图；
[0043]
图3为本发明实施例1所提供的轻量级生成器的结构示意图；
[0044]
图4为本发明实施例1所提供的瓶颈层的结构示意图；
[0045]
图5为本发明实施例1所提供的判别器的结构示意图；
[0046]
图6为本发明实施例1所提供的布匹缺陷检测结果示意图。
具体实施方式
[0047]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0048]
实施例1、
[0049]
一种布匹缺陷检测方法，如图1所示，包括以下步骤：
[0050]
s1、将待测布匹样本输入到预训练好的轻量级生成对抗网络中，得到待测布匹样
本的重构图；所得的重构图为该待测布匹样本无缺陷图像。
[0051]
具体地，上述轻量级生成对抗网络的训练方法包括：将采集到的无缺陷布匹样本集复制成两份，在其中一份无缺陷布匹样本集中的样本上添加随机噪声作为轻量级生成对抗网络的输入，另外一份无缺陷布匹样本集不做任何处理，并作为轻量级生成对抗网络的输出，通过在轻量级生成器和判别器之间进行博弈，以对轻量级生成对抗网络进行训练。其中，随机噪声为椒盐噪声或者高斯噪声。本实施例中的轻量级生成对抗网络在训练过程中采用adam优化器更新参数。
[0052]
如图2所示，上述轻量级生成对抗网络包括轻量级生成器和判别器；轻量级生成器用于生成输入布匹样本的的重构图；具体地，如图3所示，轻量级生成器包括：编码器和解码器；
[0053]
本实施例中，编码器包括串联的卷积层和瓶颈模块；瓶颈模块包括尺寸从大到小依次串联的多个瓶颈层；编码器中的每一个瓶颈层之后均连接有一个激活层；
[0054]
解码器中同样包括上述瓶颈层，解码器中的瓶颈层与编码器中的瓶颈层的放置方式镜像对称，解码器中不同尺寸的瓶颈层之间通过反卷积层进行上采样；解码器中的每一个瓶颈层之后均连接有一个激活层；
[0055]
编码器和解码器中所得的长宽相等的特征图分别用跳跃连接方式进行拼接；
[0056]
进一步地，如图4所示，上述瓶颈层包括：串联的标准卷积层(本实施例中选用1*1标准卷积)、深度卷积层(本实施例中选用3*3的深度卷积)、通道注意力模块和点卷积层(本实施例中选用1*1的点卷积)；且所述瓶颈层的输入端与输出端跳跃相连，通过跳跃连接将输入瓶颈层的特征图和从瓶颈层输出的特征图进行相加。
[0057]
需要说明的是，瓶颈层通过串联的深度卷积和点卷积达到与标准二维卷积相同的效果，而计算量却较低，能够以较高的运算效率准确地进行布匹缺陷检测。具体地，当输入特征图尺寸为h
inwincin
，卷积核大小为k*k，输出特征图尺寸为h
outwoutcout
时，一次标准卷积的计算量为：p1＝k2c
incout
×houtwout
；而瓶颈层可以分解为深度卷积和点卷积两部分，所以深度可分离卷积的计算量为：p2＝k2c
in
×houtwout
c
incout
×houtwout
。由此可知，一次瓶颈层与标准标准卷积计算量之比为：而瓶颈层中主要以大小为3*3的卷积核为主，因此，一般情况下采用瓶颈层要比标准二维卷积计算量约小9倍，计算量却较低。
[0058]
判别器用于判断输入图像是真实的布匹样本还是生成的重构图；具体地，如图5所示，本实施例中，判别器包括级联的卷积层、激活层和池化层。
[0059]
进一步地，上述轻量级生成对抗网络的损失函数包括：生成损失函数和判别损失函数；
[0060]
生成损失函数为：
[0061]
lg(i,i')＝1-i(i,i')
α
c(i,i')
β
s(i,i')
γ
[0062]
[0063][0064][0065]
判别损失函数为：
[0066]
ld(i,i')＝||d(i)-d(i')||2[0067]
其中，i为无缺陷布匹样本；i'为将添加随机噪声后的无缺陷布匹样本输入至轻量级生成器后所生成的图像；i(i,i')为i和i'的亮度对比值；c(i,i')为i和i'的对比度对比值；s(i,i')为i和i'的结构对比值；l(i,i')
α
c(i,i')
β
s(i,i')
γ
用于衡量i和i'之间的结构相似程度，其值越接近1，表示i和i'之间越相似。具有地，μi和μ
i'
分别为i和i'的均值；σi和σ
i'
分别为i和i'的方差；σ
i,i'
为i和i'的协方差；c1、c2和c3均为维持数值稳定的常数；α、β和γ均为调节因子，分别用于调节亮度对比值、对比度对比值和结构对比值的重要性(本实施例中均取值为1)；d表示判别器；d(i)为i经判别器判别后的结果。
[0068]
具体地，生成损失函数用于度量i和i'之间的相似度；判别损失函数用于度量i和i'分别经判别器判别后所得结果的相似度。
[0069]
s2、对比待测布匹样本与其重构图像之间的差异，以对布匹缺陷进行检测；
[0070]
具体地，在一种可选实施方式下，逐像素计算待测布匹样本与其重构图之间的差值的绝对值，得到待测布匹样本的残差图，对残差图进行形态学处理后得到缺陷位置的掩码图，从而实现对布匹缺陷的检测。其中，对残差图进行形态学处理的方法包括：对残差图进行高斯滤波处理；对高斯滤波处理后的图像进行阈值二值化；对二值化处理后的图像进行开运算。在形态学处理方法中，高斯核大小、二值化阈值和开运算核大小的具体参数值使用贝叶斯优化方法进行参数估计获取。具体地，如图6所示为布匹缺陷检测结果示意图，其中，第一列为待测布匹样本，第二列为待测布匹样本的真实缺陷，第三列为待测布匹样本的重构图像，第四列为待测布匹样本的缺陷检测结果；从图中可以看出，本发明对待测布匹样本的检测结果与真实缺陷基本完全相同，缺陷检测的准确率较高。
[0071]
在另一种可选实施方式下，通过将待测布匹样本与其重构图像之间进行结构相似性对比，根据相似性程度来对布匹缺陷进行检测。若待测布匹样本与其重构图像之间的差异小于预设差异值，则待测布匹样本没有缺陷；否则，待测布匹样本存在缺陷，且待测布匹样本上与其重构图像存在差异的区域即为缺陷位置。
[0072]
为了进一步说明本发明所提供的布匹缺陷检测方法的性能，分别对卷积去噪自编码器模型(cdae)、多尺度卷积去噪自编码器模型(mscdae)、u型卷积去噪自编码器模型(ucdae)以及本发明所提出的轻量级生成对抗网络(lcd-gan)进行训练，并在纺织品缺陷数据集上进行验证，采用准确率、精确率、召回率作为评价指标对上述模型的性能进行评估，得到如表1所示的结果：
[0073]
表1
[0074]
模型准确率精准度召回率cdae0.95750.97410.9400mscdae0.96250.97920.9450
ucdae0.97250.98460.9600本发明0.97500.97960.9695
[0075]
由表1可以看出与其他模型相比，本发明所提供的轻量级生成对抗网络在准确率和召回率指标上表现最好，与此同时精准度也达到了97.96％，整体性能较好。
[0076]
另外，由于轻量级生成对抗网络的轻量化设计，在推理速度上具有较好的性能。表2给出了不同模型分别在训练平台gpu和cpu的实际耗时对比。
[0077]
表2
[0078][0079][0080]
从表2可以看出本发明所提供的轻量级生成对抗网络的算法推理速度远远快于其他模型，在使用gpu加速时推理时间为33.4ms，在仅使用cpu时推理时间为78.1ms，运算速度远快于其他模型。综合表1和表2可以看出本发明所提出的轻量级生成对抗网络在保证具有较高检测精度下，推理速度也能够大幅度提高。
[0081]
实施例2、
[0082]
一种布匹缺陷检测系统，包括：
[0083]
图像重构模块，用于将待测布匹样本输入到预训练好的轻量级生成对抗网络中，得到待测布匹样本的重构图；
[0084]
缺陷检测模块，用于对比待测布匹样本与其重构图像之间的差异，以对布匹缺陷进行检测；
[0085]
上述轻量级生成对抗网络包括轻量级生成器和判别器；轻量级生成器用于生成输入布匹样本的的重构图；判别器用于判断输入图像是真实的布匹样本还是生成的重构图；
[0086]
其中，轻量级生成器包括：编码器和解码器；
[0087]
编码器包括串联的卷积层和瓶颈模块；瓶颈模块包括尺寸从大到小依次串联的多个瓶颈层；编码器中的每一个瓶颈层之后均连接有一个激活层；
[0088]
解码器中同样包括上述瓶颈层，解码器中的瓶颈层与编码器中的瓶颈层的放置方式镜像对称，解码器中不同尺寸的瓶颈层之间通过反卷积层进行上采样；解码器中的每一个瓶颈层之后均连接有一个激活层；
[0089]
编码器和解码器中所得的长宽相等的特征图分别用跳跃连接方式进行拼接；
[0090]
上述瓶颈层包括：串联的标准卷积层(本实施例中选用1*1标准卷积)、深度卷积层(本实施例中选用3*3的深度卷积)、通道注意力模块和点卷积层(本实施例中选用1*1的点卷积)；且所述瓶颈层的输入端与输出端跳跃相连，通过跳跃连接将输入瓶颈层的特征图和从瓶颈层输出的特征图进行相加。
[0091]
相关技术方案同实施例1，这里不做赘述。
[0092]
实施例3、
[0093]
一种布匹缺陷检测系统，包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时执行本发明实施例1所提供的布匹缺陷检测方法。
[0094]
相关技术方案同实施例1，这里不做赘述。
[0095]
实施例4、
[0096]
一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现本发明实施例1所提供的布匹缺陷检测方法。
[0097]
相关技术方案同实施例1，这里不做赘述。
[0098]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。