一种针对色织物裁片缺陷区域的检测方法与流程

1.本发明属于色织物缺陷检测技术领域，涉及一种针对色织物裁片缺陷区域的检测方法。


背景技术：

2.色织衬衫花型美观多样，近年来产销量与日俱增，已成为我国出口创汇的重要服装产品之一。在色织物生产过程中，由于织造设备故障、纱线问题等因素的影响，衬衫裁片外观不可避免的出现缺陷，如破洞、断头、双纱等问题。为了降低缺陷裁片对色织衬衫质量的影响，多数色织衬衫织造企业在衬衫裁片缝制工序之前，加入人工验片的工序，利用人眼进行检测并剔除有缺陷裁片。但受个人主观因素限制，人工检测方法效率低且准确率不稳定。因此，随着计算机视觉技术和图像处理技术的迅猛发展，利用计算机视觉技术辅助织物疵点自动检测的方法吸引了产业界和学术界的广泛关注。
3.传统的织物缺陷检测方法主要可分为4类：基于统计的方法，基于结构的方法，基于频谱的方法和基于模型的方法。然而，传统的视觉纹理缺陷检测方法大多是利用人工设计提取每个纹理图像小块的特征来区分缺陷区域和无缺陷区域，然而，这些方法的性能在很大程度上受限于每个纹理图像块人工设计提取的特征的识别能力。因此，传统的纹理缺陷视觉检测方法无法同时对多种纹理类型进行良好的检测。
4.近几年，随着深度学习领域的快速发展，深度神经网络也被广泛应用于织物缺陷检测与分类。与传统的特征提取方法相比，深度神经网络由数据驱动，不需要特定的领域知识，而且它可以提取到传统方式难以提取到的深层抽象特征。在众多深度神经网络中，有监督的网络模型，比如cnn、监督式 sae和dnn等,在织物缺陷检测领域取得了显著的成果。但是，在实际的工业应用中，获取大量的标记缺陷样本来训练神经网络是非常困难的，因此，有监督深度模型在织物缺陷检测的应用中受到了很大的限制。
5.针对上述问题，一些学者开始探索利用无监督的深度模型去实现织物缺陷检测的方法。无监督的深度学习方法具有在训练阶段不需要缺陷样本，不需要人工手动标记缺陷区域等优点。目前，无监督深度学习的方法多是针对颜色、纹理单一的花型，对复杂色织花型缺陷检测效果不佳。


技术实现要素：

6.本发明的目的是提供一种针对色织物裁片缺陷区域的检测方法，解决了现有技术中存在的对复杂色织花型缺陷检测效果不佳的问题。
7.本发明所采用的技术方案是，一种针对色织物裁片缺陷区域的检测方法，具体按照如下步骤实施：
8.步骤1，在量子化变分自编码器的模型内融入注意力机制构建注意力量子化变分自编码器模型；
9.步骤2，准备色织物裁片彩色图像数据集，对色织物裁片彩色图像数据集中的无缺
陷色织衬衫裁片图像叠加噪声；
10.步骤3，将步骤2叠加噪声之后的无缺陷色织衬衫裁片图像输入步骤1 构建的注意力量子化变分自编码器模型中对模型训练，直到达到设定的迭代次数，得到训练好的注意力量子化变分自编码器模型；
11.步骤4，将待检测的色织物裁片彩色图像输入至训练好的注意力量子化变分自编码器模型中输出对应的重构图像，再进行检测从而确定缺陷区域。
12.本发明的特征还在于，
13.步骤1中的注意力量子化变分自编码器模型包括依次连接的编码器、潜在嵌入空间和解码器。
14.编码器包括依次连接的kernel_size为4，stride为2，padding为1的卷积层、注意力层、relu层、kernel_size为4，stride为2，padding为1的卷积层、注意力层、relu层、kernel_size＝3，stride＝1，padding＝1的卷积层、注意力层、两个残差块、relu层、kernel_size＝1，stride＝1，padding＝1的卷积层；
15.kernel_size为卷积核大小，stride为步长，padding为填充；
16.每个残差块包括依次连接的relu层、3x3的卷积层、relu层、1x1的卷积层。
17.潜在空间的大小k为256，每个潜在嵌入向量的维度d为64。
18.解码器包括依次连接的kernel_size＝3、stride＝1、padding＝1的卷积层、注意力层、两个残差块、relu层、注意力层、kernel_size＝4、stride＝2、padding＝1 的反卷积层、relu层、注意力层、kernel_size＝4、stride＝2、padding＝1的反卷积层。
19.步骤2中对色织物裁片彩色图像数据集中的无缺陷色织衬衫裁片图像叠加噪声具体为：
20.为无缺陷图像添加椒盐噪声，具体操作步骤如式(1)所示：
[0021][0022]
式中：为添加噪声后的无缺陷色织衬衫裁片图像；x为无缺陷色织衬衫裁片图像，s为椒盐噪声，信噪比p＝0.7。
[0023]
步骤3具体为：
[0024]
步骤3.1，将步骤2添加噪声后的无缺陷色织衬衫裁片图像输入步骤1 训练好的注意力量子化变分自编码器模型的编码器中，经过编码器编码后输出为ze(x)；
[0025]
步骤3.2，通过最近邻查找计算潜在嵌入空间e中与步骤3.1的输出ze(x)最近的向量，定位到其对应的嵌入向量ek，最后，将ek输出作为嵌入空间e的输出zq(x)；
[0026]
步骤3.3，将步骤2.2中的输出zq(x)送入解码器进行解码，重构出无缺陷图像；
[0027]
步骤3.4，确定模型的整体损失函数loss如式(2)所示：
[0028][0029]
其中，sg[
·
]表示不执行反向梯度传递，x表示叠加噪声后的无缺陷色织衬衫裁片图像，表示重构图像，β的值为0.25；
[0030]
在训练过程中，以最小化损失函数为目标，使用adam优化器，学习率为0.003，训练最大迭代次数为15000次，得到训练好的注意力量子化变分自编码器模型。
[0031]
步骤4具体按照如下步骤实施：
[0032]
步骤4.1，将待测图像输入步骤3训练好的注意力量子化变分自编码器模型中，输出待测图像对应的重构图像；
[0033]
步骤4.2，计算待测图像与其重构图像之间的残差，具体操作如式：
[0034][0035]
其中，x为输入待测图像，为待测图像的重构图像，x
residual
为残差图像；
[0036]
步骤4.3，对残差图像进行灰度化的过程如式(4)所示：
[0037]
x
gray
＝0.2125xr 0.7154xg 0.0721xbꢀꢀ
(4)
[0038]
式中：x
gray
为灰度化后的图像；xr、xg、xb分别为残差图像对应的rgb 三个不同颜色通道下的像素值；
[0039]
步骤4.4，对灰度化后的图像进行高斯滤波操作，如式(5)所示：
[0040]
x
gray&gaussian
＝x
gray
*g(x,y)
ꢀꢀ
(5)
[0041]
式中，x
gray&gaussian
为灰度化后的图像经过高斯滤波后的图像，x
gray
为灰度化后的图像，*为滑窗卷积操作，g(x,y)为高斯核函数；
[0042]
其中，(x,y)为灰度化后的图像经过高斯滤波后的图像的像素坐标，σ
x
、σy分别为灰度化后的图像经过高斯滤波后的图像x轴、y轴方向的像素标准差；
[0043]
步骤4.5，对经过高斯滤波后的图像进行二值化，得到二值化图像；
[0044]
步骤4.6，对步骤4.5得到的二值化图像进行腐蚀操作，腐蚀是去除物体的边界，具有细化或者收缩物体的作用得到最终检测结果图像；
[0045]
步骤4.7，对步骤4.6得到的最终检测结果图像进行判断，图像中黑色像素为背景，白色像素块表示缺陷区域，若待测图像为无缺陷图像，最终检测结果图像会出现随机噪声，若待测图像为有缺陷图像，则最终检测结果图像会出现白色像素块。
[0046]
本发明的有益效果是：
[0047]
本发明针对现有方法对复杂色织花型缺陷检测效果不佳的问题，提出了一种注意力量子化变分自编码器的缺陷检测方法，将注意力机制融入 vq-vae模型，注意力机制会对重要的特征分配更多的权重，针对颜色和纹理较复杂的图像，使模型能重构出高质量的图像；在缺乏实际缺陷样本图像的情况下，使用正常样本进行模型训练，解决了实际生产中缺陷样本稀少的问题，能够对不同的色织花型进行训练和检测，并准确定位出缺陷区域，在后处理部分，算原图与其对应的重构图之间的残差，并进行灰度化、滤波、二值化、腐蚀等操作处理图像，最终准确的定位缺陷区域。
附图说明
[0048]
图1是本发明一种针对色织物裁片缺陷区域的检测方法中注意力模型的网络结构
图；
[0049]
图2是本发明一种针对色织物裁片缺陷区域的检测方法中注意力量子化变分自编码器模型的训练过程结构示意图；
[0050]
图3是本发明一种针对色织物裁片缺陷区域的检测方法中色织物裁片缺陷区域检测阶段的流程示意图；
[0051]
图4是本发明一种针对色织物裁片缺陷区域的检测方法实施例中部分无缺陷样本；
[0052]
图5是本发明一种针对色织物裁片缺陷区域的检测方法实施例中实验样本的部分缺陷样本；
[0053]
图6是本发明一种针对色织物裁片缺陷区域的检测方法实施例中重构结果图；
[0054]
图7是本发明一种针对色织物裁片缺陷区域的检测方法实施例中最终缺陷检测结果图。
具体实施方式
[0055]
下面结合附图和具体实施方式对本发明进行详细说明。
[0056]
本发明一种针对色织物裁片缺陷区域的检测方法，具体按照如下步骤实施：
[0057]
步骤1，在量子化变分自编码器的模型内融入注意力机制构建注意力量子化变分自编码器模型；注意力量子化变分自编码器模型包括依次连接的编码器、潜在嵌入空间和解码器。
[0058]
如表1所示，编码器包括依次连接的kernel_size为4，stride为2，padding 为1的卷积层、注意力层、relu层、kernel_size为4，stride为2，padding为 1的卷积层、注意力层、relu层、kernel_size＝3，stride＝1，padding＝1的卷积层、注意力层、两个残差块、relu层、kernel_size＝1，stride＝1，padding＝1 的卷积层；kernel_size为卷积核大小，stride为步长，padding为填充；每个残差块包括依次连接的relu层、3x3的卷积层、relu层、1x1的卷积层，编码器的输ze(x)的尺寸为64x64x64；
[0059]
表1编码器结构
[0060][0061][0062]
潜在空间的大小k为256，每个潜在嵌入向量的维度d为64。
[0063]
如表2所示，解码器包括依次连接的kernel_size＝3、stride＝1、padding＝1 的卷积层、注意力层、两个残差块、relu层、注意力层、kernel_size＝4、stride＝2、 padding＝1的反卷积层、relu层、注意力层、kernel_size＝4、stride＝2、padding＝1 的反卷积层；
[0064]
表2解码器结构
[0065]
layeroutput_sizekernel_sizestridepaddingconv564x64x1283x311attention64x64x128
‑‑‑
residual64x64x128
‑‑‑
residual64x64x128
‑‑‑
relu64x64x128
‑‑‑
attention64x64x128
‑‑‑
convtrans1128x128x644x421relu128x128x64
‑‑‑
attention128x128x64
‑‑‑
convtrans2256x256x34x421
[0066]
注意力层即就是注意力模型，sknet提出了一种动态选择机制，允许每个神经元根据输入信息的多个尺度自适应地调整其接受域的大小，其网络模型如图1所示，该网络主要分为三个部分，split，fuse，select。split操作分别进行两个分支卷积操作，卷积核大小分别为3x3和5x5。fuse操作通过元素求和的方式融合这两个分支，再经过平均池化，经过全连接网络层，再经过 softmax层，相当于对feature map设置权重。select操作将得到的两个权重特征块与分支feature map分别相乘，之后再融合，得到一个与原始输入结构相同的模块。该网络层主要是通过对特征再分配，输出一个结构相同，参数不同的结构，以实现注意力的功能。
[0067]
步骤2，准备色织物裁片彩色图像数据集，对色织物裁片彩色图像数据集中的无缺陷色织衬衫裁片图像叠加噪声；其中，对色织物裁片彩色图像数据集中的无缺陷色织衬衫裁片图像叠加噪声具体为：
[0068]
为无缺陷图像添加椒盐噪声，具体操作步骤如式(1)所示：
[0069][0070]
式中：为添加噪声后的无缺陷色织衬衫裁片图像；x为无缺陷色织衬衫裁片图像，s为椒盐噪声，信噪比p＝0.7。
[0071]
步骤3，将步骤2叠加噪声之后的无缺陷色织衬衫裁片图像输入步骤1 构建的注意力量子化变分自编码器模型中对模型训练，直到达到设定的迭代次数，得到训练好的注意力量子化变分自编码器模型；如图2所示，具体为：
[0072]
步骤3.1，将步骤2添加噪声后的无缺陷色织衬衫裁片图像输入步骤1 训练好的注意力量子化变分自编码器模型的编码器中，经过编码器编码后输出为ze(x)；
[0073]
步骤3.2，通过最近邻查找计算潜在嵌入空间e中与步骤3.1的输出ze(x)最近的向量，定位到其对应的嵌入向量ek，最后，将ek输出作为嵌入空间e的输出zq(x)；
[0074]
步骤3.3，将步骤2.2中的输出zq(x)送入解码器进行解码，重构出无缺陷图像；
[0075]
步骤3.4，确定模型的整体损失函数loss如式(2)所示：
[0076][0077]
其中，sg[
·
]表示不执行反向梯度传递，x表示叠加噪声后的无缺陷色织衬衫裁片图像，表示重构图像，β的值为0.25；
[0078]
在训练过程中，以最小化损失函数为目标，使用adam优化器，学习率为0.003，训练最大迭代次数为15000次，得到训练好的注意力量子化变分自编码器模型；
[0079]
步骤4，将待检测的色织物裁片彩色图像输入至训练好的注意力量子化变分自编码器模型中输出对应的重构图像，再进行检测从而确定缺陷区域，如图3所示，具体按照如下步骤实施：
[0080]
步骤4.1，将待测图像输入步骤3训练好的注意力量子化变分自编码器模型中，输出待测图像对应的重构图像；
[0081]
步骤4.2，计算待测图像与其重构图像之间的残差，具体操作如式：
[0082][0083]
其中，x为输入待测图像，待测图像的重构图像，x
residual
为残差图像；
[0084]
步骤4.3，对残差图像进行灰度化的过程如式(4)所示：
[0085]
x
gray
＝0.2125xr 0.7154xg 0.0721xbꢀꢀ
(4)
[0086]
式中：x
gray
为灰度化后的图像；xr、xg、xb分别为残差图像对应的rgb 三个不同颜色通道下的像素值；
[0087]
步骤4.4，对灰度化后的图像进行高斯滤波操作，如式(5)所示：
[0088]
x
gray&gaussian
＝x
gray
*g(x,y)
ꢀꢀ
(5)
[0089]
式中，x
gray&gaussian
为灰度化后的图像经过高斯滤波后的图像，x
gray
为灰度化后的图像，*为滑窗卷积操作，g(x,y)为高斯核函数；
[0090]
其中，(x,y)为灰度化后的图像经过高斯滤波后的图像的像素坐标，σ
x
、σy分别为灰度化后的图像经过高斯滤波后的图像x轴、y轴方向的像素标准差；
[0091]
步骤4.5，对经过高斯滤波后的图像进行二值化，得到二值化图像；
[0092]
步骤4.6，对步骤4.5得到的二值化图像进行腐蚀操作，得到最终检测结果图像，腐蚀是去除物体的边界，具有细化或者收缩物体的作用；
[0093]
步骤4.7，对步骤4.6得到的最终检测结果图像进行判断，图像中黑色像素为背景，白色像素块表示缺陷区域，若待测图像为无缺陷图像，最终检测结果图像会出现随机噪声，若待测图像为有缺陷图像，则最终检测结果图像会出现白色像素块。
[0094]
实验装置准备：以北京联众集群公司的深度学习工作站(型号： lz540-gr)，进行avqvae模型的建模、训练及缺陷检测实验。工作站硬件配置为：中央处理器为intel(r)core(tm)i7-6850k cpu；以nvidia gp102 为核心的geforce gtx 1080ti显卡；内存为32g。软件配置为：操作系统为ubuntu 16.04.6lts；pytorch框架，具体版本为1.1.0。
[0095]
实验待检测样本：用于缺陷检测的色织衬衫裁片来自广东溢达纺织有限公司制衣厂。这些裁片利用扫描仪进行图像采集，整理成分辨率为512*512*3 的样本。根据色织衬衫裁片的颜色和纹理特征，将其分为三类，分别命名为 simple lattices(sl)、stripe patterns(sp)、complex lattices(cl)。本文选取了十二个色织衬衫裁片图像数据集，其中简单色织花型六类，分别为sl1、sl8、sl9、sl10、sl11、sl13，复杂色织花型六类，分别为cl1、cl2、 cl3、cl4、cl10、cl12。
[0096]
实验评价指标：对检测结果图像进行了定性、定量分析。定性分析为缺陷检测区域的直观图示。定量分析中，重构结果采用峰值信噪比(psnr) 和结构相似性(ssim)两种指标评价模型。psnr为图像信号所能到达的最大值与图像中噪声能量的比值，通常通过均方误差进行定义，均方误差的计算如式(7)。
[0097][0098]
式中：x为原图，为其重构图，mse为原图与重构图之间的均方误差，h、 w分别为
图像的高、宽。基于上述均方误差，psnr定义如式(8)所示：
[0099][0100]
式中：psnr为峰值信噪比，单位为db分贝，n为图像像素的灰度阶数。psnr 值越大，代表两张图像的误差失真越小，即重构去噪效果越好。
[0101]
ssim分别从亮度、对比度、结构三个方面度量原图与重构图之间的相似性，如式(9)所示。
[0102][0103]
式中：x为原图，为其重构图，l、c、s分别表示亮度、对比度、结构三个方面的信息值。
[0104]
通常，ssim的取值范围在0到1之间，数值越大，两张图像相似度越高。
[0105]
缺陷检测结果采用准确率(precision，p)、召回率(recall，r)、精确率(accuracy，acc)和平均交并比(iou)四种指标评价模型。其中，准确率、召回率、精确率的定义分别为式(10)-(13)所示：
[0106]
p＝t
p
/(t
p
f
p
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0107]
r＝t
p
/(t
p
fn)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0108]
acc＝(t
p
tn)/(t
p
tn f
p
fn)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0109][0110]
式中，t
p
表示真实缺陷区域被成功检出的像素个数；tn表示真实缺陷区域未被检出的像素个数；f
p
表示正常区域被错误检测为缺陷区域的像素个数； fn表示正常区域被成功检测为正常区域的像素个数。
[0111]
实验结果定性分析：本实验用物缺陷色织衬衫裁片图像对avqvae模型进行训练，训练好的avqvae模型拥有对色织衬衫裁片图像的重构修复能力，重构结果如附图6所示。通过附图6可见，本技术avqvae模型具有较好的重构修复能力，能够准确还原不同花型色织衬衫裁片图像。最后，计算待测色织衬衫裁片图像与重构图像的残差，并进行一系列后处理操作，最终定位缺陷区域，部分结果如附图7所示。从附图7可见，avqvae模型能够准确定位出织物缺陷区域。
[0112]
实验结果定量分析：为检测avqvae模型在12个数据集上的重构效果，计算了色织衬衫裁片原图及其重构图之间的psnr、ssim值，psnr的值为 0至100之间，数据越大越好，ssim的值为0至1之间，数据越大越好，如表3所示：
[0113]
表3 avqvae模型在12个数据集上的重构结果
[0114]
[0115][0116]
检测结果的准确率(p)、召回率(r)、和精确率(acc)的对比，数值越大表明检测结果越好，实验结果如表4所示：
[0117]
表4 avqvae模型在12个数据集上的缺陷检测结果
[0118][0119]
实验总结：本发明提出一种针对色织衬衫裁片缺陷检测方法，构建注意力量子化变分自编码器模型，通过计算待测织物图像与重构图像之间的残差，通过数学形态学分析，实现色织衬衫裁片的缺陷检测与定位。同时，该方法的计算效率和检测精度均能满足色织衬衫裁片的工程需求，为色织衬衫制衣行业的验片工艺提供一种易于工程化的缺陷自动检测方案。