一种针对彩色纹理织物色差和污渍缺陷的检测方法与流程

1.本发明属于服装生产中的织物裁片缺陷检测方法技术领域，涉及一种针对彩色纹理织物色差和污渍缺陷的检测方法。


背景技术：

2.在服装制造行业中，由于彩色纹理织物花型繁多，缺陷的特点和种类多种多样，以及缺陷样本的收集非常困难等问题，织物缺陷检测一直被认为是一项挑战性的任务。而纺织品的价格和质量都极大的取决于缺陷检测的效率和结果，所以织物缺陷检测一直是纺织业的重要环节。但长期以来采用的人工检测方法需要先对工人进行培训，而且由于视觉疲劳等原因会不可避免地出现漏检和检测效率低的问题，因此企业需要花费高昂的人力成本。
3.为了应对以上挑战，基于计算机视觉的自动化织物缺陷检测系统开始逐渐取代人工检测。许多研究者提出了多种基于计算机视觉的缺陷检测方法，并实际应用在织物的生产过程中，为织物缺陷检测领域的发展起到了极大的促进作用。但由于这类算法自身的局限性，面对花型繁多，缺陷种类多种多样的彩色纹理织物时存在检测精度较低，检测成本较高的问题。
4.近年来，随着深度神经网络的快速发展，基于深度学习的检测算法在计算机视觉的各领域都取得了很好的效果，在织物缺陷检测领域也以极大的效果提升成为研究的主流方向。但由于彩色纹理织物花型多变，缺陷样本数量稀少并且缺陷种类繁多种类不平衡，人工设计缺陷特征的成本高昂，而有监督的织物缺陷算法需要大量经过人工标注的像素级标签，这种算法和模型的缺陷检测效果往往和数据集的好坏有极强的关联性。在实际中，纺织企业在织物生产过程中所产生的缺陷往往多达200种以上且大小不一，为每种类型的织物标注大规模的缺陷数据集是一件费力又低效的措施。
5.基于无监督的织物缺陷检测算法在训练阶段只需要无缺陷织物样本图像，无需使用经过分类和标注的缺陷样本训练模型，在一定程度上可以突破有监督算法的局限性，因此一些基于无监督深度学习的织物缺陷检测算法开始逐渐被研究者提出。zhang等提出了一种基于无监督去噪卷积自编码器(dcae)的彩色纹理织物缺陷检测算法，通过对待测图像与其重构图像的残差进行处理，实现了彩色纹理织物缺陷的检测及定位，但该方法只适用于背景纹理较为简单的织物。wei等使用均方差和结构相似度的组合损失函数衡量生成图像和输入图像的相似性，提出了应用于实时织物疵点自动检测的变分自编码器(vae-l2ssim)算法，满足了织物疵点检测的实时计算需求，但对彩色纹理特别是复杂格纹织物的缺陷检测性能较差。mei等提出了一种用于织物缺陷自动化检测的无监督多尺度去噪卷积神经自编码器模型(mscdae)，通过对输入训练图像不同尺度的特征提取与融合，对比重构图像与原图像差异，实现了织物缺陷的定位与检测，但对不规则纹理织物的缺陷检测性能有待提高。zhang等提出了一种u型的深度去噪卷积自编码器(udcae)，通过残差分析实现色织衬衫裁片的缺陷检测和定位，但由于后处理部分采用先灰度化图像，再进行残差处理的
方法，难以检测出污渍和色差缺陷。以上无监督织物缺陷检测算法能够在一定条件下，通过无缺陷样本完成模型的训练和织物缺陷区域的检测，但均存在局限性和待改进的空间。


技术实现要素：

6.本发明的目的是提供一种针对彩色纹理织物色差和污渍缺陷的检测方法，能够在保证对其他类型缺陷检测能力不变的情况下，针对性的优化对色差和污渍缺陷的检测能力。
7.本发明所采用的技术方案是，一种针对彩色纹理织物色差和污渍缺陷的检测方法，具体按照如下步骤实施：
8.步骤1，构建彩色纹理织物数据集，彩色纹理织物数据集中包括作为训练样本的无缺陷彩色纹理织物图像和作为测试样本的有缺陷彩色纹理织物图像，给无缺陷彩色纹理织物图像叠加高斯噪声；
9.步骤2，构建u形去噪卷积自编码器模型；
10.步骤3，将步骤1叠加高斯噪声的无缺陷彩色纹理织物图像输入步骤2构建的u形去噪卷积自编码器模型中，根据训练参数对u形去噪卷积自编码器模型进行训练，得到训练好的u形去噪卷积自编码器模型；
11.步骤4，步骤3中训练好的u形去噪卷积自编码器模型对测试样本图像进行重构，输出对应的重构图像，对测试样本图像和对应的重构图像进行双阈值分割的残差处理，得到检测出的缺陷区域。
12.本发明的特征还在于，
13.步骤1中给无缺陷彩色纹理织物图像叠加高斯噪声具体为：叠加噪声的过程如式(1)所示：
[0014][0015]
式中，为叠加高斯噪声之后的无缺陷彩色纹理织物图像，i为无缺陷彩色纹理织物图像，g表示叠加的高斯噪声的等级，n表示服从正态分布的高斯噪声。
[0016]
步骤2中的u形去噪卷积自编码器模型包括依次连接的编码器和解码器两个部分；
[0017]
编码器部分采用的efficientnet-b4网络包括d1，d2，d3，d4和d5五个阶段，其中d1阶段包括依次连接的一层卷积核大小为3
×
3，步长为2的卷积层、swish激活函数、两个通道拓展比例为1，深度卷积核为3
×
3的mbconvblock；d2阶段包括依次连接的四个通道扩展比例为6，深度卷积核为3
×
3的mbconvblock；d3阶段包括依次连接的四个通道扩展比例为6，深度卷积核为5
×
5的mbconvblock；d4阶段包括依次连接的六个通道扩展比例为6，深度卷积核为3
×
3的mbconvblock、六个通道扩展比例为6，深度卷积核为5
×
5的mbconvblock；d5阶段包括依次连接的八个通道扩展比例为6，深度卷积核为5
×
5的mbconvblock、两个通道扩展比例为6，深度卷积核为3
×
3的mbconvblock、一个卷积核大小为1
×
1，步长为1的卷积层、swish激活函数；五个阶段的输出分别对应大小为128
×
128、64
×
64、32
×
32、16
×
16、8
×
8，通道数为24、32、56、112、160的特征图，且前一个阶段的输出作为后一个阶段的输入；
[0018]
解码器部分包括依次连接的u1，u2，u3，u4和u5五个阶段，由5个转置卷积层和5个双卷积层交替连接以及和最终的输出层连接组成，u1，u2，u3，u4阶段均包括依次连接的一
个转置卷积和一个双卷积层，u5阶段包括依次连接的一个转置卷积、一个双卷积层以及一个输出层；前一阶段的输出作为后一阶段的输入；u1阶段的输入为编码器d5阶段的输出；其中5个转置卷积层参数相同，均采用卷积核为2
×
2，步长为2的convtranspose；5个双卷积层均采用卷积核为3
×
3，步长为1，padding为1的卷积块、relu激活函数、卷积核为3
×
3，步长为1，padding为1的卷积块、relu激活函数连接而成；输出层是卷积核为1
×
1，步长为1的卷积块；
[0019]
u1阶段双卷积层的输入还连接编码器d4阶段的输出；u2阶段双卷积层的输入还连接编码器d3阶段的输出；u3阶段双卷积层的输入还连接编码器d2阶段的输出；u4阶段双卷积层的输入还连接编码器d1阶段的输出。
[0020]
解码器各阶段的工作过程如下：
[0021]
u1阶段的具体操作为：
[0022]
转置卷积的输入是编码器d5阶段输出的大小为8
×
8、通道数为1792的特征图，双卷积层的输入是转置卷积输出的大小为16
×
16、通道数为512的特征图和编码器d4阶段输出的大小为16
×
16、通道数为112的特征图在通道上拼接而来的大小为16
×
16、通道数为624的特征图，输出是大小为16
×
16、通道数为512的特征图；
[0023]
u2阶段的具体操作为：
[0024]
转置卷积的输入是u1阶段的输出，双卷积层的输入是转置卷积输出的大小为32
×
32、通道数为256的特征图和编码器d3阶段输出的大小为32
×
32、通道数为56的特征图在通道上拼接而来的大小为32
×
32、通道数为312的特征图，输出是大小为32
×
32、通道数为256的特征图；
[0025]
u3阶段的具体操作为：
[0026]
转置卷积的输入是u2阶段的输出，双卷积层的输入是转置卷积输出的大小为64
×
64、通道数为128的特征图和编码器d2阶段输出的大小为64
×
64、通道数为32的特征图在通道上拼接而来的大小为64
×
64、通道数为160的特征图，输出是大小为64
×
64、通道数为128的特征图；
[0027]
u4阶段的具体操作为：
[0028]
转置卷积的输入是u3阶段的输出，双卷积层的输入是转置卷积输出的大小为128
×
128、通道数为64的特征图和编码器d1阶段输出的大小为128
×
128、通道数为24的特征图在通道上拼接而来的大小为128
×
128、通道数为88的特征图，输出是大小为128
×
128、通道数为64的特征图；
[0029]
u5阶段的具体操作为：
[0030]
转置卷积的输入是u4阶段的输出，双卷积层的输入是转置卷积输出的大小为256
×
256、通道数为32的特征图和模型初始输入的大小为256
×
256、通道数为3的原始图像在通道上拼接而来的大小为256
×
256、通道数为35的特征图，双卷积层输出的大小为256
×
256、通道数为32的特征图作为输出层的输入，最终输出大小为256
×
256、通道数为3的重构图像。
[0031]
步骤3具体为：
[0032]
步骤3.1，随机选取步骤1中叠加高斯噪声的无缺陷彩色纹理织物图像放入u形去噪自编码器中，得到与输入图像样本维度相同的重构输出图像；
[0033]
步骤3.2，模型训练过程中以未叠加高斯噪声的无缺陷彩色纹理织物图像作为训练的目标，计算重构输出图像与训练目标之间的损失函数，其中损失函数定义如式(7)：
[0034][0035]
其中，为结构相似度损失，为多尺度的梯度幅相似性损失，为charbonnier损失；λs与λg分别为结构相似度损失的损失权重和多尺度的梯度幅相似性损失的损失权重；
[0036]
训练过程中以最小化该损失函数为目的，当训练次数达到设定好的最大训练次数时训练停止。
[0037]
步骤3.2中的按照如下公式计算：
[0038][0039]
式中，ε是为了数值稳定所选用的常数，ε＝1e-3，i表示无缺陷彩色纹理织物图像，表示模型输出的无缺陷彩色纹理织物图像对应的重构图像；
[0040]
按照如下公式计算：
[0041][0042]
式中，为无缺陷彩色纹理织物图像与其对应的重构图像的结构化相似度值；
[0043]
按照如下公式计算：
[0044][0045]
其中，为不同尺度下无缺陷彩色纹理织物图像与重构图像的梯度幅相似性值，l＝1-4分别代表分别无缺陷彩色纹理织物图像原图、1/2、1/4和1/8四种不同尺度下的图像；i
l
表示无缺陷彩色纹理织物图像在四种不同尺度下的图像，表示模型输出的无缺陷彩色纹理织物图像对应的重构图像在四种不同尺度下的图像；
[0046]
其中，按照如下公式计算：
[0047][0048]
式中，s是一个确保稳定性的常数，g()表示图像的梯度量级图，定义为式(6)：
[0049][0050]
式中，g(m)表示图像m的梯度量级图，h
x
和hy是沿x和y方向的3
×
3的prewitt滤波器，*是卷积运算。
[0051]
步骤4具体为：
[0052]
步骤4.1，将步骤1中测试样本图像输入步骤3中训练好的u形去噪卷积自编码器模型中，输出对应的重构图像；
[0053]
步骤4.2，将测试样本图像与其对应的重构图像均进行高斯滤波处理；
[0054]
步骤4.3，将测试样本图像与其对应的重构图像经高斯滤波后的残差图像，并再次进行高斯滤波，使残差图像平滑，具体按照如下公式：
[0055][0056]
其中，g(i),分别为经高斯滤波后的测试样本图像与其对应的重构图像，g()表示进行高斯滤波处理，i
gaussian&res
为高斯滤波后的残差图像；
[0057]
步骤4.4，对高斯滤波后的残差图像进行三通道的阈值分割处理得到二值图像，以消除分布离散且数值较小的随机噪声，阈值分割利用自适应阈值的方法进行，如式(10)：
[0058][0059]
式中：p为图像的像素值，t为自适应阈值，μ、σ分别为图像的均值与标准差，c为阈值分割时标准差的系数；
[0060]
步骤4.5，对三通道的二值图像进行灰度化操作，得到单通道的灰度图像，灰度化操作如式(11)：
[0061]igray
＝0.299
·
ir 0.587
·
ig 0.114
·ib (11)
[0062]
式中：i
gray
为灰度化后的图像；ir,ig,ib分别为二值图像对应的rgb三个不同颜色通道下的像素值，灰度化后的图像像素范围为0到255；
[0063]
步骤4.6，对灰度化后的图像进行单通道的阈值分割处理，对阈值分割完成的二值图像进行先腐蚀后膨胀的开运算操作，即可得到检测结果图像；
[0064]
开运算操作如式(12)：
[0065][0066]
式中：i
opening
为开运算操作后的图像，i
binary
为阈值分割完成的二值图像，！、分别为腐蚀与膨胀操作，e为结构元素；
[0067]
步骤4.7，分析最检测结果图像中各个像素点的值，确定是否存在缺陷区域，若检测结果图像上无任何差异，即图像中的像素值全为0，则表示输入的色织物不存在缺陷；若检测结果图像上存在0和1两种像素值，则表示输入的色织物图像存在缺陷，并且缺陷区域为像素值为1的区域。
[0068]
本发明的有益效果是
[0069]
本发明所述方法在模型训练阶段不需要使用标注好的缺陷样本，仅使用无缺陷样本叠加噪声训练的高效u形去噪自编码器模型便能有效重构彩色纹理织物图像；然后在后处理阶段，采用双阈值分割的后处理方式，通过对彩色的重构图像和原始缺陷图像的高斯滤波和残差处理，使色差和污渍缺陷显现出来，从而针对性的优化对色差和污渍缺陷的检测能力；并且得益于网络模型中跳跃连接和组合损失函数的设计，可以保证模型重构图像的细节和质量，从而保持对其他类型缺陷的检测能力；该方法的检测精度能够满足彩色纹理织物生产检测过程的要求，为彩色纹理织物制造行业的检测过程提供了一种易于工程实
践的自动缺陷检测方案。
附图说明
[0070]
图1是本发明一种针对彩色纹理织物色差和污渍缺陷的检测方法中彩色纹理织物数据集的部分花型样本；
[0071]
图2是本发明一种针对彩色纹理织物色差和污渍缺陷的检测方法中高效u形去噪卷积自编码器的模型结构图；
[0072]
图3是本发明一种针对彩色纹理织物色差和污渍缺陷的检测方法中编码器部分使用的移动翻转瓶颈卷积块mbconvblock的结构图；
[0073]
图4是本发明一种针对彩色纹理织物色差和污渍缺陷的检测方法中步骤4的流程示意图；
[0074]
图5是本发明一种针对彩色纹理织物色差和污渍缺陷的检测方法中实验所用的eudcae模型与ae-l2ssim、vae-l2ssim、mscdae、udcae模型在10种花型上的检测结果对比图；
[0075]
图6是本发明一种针对彩色纹理织物色差和污渍缺陷的检测方法中使用目前的处理方式和本发明使用的双阈值分割的后处理方式在污渍和色差类缺陷上的检测结果对比图。
具体实施方式
[0076]
下面结合附图和具体实施方式对本发明进行详细说明。
[0077]
本发明一种针对彩色纹理织物色差和污渍缺陷的检测方法，具体按照如下步骤实施：
[0078]
步骤1，构建彩色纹理织物数据集，彩色纹理织物数据集中包括作为训练样本的无缺陷彩色纹理织物图像和作为测试样本的有缺陷彩色纹理织物图像，共选择了10种代表性的花型用于模型的训练和检测效果验证，分别为cl1、cl2、cl4、cl12、sl1、sl9、sl13、sp3、sp5、sp19，如图1所示，附图1的第一行为无缺陷彩色纹理织物图像，第二行为有缺陷彩色纹理织物图像，第三行为第二行的有缺陷彩色纹理织物图像对应的标注出的真实缺陷区域，给无缺陷彩色纹理织物图像叠加高斯噪声，其中，给无缺陷彩色纹理织物图像叠加高斯噪声具体为：叠加噪声的过程如式(1)所示：
[0079][0080]
式中，为叠加高斯噪声之后的无缺陷彩色纹理织物图像，i为无缺陷彩色纹理织物图像，g表示叠加的高斯噪声的等级，g为0.3，n表示服从正态分布的高斯噪声；
[0081]
步骤2，构建u形去噪卷积自编码器模型，其结构如图2所示，u形去噪卷积自编码器模型包括依次连接的编码器和解码器两个部分；
[0082]
编码器部分采用的efficientnet-b4网络包括d1，d2，d3，d4和d5五个阶段，其中d1阶段包括依次连接的一层卷积核大小为3
×
3，步长为2的卷积层、swish激活函数、两个通道拓展比例为1，深度卷积核为3
×
3的mbconvblock；d2阶段包括依次连接的四个通道扩展比例为6，深度卷积核为3
×
3的mbconvblock；d3阶段包括依次连接的四个通道扩展比例为6，
深度卷积核为5
×
5的mbconvblock；d4阶段包括依次连接的六个通道扩展比例为6，深度卷积核为3
×
3的mbconvblock、六个通道扩展比例为6，深度卷积核为5
×
5的mbconvblock；d5阶段包括依次连接的八个通道扩展比例为6，深度卷积核为5
×
5的mbconvblock、两个通道扩展比例为6，深度卷积核为3
×
3的mbconvblock、一个卷积核大小为1
×
1，步长为1的卷积层、swish激活函数；五个阶段的输出分别对应大小为128
×
128、64
×
64、32
×
32、16
×
16、8
×
8，通道数为24、32、56、112、160的特征图，且前一个阶段的输出作为后一个阶段的输入；
[0083]
其中，efficientnet-b4中所包含的mbconvblock指移动翻转瓶颈卷积块，它的结构如图3所示，在该移动翻转瓶颈卷积块中，首先对输入进行卷积核为1
×
1的逐点卷积，并根据扩展比例改变输出通道数，接着进行卷积核为k
×
k的深度卷积(此处的k即上文中提到的mbconvblock的深度卷积核的尺寸)，接着se模块先对卷积得到的特征图进行压缩操作，得到通道级的全局特征，然后进行激励操作操作，学习各个通道间的关系得到不同通道的权重，最后乘以原来的特征图得到最终特征进行输出。此时再以卷积核为1
×
1的卷积来还原原来的通道数。最后为了让模型具有随机的深度，缩短模型训练所需时间，当相同参数的移动翻转瓶颈卷积块重复出现时，会进行dropout和跳跃连接，相同参数的移动翻转瓶颈卷积块中的深度卷积步长会变为1，在提升模型性能的同时避免了深度网络的退化问题，值得一提的是，编码器中的激活函数均采用swish激活函数，卷积块均使用输出和输入特征图分辨率相同或减半的samepadding方式；
[0084]
解码器部分包括依次连接的u1，u2，u3，u4和u5五个阶段，由5个转置卷积层和5个双卷积层交替连接以及和最终的输出层连接组成，u1，u2，u3，u4阶段均包括依次连接的一个转置卷积和一个双卷积层，u5阶段包括依次连接的一个转置卷积、一个双卷积层以及一个输出层；前一阶段的输出作为后一阶段的输入；u1阶段的输入为编码器d5阶段的输出；其中5个转置卷积层参数相同，均采用卷积核为2
×
2，步长为2的convtranspose；5个双卷积层均采用卷积核为3
×
3，步长为1，padding为1的卷积块、relu激活函数、卷积核为3
×
3，步长为1，padding为1的卷积块、relu激活函数连接而成；输出层是卷积核为1
×
1，步长为1的卷积块；
[0085]
u1阶段双卷积层的输入还连接编码器d4阶段的输出；u2阶段双卷积层的输入还连接编码器d3阶段的输出；u3阶段双卷积层的输入还连接编码器d2阶段的输出；u4阶段双卷积层的输入还连接编码器d1阶段的输出。
[0086]
解码器各阶段的工作过程如下：
[0087]
u1阶段的具体操作为：
[0088]
转置卷积的输入是编码器d5阶段输出的大小为8
×
8、通道数为1792的特征图，双卷积层的输入是转置卷积输出的大小为16
×
16、通道数为512的特征图和编码器d4阶段输出的大小为16
×
16、通道数为112的特征图在通道上拼接而来的大小为16
×
16、通道数为624的特征图，输出是大小为16
×
16、通道数为512的特征图；
[0089]
u2阶段的具体操作为：
[0090]
转置卷积的输入是u1阶段的输出，双卷积层的输入是转置卷积输出的大小为32
×
32、通道数为256的特征图和编码器d3阶段输出的大小为32
×
32、通道数为56的特征图在通道上拼接而来的大小为32
×
32、通道数为312的特征图，输出是大小为32
×
32、通道数为256的特征图；
[0091]
u3阶段的具体操作为：
[0092]
转置卷积的输入是u2阶段的输出，双卷积层的输入是转置卷积输出的大小为64
×
64、通道数为128的特征图和编码器d2阶段输出的大小为64
×
64、通道数为32的特征图在通道上拼接而来的大小为64
×
64、通道数为160的特征图，输出是大小为64
×
64、通道数为128的特征图；
[0093]
u4阶段的具体操作为：
[0094]
转置卷积的输入是u3阶段的输出，双卷积层的输入是转置卷积输出的大小为128
×
128、通道数为64的特征图和编码器d1阶段输出的大小为128
×
128、通道数为24的特征图在通道上拼接而来的大小为128
×
128、通道数为88的特征图，输出是大小为128
×
128、通道数为64的特征图；
[0095]
u5阶段的具体操作为：
[0096]
转置卷积的输入是u4阶段的输出，双卷积层的输入是转置卷积输出的大小为256
×
256、通道数为32的特征图和模型初始输入的大小为256
×
256、通道数为3的原始图像在通道上拼接而来的大小为256
×
256、通道数为35的特征图，双卷积层输出的大小为256
×
256、通道数为32的特征图作为输出层的输入，最终输出大小为256
×
256、通道数为3的重构图像。
[0097]
步骤3，将步骤1叠加高斯噪声的无缺陷彩色纹理织物图像输入步骤2构建的u形去噪卷积自编码器模型中，根据训练参数对u形去噪卷积自编码器模型进行训练，得到训练好的u形去噪卷积自编码器模型；具体为：
[0098]
步骤3.1，随机选取步骤1中叠加高斯噪声的无缺陷彩色纹理织物图像放入u形去噪自编码器中，得到与输入图像样本维度相同的重构输出图像；
[0099]
步骤3.2，模型训练过程中以未叠加高斯噪声的无缺陷彩色纹理织物图像作为训练的目标，计算重构输出图像与训练目标之间的损失函数，其中损失函数定义如式(7)：
[0100][0101]
其中，为结构相似度损失，为多尺度的梯度幅相似性损失，为charbonnier损失；λs与λg分别为结构相似度损失的损失权重和多尺度的梯度幅相似性损失的损失权重，设置λg＝0.2,λs＝0.1
[0102]
其中，按照如下公式计算：
[0103][0104]
式中，ε是为了数值稳定所选用的常数，ε＝1e-3，i表示无缺陷彩色纹理织物图像，表示模型输出的无缺陷彩色纹理织物图像对应的重构图像；
[0105]
按照如下公式计算：
[0106][0107]
式中，为无缺陷彩色纹理织物图像与其对应的重构图像的结构化相似度值；
[0108]
首先对原始图像进行数次的下采样和平均池化，分别得到1/2、1/4和1/8四种不同尺度l的原始图像，然后和原始图像共同构成图像金字塔，最后计算四个尺度的gms distance map的平均值定义，即就是按照如下公式计算：
[0109][0110]
其中，为不同尺度下无缺陷彩色纹理织物图像与重构图像的梯度幅相似性值，l＝1-4分别代表分别无缺陷彩色纹理织物图像原图、1/2、1/4和1/8四种不同尺度下的图像；i
l
表示无缺陷彩色纹理织物图像在四种不同尺度下的图像，表示模型输出的无缺陷彩色纹理织物图像对应的重构图像在四种不同尺度下的图像；
[0111]
其中，按照如下公式计算：
[0112][0113]
式中，s是一个确保稳定性的常数，g()表示图像的梯度量级图，定义为式(6)：
[0114][0115]
式中，g(m)表示图像m的梯度量级图，h
x
和hy是沿x和y方向的3
×
3的prewitt滤波器，*是卷积运算；
[0116]
训练过程中以最小化该损失函数为目的，训练最大迭代次数为1500次，即每个数据样本都训练100次；模型的学习率调度采用一周期的自适应调度方式，将学习率从初始学习率增加到最大学习率0.01，然后从最大学习率降低到远低于初始学习率的最小学习率；每次投入模型训练的批次大小设置为8。
[0117]
步骤4，如图4所示，使用步骤3中训练好的u形去噪卷积自编码器模型对测试样本图像进行重构，输出对应的重构图像，对测试样本图像和对应的重构图像进行双阈值分割的残差处理，得到检测出的缺陷区域；具体为：
[0118]
步骤4.1，将步骤1中测试样本图像输入步骤3中训练好的u形去噪卷积自编码器模型中，输出对应的重构图像；
[0119]
步骤4.2，将测试样本图像与其对应的重构图像均进行高斯滤波处理，避免重构图像的边缘信息缺失导致的过检；高斯滤波采用3
×
3大小的高斯核对图像卷积操作，如式(8)：
[0120][0121]
式中(x,y)为图像i的像素坐标；σ
x
为该图像x轴方向的像素标准差；σy为该图像y轴方向的像素标准差；
[0122]
步骤4.3，将测试样本图像与其对应的重构图像经高斯滤波后的残差图像，并再次进行高斯滤波，使残差图像平滑，具体按照如下公式：
[0123][0124]
其中，g(i),分别为经高斯滤波后的测试样本图像与其对应的重构图像，g()表示进行高斯滤波处理，i
gaussian&res
为高斯滤波后的残差图像；
[0125]
步骤4.4，对高斯滤波后的残差图像进行三通道的阈值分割处理得到二值图像，以消除分布离散且数值较小的随机噪声，阈值分割利用自适应阈值的方法进行，如式(10)：
[0126][0127]
式中：p为图像的像素值，t为自适应阈值，μ、σ分别为图像的均值与标准差，c为阈值分割时标准差的系数；
[0128]
步骤4.5，对三通道的二值图像进行灰度化操作，得到单通道的灰度图像，灰度化操作如式(11)：
[0129]igray
＝0.299
·
ir 0.587
·
ig 0.114
·ib (11)
[0130]
式中：i
gray
为灰度化后的图像；ir,ig,ib分别为二值图像对应的rgb三个不同颜色通道下的像素值，灰度化后的图像像素范围为0到255；
[0131]
步骤4.6，对灰度化后的图像进行单通道的阈值分割处理，由于第一次阈值分割已经滤除大部分噪声，并且第二次阈值分割时灰度图像的分布差异较小，直接采用均值和标准差作为阈值即可完成分割，所以第二次阈值分割的系数c设置为1，对阈值分割完成的二值图像进行先腐蚀后膨胀的开运算操作，即可得到检测结果图像；
[0132]
开运算操作如式(12)：
[0133][0134]
式中：i
opening
为开运算操作后的图像，i
binary
为阈值分割完成的二值图像，！、分别为腐蚀与膨胀操作，e为结构元素；
[0135]
步骤4.7，分析最检测结果图像中各个像素点的值，确定是否存在缺陷区域，若检测结果图像上无任何差异，即图像中的像素值全为0，则表示输入的色织物不存在缺陷；若检测结果图像上存在0和1两种像素值，则表示输入的色织物图像存在缺陷，并且缺陷区域为像素值为1的区域。
[0136]
本发明在训练阶段不需要使用标注好的缺陷样本，仅使用无缺陷样本叠加噪声训练的高效u形去噪自编码器模型能有效重构彩色纹理织物图像，然后通过双阈值分割的后处理方式，能够在保证对其他类型缺陷检测能力不变的情况下，针对性的优化对色差和污渍缺陷的检测能力。该方法的检测精度能够满足彩色纹理织物生产检测过程的要求，为彩色纹理织物制造行业的检测过程提供了一种易于工程实践的自动缺陷检测方案。
[0137]
下面以具体实施案例对本发明一种针对彩色纹理织物色差和污渍缺陷的检测方法进行说明：
[0138]
准备软件硬件装置：训练和检测时所使用的硬件和软件环境的详细配置如下，硬件环境：中央处理器为intel(r)core(tm)i9-10980xe；图形处理器为geforce rtx 3090(24g)；内存为128g。软件配置：操作系统为ubuntu 18.04.10；pytorch1.7.1，anaconda3，python3.6.12，cuda11.2深度学习环境。
[0139]
准备彩色纹理织物数据集：根据织物图案的复杂程度分为三类，简单格子(sinplelattices，sl)、条纹图案(stripe patterns，sp)和复杂格子(complex lattices，cl)；实验采用的数据集共准备了10种不同花型的彩色纹理织物无缺陷图像和彩色纹理织物缺陷图像，分别为：cl1、cl2、cl4、cl12、sl1、sl9、sl13、sp3、sp5、sp19。sl的织物图案主要由颜色相同的小条纹组成，sp织物图案主要由不同颜色的大条纹依次排列组成，cl主要由各种颜色的条纹纵横交错组成。数据集中图像均为512
×
512
×
3的三通道rgb图像；准备数据集，其中包括用于模型训练的叠加噪声的无缺陷彩色纹理织物图像和用于测试的有缺陷的彩色纹理织物图像。附图1的第一行为无缺陷彩色纹理织物图像，第二行为有缺陷彩色纹理织物图像，第三行为第二行的有缺陷彩色纹理织物图像对应的标注出的真实缺陷区域，是缺陷检测时评价指标的计算依据。
[0140]
评价指标：采用像素级的评价指标，精确率(precision，p)、召回率(recall，r)、综合评价指标(f1-measure，f1)、交并比(inetersection over union，iou)。这些评价指标的定义如式(13-16)：
[0141][0142][0143][0144][0145]
其中，tp表示有缺陷区域被成功检出的像素个数；tn表示有缺陷区域未被检出的像素个数；fp表示无缺陷区域被错误检测为缺陷区域的像素个数；fn表示无缺陷区域被成功检测为无缺陷区域的像素个数。评价指标中precision和recall用于评价模型检测缺陷时的查准率和查全率；f1-measure为综合p和r的评价指标，交并比iou用来衡量缺陷检测结果与ground truth的重合程度。
[0146]
实验过程：首先，构建彩色纹理织物数据集，以叠加高斯噪声的无缺陷彩色纹理织物图像作为训练输入样本，未叠加高斯噪声的无缺陷彩色纹理织物图像作为训练目标，未叠加高斯噪声的有缺陷彩色纹理织物图像作为测试输入样本，彩色纹理织物缺陷样本对应的真值图作为缺陷检测时评价指标的计算依据；其次，构建一个u形去噪卷积自编码器模型，模型通过训练从而学习到无缺陷图像的特征，进而能够修复输入的有缺陷图像。缺陷检测时，模型对输入的待测织物样本图像进行修复性重构，输出与原始图像尺寸相同的三通道彩色图像。理想情况下，若待测图像中没有缺陷，则重构图与待测原图的差异为随机噪声；相反，若待测图像中存在缺陷，由于原始图像缺陷区域与重构图像存在显著的像素数值差异，通过双阈值分割的后处理方式，即可检测和定位出实际缺陷区域。
[0147]
实验结果定性分析：为了更加直观地对比不同的无监督检测方法的检测结果，本技术提出的u形去噪卷积自编码器(eudcae)与四种彩色织物缺陷检测方法包括ae-l2ssim、vae-l2ssim、msdcae、udcae做了实验对比，部分检测结果如附图5所示；ae-l2ssim可以检出4种花型的缺陷，在sl1,sl9,sl13,sp3和sp19花型上存在漏检的问题；vae-l2ssim只能检出
cl12花型的部分缺陷；mscdae可以精确检出8种花型的缺陷，但在cl1花型上存在误检，在cl12,sl1,sp19花型上存在漏检；udcae可以精确检出5种花型的缺陷，但在如cl1,cl4花型上存在误检，在cl12,sl1,sl9,sp19花型上存在漏检；eudcae可以精确检出9种花型的缺陷，在cl12,sp5花型上存在误检和漏检的问题。综合对比缺陷区域的检出、漏检和误检情况，提出的eudcae模型在更好地完成缺陷检测的同时，比其他模型产生了更少的误检，在三类复杂度的花型上都能够取得良好的缺陷检测结果；
[0148]
此外，为了直观地展示双阈值分割的后处理方式对色差和污渍缺陷的检测效果，对同一模型的重构图像，分别使用目前的和双阈值分割的后处理方式，对部分代表性的污渍和色差缺陷样本进行缺陷检测，结果如图6所示；图中gt(ground truth)表示真实的缺陷区域，previous表示目前的后处理方式，dts表示双阈值分割的后处理方式。双阈值分割的后处理方式在污渍和有色差的缺陷样本检测上显然更加契合实际缺陷区域，漏检和误检区域都少于目前的后处理方式，取得了更好的检测效果。
[0149]
实验结果定量分析：为了更加全面准确的评估衡量本技术提出的u形去噪卷积自编码器(eudcae)的检测性能和双阈值分割的后处理方式对色差和污渍缺陷的检测效果，表1列出了综合评价指标(f1)和交并比(iou)的值，分别与与四种彩色织物缺陷检测方法包括ae-l2ssim、vae-l2ssim、msdcae、udcae以及使用目前的后处理方式和双阈值分割在cl1、sl9、sp5花型上做了定量对比；上述指标的数值越大表明检测结果越好。
[0150]
表1两种评价指标下五种模型的检测结果定量分析和对比
[0151][0152]
由表1可知，本技术提出的u形去噪卷积自编码器(eudcae)在cl1、sl9、sp5三个花型上计算出的f1和iou两个评价指标相比于其他模型都有绝对优势，并且在eudcae模型上，使用双阈值分割的后处理方式(eudcae
dts
)所取得的检测效果也具有绝对优势。
[0153]
实验总结：本发明提出针对彩色纹理织物色差和污渍缺陷的检测方法，构建一种u形去噪卷积自编码器(eudcae)，该方法的流程如下：首先，构建彩色纹理织物数据集；其次，构建一个u形去噪卷积自编码器模型，针对一种具体的彩色纹理织物花型样本，利用易于获取的无缺陷彩色织物样本图像训练u形去噪卷积自编码器(eudcae)；接着，将待测彩色纹理织物图像放入训练好的模型中进行重构，使用双阈值分割的后处理方式，实现缺陷区域的快速检测和定位。实验结果表明，基于u形去噪卷积自编码器(eudcae)和双阈值分割的后处理方式能够满足彩色纹理织物生产检测过程的要求，并且显著提升了对色差和污渍缺陷的检测能力，为彩色纹理织物制造行业的检测过程提供了一种易于工程实践的自动缺陷检测方案。