一种成品织物的表面缺陷视觉检测方法与流程

1.本发明属于织物缺陷检测技术领域，更具体地，涉及一种成品织物的表面缺陷视觉检测方法。


背景技术：

2.织物表面缺陷检测是纺织品生产过程中的必需环节，主要涉及布匹原料检测与成品检验两大工序。在传统的检测方法中，人工检测客观存在着准确性不高、前后不一致以及效率低等多方面天然的不足，因此需要自动视觉检测技术对人工检测进行部分或完全替代。
3.目前，两大质检工序之一的布匹原料自动视觉检测问题已得到较好的解决。借助于布匹表面的纹理周期特性，它可利用以模板匹配法为基础的方式完成布匹表面缺陷的检测识别，而其他图像处理方法与机器学习方法也在此问题的解决方案改进上发挥了积极的作用。这一方面在于布匹总是以“卷轴”的形式铺开与收拢，也就便于进行水平对齐标定，因而易于实现除布匹上下料之外的完全自动化检测操作；另一方面在于布匹间的区别相较于成品织物要少得多，通常只来自不同的类别，则检测算法便可普适性地解决大批量布匹缺陷检测问题。
4.然而目前成品织物的表面缺陷自动视觉检测仍存在较大空缺，这是因为相较于布匹，成品织物各自以单件形式独立存放而不易固定对齐，又由于经过剪裁缝合使得缺陷尺寸往往小于布匹缺陷，进而导致缺陷特征易受预处理以及干扰特征的影响。因此，成品织物表面缺陷对于视觉检测方法主要提出了以下三个技术要求：
5.1、对于图像中织物的位置应具有旋转不变性；
6.2、降噪预处理过程中应尽量使缺陷的细节不失真；
7.3、应能排除纹理背景、表面粘连线等无关特征干扰而分割出真实缺陷。


技术实现要素：

8.针对现有技术的以上缺陷或改进需求，本发明提供了一种成品织物的表面缺陷视觉检测方法，其目的在于，能够在降噪预处理同时确保真实缺陷不失真，并在缺陷分割时能有效剔除干扰特征的影响，从而准确检测出织物表面的缺陷。
9.为实现上述目的，本发明提出了一种成品织物的表面缺陷视觉检测方法，包括如下步骤：
10.s1、对成品织物表面图像进行框选，将框选后的图像均等切割为子图像块，进而构建得到抽象样本矩阵；
11.s2、计算抽象样本矩阵的协方差矩阵，将该协方差矩阵正交对角化得到新协方差矩阵，根据该新协方差矩阵计算抽象样本矩阵中各像素的特征值，根据特征值大小选取主成分得到重构抽象样本矩阵；
12.s3、通过rpca法对重构抽象样本矩阵进行纹理背景分离，得到缺陷前景图像，进而
检测得到成品织物的表面缺陷。
13.作为进一步优选的，步骤s1中，先提取成品织物表面图像中的经纱倾角和纬纱倾角，该经纱倾角和纬纱倾角为一个钝角和一个锐角，取锐角作为倾斜矩形第一条边的倾角，钝角作为与之垂直且相邻的第二条边的倾角，进而得到倾斜矩形对成品织物表面图像进行框选。
14.作为进一步优选的，通过霍夫变换检测提取成品织物表面图像中的经纱倾角和纬纱倾角。
15.作为进一步优选的，步骤s1中，通过均值法计算纹理单元尺寸，根据该纹理单元尺寸，将框选后的图像均等切割为子图像块，每个子图像块上包含整数倍的纹理单元。
16.作为进一步优选的，步骤s1中，将每个子图像块中的像素点按行展开并连接成行向量，然后将所有子图像块的行向量依次按行排列成矩阵，构建得到抽象样本矩阵。
17.作为进一步优选的，步骤s3中，通过rpca法对重构抽象样本矩阵进行纹理背景分离时，以重构抽象样本矩阵作为初始低秩矩阵，得到包含缺陷信息的稀疏矩阵，进而得到缺陷前景图像。
18.作为进一步优选的，通过rpca法进行纹理背景分离时，通过增广lagrange乘子法实现低秩矩阵与稀疏矩阵的分离。
19.作为进一步优选的，通过软阈值算子进行增广lagrange函数的寻优。
20.作为进一步优选的，对包含缺陷信息的稀疏矩阵执行构建抽象样本矩阵时的逆操作，获得视觉上可视化的缺陷前景图像。
21.作为进一步优选的，步骤s3中，得到缺陷前景图像后，通过canny边缘检测去除缺陷前景图像中的表面粘连线，再进行成品织物的表面缺陷，具体包括如下步骤：
22.(1)对缺陷前景图像进行腐蚀操作，使缺陷前景图像中的表面粘连线成为单像素曲线，得到腐蚀前景图像；
23.(2)通过canny算子提取腐蚀前景图像中所有轮廓，得到轮廓图像；
24.(3)将腐蚀前景图像与轮廓图像作差得到缺陷图像，缺陷图像中去除了表面粘连线，留下了经过腐蚀的线状缺陷以及孔洞缺陷。
25.总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：
26.1.本发明构建抽象样本矩阵，并通过改进的主成分分析法对其进行降噪预处理，确保真实缺陷不失真；进而在通过rpca法进行缺陷分割时，能有效剔除纹理背景等干扰特征的影响，从而准确检测出织物表面的缺陷，填补了成品织物表面缺陷自动视觉检测的技术及市场空缺。
27.2.本发明采用改进的主成分分析法通过降维重构可较好地滤除织物图像中的随机噪声，同时对缺陷细节特征的滤除效果不佳，但这反而在效果上解决了降噪预处理问题；具体在重构抽象样本矩阵时，将抽象样本矩阵的协方差矩阵正交对角化得到新协方差矩阵，两个协方差矩阵具有相同的非零特征值，而相应的特征向量也具有固定的等式关系，而构造的新协方差矩阵可使降维求解的计算量大大减小，从而实现降噪预处理的计算加速。
28.3.由于成品织物不易固定对齐，且主成分分析方法固有的流程对图像中织物位置的倾斜问题同样敏感，本发明在构建抽象样本矩阵之前进行倾斜矩形的框选与切割，保证
子图像块上包含整数倍的纹理单元，便能满足旋转不变性要求，即解决织物倾斜问题，从而在织物图像采集时，对相机与织物的相对位置无苛刻要求，操作简便友好且能提高检测精度。
29.4.本发明利用rpca方法完成第一种干扰特征纹理背景的去除，再利用canny边缘检测与霍夫直线检测完成第二种干扰特征表面粘连线的去除，从而实现缺陷的分割，达到干扰特征分步去除，缺陷特征最终提取的目的。
附图说明
30.图1为本发明实施例成品织物的表面缺陷视觉检测方法流程图；
31.图2中(a)～(d)为本发明实施例fast pca降噪过程中的抽象样本矩阵构建原理图；
32.图3为本发明实施例降噪预处理前的倾斜矩形框选原理图；
33.图4为本发明实施例rpca方法分离纹理背景与缺陷前景流程图；
34.图5为本发明实施例基于canny边缘检测算子的缺陷分割原理图；
35.图6为本发明实施例含有孔洞缺陷的初始单幅织物图像；
36.图7为本发明实施例fast pca降噪预处理后的可视化重构图；
37.图8为本发明实施例经rpca分离后的纹理背景图；
38.图9为本发明实施例前景图像中的目标孔洞缺陷特征图。
具体实施方式
39.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
40.本发明实施例提供的一种成品织物的表面缺陷视觉检测方法，如图1所示，包括如下步骤：
41.步骤一、构建抽象样本矩阵：获取成品织物表面图像，提取成品织物表面图像中的经纬纱倾角，根据经纬纱倾角对图像进行框选，将框选后的图像均等切割为子图像块，进而构建得到抽象样本矩阵，可在降噪预处理前便解决成品织物难以固定对齐而存在倾斜的问题。具体包括：
42.(1)经纬纱倾角提取：成品织物纹理的存在使得图像中必然具有多条直线段，主要为数条纬纱直线段与数条经纱直线段，以及可能存在的表面粘连线段；霍夫直线检测是一种有效的提取图像中直线特征的边缘检测方法，通过霍夫变换检测提取成品织物表面图像中的经纬纱倾角。
43.(2)倾斜矩形框选：提取的经纬纱倾角包括经纱倾角α和纬纱倾角β，在α与β中必有锐角与钝角之分，这是由于当经纱呈锐角时，与之垂直的纬纱必呈钝角(成品织物为顺时针倾斜状态)，当纬纱呈锐角时，经纱必呈钝角(成品织物为逆时针倾斜状态)；而无论织物往哪一方向倾斜，均选取锐角作为倾斜矩形第一条边的倾角，则钝角作为与之垂直且相邻的第二条边的倾角。
44.具体的，如图3所示，从x-y直角坐标系原点o出发，沿锐角β方向建立倾斜矩阵的第一条边；再从点p出发沿钝角α方向建立第二条边；同理从点q出发沿β方向建立第三条边，最后从点r出发沿α方向建立第四条边。至此，四条边围成的倾斜矩阵abcd完成框选。
45.(3)构建抽象样本矩阵：通过均值法计算纹理单元尺寸，根据该纹理单元尺寸，将框选后的图像均等切割为子图像块，每个子图像块上包含整数倍的纹理单元；然后将每个子图像块中的像素点按行展开并连接成行向量，然后将所有子图像块的行向量依次按行排列成矩阵，构建得到抽象样本矩阵。
46.具体的，为便于理解，如图2所示，以织物在无倾斜状态下的抽象样本矩阵构建流程为例，图2中(a)～(d)依次表示：无倾斜织物图像的均等切割，子图像块，子图像块按行展开并连接成行向量，4个子图像块构成的抽象样本矩阵a4×8。更具体的：
47.(3-1)抽象特征模型定义
48.在常规的样本矩阵构建时，以具有q个特征维度的某种对象为例，假设有该种对象的p个样本。显然可用一个q维的行向量表示一个样本，则p个样本可用对应p个行向量组成的p行q列的样本矩阵a
p
×q表示。回到一幅矩形的内容为成品织物表面的图像，其无法直观地体现出含有q维特征的p个样本模型，但通过原图像的切割也能实现样本矩阵模型的描述；只是切割后的子图像块是以所有像素点按行展开并首尾相接排成同一个行向量作为其独有的高维特征属性而并不具有实际物理意义，即抽象特征，也因此称为抽象样本矩阵构建。
49.(3-2)织物图像均等切割
50.首先，必须均等切割。因只有相同尺寸的子图像块才具有相同个数的像素点，即具有相同个数的抽象特征；并且相同尺寸意味着相同形状大小，则各子图像块中同一几何位置的像素点才可能对应于同一种抽象特征属性。
51.其次，子图像块的高与宽必须分别为周期纹理单元的整数倍。因相同尺寸仅仅确保各像素点的几何位置一一对应。倘若子图像块的尺寸大小不及一个纹理单元，不但单个子图像块无法包含完整的纹理单元信息，即实际抽象特征个数未达标，而且其他子图像块与相邻块之间包含的纹理信息不再是简单的重复，导致即使是相同几何位置上的像素点，也并不对应于同一种特征属性。
52.在满足以上两大条件后，对于原织物图像的切割便无需严格要求第一个子图像块必须从纹理单元的起始点出发。即使先切割的子图像块有不完整的起始与结束，但其整数倍于纹理单元的尺寸使后切割的子图像块仍是前者的相同内容重复，只是原织物图像被子图像块尺寸未除尽的少量边缘行与列的像素点无法处理而闲置。而这一特点在织物图像采集时，对相机与织物的相对位置便无苛刻要求，具有友好的可操作性。
53.(3-3)抽象样本矩阵构建
54.完成切割后，每一个子图像块采用如前提及的规则，即第一行像素点不变，第二行的首个像素点紧跟首行末尾，随后第三、四以及剩余所有行均照此首尾相连；最终所有行的像素点合并成一个较长的行向量。而所有子图像块得到的较长行向量也依次按行排列成一个矩阵，即为所求抽象样本矩阵。需要注意的是，一个子图像块展开为一个较长的行向量，该行向量的维数，即所有像素点个数，正是描述子图像块的全部特征数，记为z，则z可视为z个坐标轴且互相具有较强相关性而需进行降维；至于每一个子图像块在各像素点位置上的像素值，其可依次视为在上述z个坐标轴上的坐标；因此，整个抽象样本矩阵相当于所有的
子图像块(设总块数记为l)作为l个抽象样本点分别在z个坐标轴上的坐标所构成的大小为l
×
z的坐标矩阵，记为a
l
×z。
55.步骤二、fast pca降噪：通过改进的主成分分析，即fast pca对抽象样本矩阵降噪并提高计算速度。具体包括：
56.对于抽象样本矩阵，其对应的协方差矩阵为：对于抽象样本矩阵，其对应的协方差矩阵为：其中，a为抽象样本矩阵，e(a)为对应的均值矩阵；将协方差矩阵σ正交对角化，得到小型协方差矩阵根据φ
l
×
l
求得抽象样本矩阵中所有特征值与特征向量，最后以85％特征值贡献率选取主成分个数以重构抽象样本矩阵实现降噪。
57.尽管利用经典的pca方法，即在主成分分析环节通过求解原协方差矩阵的所有特征值与特征向量并降序排列，已能够用于主成分的提取而实现降噪，但此过程中会面临协方差矩阵的维数灾难问题。而fast pca中，采用的小型协方差矩阵阵φ
l
×
l
与原协方差矩阵∑具有相同的非零特征值，而相应的特征向量也具有固定的等式关系，而构造的小型协方差矩阵可使降维求解的计算量大大减小，从而实现降噪预处理的计算加速效果。
58.步骤三、去除干扰完成缺陷检测：通过rpca法对重构抽象样本矩阵进行纹理背景分离，分离时以重构抽象样本矩阵作为初始低秩矩阵，从而得到包含缺陷信息的稀疏矩阵，进而得到缺陷前景图像；然后去除该缺陷前景图像中的表面粘连线，进而检测得到成品织物的表面缺陷。具体包括：
59.(1)基于rpca方法的纹理背景分离
60.鲁棒主成分分析rpca是将广义的降噪问题视为从被污染的矩阵d中分离出包含噪声的稀疏矩阵s，则剩余的便是低秩矩阵l。rpca在名称上与主成分分析pca方法相近，而事实上，经典的pca方法尽管通过协方差矩阵正交对角化并提取主成分进行降维重构实现了随机噪声的滤除，但pca的三大前提条件决定了其无法滤除严重离群的非高斯大噪声；rpca方法则是从另一个角度，通过拟低秩矩阵进行低秩与稀疏分解的方式解决了大噪声的滤除问题，从而避免了pca方法中的前提条件限制，扩展为广义上的降噪方法，或称为在降噪上具有更好的鲁棒性。
61.联系到织物图像的前背景分离问题：织物的周期性纹理单元在无缺陷、无干扰情况下可被视为低秩矩阵；而零星分布于纹理背景之上的缺陷及表面粘连线特征作为“大噪声”存在于前景图像中，则前景图像就可视为稀疏矩阵。因此，织物的缺陷检测问题恰好满足rpca方法中矩阵分解的条件，即表明rpca方法能够实现织物图像的纹理背景分离的功能。
62.如图4所示，具体包括以下步骤：
63.(1-1)拟低秩矩阵构建：pca中构建抽象样本矩阵的过程恰好与构建拟低秩矩阵的过程重合，从而可将步骤二中重构的抽象样本矩阵直接作为拟低秩矩阵(即初始低秩矩阵)使用，而初始稀疏矩阵选取0或其它均可。
64.(1-2)纹理背景与缺陷前景分离：rpca方法完成低秩矩阵与稀疏矩阵的分解实质上通过增广lagrange乘子法实现；而增广lagrange函数的寻优则利用软阈值算子实现，分
离得到包含缺陷信息的稀疏矩阵。分离低秩矩阵与稀疏矩阵即在效果上实现了纹理背景图像与包含缺陷特征及表面粘连线干扰特征的前景图像之间的分离，从而去除了第一类干扰信息纹理背景对缺陷检测的影响。
65.(1-3)缺陷前景图像重构：因分离所得前景图像尚为一个包含稀疏信息的抽象样本矩阵，还需进行几何图像恢复的重构操作；即对包含缺陷信息的稀疏矩阵执行构建抽象样本矩阵时的逆操作，获得视觉上可视化的缺陷前景图像。
66.(2)基于canny边缘检测与霍夫直线检测的缺陷分割
67.(2-1)通过canny边缘检测去除缺陷前景图像中的表面粘连线：已知织物表面的缺陷类型基本可概括为粗纱、漏纱、折边痕以及孔洞，其中粗纱、漏纱与折边痕整体上均属于线状缺陷，孔洞则属于不规则区域状缺陷，并且线状缺陷类型总是沿着经纱或纬纱方向，即与纱线走向相同。而表面粘连线是裁剪后的布料在缝制成衣过程中，随机粘连在织物表面的线头或多余的缝衣线等，尽管也具有线条状特征，但随机而无规则的分布使其往往不能呈现良好的直线度，即便如较短的线头等表现为相对较好的直线性，但也难以整体与纱线走向平行。尽管真正的目标是分割出线状及区域状的缺陷特征，但也可从反向角度实现，即首先提取表面粘连线特征，再从前景图像中去除该特征，则剩余的便是真实的缺陷特征。
68.如图5所示，具体包括以下步骤：
69.s1
→
s2：通过腐蚀操作实现表面粘连线为单像素曲线；
70.s2
→
s3：利用canny算子提取所有轮廓；
71.s4＝s2-s3：通过相减分割最终的缺陷特征，即缺陷图像中去除了表面粘连线，留下了经过腐蚀的线状缺陷以及孔洞缺陷。
72.(2-2)利用霍夫直线检测方法，若识别出图像s4中的直线特征，则发出警报用于缺陷位置打标并提示操作人员暂停以剔除缺陷织物，而区域状特征则默认警报。
73.采用上述方法进行成品织物的缺陷检测，图6为含孔洞缺陷的原单幅织物图像，图7为示fast pca降噪预处理后的可视化重构图像，实际上只重构为新的抽象样本矩阵以直接作为rpca方法所需的拟低秩矩阵，图8为rpca进行分离后的纹理背景图像，图9为前景图像中的目标孔洞缺陷特征。
74.本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。