一种基于机器视觉的布匹缺陷标注方法及系统与流程

1.本发明涉及人工智能技术领域，具体涉及一种基于机器视觉的布匹缺陷标注方法及系统。


背景技术：

2.纺织工业是我国国民经济的支柱产业，纺织工业与钢铁、汽车、船舶、石化、轻化工、有色金属、装备制造业、电子信息及物流业等产业一起，是我国主要的产业构成。在纺织品生产过程中，布匹表面缺陷将直接影响到布匹的等级，是影响布匹质量的关键因素，而不同等级的布匹的价格也相差很大，因此布匹瑕疵检测在纺织品质量控制方面显得尤为重要。
3.现有的对布匹检测大部分由人工检测完成，依赖于工作人员的经验和熟练程度，但对布匹缺陷进行检查是一种十分乏味的工作，因而经常会产生误检或者漏检，极大地消耗劳动力，并且检测效率和准确率都较低。


技术实现要素：

4.为了解决上述技术问题，本发明的目的在于提供一种基于机器视觉的布匹缺陷标注方法及系统，所采用的技术方案具体如下：第一方面，本发明一个实施例提供了一种基于机器视觉的布匹缺陷标注方法，该方法包括以下步骤：获取布匹的表面图像，所述表面图像包括布匹的纹理；对所述表面图像进行灰度化处理得到灰度图像，根据所述灰度图像得到包含边缘信息的频域图像；根据所述频域图像获取所述灰度图像中纹理的周期方向和纹理方向；获取所述灰度图像在所述周期方向和所述纹理方向对应的灰度共生矩阵；根据所述灰度共生矩阵获取每组像素点对出现的频数，所述频数大于预设阈值时对应的每组像素点对为一个纹理单元；获取每个所述纹理单元在所述周期方向和所述纹理方向对应的共生游程矩阵，根据所述灰度共生矩阵和所述共生游程矩阵获取异常纹理单元，对所述异常纹理单元所在方向进行遍历获取中断像素点对，根据所述中断像素点对获取缺陷像素点。
5.优选的，所述灰度图像通过傅里叶变化得到对应的所述频域图像。
6.优选的，所述纹理方向与所述周期方向垂直。
7.优选的，所述根据所述灰度共生矩阵和所述共生游程矩阵获取异常纹理单元的步骤，包括：根据所述灰度共生矩阵中获取每个所述纹理单元的频数，根据所述频数对所述纹理单元进行排序得到纹理单元序列；根据所述共生游程矩阵获取所述纹理单元序列中每个元素的最大游程构成最大游程序列，根据所述最大游程序列内元素之间的差值获取所述异常纹理单元。
8.优选的，所述根据所述最大游程序列内元素之间的差值获取所述异常纹理单元的步骤，包括：当所述纹理单元序列为升序排列时，则所述最大游程序列对应为递增序列；当所述最大游程序列中相邻元素之间的差值小于零时，所述差值对应的两个所述纹理单元为异常纹理单元。
9.优选的，所述根据所述中断像素点对获取缺陷像素点的步骤包括:当所述中断像素点对不是所述纹理单元时，所述中断像素点为所述缺陷像素点。
10.第二方面，本发明另一个实施例提供了一种基于机器视觉的布匹缺陷标注系统，该系统包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述方法的步骤。
11.本发明具有如下有益效果：通过获取布匹表面的灰度图像，获取该灰度图像中纹理的周期方向和纹理方向，沿着该灰度图像的周期方向和纹理方向构建对应的灰度共生矩阵，根据该灰度共生矩阵获取频数较大的纹理单元；进而获取每个纹理单元在周期方向和纹理方向的共生游程矩阵，根据频数较大的纹理单元进行共生游程矩阵的计算，减少了灰度图像中本身存在的噪声点的影响，根据共生游程矩阵和灰度共生矩阵结合得到纹理单元中存在异常的异常纹理单元，对异常纹理单元进一步分析，得到中断该异常纹理单元连续性的中断像素点对，根据该中断像素点对获取缺陷像素点。利用共生游程矩阵寻找缺陷像素点的方法提高了对布匹缺陷检测的准确性，也提高了检测的效率。
附图说明
12.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
13.图1为本发明一个实施例所提供的一种基于机器视觉的布匹缺陷标注的方法流程图。
具体实施方式
14.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于机器视觉的布匹缺陷标注方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
15.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
16.本发明实施例适用与对表面纹理存在周期性规律的布匹的缺陷进行标记的场景，为了解决人工对布匹缺陷检测的不准确的问题，本发明实施例利用布匹表面的灰度图像，得到对应的频域图像，进一步获取该灰度图像中纹理的周期方向和纹理方向，沿着周期方向和纹理方向构建对应的灰度共生矩阵，从而获取频数较大的纹理单元，构建每个纹理单
元的共生游程矩阵，根据共生游程矩阵和灰度共生矩阵得到异常纹理单元，进一步得到缺陷像素点。减少了图像本身噪声点的影响，提高了对布匹缺陷检测的准确性和效率。
17.下面结合附图具体的说明本发明所提供的一种基于机器视觉的布匹缺陷标注方法及系统的具体方案。
18.请参阅图1，其示出了本发明一个实施例提供的一种基于机器视觉的布匹缺陷标注的方法流程图，该方法包括以下步骤：步骤s100，获取布匹的表面图像，表面图像包括布匹的纹理。
19.在纺织品生产过程中，布匹表面的缺陷会直接影响到布匹的质量，因此需要对完成后的每个布匹是否存在缺陷进行检测。本发明实施例中以俯视视角布置相机对布匹进行图像采集，获取每个布匹的初始图像，其中该初始图像包括布匹的完整区域以及布匹上所有的纹理特征。
20.进一步的，对初始图像进行处理，避免布匹之外的背景像素对后续分析造成干扰；将该初始图像输入语义分割网络，网络结构为编码器-解码器，具体训练过程如下：（1）语义分割网络的输入为初始图像；（2）人为对初始图像进行标注，将布匹区域像素点标注为1，其他区域像素点标注为0；（3）语义分割网络的输出为语义分割图；（4）损失函数采用交叉熵损失函数。
21.将获取到的语义分割图作为掩膜图像与原初始图像相乘，得到布匹的表面图像，该表面图像去除了背景像素点的干扰，只包含布匹区域及其布匹上的所有纹理特征。
22.步骤s200，对表面图像进行灰度化处理得到灰度图像，根据灰度图像得到包含边缘信息的频域图像；根据频域图像获取灰度图像中纹理的周期方向和纹理方向。
23.由步骤s100中获取到布匹的表面图像，获取该表面图像在rgb三个通道的分量值进行灰度化处理，得到该表面图像对应的灰度图像。灰度化处理的方法为：其中，表示灰度图像；表示红色通道值；表示绿色通道值；表示蓝色通道值；表示红色通道值的权值；表示绿色通道值的权值；表示蓝色通道值的权值。
24.作为优选，本发明实施例中根据经验取值，，。
25.进一步的，本发明实施例中对获取到的灰度图像进行傅里叶变换，得到该灰度图像对应的频域图像，然后对该频域图像中的高频信息进行筛选，本发明实施例中利用butterworth高通滤波器对频域图像中的高频信息进行筛选保留，再次通过傅里叶反变换得到只存在高频信息的灰度图像。
26.需要说明的是，频域图像中的高频信息表示的是灰度值突变的部分，也即灰度图像中的所有边界线和疑似布匹缺陷的部分。
27.由于布匹的纹理特征具有周期性，因此对布匹的灰度图像中的周期变化的方向进行分析，具体的：对上述高通滤波之后的频域图像进一步分析，在二维傅里叶变换中，空间域横向的周期变化会反映在对应频谱图中的横轴上；而空间域纵向的周期变化会反映在频谱图中
的纵轴上；空间域中东南方向的周期变化会反映在频谱图的东南方向，反之亦然。
28.对频域图像中每个像素点的灰度值进行归一化，通过将所有的像素点灰度值除以255得到每个像素点对应的归一化值；频率域中像素点的亮度表示该频率的振幅大小，每个像素纹理对应一个频率值；振幅越大说明对应纹理像素点出现的次数越多。对于布匹的图像来说，周期纹理出现的次数越大，在频率域中对应点的亮度越大，本发明实施例中将亮度较大的点对应的归一化值作为霍夫直线检测中投票值中的权重值。通过对每条直线上像素点的归一化值进行统计加和得到统计值，将统计值最大的直线方向作为高频信息的主方向，该主方向即为布匹灰度图像中纹理的周期方向。
29.进一步的，本发明实施例中将垂直于周期方向的方向记为纹理方向，即获取到该布匹的灰度图像中纹理的周期方向和纹理方向。
30.步骤s300，获取灰度图像在周期方向和纹理方向对应的灰度共生矩阵；根据灰度共生矩阵获取每组像素点对出现的频数，频数大于预设阈值时对应的每组像素点对为一个纹理单元。
31.为了降低后续的计算量，本发明实施例对灰度图像中的灰度值进行多阈值分割，得到不同的灰度级，本发明实施例中根据费歇尔准则，利用类间方差最大，类内方差最小的原则对灰度图像的灰度值进行分割。具体的：将该灰度图像中灰度值接近的像素点归为一类，计算每一类中像素点对应的灰度值的均值，将该灰度值的均值赋予对应类别中所有像素点的灰度值。即将灰度图像根据灰度值划为k类，对应k个灰度级。
32.由步骤s200中获取到该灰度图像中纹理的周期方向和纹理方向，则基于周期方向和纹理方向构建该灰度图像的灰度共生矩阵，灰度共生矩阵的大小为k
×
k，用于表示不同灰度级构成的像素点对出现的频数。
33.需要说明的是，由于构建灰度共生矩阵的标准方向一般为0
°
、45
°
、90
°
以及135
°
；若该灰度图像对应的周期方向和纹理方向不属于这四个方向的任意一个方向，则计算该周期方向与标准方向之间的差值，差值最小时对应的标准方向为周期方向最接近的方向，基于相同的原理，获取与纹理方向最接近的标准方向；以获取到的最接近的两个标准方向作为灰度共生矩阵的构建方向。
34.进一步的，本发明实施例中通过大津阈值法对灰度共生矩阵中的像素点对进行分割，选取频数大于预设阈值时对应的像素点对为纹理单元，即通过该灰度共生矩阵获取多个纹理单元，每个纹理单元描述的是像素点的四邻域范围内的纹理特征。
35.步骤s400，获取每个纹理单元在周期方向和纹理方向对应的共生游程矩阵，根据灰度共生矩阵和共生游程矩阵获取异常纹理单元，对异常纹理单元所在方向进行遍历获取中断像素点对，根据中断像素点对获取缺陷像素点。
36.由步骤s300中获取到多个纹理单元，进一步基于构建灰度共生矩阵的周期方向和纹理方向，得到每个纹理单元对应的共生游程矩阵。传统的共生游程矩阵是用于计算图像中单个像素的游程，但是往往会受到噪声的干扰，即便图像中像素点原本的色彩值相同，但在光照等噪声的影响下容易导致该图像中的灰度值存在较大差异。本发明实施例中以灰度共生矩阵得到的纹理单元来作为共生游程矩阵的处理对象，得到的共生游程矩阵在减少噪声影响的同时，能够更大范围内的体现图像的纹理情况。
37.根据灰度共生矩阵中获取每个纹理单元的频数，根据频数对纹理单元进行排序得
到纹理单元序列；根据共生游程矩阵获取纹理单元序列中每个元素的最大游程构成最大游程序列，根据最大游程序列内元素之间的差值获取异常纹理单元。
38.具体的，分别获取周期方向上所有纹理单元的共生游程矩阵和纹理方向上所有纹理单元的共生游程矩阵，根据灰度共生矩阵和共生游程矩阵的统计结果综合判断。根据灰度共生矩阵中每个纹理单元出现的频数对纹理单元进行升序排列，纹理单元出现的频数越多则该纹理单元连续出现的频率越大，即对应到共生游程矩阵中的最大游程越长，该最大游程表示的为每个纹理单元连续出现的最长的长度；因此可以根据纹理单元所对应的最大游程序列之间元素的差值，判断可能存在缺陷的异常纹理单元。
39.当纹理单元序列为升序排列时，则最大游程序列对应为递增序列；当最大游程序列中相邻元素之间的差值小于零时，差值对应的两个纹理单元为异常纹理单元。
40.作为一个优选实施例，假设根据灰度共生矩阵中出现的频数对纹理单元排序的升序序列为：；每个纹理单元所对应的最大游程组成的序列为；因此最大游程序列中元素之间的差值为，则此时对应的纹理单元的最大游程长度之间出现异常，因此对纹理单元进行后续的判断。
41.进一步的，获取到所有存在异常的异常纹理单元，沿着该异常纹理单元对应的方向进行遍历，得到异常纹理单元所在区域的连续情况以及中断该异常纹理单元连续性的中断像素点对，判断该中断像素点对是否属于纹理单元，若该中断像素点对不是纹理单元，则该中断像素点对被标记为缺陷像素点。
42.综上所述，本发明实施例中通过获取布匹表面的灰度图像，将该灰度图像变换为频域图像，进一步根据频域图像获取该灰度图像中纹理的周期方向和纹理方向，沿着该灰度图像的周期方向和纹理方向构建对应的灰度共生矩阵，根据该灰度共生矩阵获取频数较大的纹理单元；进而获取每个纹理单元在周期方向和纹理方向的共生游程矩阵，根据共生游程矩阵和灰度共生矩阵结合得到纹理单元中存在异常的异常纹理单元，对异常纹理单元进一步分析，得到中断该异常纹理单元连续性的中断像素点对，判断该中断像素点对是否为纹理单元，若该中断像素点对不是纹理单元，则该中断像素点对为缺陷像素点。根据频数较大的纹理单元进行共生游程矩阵的计算，减少了灰度图像中本身存在的噪声点的影响，利用共生游程矩阵寻找缺陷像素点的方法提高了对布匹缺陷检测的准确性，也提高了检测的效率。
43.基于与上述方法实施例相同的发明构思，本发明实施例还提供了一种基于机器视觉的布匹缺陷标注系统，该系统包括：处理器、存储器以及存储在所述存储器中并可在处理器上运行的计算机程序。处理器执行所述计算机程序时实现上述一种基于机器视觉的布匹缺陷标注方法实施例中的步骤，例如图1所示的步骤。该一种基于机器视觉的布匹缺陷标注方法在上述实施例中已经详细说明，不再赘述。
44.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者
可能是有利的。
45.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
46.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。