一种玻璃缺陷智能检测方法与流程

1.本发明涉及图像处理技术领域，具体涉及一种玻璃缺陷智能检测方法。


背景技术：

2.玻璃是工业领域和民用领域重要的材料之一，其是否存在缺陷直接决定了玻璃制品是否合格。在瓶罐玻璃制品生产过程中，因为各种外界影响会导致玻璃制品产生缺陷，其中，玻璃的条纹缺陷是一种常见的缺陷，它也是影响产品内在与外观质量的主要缺陷之一。
3.由于玻璃的反光和透明特性会影响缺陷检测的精确度，目前，常见的对玻璃进行缺陷检测的方法为仪器检测，通过偏光显微镜对条纹应力和折射指数进行测定，进而得到缺陷条纹。但这种缺陷检测方法的检测效率较低，其往往是对玻璃进行抽检。


技术实现要素：

4.为了解决上述技术问题，本发明的目的在于提供一种玻璃缺陷智能检测方法，所采用的技术方案具体如下：采集玻璃图像，预处理所述玻璃图像得到阈值分割图像，获取所述阈值分割图像对应的多个目标连通域；所述目标连通域内数量最多的灰度级和目标连通域的内部像素点的第一灰度级均值的比值为灰度级相似性；根据所述灰度级相似性从多个目标连通域中选出待选连通域；对所述待选连通域进行分割，得到多条分割中线，由所述分割中线的中间点坐标计算连通域的弯曲程度；计算所述中间点至待选连通域边界的距离作为连通域宽度，得到宽度差值序列；所述宽度差值序列中相同符号的数值的占比为待选连通域的尾刺率；根据所述第一灰度级均值和待选连通域对应的所有像素点的第二灰度级均值得到内外差异性；所述内外差异性和所述尾刺率的乘积为条纹率；由所述条纹率和所述弯曲程度构建二元组；根据所述二元组从多个待选连通域中选取出条纹缺陷连通域。
5.优选的，所述预处理所述玻璃图像得到阈值分割图像，获取所述阈值分割图像对应的多个目标连通域，包括：对所述玻璃图像进行语义分割得到掩膜图像，所述掩膜图像和所述玻璃图像相乘得到目标图像；对所述目标图像进行直方图均衡化得到梯度图像，对所述梯度图像进行连通域分析得到多个目标连通域；使所述梯度图像转化为灰度图像，构建各目标连通域的灰度序列，多阈值分割所述灰度序列得到多个灰度级；计算每个灰度级内的灰度均值，将灰度级内的灰度值更新为对应的灰度均值，得到阈值分割图像；所述目标连通域作为阈值分割图像对应的多个目标
连通域。
6.优选的，所述根据所述灰度级相似性从多个目标连通域中选出待选连通域，包括：保留灰度相似性大于预设相似性阈值的目标连通域作为待选连通域。
7.优选的，所述对所述待选连通域进行分割，得到多条分割中线，包括：获取所述待选连通域的连通域主方向，由所述连通域主方向和连通域中心点作连通域中线，得到连通域中线和待选连通域的交点；所述待选连通域的边界线由所述交点分割为两段，得到两条边界分割线；均匀分割所述边界分割线，得到多个分割点，对每条边界分割线对应的多个分割点进行标号；连接所述边界分割线中标号相同的分割点得到多条分割中线。
8.优选的，所述获取所述待选连通域的连通域主方向，包括：获取所述待选连通域内各点坐标；利用主成分分析算法获取待选连通域的连通域主方向。
9.优选的，所述由所述分割中线的中间点坐标计算连通域的弯曲程度，包括：获取所述分割中线的中间点以及中间点坐标，构建中间点坐标序列；所述中间点坐标序列的标准差和均值的比值得到对应的连通域的弯曲程度。
10.优选的，所述计算所述中间点至待选连通域边界的距离作为连通域宽度，包括：获取所述待选连通域的连通域次方向；沿着所述连通域次方向，计算分割中线的中间点至待选连通域边界的距离作为连通域宽度。
11.优选的，所述根据所述第一灰度级均值和待选连通域对应的所有像素点的第二灰度级均值得到内外差异性，包括：所述第一灰度级均值和所述第二灰度级均值的差值为内外差异性。
12.优选的，所述目标连通域的内部像素点为：除了目标连通域的连通域边界外的其他像素点为所述目标连通域的内部像素点。
13.本发明实施例至少具有如下有益效果：本发明实施例利用图像处理，对采集到的玻璃图像预处理得到阈值分割图像和对应的目标连通域；得到的阈值分割图像削弱了光照或者其他外界因素对玻璃图像的影响。根据目标连通域内各像素点对应的灰度级计算目标连通域的灰度级相似性，根据该灰度级相似性对目标连通域进行第一次筛选得到待选连通域，筛选后的待选连通域是条纹缺陷连通域的概率较大。计算待选连通域的连通域宽度，得到宽度差值序列，宽度差值序列中相同符号的数值的占比为待选连通域的尾刺率，由于缺陷纹理通常有尾刺，故根据连通域的宽窄程度得到待选连通域的尾刺率，尾刺率越大，该待选连通域是条纹缺陷连通域的概率越大。根据待选连通域的灰度级计算待选连通域的内外差异性，内外差异性和尾刺率的乘积为条纹率。由条纹率和弯曲程度构建二元组，根据二元组从多个待选连通域中选取出条纹缺陷连通域。本发明实施例根据连通域的灰度级相似性、弯曲程度和尾刺率进一步区分出了缺陷纹理，通过对采集的玻璃图像进行分析，进一步提升了玻璃缺陷检测的准确性和检测效率。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
15.图1为本发明一个实施例所提供的一种玻璃缺陷智能检测方法的方法流程图；图2为本发明一个实施例所提供的对玻璃图像进行预处理得到阈值分割图像的步骤流程图；图3为本发明一个实施例所提供的计算待选连通域的弯曲程度的步骤流程图。
具体实施方式
16.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种玻璃缺陷智能检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
17.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
18.本发明实施例提供了一种玻璃缺陷智能检测方法的具体实施方法，该方法适用于玻璃缺陷检测场景。将玻璃放置于传送带上，传送带的正上方布置一个rgb相机用于采集玻璃图像。该rgb相机得到的是俯视的玻璃图像，该rgb相机的光轴垂直于传送带。为了解决采用仪器检测玻璃缺陷，该缺陷检测的方法效率较低，且由于玻璃反光和透明的特性，使得缺陷检测的准确性较低的问题。本发明实施例通过采集玻璃图像，对玻璃图像进行后续检测，根据得到的灰度级相似性、弯曲程度和尾刺率进一步区分出了缺陷纹理，达到了提升玻璃缺陷检测的准确性和效率的目的。
19.下面结合附图具体的说明本发明所提供的一种玻璃缺陷智能检测方法的具体方案。
20.请参阅图1，其示出了本发明一个实施例提供的一种玻璃缺陷智能检测方法的步骤流程图，该方法包括以下步骤：步骤s100，采集玻璃图像，预处理玻璃图像得到阈值分割图像，获取阈值分割图像对应的多个目标连通域。
21.利用rgb相机采集玻璃图像。
22.请参阅图2，对采集到的玻璃图像进行预处理得到阈值分割图像的步骤，具体的：步骤s110，对玻璃图像进行语义分割得到掩膜图像，掩膜图像和玻璃图像相乘得到目标图像。
23.利用dnn语义分割网络来识别玻璃图像中的玻璃，该语义分割网络的数据集为俯视采集的玻璃图像数据集，玻璃的样式多种多样的。该玻璃图像中玻璃部分的像素点标注为1，非玻璃部分，即背景部分的像素点标注为0。在本发明实施例中语义分割网络为交叉熵损失函数，在其他实施例中实施者可根据实际情况选择其他的损失函数。
24.通过语义分割得到掩膜图像，该掩膜图像与玻璃图像相乘得到目标图像，该目标图像为仅含有玻璃的图像，不再有背景的干扰。
25.步骤s120，对目标图像进行直方图均衡化得到梯度图像，对梯度图像进行连通域分析得到多个目标连通域。
26.直方图均衡化的目的是增加图像的对比度，削弱光照或者其他外界因素对目标图像的影响。
27.直方图均衡化的步骤，具体的：统计目标图像对应的直方图中每个灰度值出现的次数。通过累计分布函数对每个灰度值出现的次数进行归一化，得到归一化后的直方图，更新原始目标图像中的各像素点的像素值。
28.利用sobel算子获取直方图均衡化后得到的梯度图像的梯度方向和梯度幅值。设第p个像素点梯度幅值为，梯度方向为。对梯度幅值图像进行阈值分割，得到分割后的二值图像。通过八连通域分析得到二值图像中的多个目标连通域，也即得到了梯度图像中的多个目标连通域。
29.步骤s130，使梯度图像转化为灰度图像，构建各目标连通域的灰度序列，多阈值分割灰度序列得到多个灰度级；计算每个灰度级内的灰度均值，将灰度级内的灰度值更新为对应的灰度均值，得到阈值分割图像。
30.将梯度图像转化为灰度图像，该梯度图像为rgb图像。
31.基于灰度图像，获取各目标连通域的灰度值，构建灰度序列。对灰度序列进行多阈值分割得到多个不同的灰度级，在本发明实施例中利用费歇尔准则对灰度序列进行多阈值分割。
32.计算每个灰度级内的灰度值的灰度均值，将灰度级内的灰度值更新为对应的灰度均值，得到阈值分割图像。该多阈值分割的目的是削弱光照不均匀的影响，使得灰度相近的像素值成为同一个灰度级，从而得到了阈值分割图像。
33.步骤s120得到的目标连通域仍作为阈值分割图像对应的多个目标连通域，对阈值分割图像对应的目标连通域进行后续处理，该目标连通域的大小范围仍为梯度图像中的多个目标连通域的大小，但目标连通域内的各像素点的灰度值为阈值分割图像对应的更新后灰度值。
34.步骤s200，目标连通域内数量最多的灰度级和目标连通域的内部像素点的第一灰度级均值的比值为灰度级相似性；根据灰度级相似性从多个目标连通域中选出待选连通域。
35.由于在玻璃生产的过程中，生产玻璃工厂的环境一般较为复杂且噪声多，可能会导致采集到的玻璃图像中含有噪声，对应的得到的阈值分割图像的目标连通域中也有可能存在有噪声或者有由其他因素而产生的连通域。缺陷纹理通常会破坏玻璃的灰度均匀性，如对缺陷进行连通域分析后得到的条纹状的条纹缺陷连通域来说，条纹连通域内部的灰度值比较相似，其对应的灰度级相似性较大，同时连通域内外的灰度级差异较大。因此可以通过计算连通域内部的灰度级相似性和连通域内外的灰度级差异对连通域进行筛选。
36.由于玻璃生产过程中可能还存在其他缺陷，则导致目标连通域内的灰度级可能不止一个，通过计算目标连通域内数量最多的灰度级和目标连通域的内部像素对应的第一灰度级均值的比值，得到目标连通域的灰度级相似性。需要说明的是，除了目标连通域的连通
域边界外的其他像素点为目标连通域的内部像素点。
37.根据灰度级相似性从多个目标连通域中选出待选连通域。具体的：保留灰度相似性大于预设相似性阈值的目标连通域作为待选连通域。在本发明实施例中预设相似性阈值为9/10，在其他实施例中实施者可根据实际情况调整该阈值。
38.步骤s300，对待选连通域进行分割，得到多条分割中线，由分割中线的中间点坐标计算连通域的弯曲程度。
39.玻璃生产过程中产生的条纹缺陷大部分呈现弯曲条状和扭曲线状。
40.请参阅图3，计算待选连通域的弯曲程度的步骤，具体的：步骤s310，对待选连通域进行分割，得到多条分割中线。
41.对待选连通域进行主成分分析，具体的：获取待选连通域内各点坐标。利用主成分分析算法获得各点的主成分方向，由于连通域内每个点都是二维的，因此可以获得两个主成分方向，每个主成分方向都是一个二维的单位向量，每个主成分方向对应一个特征值。选取特征值最大的主成分方向，将其称为连通域主方向；获取特征值最小的主成分方向，将其称为待选连通域的连通域次方向。
42.确定各待选连通域的中心点，由待选连通域的连通域主方向和连通域的中心点作连通域中线，得到连通域中线和待选连通域的两个交点，该两个交点也即连通域中线的两个端点。得到交点之后，该待选连通域的边界线被两个交点分割成两段，得到了两条边界分割线。需要说明的是该两条边界分割线合起来即为待选连通域的完整的边界线。
43.将两条边界分割线分别记为a和b，均匀分割该边界分割线a和边界分割线b，如将边界分割线a和边界分割线b均分为n份，得到多个分割点，对每条边界分割线对应的多个分割点进行标号，则边界分割线a对应的n个分割点和边界分割线b对应的n个分割点。
44.连接边界分割线中标号相同的分割点得到多条分割中线，如分割点和分割点，分割点和分割点等为标号相同的分割点，连接分割点和分割点得到分割中线，连接分割点和分割点得到分割中线。
45.步骤s320，由分割中线的中间点坐标计算连通域的弯曲程度。
46.获取多个分割中线的中间点以及对应的中间点坐标，构建中间点坐标序列。
47.中间点坐标序列的标准差和均值的比值得到对应的连通域的弯曲程度。具体的：该中间点坐标序列包括为横坐标序列和纵坐标序列。计算横坐标序列的标准差和均值的比值得到第一弯曲程度；计算纵坐标序列的标准差的均值的比值得到第二弯曲程度。从第一弯曲程度和第二弯曲程度中选取值最大的作为对应的连通域的弯曲程度。
48.步骤s400，计算中间点至待选连通域边界的距离作为连通域宽度，得到宽度差值序列；宽度差值序列中相同符号的数值的占比为待选连通域的尾刺率。
49.由于缺陷条纹一般拖有长尾巴，且缺陷条纹的末端带有尾刺。可以通过连通域的分割中线的宽窄变化情况来得到缺陷条纹的尾刺率。
50.根据步骤s310的方法，获取待选连通域的连通域次方向。
51.沿着连通域次方向，计算分割中线的中间点至待选连通域边界的距离作为连通域宽度。如果连通域宽度是一个递增或者递减的序列，那么对应的尾刺率越大。
52.构建宽度差值序列，通过判断宽度差值序列的符号，得到对应的尾刺率。具体的：
获取宽度差值序列中相同符号的最大数量，该宽度差值序列中相同符号的数值的占比为待选连通域的尾刺率。如宽度差值序列中正号有97个，负号有3个，宽度差值序列内元素的总数量为100个，则宽度差值序列中相同符号的最大数量为97，则对应的尾刺率则为97/100。
53.相同符号的数值的占比越大，则对应的尾刺率越大；尾刺率越大，该待选连通域为条纹缺陷连通域的概率越大。
54.步骤s500，根据第一灰度级均值和待选连通域对应的所有像素点的第二灰度级均值得到内外差异性；内外差异性和尾刺率的乘积为条纹率。
55.计算待选连通域的内部像素点的灰度值的第一灰度级均值。计算待选连通域的所有像素点的灰度值的第二灰度级均值。
56.该第一灰度级均值和第二灰度级均值的差值为待选连通域的内外差异性。
57.该内外差异性越大，对应的待选连通域为条纹缺陷连通域的概率越大。
58.尾刺率越大，对应的待选连通域为条纹缺陷连通域的概率越大；内外差异性越大，对应的待选连通域为条纹缺陷连通域的概率也越大。通过尾刺率和内外差异性对待选连通域进行进一步筛选。
59.对内外差异性进行归一化。
60.尾刺率和归一化后的内外差异性相乘得到条纹率。
61.该条纹率越大，则对应的待选连通域为条纹缺陷连通域的概率越大。
62.步骤s600，由条纹率和弯曲程度构建二元组；根据二元组从多个待选连通域中选取出条纹缺陷连通域。
63.根据条纹率和步骤s300得到的弯曲程度构建二元组[p,x]，其中，p为条纹率；x为弯曲程度。
[0064]
该弯曲程度越大，则对应的待选连通域为条纹缺陷连通域的概率越大。
[0065]
基于二元组，首先保留条纹率大于预设条纹率阈值的第一待选连通域；进一步的，根据弯曲程度进行对各第一待选连通域对应的二元组进行升序排列，得到二元组序列，即弯曲程度越大的第一待选连通域对应的二元组在二元组序列中排列的越靠前。在本发明实施例中，预设条纹率阈值为9/10。
[0066]
选取该二元组序列中前10%的第一待选连通域作为条纹缺陷连通域。
[0067]
获得条纹缺陷连通域后，对条纹缺陷连通域的位置进行标注，即得到玻璃图像中各条纹缺陷连通域的位置。
[0068]
综上所述，本发明实施例利用图像处理，对采集到的玻璃图像预处理得到阈值分割图像和对应的目标连通域。根据目标连通域内各像素点对应的灰度级计算目标连通域的灰度级相似性，根据该灰度级相似性对目标连通域进行第一次筛选得到待选连通域。对待选连通域进行分割，得到多条分割中线，由分割中线的中间点坐标计算待选连通域的弯曲程度，并计算中间点至待选连通域边界的距离作为连通域宽度，得到宽度差值序列。宽度差值序列中相同符号的数值的占比为待选连通域的尾刺率。根据待选连通域的灰度级计算待选连通域的内外差异性，内外差异性和尾刺率的乘积为条纹率。由条纹率和弯曲程度构建二元组，根据二元组从多个待选连通域中选取出条纹缺陷连通域。本发明实施例根据连通域的灰度级相似性、弯曲程度和尾刺率进一步区分出了缺陷纹理，通过对采集的玻璃图像进行分析，进一步提升了玻璃缺陷检测的准确性和效率。
[0069]
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0070]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。