一种瓷砖的瑕疵检测与识别方法及系统与流程

1.本发明属于瓷砖的瑕疵检测与识别技术领域，特别涉及一种瓷砖的瑕疵检测与识别方法及系统。


背景技术：

2.在传统的瓷砖生产环节中需要大量的人工，比如原料采购、检测、配料、间歇式球磨、进出窑机、喷釉印花、质检分选、打包入库等，每一个环节都需要大量的熟练操作人员。在企业生产旺季或者需求量大的时候，需要大量员工连续工作，保证岗位24小时都有人。近年来，瓷砖企业开始使用全自动化生产线，从生产到装配完成一站式工作。打包、上砖、下砖、捡砖、码垛等作业重复性高、劳动强度大的岗位大多数企业都已开始实现自动化，尤其是喷墨打印的广泛应用，使以往的花釉制备、印花等工序用工数量大为减少。瓷砖的自动化生产是一种先进的生产方式，其具有“快速、并行、高效”的特点。自动化生产的瓷砖其产品结构和生产工艺相对稳定，瓷砖制造过程能划分为打包、上砖、下砖、捡砖、码垛等多道工序，且能根据工序时序化把某些工序适当合并与分解来提高生产效益。自动化生产的瓷砖生产产量大，单位时间的资源利用高。但自动化生产的生产工序内时段很快，工序和工序之间的间隔更快，因此对算法的时间复杂度提出了更高的要求。
3.传统的瓷砖瑕疵检测与识别技术主要采取人工设计特征来对瓷砖的瑕疵进行瑕疵检测识别。首先获取瓷砖图像，然后使用人工设计的滤波算子计算求得图像中瓷砖瑕疵的特征点，接着通过基于滑动窗口的穷举搜索方法或者基于图像区域相似度的选择性搜索来计算瓷砖的瑕疵区域位置和瑕疵类别信息。传统的瓷砖瑕疵检测识别方法速度慢、准确率低和鲁棒性差，特别在真实的复杂场景中，这些缺点更加明显。


技术实现要素：

4.本发明所要解决的技术问题是克服现有的瓷砖瑕疵检测与识别技术使用人工设计特征，识别准确率低、速度慢，不能满足高精度实时识别的要求的缺陷，提供一种快速、准确且鲁棒的瓷砖瑕疵检测与识别方法及系统。
5.为解决上述技术问题，本发明第一方面提供了一种瓷砖的瑕疵检测与识别方法，包括：
6.获取瓷砖模板图片和生产线上的瓷砖瑕疵图片及其位置与类别信息；
7.将获取的信息输送到预先构建的基于深度学习的瓷砖瑕疵检测与识别网络，训练网络，得到训练好的瓷砖瑕疵检测与识别网络参数；所述瓷砖瑕疵检测与识别网络采用分支型网络结构，其中左部是特征提取网络，中部是特征融合网络，右部是瑕疵检测网络；所述特征提取网络用于提取当前数据集中的图像特征，获得深层图像特征与浅层图像特征；所述特征融合网络用于将特征提取网络提取到的深层图像特征与浅层图像特征进行融合，同时利用浅层图像特征的位置信息与深层图像特征的语义信息，建构图像特征金字塔，获得瑕疵图像特征；所述瑕疵检测网络用于对瓷砖图像特征进行瑕疵分类预测和瑕疵位置预
测，获得最终瑕疵检测结果；
8.使用工业摄像头获取从生产线上采集的瓷砖图片，并输入到训练好的瓷砖瑕疵检测与识别网络，判断当前瓷砖图片是否存在瑕疵以及如果存在瑕疵则输出瑕疵的位置与类别信息。
9.结合第一方面，进一步的，为了获取更准确的训练数据，所述获取生产线上的瓷砖瑕疵图片及其位置与类别信息的过程为：
10.采集生产线上真实场景下的瓷砖瑕疵图片，对瓷砖瑕疵图片进行筛选过滤，去除无效图片，标注瑕疵的位置信息以及瑕疵的类别信息；所述无效瓷砖瑕疵图片包括瓷砖错位图片、瓷砖缺失图片和瓷砖种类错误图片。
11.结合第一方面，进一步的，所述瓷砖瑕疵检测与识别网络的特征提取网络由四个卷积计算单元串联叠加而成，其中每个卷积计算单元包括卷积层、最大池化层和批量归一化层，四个串联叠加的卷积计算单元使得瓷砖瑕疵检测与识别网络的尺度大，整体网络深度变深；该种网络结构可以更好的适应图像分辨率高的图像，可以提高模型对瓷砖图像的图像特征的提取能力。
12.所述特征融合网络由自底向上的链路、自顶向下的链路和横向连接的旁路三部分组成，所述自底向上的链路用于使用每个稳定图像尺度输出层输出的图像特征作构建图像特征金字塔，所述稳定图像尺度输出层为自底向上的链路中存在的不改变输入特征图尺寸的层级；所述自顶向下的链路用于将具有更多语义信息的深层图像特征图通过双线性插值进行采样将高层图像特征图变为和前一层图像特征尺度一样大小的图像特征；所述横向连接的旁路将上述不同层次的图像特征融合，并添加1
×
1卷积，这样做的好处是可以降低网络的参数，节省网络整体计算量；
13.该种网络结构将不同层次的瓷砖瑕疵图像特征融合到一起，同时利用瓷砖瑕疵图像中包含位置信息的浅层特征与瓷砖瑕疵图像中包含语义信息深层特征，建构图像特征金字塔，使用混合图像特征来进行瓷砖瑕疵检测，提升了瓷砖瑕疵检测的效果。
14.所述瑕疵检测网络由区域候选框网络和分类器组成，其中分类器使用两层全连接层，并额外使用1
×
1卷积和空间随机选取技术spatial dropout。
15.该种网络结构可以使得在训练过程中瓷砖瑕疵的位置信息与类别信息互相影响增益训练效果，预测时若存在瓷砖瑕疵则将瑕疵的位置信息与类别信息分别运算加快计算速度。
16.结合第一方面，进一步的，为了获取更准确的网络参数，所述得到训练好的瓷砖瑕疵检测与识别网络参数的过程为：
17.初始化瓷砖瑕疵检测与识别网络参数；
18.对瓷砖模板图片和瓷砖瑕疵图片及其位置与类别信息进行预处理，所述预处理指对瓷砖模板图片和瓷砖瑕疵图片使用随机图像裁切算法；由于瓷砖图像分辨率较高，模型单次学习直接使用原图像会消耗大量的硬件资源并且学习效率不高，而随机图像裁切算法在将原来高分辨率的图像切分为几个分辨率较低的图像同时保证原来的图像瑕疵标注目标不被切分。这样不仅仅提高了硬件资源的使用效率，也进一步对原有的瑕疵数据集进行了数据扩充，还不会影响模型结果的准确率。同时随机图像裁切算法也是一个弱化图像数据噪声与增加模型学习图像特征稳定性的方法；
19.然后将预处理后的瓷砖模板图片和瓷砖瑕疵图片信息输入到瓷砖瑕疵检测与识别网络中，获得图像特征，对图像特征进行下采样以及特征融合，之后对瓷砖瑕疵图片的类别以及位置信息进行逻辑回归预测，得到预测结果；
20.再根据真实数据标注与预测结果使用侧重损失函数focal loss计算整体网络损失，整体网络损失包括初步提取框的位置损失、最终预测瑕疵框的位置损失以及最终预测瑕疵框的分类损失，根据损失值使用反向传播算法和梯度下降算法依次更新网络参数，不断重复以上过程，直到达到预设的轮数，训练结束；
21.保存训练好的瓷砖瑕疵检测与识别网络参数。
22.结合第一方面，进一步的，为了获取更准确的结果，所述判断当前瓷砖图片是否存在瑕疵以及如果存在瑕疵则输出瑕疵的位置与类别信息的过程为：
23.读取保存的瓷砖瑕疵检测与识别网络参数，实时输入从自动化生产线上采集的瓷砖图片并对图像进行噪声过滤、对比度调整预处理操作；
24.将预处理后的图片输入到读取的瓷砖瑕疵检测与识别网络，利用读取的网络，判断当前图片是否存在瑕疵以及如果存在瑕疵则输出瑕疵的位置与类别信息。
25.第二方面，提供了一种瓷砖的瑕疵检测与识别系统，包括训练信息获取模块、网络框架和网络参数训练模块和检测与识别结果处理模块；
26.所述训练信息获取模块，用于获取真实场景下的瓷砖瑕疵图片及其位置与类别信息；
27.所述网络参数训练模块，用于将获取的信息输送到预先构建的基于深度学习的瓷砖瑕疵检测与识别网络，训练网络，得到训练好的瓷砖瑕疵检测与识别网络参数；
28.所述检测与识别结果处理模块，用于获取从自动化生产线上采集的瓷砖生产图片信息，并输入到训练好的瓷砖瑕疵检测与识别网络，判断当前图片是否存在瑕疵以及如果存在瑕疵则输出瑕疵的位置与类别信息。
29.结合第二方面，进一步的，所述训练信息获取模块包括采集模块、处理模块和标注模块；
30.所述采集模块，用于使用工业摄像头采集真实场景下的瓷砖瑕疵图片；
31.所述处理模块，用于对采集的瓷砖瑕疵图片进行筛选过滤，去除无效图片；
32.所述标注模块，用于对处理后的瓷砖瑕疵图片进行瑕疵的位置信息以及瑕疵的类别信息标注。
33.结合第二方面，进一步的，所述网络参数训练模块包括初始化模块、预处理模块、逻辑回归预测模块和循环训练模块；
34.所述初始化模块，用于初始化瓷砖瑕疵检测与识别网络参数；
35.所述预处理模块，用于对瓷砖瑕疵图片及其位置与类别信息进行预处理，所述预处理指对瓷砖瑕疵图片使用随机图像裁切算法；
36.所述逻辑回归预测模块，用于然后将预处理后的瓷砖瑕疵图片信息输入到瓷砖瑕疵检测与识别网络中，得到特征图，对特征图进行下采样以及特征融合，之后对瓷砖瑕疵图片的类别以及位置信息进行逻辑回归预测，得到预测数据；
37.所述循环训练模块，用于根据真实数据标注与预测数据使用侧重损失函数focal loss计算整体网络损失，根据损失值使用反向传播算法和梯度下降算法依次更新网络参
数，不断重复以上过程，直到达到预设的轮数，训练结束，保存训练好的瓷砖瑕疵检测与识别训练模型络参数。
38.结合第二方面，进一步的，所述检测与识别结果处理模块包括读取模块、预处理操作模块和结果获取模块；
39.所述读取模块，用于读取保存的瓷砖瑕疵检测与识别网络参数；
40.所述预处理操作模块，用于实时输入从自动化生产线上采集的瓷砖生产图片并对图像进行噪声过滤、对比度调整预处理操作；
41.所述结果获取模块，用于将预处理后的图片输入到读取的瓷砖瑕疵检测与识别网络，利用读取的网络，判断当前图片是否存在瑕疵以及如果存在瑕疵则输出瑕疵的位置与类别信息。
42.本发明所达到的有益效果：
43.本发明通过使用构建真实场景下的瓷砖瑕疵检测与识别数据集对预先设计好的基于深度学习的瓷砖瑕疵检测与识别神经网络进行训练，得到基于深度学习的瓷砖瑕疵检测与识别网络参数，从而使得瓷砖瑕疵检测与识别神经网络可以判断当前瓷砖是否存在瑕疵以及存在的瑕疵的位置与类别信息，提高了瓷砖的瑕疵检测与识别的速度、准确率和鲁棒性。
附图说明
44.下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
45.图1a为采集到的瓷砖瑕疵图片；
46.图1b为对应瓷砖瑕疵图片的标注信息；
47.图2为本技术实施例提供的基于深度学习的瓷砖瑕疵检测与识别网络结构图；
48.图3为本技术实施例提供的基于深度学习的瓷砖瑕疵检测与识别算法训练流程图；
49.图4为本技术实施例提供的基于深度学习的瓷砖瑕疵检测与识别算法预测流程图；
50.图5为本技术实施例提供的基于深度学习的瓷砖瑕疵检测与识别算法预测效果图。
具体实施方式
51.为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
52.下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
53.本发明第一实施例公开一种瓷砖的瑕疵检测与识别方法，包括：
54.获取瓷砖模板图片和生产线上的瓷砖瑕疵图片及其位置与类别信息；
55.将获取的信息输送到预先构建的基于深度学习的瓷砖瑕疵检测与识别网络，训练网络，得到训练好的瓷砖瑕疵检测与识别网络参数；所述瓷砖瑕疵检测与识别网络采用分支型网络结构，其中左部是特征提取网络，中部是特征融合网络，右部是瑕疵检测网络；所述特征提取网络用于提取当前数据集中的图像特征，获得深层图像特征与浅层图像特征；所述特征融合网络用于将特征提取网络提取到的深层图像特征与浅层图像特征进行融合，同时利用浅层图像特征的位置信息与深层图像特征的语义信息，建构图像特征金字塔，获得瑕疵图像特征；所述瑕疵检测网络用于对瓷砖图像特征进行瑕疵分类预测和瑕疵位置预测，获得最终瑕疵检测结果；
56.使用工业摄像头获取从生产线上采集的瓷砖图片，并输入到训练好的瓷砖瑕疵检测与识别网络，判断当前瓷砖图片是否存在瑕疵以及如果存在瑕疵则输出瑕疵的位置与类别信息。
57.第一实施例中，所述获取生产线上的瓷砖瑕疵图片及其位置与类别信息的过程为：
58.采集生产线上的瓷砖瑕疵图片，对瓷砖瑕疵图片进行筛选过滤，去除无效瓷砖瑕疵图片，标注瓷砖瑕疵的位置信息以及瓷砖瑕疵的类别信息；所述无效瓷砖瑕疵图片包括瓷砖错位图片、瓷砖缺失图片和瓷砖种类错误图片。
59.图1a和1b为基于深度学习的瓷砖瑕疵检测与识别数据标注信息。对于采集到的瓷砖图片，如图1a，瓷砖的瑕疵标注信息由2部分组成，第一部分
‘
defect_name’和
‘
defect_id’为瑕疵所属类别；共有6类
‘
defect_name’分别为：边异常、角异常、白色点瑕疵、浅色块瑕疵、深色点块瑕疵和光圈瑕疵对应为
‘
defect_id’为：1、2、3、4、5、6。第二部分
‘
bbox’是由4组数字{x1,y1,x2,y2}组成，是瑕疵的位置信息，其中x1表示瑕疵的x轴最小坐标，其中y1表示瑕疵的y轴最小坐标，其中x2表示瑕疵的x轴最大坐标，其中y2表示瑕疵的y轴最大坐标，；图1b即为对应的标注信息，其由瑕疵类别信息和瑕疵位置信息{x1,y1,x2,y2}组成。
60.第一实施例中，如图2所示为基于深度学习的瓷砖瑕疵检测与识别网络结构图，所述瓷砖瑕疵检测与识别网络的特征提取网络由四个卷积计算单元串联叠加而成，其中每个卷积计算单元包括卷积层、最大池化层和批量归一化层；
61.所述特征融合网络由自底向上的链路、自顶向下的链路和横向连接的旁路三部分组成，所述自底向上的链路用于使用每个稳定图像尺度输出层输出的图像特征作构建图像特征金字塔，所述稳定图像尺度输出层为自底向上的链路中存在的不改变输入特征图尺寸的层级；所述自顶向下的链路用于将具有更多语义信息的深层图像特征图通过双线性插值进行采样将高层图像特征图变为和前一层图像特征尺度一样大小的图像特征；所述横向连接的旁路将上述不同层次的图像特征融合，并添加1
×
1卷积；
62.所述瑕疵检测网络由区域候选框网络和分类器组成，其中分类器使用两层全连接层，并额外使用1
×
1卷积和空间随机选取技术spatial dropout。
63.表1为基于深度学习的瓷砖瑕疵检测与识别网络结构。其中特征提取网络包括四层卷积残差模块；特征融合网络包括四层特征融合模块；瑕疵检测网络的分类器包括两层全连接模块。
64.表1
[0065][0066][0067]
第一实施例中，如图3所示为基于深度学习的瓷砖瑕疵检测与识别算法训练流程图。训练过程描述如下：在训练开始时，首先对瓷砖瑕疵检测与识别网络结构参数进行初始化；
[0068]
将瓷砖模板图片和瓷砖瑕疵图片及其位置与类别标记信息输入，然后对瓷砖图片进行预处理，所述预处理指对瓷砖模板图片和瓷砖瑕疵图片使用随机图像裁切算法，包括随机旋转、随机裁剪、添加噪声和标准化；
[0069]
然后将预处理后的瓷砖模板图片和瓷砖瑕疵图片及其位置与类别信息输入到瓷砖瑕疵检测与识别网络中，获得图像特征；对图像特征进行下采样以及特征融合，之后对瑕疵的类别以及位置信息进行逻辑回归预测，得到预测结果；
[0070]
再根据真实数据标注与预测数据使用侧重损失函数focal loss计算整体网络损失，整体网络损失包括初步提取框的位置损失、最终预测瑕疵框的位置损失以及最终预测瑕疵框的分类损失，根据损失值使用反向传播算法和梯度下降算法依次更新检测网络参数。不断重复以上过程，直到达到预设的轮数，训练结束，保存检测网络参数。
[0071]
第一实施例中，如图4所示为基于深度学习的瓷砖瑕疵检测与识别算法预测流程图。预测过程描述如下：在预测开始时，首先将训练好的瓷砖瑕疵检测与识别网络结构参数加载到设计好的瓷砖瑕疵检测与识别网络模型当中；
[0072]
然后从自动化生产线上实时获取的瓷砖图片并对图片进行噪声过滤、对比度调整处理操作；
[0073]
将处理后的图片输入到瓷砖瑕疵检测与识别网络中，然后瓷砖瑕疵检测与识别网络模型输出图片检测结果，若存在瑕疵，则会输出瑕疵的具体类别与具体位置信息。
[0074]
图5所示为本发明实施的基于深度学习的瓷砖瑕疵检测与识别算法预测效果图，其中白色矩形框为瓷砖的瑕疵检测与识别网络预测的瑕疵位置；白色文字3为瓷砖瑕疵检
测与识别网络预测的瓷砖的瑕疵类别信息，为白色点瑕疵。
[0075]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0076]
本发明第二实施例公开一种瓷砖的瑕疵检测与识别系统，包括训练信息获取模块、网络框架和网络参数训练模块和检测与识别结果处理模块；
[0077]
所述训练信息获取模块，用于获取真实场景下的瓷砖瑕疵图片及其位置与类别信息；
[0078]
所述网络参数训练模块，用于将获取的信息输送到预先构建的基于深度学习的瓷砖瑕疵检测与识别网络训练网络，得到训练好的瓷砖瑕疵检测与识别网络参数；
[0079]
所述检测与识别结果处理模块，用于获取从自动化生产线采集的瓷砖生产图片信息，并输入到训练好的瓷砖瑕疵检测与识别网络，判断当前图片是否存在瑕疵以及如果存在瑕疵则输出瑕疵的位置与类别信息。
[0080]
第二实施例中，所述训练信息获取模块包括采集模块、处理模块和标注模块；
[0081]
所述采集模块，用于使用工业摄像头采集真实场景下的瓷砖瑕疵图片；
[0082]
所述处理模块，用于对采集的瓷砖瑕疵图片进行筛选过滤，去除无效图片；
[0083]
所述标注模块，用于对处理后的瓷砖瑕疵图片进行瑕疵的位置信息以及瑕疵的类别信息标注。
[0084]
第二实施例中，所述网络框架和网络参数训练模块包括初始化模块、预处理模块、逻辑回归预测模块和循环训练模块；
[0085]
所述初始化模块，用于初始化瓷砖瑕疵检测与识别网络参数；
[0086]
所述预处理模块，用于对瓷砖瑕疵图片及其位置与类别信息进行预处理，所述预处理指对瓷砖瑕疵图片使用随机图像裁切算法；
[0087]
所述逻辑回归预测模块，用于然后将预处理后的瓷砖瑕疵图片信息输入到瓷砖瑕疵检测与识别网络中，得到特征图，对特征图进行下采样以及特征融合，之后对瓷砖瑕疵图片的类别以及位置信息进行逻辑回归预测，得到预测数据；
[0088]
所述循环训练模块，用于根据真实数据标注与预测数据使用侧重损失函数focal loss计算整体网络损失，根据损失值使用反向传播算法和梯度下降算法依次更新网络参数，不断重复以上过程，直到达到预设的轮数，训练结束，保存训练好的瓷砖瑕疵检测与识别网络参数。
[0089]
第二实施例中，所述检测与识别结果处理模块包括读取模块、预处理操作模块和结果获取模块；
[0090]
所述读取模块，用于读取保存的瓷砖瑕疵检测与识别网络参数；
[0091]
所述预处理操作模块，用于实时输入从自动化生产线上采集的瓷砖生产图片并对图像进行噪声过滤、对比度调整预处理操作；
[0092]
所述结果获取模块，用于将预处理后的图片输入到读取的瓷砖瑕疵检测与识别网络，利用读取的网络，判断当前图片是否存在瑕疵以及如果存在瑕疵则输出瑕疵的位置与
类别信息。
[0093]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0094]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0095]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0096]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的得同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0097]
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。