一种瓷砖的瑕疵检测与识别方法及系统与流程

技术特征：
1.一种瓷砖的瑕疵检测与识别方法，其特征在于，首先获取瓷砖模板图片和生产线上的瓷砖瑕疵图片及其位置与类别信息；将获取的信息输送到预先构建的基于深度学习的瓷砖瑕疵检测与识别网络，训练网络，得到训练好的瓷砖瑕疵检测与识别网络参数；所述瓷砖瑕疵检测与识别网络采用分支型网络结构，其中左部是特征提取网络，中部是特征融合网络，右部是瑕疵检测网络；所述特征提取网络用于提取当前数据集中的图像特征，获得深层图像特征与浅层图像特征；所述特征融合网络用于将特征提取网络提取到的深层图像特征与浅层图像特征进行融合，同时利用浅层图像特征的位置信息与深层图像特征的语义信息，建构图像特征金字塔，获得瑕疵图像特征；所述瑕疵检测网络用于对瓷砖图像特征进行瑕疵分类预测和瑕疵位置预测，获得最终瑕疵检测结果；使用工业摄像头获取从生产线上采集的瓷砖图片，并输入到训练好的瓷砖瑕疵检测与识别网络，判断当前瓷砖图片是否存在瑕疵以及如果存在瑕疵则输出瑕疵的位置与类别信息。2.根据权利要求1所述的一种瓷砖的瑕疵检测与识别方法，其特征在于，所述获取生产线上的瓷砖瑕疵图片及其位置与类别信息的过程为：采集生产线上的瓷砖瑕疵图片，对瓷砖瑕疵图片进行筛选过滤，去除无效瓷砖瑕疵图片，标注瓷砖瑕疵的位置信息以及瓷砖瑕疵的类别信息；所述无效瓷砖瑕疵图片包括瓷砖错位图片、瓷砖缺失图片和瓷砖种类错误图片。3.根据权利要求1所述的一种瓷砖的瑕疵检测与识别方法，其特征在于，所述瓷砖瑕疵检测与识别网络的特征提取网络由四个卷积计算单元串联叠加而成，其中每个卷积计算单元包括卷积层、最大池化层和批量归一化层；所述特征融合网络由自底向上的链路、自顶向下的链路和横向连接的旁路三部分组成，所述自底向上的链路用于使用每个稳定图像尺度输出层输出的图像特征作构建图像特征金字塔，所述稳定图像尺度输出层为自底向上的链路中存在的不改变输入特征图尺寸的层级；所述自顶向下的链路用于将具有更多语义信息的深层图像特征图通过双线性插值进行采样将高层图像特征图变为和前一层图像特征尺度一样大小的图像特征；所述横向连接的旁路将上述不同层次的图像特征融合，并添加1
×
1卷积；所述瑕疵检测网络由区域候选框网络和分类器组成，其中分类器使用两层全连接层，并额外使用1
×
1卷积和空间随机选取技术spatial dropout。4.根据权利要求1所述的一种瓷砖的瑕疵检测与识别方法，其特征在于，所述得到训练好的瓷砖瑕疵检测与识别网络参数的过程为：初始化瓷砖瑕疵检测与识别网络参数；对瓷砖模板图片和瓷砖瑕疵图片及其位置与类别信息进行预处理，所述预处理指对瓷砖模板图片和瓷砖瑕疵图片使用随机图像裁切算法；将预处理后的瓷砖模板图片和瓷砖瑕疵图片及其位置与类别信息输入到瓷砖瑕疵检测与识别网络中，获得图像特征；对图像特征进行下采样以及特征融合；之后对瓷砖瑕疵图片的类别以及位置信息进行逻辑回归预测，得到预测结果；根据真实数据标注与预测结果使用侧重损失函数focal loss计算整体网络损失，整体网络损失包括初步提取框的位置损失、最终预测瑕疵框的位置损失以及最终预测瑕疵框的
分类损失，根据损失值使用反向传播算法和梯度下降算法依次更新网络参数，不断重复以上过程，直到迭代轮数达到预设的轮数，训练结束；保存训练好的瓷砖瑕疵检测与识别网络。5.根据权利要求1所述的一种瓷砖的瑕疵检测与识别方法，其特征在于，所述判断当前瓷砖图片是否存在瑕疵以及如果存在瑕疵则输出瑕疵的位置与类别信息的过程为：读取保存的瓷砖瑕疵检测与识别网络，实时输入从生产线上采集的瓷砖图片并对图片进行噪声过滤、对比度调整处理操作；将处理后的图片输入到瓷砖瑕疵检测与识别网络，利用训练好的网络参数，使用瓷砖瑕疵检测与识别网络判断当前图片是否存在瑕疵以及如果存在瑕疵则输出瑕疵的位置与类别信息。6.一种瓷砖的瑕疵检测与识别系统，其特征在于，包括训练信息获取模块、网络参数训练模块和检测与识别结果处理模块；所述训练信息获取模块，用于获取真实场景下的瓷砖瑕疵图片及其位置与类别信息；所述网络参数训练模块，用于将获取的信息输送到预先构建的基于深度学习的瓷砖瑕疵检测与识别网络，训练网络，得到训练好的瓷砖瑕疵检测与识别网络参数；所述检测与识别结果处理模块，用于获取从生产线上采集的瓷砖生产图片信息，并输入到训练好的瓷砖瑕疵检测与识别网络，判断当前图片是否存在瑕疵以及如果存在瑕疵则输出瑕疵的位置与类别信息。7.根据权利要求6所述的一种瓷砖的瑕疵检测与识别系统，其特征在于，所述训练信息获取模块包括采集模块、处理模块和标注模块；所述采集模块，用于使用工业摄像头采集真实场景下的瓷砖瑕疵图片；所述处理模块，用于对采集的瓷砖瑕疵图片进行筛选过滤，去除无效图片；所述标注模块，用于对处理后的瓷砖瑕疵图片进行瑕疵的位置信息以及瑕疵的类别信息标注。8.根据权利要求6所述的一种瓷砖的瑕疵检测与识别系统，其特征在于，所述网络参数训练模块包括初始化模块、预处理模块、逻辑回归预测模块和循环训练模块；所述初始化模块，用于初始化瓷砖瑕疵检测与识别网络参数；所述预处理模块，用于对瓷砖瑕疵图片及其位置与类别信息进行预处理，所述预处理指对瓷砖瑕疵图片使用随机图像裁切算法；所述逻辑回归预测模块，用于将预处理后的瓷砖瑕疵图片信息输入到瓷砖瑕疵检测与识别网络中，得到特征图，对特征图进行下采样以及特征融合，之后对瓷砖瑕疵图片的类别以及位置信息进行逻辑回归预测，得到预测结果；所述循环训练模块，用于根据真实数据标注与预测数据使用侧重损失函数focal loss计算整体网络损失，根据损失值使用反向传播算法和梯度下降算法依次更新网络参数，不断重复以上过程，直到达到预设的轮数，训练结束，保存训练好的瓷砖瑕疵检测与识别网络参数。9.根据权利要求6所述的一种瓷砖的瑕疵检测与识别系统，其特征在于，所述检测与识别结果处理模块包括读取模块、预处理操作模块和结果获取模块；所述读取模块，用于读取保存的瓷砖瑕疵检测与识别网络参数；
所述预处理操作模块，用于实时输入从生产线上采集的瓷砖生产图片并对图像进行噪声过滤、对比度调整处理操作；所述结果获取模块，用于将预处理后的图片输入到读取的瓷砖瑕疵检测与识别网络，利用读取的网络，判断当前图片是否存在瑕疵以及如果存在瑕疵则输出瑕疵的位置与类别信息。

技术总结
本发明公开了一种瓷砖瑕疵检测与识别方法及系统，获取真实场景下瓷砖瑕疵图片及其位置与类别信息；将获取的信息输送到预先构建的基于深度学习的瓷砖瑕疵检测与识别网络训练网络，得到训练好的瓷砖瑕疵检测与识别网络参数，将训练好的瓷砖瑕疵检测识别网络参数加载到人工预先设计好的基于深度学习的瓷砖瑕疵检测与识别神经网络当中；获取从生产线上采集的瓷砖图片信息，并输入到训练好的瓷砖瑕疵检测与识别网络，判断当前瓷砖是否存在瑕疵以及如果存在瑕疵，那么输出瓷砖瑕疵的位置与类别信息。优点：提高了瓷砖瑕疵检测与识别的速度、准确率和鲁棒性。准确率和鲁棒性。准确率和鲁棒性。


技术研发人员：周嵩 钟圣宗 赵锐
受保护的技术使用者：南京和光智能制造研究院有限公司 南京拓思智能科技有限公司
技术研发日：2021.07.13
技术公布日：2021/11/9