基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法与流程

1.本发明涉及陶瓷砖检测技术领域，更具体地说，涉及一种基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法。


背景技术：

2.陶瓷产品自动化智能化检测已成为制约陶瓷制造产业升级的重大难题。传统的劳动密集型的陶瓷产业在智能制造、绿色发展的大潮下，机器人打磨抛光、施釉等工序已逐渐替代人工，甚至智能制造工厂亦不断涌现。目前瓷砖生产线各类设备已基本实现自动化生产，但瓷砖的检测工作仍未突破技术瓶颈，需依靠人工进行主观检测判断。
3.以智能化检测设备代替人工进行瓷砖分级分色检测是行业发展的必然。随着人民生活水平的提高，产品多样化、花色多样化、纹理复杂化等成为瓷砖产品发展方向，而且消费者对产品质量的要求也不断提高。人工瓷砖检测是一个高劳动强度、易于出错的环节，漏检现象不可避免发生，批次产品的一致性无法有效保证，同时招工困难的问题也日益凸显。
4.基于视觉的检测方法，是目前最火热的方法，大致可分两种，首先是基于视觉的图像处理传统方法，该方法主要是通过一些传统的图像处理方法来达到检测的目的，优点是适用的范围比较广，效果也比较好，但是在面对纹理复杂的瓷砖色差检测，采用传统图像处理的方法的效果就比较差。另一种是基于深度学习的方法，这种方法是近几年的研究热点，在各行各业中现已经能够看到它的身影，由于神经网络的特性，该方法能够完成比较复杂情况下的检测任务，不过该方法太过于依赖设备的性能，而且需要大量的训练数据来支撑起整个网络的性能，网络训练时间长，泛化能力差，针对某个产品的检测网络，在应用到其他产品上的时候就需要重新采集相应的数据重新训练网络权重才能达到一个较好的检测结果。


技术实现要素：

5.本发明的目的在于克服现有技术中的缺点与不足，提供一种基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法，该色差检测与分级方法准确可靠，并具有良好的泛化能力以及检测效果，同时可实现对具有色差的陶瓷砖进行有效和准确地智能化分级，从而有利于在陶瓷行业进行普及和推广。
6.为了达到上述目的，本发明通过下述技术方案予以实现：一种基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法，其特征在于：包括以下步骤：
7.第一步，分别将m个颜色等级的模板瓷砖图像以及待测瓷砖图像进行图像预处理；
8.第二步，采用canny边缘检测算子分别对预处理后的模板瓷砖图像以及待测瓷砖图像中的图像与背景进行分割，并去除背景；
9.第三步，将第二步分割后的模板瓷砖图像以及待测瓷砖图像输入训练好的u
‑
net3 网络，实现分别对模板瓷砖图像以及待测瓷砖图像中复杂纹理与瓷砖本体进行分割；
10.第四步，分别对分割好的模板瓷砖图像和待测瓷砖图像中的瓷砖本体进行特征点
检测；分别统计模板瓷砖图像的瓷砖本体以及待测瓷砖图像的瓷砖本体中所有特征点及以特征点为中心3*3的网格中，所有像素点的rgb颜色特征；
11.第五步，分别将统计得到的模板瓷砖和待测瓷砖的rgb颜色特征转换到cielab颜色空间，并分别计算各模板瓷砖和待测瓷砖在cielab颜色空间的均值；
12.第六步，设定阈值t
h
，利用ciede2000色差公式计算待检测瓷砖与各等级模板瓷砖的色差值δei，并进行分类：计算色差值的最小值δe＝min
0＜i≤m
δe
i
，若最小值δe小于或等于阈值t
h
时，则将待检测瓷砖的颜色分类归为求出最小值δe对应的模板瓷砖的颜色等级，否则将待测瓷砖归为次品。
13.在上述方案中，本发明的色差检测与分级方法可针对具有复杂纹理的陶瓷砖和以及普通的陶瓷砖进行色差检测，并具有良好的泛化能力以及检测效果。同时该方法可实现对具有色差的陶瓷砖进行有效和准确地智能化分级，从而有利于在陶瓷行业进行普及和推广。
14.第一步中，所述分别将m个颜色等级的模板瓷砖图像以及待测瓷砖图像进行图像预处理是指：分别对m个颜色等级的模板瓷砖图像以及待测瓷砖图像进行滤波操作，采用中值滤波方法滤除图像中的椒盐噪声，采用高斯滤波滤除摄像机温度升高引起的高斯噪声。
15.第二步中，由于采集到的瓷砖图像不仅包含瓷砖信息还含有背景信息，但是图像中背景的内容不是我们所关注的内容，而且背景所含的颜色信息会对整体检测结果产生影响，使结果误差变大，所以通过canny边缘检测算子，将瓷砖与背景分割开来。canny边缘检测算法基本流程是首先使用高斯滤波器进行滤波，以平滑图像滤除噪声，然后计算图像中每个像素点的梯度强度和方向，然后使用非极大值抑制消除边缘检测带来的杂散响应，最后用双阈值检测和连接分析来确定真实的和潜在的边缘。
16.第三步中，所述u
‑
net3 网络的训练步骤包括以下步骤：
17.步骤一，利用工业ssd相机采集各种种类的瓷砖数据集；
18.步骤二，使用labelme对采集到的瓷砖数据集进行标注，并进行数据增强，扩充数据集，以提高模型的鲁棒性和泛化能力；
19.步骤三，将第二步处理的数据集输入构建好的u
‑
net3 网络进行训练，并更新优化网络中的参数；
20.步骤四，检测u
‑
net3 网络性能是否达到要求：如果u
‑
net3 网络性能已经达到要求，则停止训练，得到模板瓷砖图像以及待测瓷砖图像中复杂纹理与瓷砖本体分割的网络；否则增加训练数据和训练的世代，继续对u
‑
net3 网络进行训练。
21.本发明利用训练好的u
‑
net3 网络分离复杂纹理和瓷砖本体，由于瓷砖复杂纹理及图案复杂纹理及图案对色差检测具有较大的干扰，通过u
‑
net3 网络分离出瓷砖中的复杂问题，减少纹理图案对色差检测结果的影响。u
‑
net3 采用了全尺度的跳跃连接结合了来自不同比例的特征图中的低级细节和高级语义，并采用深度监控从全尺度聚集特征图中学习分层表示，不仅提高了精度，还减少了网络参数量提高计算效率。
22.第四步中，采用fast算法分别对分割好的模板瓷砖图像和待测瓷砖图像中的瓷砖本体进行特征点检测，包括以下步骤：
23.步骤1，分别将分割好的模板瓷砖图像和待测瓷砖图像中的瓷砖本体转为灰度图；
24.步骤2，在灰度图中，以候选像素点p为中心，在半径为3个像素的圆上一共经过了
16个像素点，按顺时针方向编号为1到16；
25.步骤3，设定一个阈值t，如果16个像素点中有n个像素点与中心像素点p的灰度差的绝对值大于等于t，则判定该检测点为特征点；判定公式如下：
[0026][0027][0028]
其中，i
p
为待测中心点p的灰度值，i
x
表示中心点p周围编号1至16中点的灰度值，n取9或者12；
[0029]
步骤4，计算每个特征点的得分v值，并比较得分v值，保留得分v值最大对应的特征点，得到模板瓷砖图像以及待测瓷砖图像中瓷砖本体的所有特征点的位置信息；其中，得分v值为点p和其周围16个像素点的绝对偏差和。
[0030]
由于本发明的色差检测过程中只关注瓷砖图像特征点及其周围像素点的颜色信息，所以综合考虑检测速度和准确率因素，采用fast算法分别对前面得到分割好的待测瓷砖图像和不同等级的模板瓷砖图片进行特征点检测，fast算法是通过比较一个候选像素点周围的像素灰度来判定是否为特征点。
[0031]
第四步中，根据模板瓷砖图像以及待测瓷砖图像中瓷砖本体的所有特征点的位置信息，从瓷砖本体的rgb图像统计得到待测瓷砖和模板瓷砖中瓷砖本体的特征点及其3*3的网格所有像素点的颜色特征。
[0032]
第五步中，所述分别将统计得到的模板瓷砖和待测瓷砖的rgb颜色特征转换到cielab颜色空间，并分别计算各模板瓷砖和待测瓷砖在cielab颜色空间的均值是指：首先，计算m个颜色等级瓷砖及待测瓷砖在cielab颜色空间的l、a
*
和b
*
的值；然后分别将各颜色等级的模板瓷砖及待测瓷砖的l、a
*
和b
*
的值进行求和并除以总的像素个数得到均值，待测瓷砖和颜色等级为i的模板瓷砖在cielab颜色空间对应的l、a
*
和b
*
的值的均值分别为l0、和l
i
、、
[0033]
其中，m个颜色等级瓷砖及待测瓷砖在cielab颜色空间的l、a
*
和b
*
的值计算如下：
[0034]
将rgb颜色空间转换到cie1931xyz颜色空间计算出三基色的刺激值x、y、z，此变换为一个线性变换，通过一个3*3的矩阵m实现；变化公式如下：
[0035][0036]
其中，矩阵m的参数由ccd相机和光源的光学特性确定；
[0037]
根据得到的三基色的刺激值x、y、z，通过下列变换计算出cielab颜色空间的l、a
*
和b
*
的值：
[0038][0039]
f的函数如下：
[0040][0041]
其中，x
n
、y
n
、z
n
为标准照明体照射在完全漫反射体上，再经过完全漫反射反射到观察者严重的白色刺激的三刺激值。
[0042]
第六步中，将待测瓷砖和颜色等级为i的模板瓷砖在cielab颜色空间对应的l、a
*
和b
*
的值的均值l0、和l
i
、代入ciede2000色差公式，计算待检测瓷砖与各等级模板瓷砖的色差值δei。
[0043]
本发明还包括第七步，判断是否继续对其它的待检测瓷砖进行检测：若继续进行检测，则返回第一步，其中，m个颜色等级的模板瓷砖图像不需要重复第一步至第四步的处理；否则检测完毕。
[0044]
与现有技术相比，本发明具有如下优点与有益效果：本发明基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法准确可靠，并具有良好的泛化能力以及检测效果，同时可实现对具有色差的陶瓷砖进行有效和准确地智能化分级，从而有利于在陶瓷行业进行普及和推广。
附图说明
[0045]
图1是本发明基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法的流程图；
[0046]
图2是本发明方法中u
‑
net3 网络的训练流程图。
具体实施方式
[0047]
下面结合附图与具体实施方式对本发明作进一步详细的描述。
[0048]
实施例
[0049]
如图1所示，本发明基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法，其特征在于：包括以下步骤：
[0050]
第一步，分别将m个颜色等级的模板瓷砖图像以及待测瓷砖图像进行图像预处理；具体地说，分别对m个颜色等级的模板瓷砖图像以及待测瓷砖图像进行滤波操作，采用中值滤波方法滤除图像中的椒盐噪声，采用高斯滤波滤除摄像机温度升高引起的高斯噪声。
[0051]
第二步，采用canny边缘检测算子分别对预处理后的模板瓷砖图像以及待测瓷砖图像中的图像与背景进行分割，并去除背景。由于采集到的瓷砖图像不仅包含瓷砖信息还含有背景信息，但是图像中背景的内容不是我们所关注的内容，而且背景所含的颜色信息会对整体检测结果产生影响，使结果误差变大，所以通过canny边缘检测算子，将瓷砖与背
景分割开来。canny边缘检测算法基本流程是首先使用高斯滤波器进行滤波，以平滑图像滤除噪声，然后计算图像中每个像素点的梯度强度和方向，然后使用非极大值抑制消除边缘检测带来的杂散响应，最后用双阈值检测和连接分析来确定真实的和潜在的边缘。
[0052]
第三步，将第二步分割后的模板瓷砖图像以及待测瓷砖图像输入训练好的u
‑
net3 网络，实现分别对模板瓷砖图像以及待测瓷砖图像中复杂纹理与瓷砖本体进行分割。其中，u
‑
net3 网络的训练流程图如图2所示，训练步骤包括以下步骤：
[0053]
步骤一，利用工业ssd相机采集各种种类的瓷砖数据集；
[0054]
步骤二，使用labelme对采集到的瓷砖数据集进行标注，并进行数据增强，扩充数据集，以提高模型的鲁棒性和泛化能力；
[0055]
步骤三，将第二步处理的数据集输入构建好的u
‑
net3 网络进行训练，并更新优化网络中的参数；
[0056]
步骤四，检测u
‑
net3 网络性能是否达到要求：如果u
‑
net3 网络性能已经达到要求，则停止训练，得到模板瓷砖图像以及待测瓷砖图像中复杂纹理与瓷砖本体分割的网络；否则增加训练数据和训练的世代，继续对u
‑
net3 网络进行训练。
[0057]
第四步，分别对分割好的模板瓷砖图像和待测瓷砖图像中的瓷砖本体进行特征点检测；分别统计模板瓷砖图像的瓷砖本体以及待测瓷砖图像的瓷砖本体中所有特征点及以特征点为中心3*3的网格中，所有像素点的rgb颜色特征。
[0058]
第五步，分别将统计得到的模板瓷砖和待测瓷砖的rgb颜色特征转换到cielab颜色空间，并分别计算各模板瓷砖和待测瓷砖在cielab颜色空间的均值；
[0059]
第六步，设定阈值t
h
，利用ciede2000色差公式计算待检测瓷砖与各等级模板瓷砖的色差值δei，并进行分类：计算色差值的最小值δe＝min
0＜i≤m
δe
i
，若最小值δe小于或等于阈值t
h
时，则将待检测瓷砖的颜色分类归为求出最小值δe对应的模板瓷砖的颜色等级，否则将待测瓷砖归为次品。
[0060]
第七步，判断是否继续对其它的待检测瓷砖进行检测：若继续进行检测，则返回第一步，其中，m个颜色等级的模板瓷砖图像不需要重复第一步至第四步的处理；否则检测完毕。
[0061]
具体地说，本发明第四步中，采用fast算法分别对分割好的模板瓷砖图像和待测瓷砖图像中的瓷砖本体进行特征点检测，包括以下步骤：
[0062]
步骤1，分别将分割好的模板瓷砖图像和待测瓷砖图像中的瓷砖本体转为灰度图；
[0063]
步骤2，在灰度图中，以候选像素点p为中心，在半径为3个像素的圆上一共经过了16个像素点，按顺时针方向编号为1到16；
[0064]
步骤3，设定一个阈值t，如果16个像素点中有n个像素点与中心像素点p的灰度差的绝对值大于等于t，则判定该检测点为特征点；判定公式如下：
[0065][0066][0067]
其中，i
p
为待测中心点p的灰度值，i
x
表示中心点p周围编号1至16中点的灰度值，n取9或者12；
[0068]
步骤4，计算每个特征点的得分v值，并比较得分v值，保留得分v值最大对应的特征点，得到模板瓷砖图像以及待测瓷砖图像中瓷砖本体的所有特征点的位置信息；其中，得分v值为点p和其周围16个像素点的绝对偏差和。
[0069]
第四步的最后，根据模板瓷砖图像以及待测瓷砖图像中瓷砖本体的所有特征点的位置信息，从瓷砖本体的rgb图像统计得到待测瓷砖和模板瓷砖中瓷砖本体的特征点及其3*3的网格所有像素点的颜色特征。
[0070]
本发明第五步中，上述分别将统计得到的模板瓷砖和待测瓷砖的rgb颜色特征转换到cielab颜色空间，并分别计算各模板瓷砖和待测瓷砖在cielab颜色空间的均值是指：首先，计算m个颜色等级瓷砖及待测瓷砖在cielab颜色空间的l、a
*
和b
*
的值；然后分别将各颜色等级的模板瓷砖及待测瓷砖的l、a
*
和b
*
的值进行求和并除以总的像素个数得到均值，待测瓷砖和颜色等级为i的模板瓷砖在cielab颜色空间对应的l、a
*
和b
*
的值的均值分别为l0、和l
i
、
[0071]
其中，m个颜色等级瓷砖及待测瓷砖在cielab颜色空间的l、a
*
和b
*
的值计算如下：
[0072]
将rgb颜色空间转换到cie1931xyz颜色空间计算出三基色的刺激值x、y、z，此变换为一个线性变换，通过一个3*3的矩阵m实现；变化公式如下：
[0073][0074]
其中，矩阵m的参数由ccd相机和光源的光学特性确定；
[0075]
根据得到的三基色的刺激值x、y、z，通过下列变换计算出cielab颜色空间的l、a
*
和b
*
的值：
[0076][0077]
f的函数如下：
[0078][0079]
其中，x
n
、y
n
、z
n
为标准照明体照射在完全漫反射体上，再经过完全漫反射反射到观察者严重的白色刺激的三刺激值。
[0080]
本发明第六步中，将待测瓷砖和颜色等级为i的模板瓷砖在cielab颜色空间对应的l、a
*
和b
*
的值的均值l0、和l
i
、代入ciede2000色差公式，计算待检测瓷砖与各等级模板瓷砖的色差值δei，该ciede2000色差公式为现有的计算公式，具体计算过程为：
[0081]
根据第五步求得的待测瓷砖和各模板瓷砖在cielab颜色空间的均值l0、、和
l
i
、利用ciede2000色差公式计算待测瓷砖与颜色等级为i的模板瓷砖之间的色差δe
i
，色差公式如下：
[0082][0083]
其中，计算过程及各参数的意义为：
[0084]
<1>计算a
′
,c
′
,h
′
[0085][0086]
其中它表示cie1976lab颜色空间的a
*
轴的调整因子，是彩度的函数；是需要计算的两个颜色的的算数平均值。将第五步求得的待测瓷砖和各模板瓷砖在cielab颜色空间的均值l0、和l
i
、、分别代入上式，可求得待测瓷砖的参数l
′
s
,a
′
s
,b
′
s
,c
′
ab,s
,h
′
ab,s
，以及模板瓷砖的参数l
′
b
,a
′
b
,b
′
b
,c
′
ab,b
,h
′
ab,b
。
[0087]
<2>计算δl
′
、δc
ab
′
、δh
ab
′
[0088]
δl
′
、δc
ab
′
、δh
ab
′
分别表示明度差、彩度差和色相差，计算公式如下
[0089]
δl
′
＝l
′
b
‑
l
′
s
[0090]
δc
ab
′
＝c
′
ab,b
‑
c
′
ab,s
[0091][0092]
式中的下标s和b分别表示要计算色差的一对颜色中模板瓷砖色和待测瓷砖色，下同。其中，δh
′
ab
＝h
′
ab,b
‑
h
′
ab,s
。
[0093]
<3>计算s
l
、s
c
、s
h
，以及r
t
和r
c
[0094]
s
l
、s
c
和s
h
称为权重函数，定义了椭圆半轴的长度，允许在cielab颜色空间中根据区域的不同进行各自的调整，以及校正该空间的均匀性。
[0095][0096][0097][0098]
式中
[0099]
计算时角度和弧度的相互转换。
[0100]
r
t
＝
‑
sin(2δθ)
×
r
c
[0101]
其中它是由色调决定的旋转角；
[0102]
它是根据彩度变化的旋转幅度。
[0103]
<4>选择合适的校正系数k
l
、k
c
和k
h
[0104]
在cie给定的标准观测条件下，kl＝kc＝kh＝1。在条件不符合时，则要根据工业色差评估条件来确定这些数值。
[0105]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。