一种基于机器视觉的滑板车显示屏缺陷检测方法及其系统与流程

1.本发明属于图像处理技术领域，涉及一种基于机器视觉的滑板车显示屏缺陷检测方法及其系统。


背景技术：

2.电动滑板车仪表为液晶显示屏，字体为led液晶数字，屏幕显示的常见缺陷有：断线、漏线、亮度显示不均匀等。目前滑板车生产线中的缺陷检测单元大多依靠人工来完成，存在着工作量大、漏检率高、误判性强、受主观影响等多种问题。
3.随着机器视觉技术的快速发展，近年来被广泛应用于缺陷检测领域，针对显示屏缺陷常见的检测方式有：字体特征匹配、卷积神经网络训练缺陷样本等。
4.现有技术存在以下缺点：
5.1.现有的特征匹配算法如sift、surf都存在运算量大、时间过长等问题；
6.2.卷积神经网络需要采集大量缺陷训练，而滑板车显示屏出现缺陷的概率较小，无法获得大量缺陷样本。


技术实现要素：

7.本发明的目的是提供一种基于机器视觉的滑板车显示屏缺陷检测方法及其系统，解决了滑板车显示屏缺陷检测的技术问题。
8.为实现上述目的，本发明采用如下技术方案：
9.一种基于机器视觉的滑板车显示屏缺陷检测方法，包括如下步骤：
10.步骤1：视觉检测装置采集滑板车显示屏的图像，生成原始图像，并传送给图像分割显示模块，图像分割显示模块对原始图像进行预处理和倾斜度矫正，生成处理后图像，然后对处理后图像进行目标区域提取，生成目标区域图像；
11.步骤2：图像分割显示模块采用形态学处理方法和连通域分析方法，对目标区域图像进行分割，得到目标区域图像中的字符图像；
12.步骤3：图像分割显示模块采用bp神经网络训练对字符图像进行字符识别；
13.步骤4：图像分割显示模块采用字符的几何特征和灰度特征对字符进行缺陷检测，从而对滑板车显示屏进行缺陷检测。
14.优选的，在执行步骤1时，预处理的具体步骤如下：
15.步骤s1-1：采用高斯滤波对原始图像进行去噪处理；
16.步骤s1-2：采用otsu自适应阈值对原始图像进行二值化处理。
17.优选的，在执行步骤1时，倾斜度矫正包括首先对预处理后的原始图像进行canny算子边缘检测，然后采用hough变换检测直线来进行倾斜校正。
18.优选的，在执行步骤1时，在对处理后图像进行目标区域提取时，采用投影法遍历处理后图像中的像素，在处理后图像上从外向内找上下左右四个方向上第一条白色像素，将四条白色像素之内的区域认为是目标区域。
19.优选的，所述目标区域为原始图像中显示滑板车显示屏的区域。
20.优选的，在执行步骤2时，对图像进行形态学处理包括首先对处理后图像进行膨胀处理，去除字体内部间隙，然后进行腐蚀处理，将相连字体断开，最后对图像进行连通域分析，提取各连通域最小外接矩形顶点坐标，对字符进行分割；
21.连通域内部像素点个数作为连通域面积，根据目标区域内各连通域的面积，通过与预设阈值t进行对比，判断图像中连通域为字符图像还是非字符图像，即污染图像。
22.优选的，在执行步骤3时，采用三层神经网络结构对字符图像进行训练，三层神经网络结构包括输入层、隐藏层和输出层，输入层用于将字符训练图像转换为一个二维灰度值矩阵，再将每一行拼接在上一行末尾，形成一个1
×
256的行向量；
23.隐藏层和输出层根据以下公式计算得出：
[0024][0025][0026]
其中，xi为输入层，yj为输出层；v
ij
为输入层到隐藏层的权重，w
jk
为隐藏层到输出层的权重r、m和n均表示神经元的个数。
[0027]
优选的，在执行步骤4时，利用卡方比较方法和相关性比较方法来衡量直方图相似度，从而进行亮度缺陷检测。
[0028]
一种基于机器视觉的滑板车显示屏缺陷检测系统，包括视觉检测装置、图像分割显示模块和上位机，图像分割显示模块与视觉检测装置通过数据线通信，上位机通过互联网与图像分割显示模块通信，视觉检测装置用于拍摄滑板车显示屏的图像，图像分割显示模块用于处理滑板车显示屏的图像，对滑板车显示屏进行缺陷检测。
[0029]
优选的，所述视觉检测装置为摄像头或相机，所述图像分割显示模块为工控机。
[0030]
本发明的有益效果：
[0031]
本发明所述的一种基于机器视觉的滑板车显示屏缺陷检测方法及其系统，解决了滑板车显示屏缺陷检测的技术问题，本发明首先采用图像处理的方式提取屏幕区域，进而识别显示字体，最终采用多特征匹配(几何特征、灰度特征)进行检测，达到了降低算法复杂性、提高检测的准确性、速度的目标，满足各种需要显示屏检测市场的需求，大大提高了后续算法的准确性，便于后续字符识别、缺陷检测，提高了检测精度，在保证了检测算法准确性的要求下还提高了算法的运算时间和检测效率。
附图说明
[0032]
图1为缺陷检测算法流程图；
[0033]
图2为图像处理过程示意图；
[0034]
图3为缺陷判定流程。
具体实施方式
[0035]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0036]
实施例1：
[0037]
如图1-图3所示的一种基于机器视觉的滑板车显示屏缺陷检测方法，包括如下步骤：
[0038]
步骤1：视觉检测装置采集滑板车显示屏的图像，生成原始图像，并传送给图像分割显示模块，图像分割显示模块对原始图像进行预处理和倾斜度矫正，生成处理后图像，然后对处理后图像进行目标区域提取，生成目标区域图像；
[0039]
本实施例中，首先对原始图像进行预处理，然后再进行倾斜度矫正。
[0040]
预处理的具体步骤如下：
[0041]
步骤s1-1：采用高斯滤波对原始图像进行去噪处理；
[0042]
步骤s1-2：采用otsu自适应阈值对原始图像进行二值化处理。
[0043]
倾斜度矫正包括首先对预处理后的原始图像进行canny算子边缘检测，然后采用hough变换检测直线来进行倾斜校正。
[0044]
在对处理后图像进行目标区域提取时，采用投影法遍历像素(黑色像素值为0，白色像素值为1)，在处理后图像上从外向内找上下左右四个方向上第一条白色像素，将四条白色像素之内的区域认为是目标区域。
[0045]
所述目标区域为原始图像中显示滑板车显示屏的区域。
[0046]
步骤2：图像分割显示模块采用形态学处理方法和连通域分析方法，对目标区域图像进行分割，得到目标区域图像中的字符图像；
[0047]
连通域内部像素点个数作为连通域面积，根据目标区域内各连通域的面积，通过与预设阈值t进行对比，判断图像中连通域为字符图像还是非字符图像，即污染图像。
[0048]
根据显示屏区域内各连通域的面积，通过设定合适的阈值t来判断图像中连通域为目标字符还是污染，具体计算公式如下；
[0049][0050]
其中s为各连通域面积，t为设定阈值，小于设定阈值的视为污染，大于阈值的为字符；
[0051]
对图像进行形态学处理包括首先对处理后图像进行膨胀处理，去除字体内部间隙，然后进行腐蚀处理，将相连字体断开，最后对图像进行连通域分析，提取各连通域最小外接矩形顶点坐标，对字符进行分割，公式如下；
[0052]
dilate(x,y)＝min
(x
′
,y
′
)∈kemel src(x x
′
,y y
′
)
[0053]
erode(x,y)＝min
(x
′
,y
′
)∈kemel src(x x
′
,y y
′
)
[0054]
其中，dilate为膨胀处理，erode为腐蚀处理；(x
′
,y
′
)为指定卷积核kemel里最亮最暗的像素点；
[0055]
led段码字体可近似的看成由若干个矩形构成，本实施例为了增强形态学处理效果，构造矩形结构卷积核元素进行处理：
[0056]
n8(p)＝n4∪(x 1,y 1),(x 1,y-1),(x-1,y 1),(x-1,y-1)
[0057]
其中，p为像素点，对每一个值为1的点若其八连通(上、下、左、右、左上、右上、左下、右下)有一个点的值也为1，那么这两个点就归为一个连通域。
[0058]
步骤3：图像分割显示模块采用bp神经网络训练对字符图像进行字符识别；
[0059]
本实施例采用三层神经网络结构对字符图像进行训练，三层神经网络结构包括输入层、隐藏层和输出层，输入层用于将字符训练图像转换为一个二维灰度值矩阵，再将每一行拼接在上一行末尾，形成一个1
×
256的行向量；
[0060]
隐藏层和输出层根据以下公式计算得出：
[0061][0062][0063]
其中，xi为输入层，yj为输出层；v
ij
为输入层到隐藏层的权重，w
jk
为隐藏层到输出层的权重r、m和n均表示神经元的个数。
[0064]
经过多次迭代使得实际输出与理想输出的均方差趋于0；采集大量显示屏字符进行训练字符特征文件，从而进行识别，图像占某一种样本的特征值最多的即为该样本所代表的字符。
[0065]
步骤4：图像分割显示模块采用字符的几何特征和灰度特征对字符进行缺陷检测，从而对滑板车显示屏进行缺陷检测。
[0066]
利用卡方比较方法和相关性比较方法来衡量直方图相似度，从而进行亮度缺陷检测，具体包括如下步骤：
[0067]
步骤s4-1：采用几何特征检测断线、漏线缺陷；
[0068]
预先将标准字符的面积作为模板，计算处理后图像中各个字符实际面积，并与其模板面积进行比较；
[0069]
本发明规定字符的周长l为字符区域和背景边界的长度和，预先将标准字符的周长l
模板
作为模板，计算各个字符实际周长l
实际
，并与其模板周长l
模板
进行比较；
[0070]
步骤s4-1：采用灰度特征检测亮度不均匀缺陷；
[0071]
采用灰度直方图对模板显示屏字符与实际字符进行比较，本发明利用卡方比较、相关性比较两种手段来衡量直方图相似度从而进行亮度缺陷检测，计算各个字符与模板字符的相关性比较值、卡方比较值；
[0072]
相关性比较计算公式如下：
[0073]
[0074][0075]
其中，n等于直方图中直方(bin)的个数，若h1＝h2，即两个图的直方图一样，值为1，选取合适的相关性比较值d(接近1)来判定缺陷；
[0076]
卡方比较计算公式如下：
[0077][0078]
其中，h1＝h2时卡方比较值为0，相似度最高。卡方值越大，越不符合；反之，越趋于符合，选取合适的卡方比较值d(接近0)来判定缺陷。
[0079]
实施例2：
[0080]
实施例2所述的一种基于机器视觉的滑板车显示屏缺陷检测系统是与实施例1所述的一种基于机器视觉的滑板车显示屏缺陷检测方法配套的系统，包括视觉检测装置、图像分割显示模块和上位机，图像分割显示模块与视觉检测装置通过数据线通信，上位机通过互联网与图像分割显示模块通信，视觉检测装置用于拍摄滑板车显示屏的图像，图像分割显示模块用于处理滑板车显示屏的图像，对滑板车显示屏进行缺陷检测。
[0081]
优选的，所述视觉检测装置为摄像头或相机，所述图像分割显示模块为工控机。
[0082]
本发明所述的一种基于机器视觉的滑板车显示屏缺陷检测方法及其系统，解决了滑板车显示屏缺陷检测的技术问题，本发明首先采用图像处理的方式提取屏幕区域，进而识别显示字体，最终采用多特征匹配(几何特征、灰度特征)进行检测，达到了降低算法复杂性、提高检测的准确性、速度的目标，满足各种需要显示屏检测市场的需求，大大提高了后续算法的准确性，便于后续字符识别、缺陷检测，提高了检测精度，在保证了检测算法准确性的要求下还提高了算法的运算时间和检测效率。