一种基于机器视觉的油管平磨质量检测方法

1.本发明属于机器视觉领域，具体涉及油管平磨端面图像的缺陷检测和分类方法，可用于对汽车油管平磨质量进行检测，从而实现对油管的分拣和再加工。


背景技术：

2.现如今我国汽车工业发展迅速，近代各国综合国力的崛起无一不以汽车工业的高速发展为先导，汽车工业对一个国家军事力量的提高和经济水平的发展起着无可替代的作用。而汽车发动机的油管，作为连接油箱和发动机的枢纽，其平磨端面的质量至关重要。目前我国主要采用人工目检的方法对油管平磨质量进行检测，但人工目检存在着效率低、速度慢、易受主观因素影响、工作时间有限等问题，因此实现自动化的油管平磨质量检测具有十分重要的现实意义。
3.油管平磨质量检测的关键在于端面缺陷的检测和分类。传统的无损表面缺陷检测技术如漏磁技术、涡流检测技术、红外线检测技术、超声波探伤技术等，只能检测单一目标种类，检测设备成本高昂且无法对缺陷进行多分类。而采用机器视觉检测方法则能够在避开传统无损表面缺陷检测技术缺点的同时，保证较高的检测效率和检测准确率。
4.经过国内外学者的不断研究，目前已存在许多基于传统图像处理方式的表面缺陷检测算法。在滤波去噪方面，jong-sen lee提出了基于局部统计的图像对比度增强和噪声滤波方法，从每个像素的局部均值和方差导出其先验均值和方差，然后利用最小均方误差估计器滤除加法噪声，对于乘法噪声进行统计最佳线性近似，极适用于实时图像处理。在图像增强方面，schettini和raimondo提出了一种基于局部和图像整体亮度的对比度增强算法，能够实现对同时包含过度曝光和曝光不足两种区域的图像进行校正。刘杰等人提出了一种基于多引导图滤波的图像增强算法，设计了一个通用图像优化模型，将单幅引导图像扩展到多幅，对多幅输出图像进行平滑，并在图像优化模型中加入正则化项，改善了现有图像增强算法输出图像边界过平滑问题。在阈值分割方面，1979年由日本学者发表的otsu算法论文被引用超过两万次，并且在此基础上衍生出了很多改进算法。中南大学的陈恺对集成电路芯片表面缺陷分割算法进行研究，结合otsu、二维熵以及萤火虫算法等理论，提出了三种多阈值分割算法，并通过实验分析验证了结合改进的萤火虫算法的otsu多阈值分割算法在时间、精度和稳定性上整体优于其他两种算法。在轮廓提取方面，华南理工大学的刘屿等人集合形状上下文特征和迭代最近点算法，提出了一种高精度的工件轮廓尺寸检测算法，能够提取补齐工件轮廓并过滤噪声，经实验验证能达到0.5个像素的检测精度。minh n.do等人针对一维的小波变换在描述图像边缘的几何形状时的局限性，提出了轮廓波变换，这种多尺度变换能够很好的描述物体的方向信息和轮廓，弥补了小波变换由一维小波张成的二维可分离小波基方向有限的缺陷。
5.针对人工目检的局限性以及传统无损表面缺陷检测技术的缺点，本发明结合汽车油管这一实际应用场景，基于以上的表面缺陷检测算法，提供一套完整的油管平磨质量检测方法。


技术实现要素：

6.本公开一方面的目的在于提供一种基于机器视觉的油管平磨质量检测方法，以解决人工目检存在的问题，实现油管平磨质量检测自动化。
7.本发明的技术方案为一种基于机器视觉的油管平磨质量检测方法，包括如下步骤：
8.步骤1，采集油管平磨端面样本图像，截取出以油管为中心的roi，以减少冗余信息，提高运算效率；
9.步骤2，对截取roi后的图像进行基于区域生长思想的去除白边操作，以消除采集过程中出现的大范围噪声，并通过旋转、翻转和尺度变换的操作扩充样本，形成用于质量检测的样本集；
10.步骤3，读取样本集中的图像，利用sobel算子水平方向的梯度值来进行失真度检测，以筛除失真样本；
11.步骤4，对未失真样本图像进行预处理，包括滤波去噪、图像增强、阈值分割和形态学处理这四个操作，进一步提高图像质量，便于提取有效特征；
12.步骤5，预处理完成后，从图像中提取针对油管样本的几何特征，形成特征向量组，并进行归一化处理；
13.步骤6，根据归一化后的特征向量组训练svm分类器，并进行基于网格搜索的五维联合参数优化，以获取最优参数，提高分类准确率；
14.步骤7，使用训练好的svm分类模型对样本进行分类，从而实现油管平磨质量的检测。
15.进一步的，步骤2中所述去除白边操作的具体实现包括以下步骤：
16.步骤2a，设截取roi后的样本图像为输入图像，输出图像的行、列数均为输入图像的行、列数减2；
17.步骤2b，从输入图像的第2行开始，从左向右遍历图像像素点，即从第2列到倒数第2列进行遍历，计算以当前坐标像素点与其右边像素点为中心的3
×
3邻域内像素点的灰度值均值，记为avg0和avg1；
18.步骤2c，将输出图像中当前坐标像素点的灰度值置0；
19.步骤2d，判断avg0与avg1差值的幅值是否小于设定的阈值t，若小于t则回到步骤2b，继续遍历当前行，否则将输入图像当前行剩下的像素点的灰度值拷贝到输出图像对应的坐标中，然后直接进入下一行的遍历；
20.步骤2e，重复步骤2a～步骤2d，直至遍历完倒数第2行，遍历结束；
21.步骤2f，将从左向右遍历改为从右向左遍历，avg0和avg1改为以当前坐标像素点与其左边像素点为中心的3
×
3邻域内像素点的灰度值均值，以第一次遍历结束的图像作为输入图像，重复步骤2a～步骤2e，去除白边操作完成。
22.进一步的，步骤3中所述计算sobel算子水平方向梯度值的卷积核为：
[0023][0024]
进一步的，步骤4的具体实现包括以下步骤：
[0025]
步骤4a，采用高斯滤波器对样本图像进一步滤波，滤波器的参数由步骤6中所述基于网格搜索的五维联合参数优化确定；
[0026]
步骤4b，对样本图像进行锐化操作从而增强图像的边缘信息，锐化操作使用的卷积核为：
[0027][0028]
步骤4c，对增强后的样本图像进行阈值分割从而实现图像的二值化，设定阈值thres，将图像分割为黑色的背景部分和白色的油管部分；
[0029]
步骤4d，运用形态学处理，去除二值化图像中的白色噪点和黑色孔洞，包括腐蚀操作和膨胀操作。
[0030]
进一步的，步骤5中所述针对油管样本的几何特征包括油管内外环轮廓的占面比和占长比，占面比和占长比的计算公式为：
[0031][0032][0033]
其中a是轮廓的占面比，ac是轮廓面积，a
img
是样本图像面积，l是轮廓的占长比，lc是轮廓周长，r
img
是样本图像的半径，取边长的一半作为半径，上述面积和长度均以像素点数量来衡量。
[0034]
进一步的，步骤5中所述归一化处理采用z-score归一化方法，归一化公式为：
[0035][0036][0037][0038]
其中xi是样本x所提取的第i个特征数据，n是样本x提取的特征总数，μ是n个特征数据的均值，δ是n个特征数据的标准差。
[0039]
进一步的，步骤6中所述基于网格搜索的五维联合参数优化的具体实现包括以下步骤：
[0040]
步骤6a，基于网格搜索的五维联合参数优化的对象包括高斯滤波参数组gau、训练svm分类器时的参数c和gamma、以及优化参数c和gamma时使用的对数步长logstep和k折交叉验证的样本划分数k；
[0041]
步骤6b，确定gau、c、gamma、logstep和k的取值范围，构建五维联合参数网格；
[0042]
步骤6c，计算网格每一组参数对应的平均预测准确率，不断更新最高平均准确率，并记录最高平均准确率对应的参数组，直至迭代全部完成，输出最优参数组。
[0043]
与现有技术相比，本发明的优点和有益效果是：
[0044]
1.本发明解决了人工目检存在的局限性，解放工人，降低成本，实现油管平磨质量检测自动化，极大地提升了检测效率，且具有较高的检测准确率。
[0045]
2.本发明使用的针对油管样本的几何特征组利用的是几何特征的相对信息，而不是绝对信息，因此具有良好的旋转不变性与尺度不变性。
[0046]
3.本发明在训练分类器的过程中实施了基于网格搜索的五维联合参数优化，避免了根据经验人为设置参数而造成没有达到最优准确率的情况。
附图说明
[0047]
图1是根据本发明的一个实施方式的油管平磨质量检测方法流程图。
[0048]
图2是本发明对合格样本、缺损样本和截断样本进行去除白边操作的效果对比图；图中，(a)是去除白边前的合格样本，(b)是去除白边前的缺损样本，(c)是去除白边前的截断样本，(d)是去除白边后的合格样本，(e)是去除白边后的缺损样本，(f)是去除白边后的截断样本。
[0049]
图3是本发明基于区域生长思想的去除白边算法从左向右遍历时的流程图。
[0050]
图4是本发明用于质量检测的样本集的四类样本图像；图中，(a)是合格样本，(b)是缺损样本，(c)是截断样本，(d)是失真样本。
[0051]
图5是本发明样本图像经过预处理之后的效果图以及轮廓提取效果图；图中，(a)是合格样本预处理效果图，(b)是缺损样本预处理效果图，(c)是截断样本预处理效果图，(d)是合格样本轮廓提取效果图，(e)是缺损样本轮廓提取效果图，(f)是截断样本轮廓提取效果图。
[0052]
图6是本发明基于网格搜索的五维联合参数优化算法的流程图。
具体实施方式
[0053]
下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0054]
为了解决人工目检存在的问题，提高检测效率和准确率，本发明提出一种基于机器视觉的油管平磨质量检测方法，对油管平磨端面样本图像进行缺陷检测和分类，实现油管平磨质量检测的自动化。
[0055]
具体包括以下步骤：采集油管平磨端面样本图像，截取出以油管为中心的roi，以减少冗余信息，提高运算效率；对截取roi后的图像进行基于区域生长思想的去除白边操作，以消除采集过程中出现的大范围噪声，并通过旋转、翻转和尺度变换的操作扩充样本，形成用于质量检测的样本集；读取样本集中的图像，利用sobel算子水平方向的梯度值来进行失真度检测，以筛除失真样本；对未失真样本图像进行预处理，包括滤波去噪、图像增强、阈值分割和形态学处理这四个操作，进一步提高图像质量，便于提取有效特征；预处理完成后，从图像中提取针对油管样本的几何特征，形成特征向量组，并进行归一化处理；根据归一化后的特征向量组训练svm分类器，并进行基于网格搜索的五维联合参数优化，以获取最优参数，提高分类准确率；使用训练好的svm分类模型对样本进行分类，从而实现油管平磨质量的检测。
[0056]
本发明的具体实施方法和操作过程包括以下7个步骤：
[0057]
步骤1，从油管平磨流水线上使用工业相机采集油管平磨端面样本图像，并截取出
以油管为中心的感兴趣区域roi。图像采集的对象是端面直径为4.6mm的汽车发动机油管，采集到的样本图像均为2448
×
2048的8位灰度图，包括合格样本、缺损和截断这两种缺陷样本以及失真样本。对原始样本图像进行截取，得到以油管部分为中心的边长范围在440～460的正方形区域作为roi。
[0058]
步骤2，由于采集样本图像的车间环境复杂，采集到的样本图像经过截取后仍有部分图像存在“白边”，即灰度值显著高于背景部分的大范围噪声，如图2的(a)～(c)所示。大范围噪声的存在可能对后续图像预处理操作中的阈值分割效果造成影响，因此对截取roi后的图像进行基于区域生长思想的去除白边操作。去除白边算法从左向右遍历时的流程图如图3所示。针对合格样本、缺损样本和截断样本进行去除白边操作，具体实现过程参见步骤2a～2f。
[0059]
步骤2a，设截取roi后的样本图像为输入图像，输出图像的行、列数均为输入图像的行、列数减2；
[0060]
步骤2b，从输入图像的第2行开始，从左向右遍历图像像素点，即从第2列到倒数第2列进行遍历，计算以当前坐标像素点与其右边像素点为中心的3
×
3邻域内像素点的灰度值均值，记为avg0和avg1；
[0061]
步骤2c，将输出图像中当前坐标像素点的灰度值置0；
[0062]
步骤2d，判断avg0与avg1差值的幅值是否小于设定的阈值6，若小于6则回到步骤2b，继续遍历当前行，否则将输入图像当前行剩下的像素点的灰度值拷贝到输出图像对应的坐标中，然后直接进入下一行的遍历；
[0063]
步骤2e，重复步骤2a～步骤2d，直至遍历完倒数第2行，遍历结束；
[0064]
步骤2f，将从左向右遍历改为从右向左遍历，avg0和avg1改为以当前坐标像素点与其左边像素点为中心的3
×
3邻域内像素点的灰度值均值，以第一次遍历结束的图像作为输入图像，重复步骤2a～步骤2e，去除白边操作完成。
[0065]
去除白边操作的结果如图2的(d)～(f)所示。对去除白边后的样本图像通过旋转、翻转和尺度变换的操作，将每种样本扩充到500张，形成用于质量检测的样本集。样本集的四类样本如图4所示。
[0066]
步骤3，在采集图像的过程中由于对焦失败而采集到的失真样本边缘模糊，不能提取出评判油管平磨端面是否有缺陷的有效特征。因此在进一步进行检测之前，需要识别失真样本并将其筛除。
[0067]
读取样本集中的图像，利用sobel算子水平方向的梯度值来进行失真度检测，计算sobel算子水平方向的梯度值的卷积核为：
[0068][0069]
对样本集中的图像进行失真度检测，所得结果如表1所示。由表中数据可知，失真度检测能够检测出97.4％的失真样本，且误检率仅为0.27％(误检率针对未失真样本计算)。
[0070]
表1
[0071][0072][0073]
步骤4，对未失真样本图像进行预处理，以提高图像质量，便于提取有效特征。预处理包括滤波去噪、图像增强、阈值分割和形态学处理这四个操作，具体实现过程参见步骤4a～4d。
[0074]
步骤4a，采用高斯滤波器对样本图像进一步滤波，以平滑去除白边过程中产生的微小畸变。滤波器的参数包括窗口大小winsize以及x轴和y轴方向上的标准差sigma，将x轴和y轴方向上的标准差取为相同的数，则winsize和sigma形成高斯滤波器的参数组。由高斯函数的性质，将winsize的大小取为sigma的6倍左右能够获得最优的滤波效果，设置sigma的取值范围为1.5～5.0，取值间隔为0.5，则高斯滤波器的参数组共有8组取值。由步骤6中基于网格搜索的五维联合参数优化过程确定高斯滤波器的最优参数组为winsize＝13，sigma＝2。
[0075]
步骤4b，对样本图像进行锐化操作从而增强图像的边缘信息。锐化操作使用的卷积核为：
[0076][0077]
步骤4c，对增强后的样本图像进行阈值分割从而实现图像的二值化，设定阈值为70，将图像分割为黑色的背景部分和白色的油管部分。
[0078]
步骤4d，运用形态学处理，去除二值化图像中的白色噪点和黑色孔洞，包括腐蚀操作和膨胀操作。首先进行一次腐蚀操作和一次膨胀操作，避免截断样本中的油管部分粘连起来，对后续的特征提取造成影响；然后进行两次膨胀操作，消除样本图像中的黑色孔洞；最后进行两次腐蚀操作，消除样本图像中的白色噪点。
[0079]
完成预处理之后的样本图像如图5的(a)～(c)所示，图像完整地分离了油管部分与背景部分，且较好地呈现了油管的基本特征，便于下一步的特征提取操作。
[0080]
步骤5，预处理完成后，从图像中提取针对油管样本的几何特征，形成几何特征组，并进行归一化处理。
[0081]
首先从完成预处理后的样本图像中提取轮廓，如图5的(d)～(f)所示，并使用最大的两个轮廓来计算针对油管的几何特征，即油管内外环轮廓的占面比和占长比。占面比和占长比的计算公式为：
[0082][0083][0084]
其中a是轮廓的占面比，ac是轮廓面积，a
img
是样本图像面积，l是轮廓的占长比，lc是轮廓周长，r
img
是样本图像的半径，取边长的一半作为半径，上述面积和长度均以像素点
数量来衡量。
[0085]
根据缺损样本外环轮廓面积偏小和截断样本只存在一个最大轮廓且面积偏小、周长偏大等特点，使用最大两个轮廓的面积和周长这两个几何特征组成的几何特征组能够对合格样本、缺损样本和截断样本进行较好的区分。为了获取旋转不变特性与尺度不变特性，将面积和周长变为相对面积和相对周长，即公式(3)和(4)表示的占面比和占长比。
[0086]
然后对样本图像的特征向量组进行归一化处理，采用z-score归一化方法，归一化公式为：
[0087][0088][0089][0090]
其中xi是样本x所提取的第i个特征数据，n是样本x提取的特征总数，μ是n个特征数据的均值，δ是n个特征数据的标准差。
[0091]
步骤6，根据归一化之后的特征向量组训练svm分类器，并进行基于网格搜索的五维联合参数优化，以获取最优参数，提高分类准确率。
[0092]
取70％的样本图像作为训练样本，使用svm模型来训练分类器，svm的配置类型为c类支持向量机，核函数选择高斯核函数，最大迭代次数设置为1000。在训练过程中，实施基于网格搜索的五维联合参数优化，具体实现过程参见步骤6a～6c。
[0093]
步骤6a，基于网格搜索的五维联合参数优化的对象包括高斯滤波参数组gau、训练svm分类器时的参数c和gamma、以及优化参数c和gamma时使用的对数步长logstep和k折交叉验证的样本划分数k；
[0094]
步骤6b，确定gau、c、gamma、logstep和k的取值范围，构建五维联合参数网格。gau、c、gamma、logstep和k的取值如下所示：
[0095]
gau[winsize]∈{9,13,15,19,21,25,27,31}；
[0096]
gau[sigma]∈{1.5,2,2.5,3,3.5,4,4.5,5}；
[0097]
logstep∈{5,10,15}；
[0098]
k∈{5,10,15}；
[0099]
c∈[10-3
,103]；
[0100]
gamma∈[10-4
,102]。
[0101]
步骤6c，计算网格每一组参数对应的平均预测准确率，不断更新最高平均准确率，并记录最高平均准确率对应的参数组，直至迭代全部完成，输出最优参数组。
[0102]
对gau、c、gamma、logstep和k这5个参数进行优化，能够避免根据经验人为设置参数而造成没有达到最优准确率的情况，其中对logstep和k值进行优化是为了避免搜索步长单一而出现局部最优的情况。
[0103]
基于网格搜索的五维联合参数优化算法的流程图如图6所示。经过优化得到的最优参数组为：gau[winsize]＝13，gau[sigma]＝2，logstep＝15，k＝15，c＝759.37，gamma＝75.94。
[0104]
步骤7，取剩下30％的样本图像作为预测样本，使用最优参数组训练得到的svm分类模型对样本进行分类，从而完成油管平磨质量的检测。
[0105]
本发明的实施结果如表2～表3所示：
[0106]
表2是在最优参数组下对合格样本、缺损样本和截断样本各150个的缺陷检测与分类的预测结果。表3是对样本图像进行缺陷检测与分类的耗时进行统计，从而得到每一个样本的平均预测时长。
[0107]
表2
[0108][0109]
表3
[0110][0111]
本发明的实施结果表明，合格样本、缺损样本和截断样本的平均预测准确率能达到88.00％，其中截断样本由于几何特征显著，预测准确率高达99.33％，而对于缺损样本，则在采用几何特征的相对信息后，特征与合格样本差别不大，因此准确率没有合格样本和截断样本高。除此之外，对单张样本图像进行缺陷检测与分类所需时间仅为0.072秒，远远少于人工目检所需时间，极大地提升了检测效率，且保证了检测准确率不低于人工目检。
[0112]
本发明在保证检测准确率的前提下，实现了油管平磨质量检测的自动化，解决了人工目检存在的问题，极大地提升了检测效率，对实时性要求高的油管平磨质量检测工业应用现场具有重要意义。
[0113]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。