基于机器视觉的铝管表面缺陷检测方法与流程

1.本发明涉及图像数据处理领域，具体涉及一种基于机器视觉的铝管表面缺陷检测方法。


背景技术：

2.铝管是一种常用的管材，被广泛用于建筑工业和汽车产业等领域。因铝管的重量轻、尺寸小而且耐腐蚀性好、使用寿命长，所以铝管作为一种常见的冷却管用于汽车散热器上，冷却管是汽车散热器中的重要组成部分。铝管在生产运输过程中可能会有所损坏，所以在铝管与散热片装配成散热器芯之前，铝管需要检测缺陷并分拣。
3.相较于传统的人工检测方式，现在主要采用机器视觉方法对铝管表面进行缺陷检测：先对采集的铝管表面图像进行去噪，然后对去噪后的铝管表面图像进行阈值分割得到缺陷区域。机器视觉方法具有无接触、无损伤、且效率高的优点。
4.但是，由于存在缺陷的铝管表面图像内含有大量边缘细节，现有的图像滤波算法在去除噪声的同时会使图像的边缘模糊，会造成缺陷区域的误分，从而降低了利用机器视觉对铝管缺陷检测的准确度。


技术实现要素：

5.本发明提供一种基于机器视觉的铝管表面缺陷检测方法，以解决现有的铝管表面缺陷检测方法准确度低的问题。
6.为达到上述目的，本发明采用如下技术方案，一种基于机器视觉的铝管表面缺陷检测方法，包括：s1：获取待检测铝管去噪前的全景区域灰度图；s2：将每一种滑窗尺寸下各个滑窗窗口内的中心像素点分为非边缘点或边缘点：s201：设置滑窗尺寸，对去噪前的全景区域灰度图进行滑窗遍历，利用每一种滑窗尺寸下各个滑窗窗口内中心像素点和非中心像素点的灰度值，计算得到该滑窗窗口内各个非中心像素点与中心像素点的相似概率；s202：利用每一种滑窗尺寸下各个滑窗窗口内各个非中心像素点与中心像素点的相似概率将该滑窗尺寸下各个滑窗窗口内的中心像素点分为非边缘点或边缘点；s3：分别采用不同的去噪方法对非边缘点或边缘点进行去噪，获取每一种滑窗尺寸下去噪后的全景区域灰度图：s301：当每一种滑窗尺寸下滑窗窗口内的中心像素点为非边缘点时，则利用该滑窗窗口内每一个非中心像素点与中心像素点的相似概率、每一个非中心像素点的灰度值，计算得到每一种滑窗尺寸下非边缘点去噪后的灰度值；s302：当每一种滑窗尺寸下滑窗窗口内的中心像素点为边缘点时，则利用该滑窗窗口内过中心像素点的各个方向上的像素点灰度值距离加权均值、中心像素点的灰度值，计算得到每一种滑窗尺寸下边缘点去噪后的灰度值；
s4：利用每一种滑窗尺寸下去噪后的全景区域灰度图中各像素点的灰度值、去噪前的全景区域灰度图中像素点的数量和各像素点的灰度值，计算得到每一种滑窗尺寸下去噪后的全景区域灰度图的信噪比；s5：将去噪后的全景区域灰度图的信噪比最大时对应的滑窗尺寸作为最优的滑窗尺寸，利用最优的滑窗尺寸下非边缘点去噪后的灰度值、边缘点去噪后的灰度值得到最优滑窗尺寸下去噪后的全景区域灰度图；s6：对最优滑窗尺寸下去噪后的全景区域灰度图进行阈值分割，获取最优滑窗尺寸下去噪后的全景区域灰度图中的目标区域和背景区域；s7：利用目标区域和背景区域中所有像素点的灰度值均值判断待检测铝管表面是否存在缺陷。
7.所述一种基于机器视觉的铝管表面缺陷检测方法，所述非边缘点包括噪声点和类内区域点，其中类内区域点指的是灰度值相似的同一种类的像素点。
8.所述一种基于机器视觉的铝管表面缺陷检测方法，所述将该滑窗尺寸下各个滑窗窗口内的中心像素点分为非边缘点或边缘点的过程具体如下：设置不同的滑窗尺寸，对去噪前的全景区域灰度图进行滑窗遍历，对每一种滑窗尺寸下的所有滑窗窗口进行如下操作：利用各个滑窗窗口内中心像素点的灰度值和非中心像素点的灰度值，计算得到该滑窗窗口内各个非中心像素点与中心像素点的相似概率；设置相似概率阈值，统计各个滑窗窗口内与中心像素点的相似概率大于相似概率阈值的非中心像素点的数量；统计各个滑窗窗口内非中心像素点的数量；将各个滑窗窗口内与中心像素点的相似概率大于相似概率阈值的非中心像素点的数量和该滑窗窗口内非中心像素点的数量进行作比，得到各个滑窗窗口内非中心像素点与中心像素点的相似比例；设置第一相似比例阈值和第二相似比例阈值，对各个滑窗窗口内非中心像素点与中心像素点的相似比例进行判断：当滑窗窗口内非中心像素点与中心像素点的相似比例小于等于第一相似比例阈值时，则该滑窗窗口内的中心像素点为噪声点，即该滑窗窗口内的中心像素点为非边缘点；当滑窗窗口内非中心像素点与中心像素点的相似比例大于等于第二相似比例阈值时，则该滑窗窗口内的中心像素点为类内区域点，即该滑窗窗口内的中心像素点为非边缘点；当滑窗窗口内非中心像素点与中心像素点的相似比例大于第一相似比例阈值且小于第二相似比例阈值时，则该滑窗窗口内的中心像素点为边缘点。
9.所述一种基于机器视觉的铝管表面缺陷检测方法，所述每一种滑窗尺寸下非边缘点去噪后的灰度值是按照如下方式得到：当每一种滑窗尺寸下滑窗窗口内的中心像素点为非边缘点时，则将该滑窗窗口内每一个非中心像素点与中心像素点的相似概率进行归一化处理，得到该滑窗窗口内每一个非中心像素点与中心像素点的归一化后的相似概率；利用滑窗窗口内每一个非中心像素点与中心像素点的归一化后的相似概率、每一
个非中心像素点的灰度值，计算得到该滑窗窗口内中心像素点的替换值；将滑窗窗口内中心像素点的替换值作为每一种滑窗尺寸下非边缘点去噪后的灰度值。
10.所述一种基于机器视觉的铝管表面缺陷检测方法，所述每一种滑窗尺寸下边缘点去噪后的灰度值是按照如下方式得到：当每一种滑窗尺寸下滑窗窗口内的中心像素点为边缘点时，则进行如下操作：以滑窗窗口内的中心像素点为端点，作水平向右的射线，将射线与滑窗窗口的交点到端点之间的线段作为第一线段；统计第一线段上非中心像素点的数量，利用第一线段上非中心像素点的数量、位置、灰度值以及中心像素点的灰度值，计算得到第一线段上的像素点灰度值距离加权均值；以滑窗窗口内的中心像素点为端点，作与第一线段的夹角为45
°
的射线，将射线与滑窗窗口的交点到端点之间的线段作为第二线段，按照得到第一线段上的像素点灰度值距离加权均值的方法得到第二线段上的像素点灰度值距离加权均值；按照得到第二线段上的像素点灰度值距离加权均值的方法得到第三线段上的像素点灰度值距离加权均值，依此类推，得到第四线段至第八线段上的像素点灰度值距离加权均值；分别计算滑窗窗口内的中心像素点的灰度值与每一条线段上的像素点灰度值距离加权均值之间的差值，将差值最小时对应的线段上的像素点灰度值距离加权均值作为该中心像素点的替换值；将滑窗窗口内中心像素点的替换值作为每一种滑窗尺寸下边缘点去噪后的灰度值。
11.所述一种基于机器视觉的铝管表面缺陷检测方法，所述判断待检测铝管表面是否存在缺陷的过程具体如下：利用大津算法对最优滑窗尺寸下去噪后的全景区域灰度图进行阈值分割，获取最优滑窗尺寸下去噪后的全景区域灰度图中的目标区域和背景区域；分别计算目标区域和背景区域中所有像素点的灰度值均值，并将两个灰度值均值进行做差，得到目标区域和背景区域的灰度值差值；按照得到最优滑窗尺寸下去噪后的全景区域灰度图的方法得到无缺陷铝管去噪后的全景区域灰度图；计算无缺陷铝管去噪后的全景区域灰度图中所有像素点的灰度值均值；根据无缺陷铝管去噪后的全景区域灰度图中所有像素点的灰度值均值设置灰度值差值阈值，对目标区域和背景区域的灰度值差值进行判断：当目标区域和背景区域的灰度值差值大于灰度值差值阈值时，则判断该目标区域为缺陷区域，即待检测铝管表面存在缺陷。
12.所述一种基于机器视觉的铝管表面缺陷检测方法，所述待检测铝管去噪前的全景区域灰度图是按照如下方式获取：采集待检测铝管去噪前的表面图像；对待检测铝管去噪前的表面图像进行语义分割，得到待检测铝管去噪前的
铝管区域图像；利用双线性插值法将待检测铝管去噪前的铝管区域图像进行拼接，得到待检测铝管去噪前的全景区域图像；对待检测铝管去噪前的全景区域图像进行灰度化处理，获取待检测铝管去噪前的全景区域灰度图。
13.本发明的有益效果是：本发明根据铝管图像中各像素点的特征，将铝管图像中所有像素点进行分类，通过得到边缘点，实现对边缘细节的保护。本发明对不同种类的像素点采取不同的方式进行去噪，可以在保护图像边缘细节的同时提升图像类内区域的平滑效果。本发明通过提高图像的去噪效果来获得高质量图像，进而对高质量图像进行阈值分割，获取准确的缺陷区域，可有效提高对铝管缺陷检测的准确度。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
15.图1为本发明实施例提供的一种基于机器视觉的铝管表面缺陷检测方法流程示意图；图2为本发明实施例提供的一种基于机器视觉的铝管表面缺陷检测方法中s2的流程示意图；图3为本发明实施例提供的一种基于机器视觉的铝管表面缺陷检测方法中s3的流程示意图；图4为本发明实施例提供的一种铝管表面图像采集装置示意图。
具体实施方式
16.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
17.本发明的主要目的是：利用计算机视觉技术处理采集的铝管表面全景图像，然后对图像内的像素点进行分类，进而根据各像素点的邻域灰度值统计特性进行图像去噪处理，其在保护图像边缘的同时，提升图像类内区域的平滑效果，获得高质量图像，最后利用阈值分割，获取缺陷区域。
18.在相机拍摄过程或图像传输过程中，铝管表面全景图像会含有大量噪声，现有的去噪算法会模糊图像边缘，影响后续的缺陷分割。因此，本发明提供一种基于机器视觉的铝管表面缺陷检测方法，以解决现有的铝管表面缺陷检测方法准确度低的问题。
19.本发明的一种基于机器视觉的铝管表面缺陷检测方法的实施例，如图1所示，包括：s1：获取待检测铝管去噪前的全景区域灰度图。
20.本实施例需要识别铝管表面的缺陷区域，所以需要采集铝管的全景图像，并且由于金属表面的全光谱强反射作用，需要保证物体布光均匀。图像采集装置如图4所示：使用机械卡爪旋转铝管，每隔90
°
拍摄一张图像，每个铝管拍摄4张图像。选择两个漫反射led光源进行两侧给光，从而能够获得光照均匀分布的铝管全景表面图像。至此，得到铝管的表面图像。
21.本实施例采用dnn语义分割的方式来识别分割图像中的目标。
22.该dnn网络的相关内容如下：使用的数据集为俯视采集的检测装置上铝管图像数据集。
23.需要分割的像素点，共分为2类，即训练集对应标签标注过程为：单通道的语义标签，对应位置像素点属于背景类的标注为0，属于铝管表面的标注为1。
24.网络的任务是分类，所以使用的loss函数为交叉熵损失函数。
25.至此，通过dnn实现了检测装置上铝管图像的处理，获得了图像中的铝管区域图像。然后对同一铝管采集的4张铝管区域图像，利用双线性插值法进行拼接，获取铝管全景区域图像。
26.对铝管全景区域图像进行灰度化处理，获取铝管去噪前的全景区域灰度图。
27.s2：将每一种滑窗尺寸下各个滑窗窗口内的中心像素点分为非边缘点或边缘点。
28.图像内的像素点可分为边缘点、噪声点和类内区域点，其类内区域点表示灰度值相似的同一种类的像素点。对不同种类的像素点进行不同的平滑去噪处理。为保护图像边缘像素点，对该类像素点的邻域像素点灰度值进行分析，根据其统计特征进行去噪处理。将每一种滑窗尺寸下各个滑窗窗口内的中心像素点分为非边缘点或边缘点的过程如图2所示。
29.若窗口内中心像素点为噪声点，则该像素点与其大部分邻域像素点灰度差异较大；若窗口内中心像素点为边缘点，则该像素点与其邻域像素点的一部分灰度差异较大，另一部分灰度差异较小，且两部分像素点数量相似；若窗口内中心像素点为类内区域点，则该像素点与其大部分邻域像素点灰度差异较小。
30.s201：设置滑窗尺寸，对去噪前的全景区域灰度图进行滑窗遍历，利用每一种滑窗尺寸下各个滑窗窗口内中心像素点和非中心像素点的灰度值，计算得到该滑窗窗口内各个非中心像素点与中心像素点的相似概率。
31.首先设置一个方形窗口，其尺寸为奇数，尺寸为。对全景区域灰度图进行逐像素点遍历，若遍历像素点处于图像边缘处，则只分析窗口内含有的部分图像像素点。令遍历像素点坐标为(x,y)，其为窗口内的中心像素点，计算某一窗口内各非中心像素点与中心像素点的相似概率为：式中，表示窗口内第i个非中心像素点与中心像素点的相似概率，表示该窗口内中心像素点的灰度值，表示该窗口内第i个非中心像素点的灰度值，h表示该窗口内像素点的数量。式中分母加1是为了防止分母为0，当越大时，相似概率越小。由此
获得该窗口内h-1个非中心像素点与中心像素点的相似概率。此处利用非中心像素点和中心像素点的灰度值差值计算得到两者的相似概率，是因为非中心像素点和中心像素点的灰度值差值越小，说明两者越相似。
32.s202：利用每一种滑窗尺寸下各个滑窗窗口内各个非中心像素点与中心像素点的相似概率将该滑窗尺寸下各个滑窗窗口内的中心像素点分为非边缘点或边缘点。
33.统计该窗口内与中心像素点相似概率大于80%的非中心像素点数量为k，计算其在窗口内非中心像素点数量的占比，若，则判断该窗口内的中心像素点为类内区域点；若，则判断该窗口内的中心像素点为噪声点；若，则判断该窗口内的中心像素点为边缘点。
34.s3：分别采用不同的去噪方法对非边缘点或边缘点进行去噪，获取每一种滑窗尺寸下去噪后的全景区域灰度图。
35.根据图像和噪声之间的相互关系将噪声划分为加性噪声、乘性噪声和量化噪声三种形式，根据不同种类像素点的窗口内的像素点灰度值统计特征，使用不同的加权均值，进行平滑去噪。获取每一种滑窗尺寸下去噪后的全景区域灰度图的过程如图3所示。
36.s301：当每一种滑窗尺寸下滑窗窗口内的中心像素点为非边缘点时，则利用该滑窗窗口内每一个非中心像素点与中心像素点的相似概率、每一个非中心像素点的灰度值，计算得到每一种滑窗尺寸下非边缘点去噪后的灰度值。
37.若窗口内中心像素点为类内区域点，则用窗口内非中心像素点的灰度值相似概率加权均值对中心像素点的灰度值进行替换，先对该窗口内所有非中心像素点与中心像素点的相似概率集合进行归一化操作，获得集合。则窗口内中心像素点的替换值w的计算公式为：其中h表示该窗口内像素点的数量，表示该窗口内第i个非中心像素点的灰度值，表示该窗口内第i个非中心像素点的权值，且权值和为1。指的是窗口内第i个非中心像素点与中心像素点的相似概率归一化后的值。因为窗口内中心像素点为类内区域点，故其与非中心像素点的相似概率越大，权值越大。用以实现图像中类内区域的平滑去噪。此处利用窗口内非中心像素点的灰度值相似概率加权均值对中心像素点的灰度值进行替换，是因为若窗口内中心像素点为类内区域点，则该像素点与其大部分邻域像素点灰度差异较小。
38.若该窗口内中心像素点为噪声点，也用窗口内非中心像素点的灰度值相似概率加权均值对中心像素点的灰度值进行替换，窗口内中心像素点的替换值q的计算公式为：其中h表示该窗口内像素点的数量，表示该窗口内第i个非中心像素点的灰度
值，表示该窗口内第i个非中心像素点的权值，且权值和为1。指的是窗口内第i个非中心像素点与中心像素点的相似概率归一化后的值。因为窗口中心像素点为噪声点，故其与非中心像素点的相似概率越大，权值应越小。用以实现图像中噪声点的平滑去噪。此处利用窗口内非中心像素点的灰度值相似概率加权均值对中心像素点的灰度值进行替换，是因为若窗口内中心像素点为噪声点，则该像素点与其大部分邻域像素点灰度差异较大。
39.s302：当每一种滑窗尺寸下滑窗窗口内的中心像素点为边缘点时，则利用该滑窗窗口内过中心像素点的各个方向上的像素点灰度值距离加权均值、中心像素点的灰度值，计算得到每一种滑窗尺寸下边缘点去噪后的灰度值。
40.若窗口内中心像素点为边缘点，则窗口内中心像素点必与某一方向上的像素点的灰度值相似。且同方向上距离中心像素点越近，灰度值相似的概率越大。
41.以该窗口内中心像素点为起点，分别沿0
°
、45
°
、90
°
、135
°
、180
°
、225
°
、270
°
、315
°
，共8个方向上进行遍历。分别计算8个方向上的像素点灰度值距离加权均值为：其中为窗口内中心像素点的灰度值，j表示该窗口内中心像素点的遍历方向，表示j方向上的像素点灰度值距离加权均值，表示j方向上第q个像素点的灰度值，表示尺寸为的窗口内中心像素点沿j方向上的像素点数量，其不包括中心像素点。令相邻像素点的距离为1，则中心像素点至j方向上所有像素点的距离之和为，q表示j方向上第q个像素点，即中心像素点至第q个像素点的距离。此处利用各方向上像素点的位置和灰度值来计算得到各方向上的像素点灰度值距离加权均值，是因为边缘点必与窗口内某一方向上的像素点的灰度值相似，且同方向上距离中心像素点越近，灰度值相似的概率越大。
42.已知该窗口内的中心像素点为边缘点，则该点必沿一方向构成一类区域的边缘线，该边缘线上的像素点的相似概率最大。故取中心像素点与8个方向上的像素点灰度值距离加权均值差异最小时的方向为：其中为该窗口内中心像素点的灰度值，表示j方向上的像素点灰度值距离加权均值。函数表示取最小下标值函数，用于获取两者差异最小时的方向下标。表示与中心像素点的灰度值差异最小时，像素点灰度值距离加权均值对应的方向。此处通过计算8个方向上的像素点灰度值距离加权均值与中心像素点的灰度值差异来得到边缘线的方向，是因为边缘点必沿一方向构成一类区域的边缘线，该边缘线上的像素点的相似概率最大。
43.此时该窗口内中心像素点在方向上的像素点为其边缘线，令中心像素点的灰度值为，用以保护图像边缘像素点。
44.对全景区域灰度图内所有像素点进行平滑去噪处理，获得去噪后的全景区域灰度图。
45.s4：利用每一种滑窗尺寸下去噪后的全景区域灰度图中各像素点的灰度值、去噪前的全景区域灰度图中像素点的数量和各像素点的灰度值，计算得到每一种滑窗尺寸下去噪后的全景区域灰度图的信噪比。
46.本实施例中的窗口为方形，尺寸为，令d={1,2,3,4,5}，实施者可根据需求自行设定d的取值范围。
47.由此获取不同尺寸的方形窗口进行去噪后的图像，图像的信噪比的计算公式如下：其中m和n分别表示去噪前的全景区域灰度图的横向和纵向上的像素点数量，表示去噪前的全景区域灰度图中坐标为的像素点灰度值，表示尺寸为方形窗口时，去噪后的全景区域灰度图中坐标为的像素点灰度值。表示尺寸为下去噪后的全景区域灰度图的信噪比。( )表示以10为底的对数函数。的取值不同时，代表方形窗口尺寸不同。此处利用去噪前后的全景区域灰度图中像素点的灰度值计算得到不同尺寸下的图像信噪比，是因为信噪比指的是信号和噪声的比例，将去噪前后的全景区域灰度图中像素点的灰度值进行作差得到噪声信息，将去噪前的全景区域灰度图作为信号信息，利用噪声信息和信号信息即可得到信噪比。信噪比越大，去噪效果越高。利用信噪比来获取最优的窗口尺寸。
48.s5：将去噪后的全景区域灰度图的信噪比最大时对应的滑窗尺寸作为最优的滑窗尺寸，利用最优的滑窗尺寸下非边缘点去噪后的灰度值、边缘点去噪后的灰度值得到最优滑窗尺寸下去噪后的全景区域灰度图。
49.已知图像的信噪比越大，去噪后的图像质量越好，故去噪效果最好时方形窗口的尺寸中d的值为：其中表示尺寸为下去噪后的全景区域灰度图的信噪比，函数表示取最大下标值函数，用于获取信噪比最大时的下标。表示去噪效果最好时方形窗口的尺寸为。此处是根据信噪比越大，去噪效果越好，所以将信噪比最大值对应的窗口尺寸作为最优窗口尺寸。
50.由此可知最佳的方形窗口尺寸为，对铝管全景区域灰度图进行平滑去噪。
51.s6：对最优滑窗尺寸下去噪后的全景区域灰度图进行阈值分割，获取最优滑窗尺寸下去噪后的全景区域灰度图中的目标区域和背景区域。
52.获得平滑去噪后的铝管全景区域灰度图，统计图像的灰度直方图，利用大津阈值求取灰度直方图上的最佳分割阈值，令图像中像素点灰度值大于最佳分割阈值的为目标区域，标记像素点为1，否则为背景区域，标记像素点为0。不同图像的最佳分割阈值不同，具体阈值可根据具体实施方式得到。
53.s7：利用目标区域和背景区域中所有像素点的灰度值均值判断待检测铝管表面是否存在缺陷。
54.由于无论铝管去噪后的全景区域灰度图中是否有缺陷，大津算法必会对图像进行分割，因此需要进一步分析分割的目标区域是否为缺陷区域。计算目标区域内的像素点灰度值均值和背景区域内的像素点灰度值均值，取两平均灰度值的差值为：其中的值越小，说明分割的两区域灰度值均值越接近，目标区域为缺陷区域的可能性越小。
55.按照得到最优滑窗尺寸下去噪后的全景区域灰度图的方法得到无缺陷铝管去噪后的全景区域灰度图。取20组无缺陷铝管去噪后的全景区域灰度图，计算每个无缺陷铝管去噪后的全景区域灰度图的’，计算这组数据的均值，以作为灰度值差值阈值，不同数据的均值不同，具体阈值可根据具体实施方式具体设置。当此铝管去噪后的全景区域灰度图的时，判断分割的目标区域为缺陷区域，否则判断此铝管表面无缺陷。
56.最后控制分拣设备对表面含有缺陷的铝管进行分拣。
57.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。