一种元器件缺陷检测的方法及装置与流程

1.本发明图像处理技术领域，尤其涉及一种元器件缺陷检测方法及装置。


背景技术：

2.在元器件封装过程中，受封装材料、环境条件和工艺参数等因素的影响，外来物质很容易进入封装元器件内部。这些外来物质的存在会导致元器件可靠性的降低，如金属或半导体多余物会导致电路不同部位之间的短路，尺寸和重量比较大的非金属多余物在振动情况下可能会导致键合丝移位或断裂，移位的键合丝可能和其它部位短路；纤维状的非金属多余物会吸潮，并可能导致器件内部不同部位绝缘降低；带有腐蚀性成份的多余物可能导致电路内部发生金属化腐蚀。因此，准确检测出元器件内部的多余物等缺陷对于元器件的质量控制具有重要意义。
3.现有的检测元器件缺陷的流程如下：人工将待检元器件放置在x射线检测设备的检测工作台上，然后操作设备对准待检器件，再对器件进行拍照，拍照后将图片传输到计算机上。再然后，人工浏览x射线所成像的一张张图片，对元器件内部的多余物进行检测。全部工作过程中自动化程度低，基本依赖人工操作和人为检测判断。在大批量的元器件质量检测过程中，不仅会耗费检测人员大量的时间，还存在因视觉疲劳或经验判断不足造成的人为判断失误的问题，元器件质量难以有效保证，给元器件在现场的安全运行带来风险与隐患。


技术实现要素：

4.本发明实施例提供了一种元器件缺陷检测方法，以解决现有技术中存在的消耗人力资源多、检测耗时长、且检测结果准确度低的问题。
5.为了解决上述技术问题，本发明公开了一种元器件缺陷检测方法，所述方法包括：获取目标元器件的x射线图像，并对所述x射线图像进行降噪处理，得到第一图像；消除所述第一图像的非均匀光照背景，得到第二图像；基于模板匹配定位所述第二图像中待检测的目标元器件图像；通过预设图像分割算法，将目标元器件图像从所述第二图像中分割出来；基于局部信息熵结合区域生长算法，对所述x射线图像中的多余物进行检测，以检测到所述目标元器件的缺陷。
6.可选的，所述获取目标元器件的x射线图像，并对所述x射线图像进行降噪处理，得到第一图像的步骤，包括：获取目标元器件的x射线图像；基于小波阈值算法，对所述x射线图像进行降噪处理，得到第一图像。
7.可选的，消除所述第一图像的非均匀光照背景，得到第二图像的步骤，包括：基于二维伽马函数的自适应亮度校正方法，对所述第一图像进行处理，得到消除非均匀光照背景的第二图像。
8.可选的，基于模板匹配定位所述第二图像中待检测的目标元器件图像的步骤，包括：采用归一化相关系数匹配法，将模板与所述第二图像进行比对，定位到第二图像中的目
标元器件图像。
9.可选的，所述预设图像分割算法为grabcut算法。
10.为了解决上述技术问题，本发明还公开了一种元器件缺陷检测装置，其中，所述装置包括：降噪模块，用于获取目标元器件的x射线图像，并对所述x射线图像进行降噪处理，得到第一图像；消除模块，用于消除所述第一图像的非均匀光照背景，得到第二图像；定位模块，用于基于模板匹配定位所述第二图像中待检测的目标元器件图像；分割模块，用于通过预设图像分割算法，将目标元器件图像从所述第二图像中分割出来；异物检测模块，用于基于局部信息熵结合区域生长算法，对所述x射线图像中的多余物进行检测，以检测到所述目标元器件的缺陷。
11.可选的，所述降噪模块包括：第一子模块，用于获取目标元器件的x射线图像；第二子模块，用于基于小波阈值算法，对所述x射线图像进行降噪处理，得到第一图像。
12.可选的，所述消除模块具体用于：基于二维伽马函数的自适应亮度校正方法，对所述第一图像进行处理，得到消除非均匀光照背景的第二图像。
13.可选的，所述定位模块具体用于：采用归一化相关系数匹配法，将模板与所述第二图像进行比对，定位到第二图像中的目标元器件图像。
14.可选的，所述预设图像分割算法为grabcut算法。
15.本发明实施例提供的元器件缺陷检测方案，获取目标元器件的x射线图像，并对x射线图像进行降噪处理，得到第一图像；消除第一图像的非均匀光照背景，得到第二图像；基于模板匹配定位第二图像中待检测的目标元器件图像；通过预设图像分割算法，将目标元器件图像从第二图像中分割出来；基于局部信息熵结合区域生长算法，对x射线图像中的多余物进行检测，以检测到目标元器件的缺陷，该种元器件缺陷检测方法，高效且可节省大量人力资源，所得检测结果准确、可靠。
附图说明
16.图1为本发明实施例所提供的元器件缺陷检测方法的步骤流程图；
17.图2为本发明实施例所提供的区域生成算法流程示意图；
18.图3为本发明实施例所提供的多余物检测结果示意图；
19.图4为本发明实施例所提供的元器件缺陷检测装置的结构框图。
具体实施方式
20.下面根据具体的实施例，结合附图针对本发明进行详细说明。应当理解，此处所述的具体实施例仅用于解释本发明，并不用于限定本发明。
21.如图1所示，本发明实施例的元器件缺陷检测方法的步骤流程图，该方法包括如下步骤：
22.步骤101：获取目标元器件的x射线图像，并对x射线图像进行降噪处理，得到第一图像。
23.一种可选的对x射线图像进行降噪处理的方式可以为：在获取目标元器件的x射线图像后，基于小波阈值算法，对x射线图像进行降噪处理，得到第一图像。
24.由于x射线图像混合噪声明显且缺陷对比度低，采用常规的降噪算法在滤除图像
噪声的同时，也会平滑图像的边缘，影响缺陷的检测。小波阀值去噪的基本思想是将信号通过小波变换(采用mallat算法)后，信号产生的小波系数含有信号的重要信息，将信号经小波分解后小波系数较大，噪声的小波系数较小，并且噪声的小波系数要小于信号的小波系数，通过选取一个合适的阀值，大于阀值的小波系数被认为是有信号产生的，应予以保留，小于阀值的则认为是噪声产生的，置为零从而达到去噪的目的。
25.步骤102：消除第一图像的非均匀光照背景，得到第二图像。
26.一种可行性的方式为：基于二维伽马函数的自适应亮度校正方法，对所述第一图像进行处理，得到消除非均匀光照背景的第二图像。
27.考虑到x光设备采集图像时，在提取出场景的光照分量后，就可以根据光照分量的分布特性构造光照不均匀校正函数，对光照不均匀图像进行校正处理，降低光照过强区域的亮度值，提高光照过低区域的亮度值。为了实现上述目标，本项目提出了一种基于二维伽马函数的自适应亮度校正方法，利用图像的光照分量的分布特性自适应地调整二维伽马函数的参数，实现提高光照不均匀图像整体质量的目的。
28.步骤103：基于模板匹配定位第二图像中待检测的目标元器件图像。
29.一种可行性的方式为：采用归一化相关系数匹配法，将模板与所述第二图像进行比对，定位到第二图像中的目标元器件图像。
30.在获取x射线图像时，由于实际检测设备工作机理的原因，在拍摄目标待检测元器件的时候，会拍摄到其他元器件结构的一部分，会对后续的检测造成影响。本技术实施例提出基于模板匹配定位到中心的待检测的目标元器件，得到该元器件的位置并用于后续的分割提取。对于模板匹配，采用归一化相关系数匹配法，该匹配方法精度较高，可准确定位到目标元器件。
31.步骤104：通过预设图像分割算法，将目标元器件图像从第二图像中分割出来。
32.预设图像分割算法可以为grabcut算法，grabcut算法通过简单的交互信息就能获取图像当中人们感兴趣的区域，它是在graphcut的基础上主要做了一下改进：(1)在图像的前景和背景区域，用gmm(高斯混合模型)替代了灰度直方图模型；(2)用迭代的方式取代了一次最小估计求解最优值，提高了分割结果的可靠性；(3)用户只需在图像周围画一个简单的矩形框就能实现交互操作，减少了用户的工作量。综上，结合s3模板匹配得到目标元器件的矩形定位框的位置，输入到grabcut的算法中，可以将目标元器件准确的分割出来。
33.步骤105：基于局部信息熵结合区域生长算法，对x射线图像中的多余物进行检测，以检测到目标元器件的缺陷。
34.图像的信息熵表达的是图像整体的信息量，无法详细度量图像某个区域的信息量。多余物目标占图像的整体部分较少，小目标引起的灰度值变化通常不会对图像整体部分产生较大的影响，可能会导致检测的时候造成目标的漏检。但是小目标会对局部区域的灰度值产生很大的影响，局部信息熵值会产生较大的变化。因此我们将图像信息熵转换为局部信息熵，图像局部信息熵表达的是图像局部区域灰度的起伏。
35.本技术实施例提供的元器件缺陷检测方法，获取目标元器件的x射线图像，并对x射线图像进行降噪处理，得到第一图像；消除第一图像的非均匀光照背景，得到第二图像；基于模板匹配定位第二图像中待检测的目标元器件图像；通过预设图像分割算法，将目标元器件图像从第二图像中分割出来；基于局部信息熵结合区域生长算法，对x射线图像中的
多余物进行检测，以检测到目标元器件的缺陷，该种元器件缺陷检测方法，高效且可节省大量人力资源，所得检测结果准确、可靠。
36.下面结合图2～图3对本技术的元器件缺陷检测方法进行说明。该方法包括如下流程：
37.s1图像预处理阶段
38.图像预处理阶段包括：(1)基于小波阈值算法的图像降噪处理和(2)基于二维伽马函数的自适应亮度校正两个阶段，下面分别对这两个阶段进行详细说明。
39.(1)基于小波阈值算法的图像降噪处理
40.x射线图像混合噪声明显且缺陷对比度低，采用小波阈值算法，其在滤除噪声、平滑图像的基础上，能够做到很好的边缘保持效果。
41.小波域阈值法去噪处理的过程可简述为：首先把含有噪声的信号在己确定分解层数内对其进行各个尺度上的小波分解，即利用小波变换把自然图像变换到小波域。然后对所处大尺度中低分辨率下的所有小波系数予以保留，同时针对所有尺度中高分辨率下的小波系数，可以根据预先所设定的阈值，将其中幅值小于该阈值的小波系数统统都置为零，而将其中那些幅值大于阈值的小波系数则进行保留或者适当缩小。最终再把所处理后得到的小波系数进行相应的小波逆变换，就可以得原始信号的恢复，这个信号就是去噪后的图像。
42.在以上过程中，小波基和分解层数的选择，阈值的选取规则，和阈值函数的设计，均为影响最终去噪效果的关键因素。
43.1)小波基的选择：通常用户希望所选取的小波满足以下条件：正交性、高消失矩、紧支性、对称性或反对称性。本技术实施例中选用daubechies小波作为小波基，一般简写成dbn，n是小波的阶数。小波函数ψ(t)和尺度函数中的支撑区为2n-1，ψ(t)的消失矩为n。dbn小波具有较好的正则性，即该小波作为稀疏基所引入的光滑误差不容易被察觉，使得信号重构过程比较光滑。dbn小波的特点是随着阶次(序列n)的增大消失矩阶数越大，其中消失矩越高光滑性就越好，频域的局部化能力就越强，频带的划分效果越好。
44.2)阀值的选择：直接影响去噪效果的一个重要因素就是阀值的选取，不同的阀值选取将有不同的去噪效果。目前主要有通用阀值(visushrink)、sureshrink阀值、minimax阀值、bayesshrink阀值等。本方法选用sureshrink阈值，下面介绍该阈值方法。
45.sureshrink阈值是一种基于stein的无偏似然估计(stein’s unbiased risk estimation，sure)基本思想的自适应阈值方法，因此也称可为stein无偏风险阈值。此基本思想建立在均方差准则的无偏估计，它是专门针对于软阈值去噪函数得出的结论,是一种软件估计器，这使得sureshrink阈值趋近于理想阈值。首先给定一个的阈值λ，计算出它的似然估计，再通过最小化非似然估计λ，就得到所选的阈值。
46.首先令xi～n(μi，1)，j＝1，2，
…
，k，得到stein无偏风险估计为：
[0047][0048]
则sureshrink阈值为：
[0049]
[0050]
式中，∧符号表示在两个数之间取小者，xi为小波系数，并且这时噪声标准方差σn＝1,否则就要对其进行标准化。
[0051]
3)阈值函数的选择：在小波域阈值去噪法中，阈值函数就对小波系数进行获取的函数，它表现出来的是对高于和低于阈值的小波系数所采用不同的处理规则以及不同的估计方法。本技术实施例中采用介于常见的硬阈值函数和软阈值函数之间的折中阈值函数，这种阈值函数既使函数有连续性又能保留信号中一些较大的小波系数，使得x光影像去噪具有良好的效果。折中阈值函数其表达式如下：
[0052][0053]
式中w
j.k
表示的是含有噪声图像的小波变换系数，阈值用λ来表示，β是处于0和1之间得实数。可以看出它的计算量就要比半软阈值函数要简单的多，所以在小波阈值去噪中是一种比较常用的阈值函数。
[0054]
基于以上的选择，我们对x光图像进行去噪处理，可以有效地去除x图像上的混合噪声。
[0055]
(2)基于二维伽马函数的自适应亮度校正：
[0056]
考虑到x光设备采集图像时，在提取出场景的光照分量后，就可以根据光照分量的分布特性构造光照不均匀校正函数，对光照不均匀图像进行校正处理，降低光照过强区域的亮度值，提高光照过低区域的亮度值。为了实现上述目标，本技术实施例提出了一种基于二维伽马函数的自适应亮度校正方法，利用图像的光照分量的分布特性自适应地调整二维伽马函数的参数，实现提高光照不均匀图像整体质量的目的。对于输入的图像，假设提取出的光照分量为，构造了一种新的二维伽马函数，其表达式如下：
[0057][0058]
式中：o(x，y)为校正后的输出图像的亮度值；γ为用于亮度增强的指数值，其中包含了图像的光照分量特性；m为光照分量的亮度均值。
[0059]
s2基于模板匹配定位x射线图像中待检测的元器件图像
[0060]
在获取x射线图像时，由于实际检测设备工作机理的原因，在拍摄目标待检测元器件的时候，会拍摄到其他元器件结构的一部分，会对后续的检测造成影响。本方法提出基于模板匹配定位到中心的待检测的目标元器件，得到该元器件的位置并用于后续的分割提取。采用模板匹配的方式，从搜索图像f(x，y)的原点开始，考虑一个二维图形f＝(f
i，j
)m×n和一个模板图形t＝(t
i，j
)
p
×q，通过模板在图像上滑动，来寻找最佳匹配值γ
i，j
最大的位置。
[0061]
本技术实施例中结合opencv库，调用函数matchtemplate，选择归一化相关系数匹配的方式来实现，将模版对其均值的相对值与图像对其均值的相关值进行匹配，提高了匹配的精度，有效减少了密封圈提取不准确的情况，相关系数匹配计算公式如下：
[0062][0063]
式中，r(x，y)为输出图像结果，t
′
(x
′
，y
′
)为模板，i(x，y)为输入图像，表示位置信
息。
[0064]
s3结合grabcut算法对目标元器件进行分割
[0065]
基于s2获得了目标元器件的定位矩形位置，将得到的定位矩形位置输入到grabcut函数中作为前景区域标注矩形框，grabcut算法原理如下：
[0066]
grabcut算法是在graphcut算法基础上的改进和扩展。graphcut算法把待分割图像构建为一个无向网络图g(v，e)。v是所有节点的集合，除了图中每个像素外还有两个终端节点：源点s(代表前景)和汇点t(代表背景)。e代表图的边集，由n-links和t-links组成；n-links是图中每个像素之间的连接，t-links是每个像素节点到终端节点的连接。n-links和t-links分别由不同的计算方式生成权值，从而构建能量函数；然后再用最大流/最小割算法对网络进行分割得到能量函数的最小值从而实现图像的分割。grabcut算法首先它改变原有graphcut算法需要手动标记前景区域和背景区域的方法为只需要在前景区域标注矩形框即可，大大降低了用户交互的复杂性；其次它采用高斯混合模型替代graphcut中的灰度直方图模型来描述前景和背景像素的分布从而实现了对彩色图像的分割；最后，使用迭代更新的方式代替原有一次分割方法的来实现对所构建网络图能量函数的最小化获得更高的分割精度，但由于gmm(高斯混合模型)参数和迭代更新的复杂性导致算法效率降低。grabcut用来分割的能量函数如下：
[0067]
e(α，k，θ，z)＝u(α，k，θ，z) v(α，z)
[0068]
式中：α为透明度系数，为0是背景，为1是前景；k∈{1，2，
…
，k}，k为gmm分量数目，通常取5；θ＝{πk，uk，∑k}为每个gmm分量对应的比例，均值，协方差；e是能量函数，当e取最小值便得到最佳分割；u为区域项，用来衡量透明度系数α对于像素z的匹配程度，当所有像素被正确分类到前景或背景时取得最小值；v为边界项，反映相邻像素之间的相似性，在图像的边界处取得最小值。
[0069]
s4基于局部信息熵结合区域生长算法对多余物进行检测
[0070]
s4包括下述(1)、(2)以及(3)三部分，下面分别对这三部分进行详细说明。
[0071]
(1)视觉显著性模型
[0072]
图像的信息熵表达的是图像整体的信息量，无法详细度量图像某个区域的信息量。多余物目标占图像的整体部分较少，小目标引起的灰度值变化通常不会对图像整体部分产生较大的影响，可能会导致检测的时候造成目标的漏检。但是小目标会对局部区域的灰度值产生很大的影响，局部信息熵值会产生较大的变化。因此本技术实施例中将图像信息熵转换为局部信息熵，图像局部信息熵表达的是图像局部区域灰度的起伏。局部信息熵的表达式为：
[0073][0074][0075]
其中，f(ik，jk)为图像中像素点(ik，jk)处灰度值，m
×
n是图像局部窗口，为图像局部熵。
[0076]
图像局部信息熵反映图像中灰度信息分布的离散程度，图像局部信息熵值越大，局部信息量越大，图像局部灰度变化越丰富，图像局部就越有可能包含目标等有用信息。相反地，图像局部信息熵值越小，图像局部信息量越小，图像这局部灰度级变化小，包含有用信息的可能性越低。我们通过对图像的信息熵进行分块计算，得到图像的信息熵图。对于得到的信息熵图设定合适的阈值进行分割，表示为：
[0077][0078]
其中，c为常数。获得基于局部信息熵的显著性图的二值图，确定了x射线图像中显著区域性的范围。
[0079]
(2)区域生长算法及实现流程
[0080]
区域生长的基本思想是将具有相似性质的像素集合起来构成区域。首先对每个需要分割的区域找出一个种子像素作为生长的起点,然后将种子像素周围邻域中与种子有相同或相似性质的像素(根据事先确定的生长或相似准则来确定)合并到种子像素所在的区域中。而新的像素继续做种子向四周生长,直到再没有满足条件的像素可以包括进来,一个区域就生长而成了。
[0081]
区域生长算法是从单个像素出发，按照一定的生长准则，将具有相似性质的像素合并起来构成同一区域。具体做法如下:
[0082]
1)选出图像中要分割的目标物体内的一点或者说生长起始点。
[0083]
2)在种子区域的基础上不断将其周围的像素点以一定的规则加入其中。
[0084]
3)最终将代表该物体的所有像素点结合成一个区域。
[0085]
在所有图像中，同一个子区域内部像素会有相似的特性，不同子区域之间像素特性差异一般较大。区域生长算法从种子点开始生长，直到所有符合条件的像素点加入为止。区域生长算法原理很简单，其中最为核心的是生长准则，一般可以表示为一个灰度区间:[m-f
·
σ，m f
·
σ]其中m和σ分别表示当前己生长区域的所有像素点灰度值平均值和标准差，f是自定义的系数，如果邻域中像素点的灰度值处于这个区间中则被接纳，否则就被拒绝。
[0086]
其中，区域生长算法程序流程图如图2所示。如图2所示，整幅图像中所有的像素点分为两类:己检测过的像素点和未被检测过的像素点。首先选择目标区域中一个或多个点(种子区域)加入到已生长区域，并以此作为生长起点，计算已生长区域中所有像素点灰度值平均值和标准差，接着判断目前区域的邻域中是否有符合生长准则的像素点，如果存在就将其划分入已生长区域，这样就完成一次迭代。第一次迭代完成后，重复上述步骤，直到没有满足条件的邻域像素点划分入己生长区域为止，区域生长算法结束。目前来说，由于图像的多样性和复杂性，生长准则没有一定的标准。
[0087]
区域生长的关键是选择合适的生长或相似准则，大部分区域生长准则会使用图像的局部性质。生长准则可以根据不同原理制定，而使用不同的生长准则会影响区域生长的过程。常用的生长准则和方法有三种:基于区域灰度差的、基于区域内灰度分布统计性质的和基于区域形状的。
[0088]
本方法采用基于区域内灰度分布特性准则，考虑以灰度分布相似性作为生长准则来决定区域的合并，具体步骤为：
[0089]
步骤一，把图像分成互不重叠的小区域；
[0090]
步骤二：比较邻接区域的累积灰度直方图，根据灰度分布的相似性进行区域合并；
[0091]
步骤三：设定终止准则,通过反复进行步骤二中的操作将各个区域依次合并直到满足终止准则，生长过程结束。
[0092]
(3)多余物检测结果与分析
[0093]
其中，多余物检测结果图如图3所示，图3中的(a)图为局部熵结果图，(b)图为区域生长结果图，所检测出的多余物则为元器件存在的缺陷。
[0094]
图4为本发明实施例提供的一种元器件缺陷检测装置的结构框图。
[0095]
如图4所示，本发明实施例的元器件缺陷检测装置包括如下模块：
[0096]
降噪模块401，用于获取目标元器件的x射线图像，并对所述x射线图像进行降噪处理，得到第一图像；
[0097]
消除模块402，用于消除所述第一图像的非均匀光照背景，得到第二图像；
[0098]
定位模块403，用于基于模板匹配定位所述第二图像中待检测的目标元器件图像；
[0099]
分割模块404，用于通过预设图像分割算法，将目标元器件图像从所述第二图像中分割出来；
[0100]
异物检测模块405，用于基于局部信息熵结合区域生长算法，对所述x射线图像中的多余物进行检测，以检测到所述目标元器件的缺陷。
[0101]
可选的，所述降噪模块包括：
[0102]
第一子模块，用于获取目标元器件的x射线图像；
[0103]
第二子模块，用于基于小波阈值算法，对所述x射线图像进行降噪处理，得到第一图像。
[0104]
可选的，所述消除模块具体用于：
[0105]
基于二维伽马函数的自适应亮度校正方法，对所述第一图像进行处理，得到消除非均匀光照背景的第二图像。
[0106]
可选的，所述定位模块具体用于：
[0107]
采用归一化相关系数匹配法，将模板与所述第二图像进行比对，定位到第二图像中的目标元器件图像。
[0108]
可选的，所述预设图像分割算法为grabcut算法。
[0109]
本技术实施例提供的元器件缺陷检测装置，可用于执行上述元器件缺陷检测方法的相关流程。二者的相关之处，参照上述元器件缺陷检测方法实施例中的相关说明即可，在此不再赘述。
[0110]
需要说明的是，以上所述，仅为本发明最佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
[0111]
本发明说明书中未作详细描述的内容属于本领域技术人员的公知技术。