一种贴片电阻焊点内部空洞自适应检测算法的制作方法

1.本发明涉及电子制造领域，更具体地，涉及一种贴片电阻焊点内部空洞自适应检测算法。


背景技术：

2.近年来，全世界众多国家都出台了自己的制造业产业升级计划，典型代表是德国的工业4.0。制造业在我国既是国民社会经济中的支柱产业，也是我国推动创新以及产业升级的主战场。我国已经是世界上的制造大国，但还不是制造强国，因此，实现由制造大国向制造强国的转变，是新时期我国经济发展所面临的重大课题。随着“制造2025”的提出，预示着智能制造将会成为新时期主要发展方向，我国制造业将从传统的生产方式向智能化生产发展转型，用信息化和工业化两化深度融合来引领和带动整个制造业的发展。电子制造领域目前是全球化、市场化最彻底的领域，追随高新技术和低廉成本是电子产业发展的必然趋势，随着电子信息技术的发展，电子产品已经成为人民生活中不可分割的产物，印刷电路板(printed circuit board，pcb)作为电子产品中的重要部件，正在向着高效，尺寸小的方向发展，在贴片过程易出现各类缺陷，而对这类缺陷检测算法的研究目前吸引了大量的科研人员，尤其是对于贴片组件内部空洞缺陷检测算法的研究。本专利提出了一个自适应的空洞检测算法框架，用于实现贴片组件焊点内部的空洞缺陷检测。
3.回流焊工艺由于焊接效率高、焊接温度易控制等特性，被广泛应用于表面贴装技术领域。贴片组件在回流焊接过程中，当熔融的焊料冷却凝固时，焊料中产生的气体没有逃逸出去将会被“冻结”形成空洞，影响焊点的导热和导电性能，导致印制电路板机械强度下降、热阻增大等问题，从而降低器件的可靠性。因此，对贴片组件焊点内部空洞缺陷进行检测和评估是实际生产中必不可少的环节。随着pcb上集成电路器件越来越趋向于高密度和小型化，使用人工检测不仅成本高，而且检测效率低、精度低。近年来，自动检测方法被广泛应用于电子元器件的内部缺陷检测。目前采集内部图像的方式主要有2d和3d x-ray成像两种方式，3d采集相对于2d来说成像精度高，最大可达2μm，但是成本相对较高，且成像时间慢。因此，在实际工业生产中，考虑到硬件成本和成像效率，通常使用2d-x-ray成像方式采集内部图像。本专利中所有贴片电阻内部图像都是通过二维x射线分析仪采集，如图2所示。在实际检测过程中，贴片电阻在两端通过焊料与pcb板焊接，中间区域并不会产生空洞。因此在检测前需要对图像进行定位处理，通过机械处理定位到焊点位置，如图3。然后针对图3设计算法进行空洞检测以及空洞占比率的计算。
4.由于焊接工艺问题，贴片电阻焊点表面呈凹形曲线，存在一定的高度差异，而焊料中铅对x-ray具有很高的衰减，因此对于锡膏较厚区域x-ray透视效果差，成像较暗；反之，对于锡膏较薄区域成像较亮，从而导致2d-x-ray成像设备采集的贴片电阻图像背景差异明显，呈现亮暗区域分布且其中的空洞灰度级表征也差异性较大。尽管空洞主要以圆或类圆的形状存在，但在较暗区域空洞与背景之间对比度较低、空洞分布较稀疏且面积偏大，较亮区域空洞较密集且面积偏小。而且2d-x-ray成像由于精度较低，会存在较多的噪声干扰，甚
至出现空洞重叠现象。针对上述问题，本专利提出一个贴片电阻焊点内部空洞缺陷自适应检测框架。首先提出一个优化方程，将分区问题转化为求解区域平均灰度差异最大的优化问题，并根据全局迭代策略求解目标方程，将贴片电阻图像分为较暗和较亮两块区域。然后针对较暗区域中空洞与背景之间对比度低、空洞分布较稀疏、面积偏大等现象，提出了一种新的水平集框架，在框架中引入空洞形状先验能量项和灰度自适应能量项；针对较亮区域中空洞与背景之间差异明显、空洞分布密集、面积偏小等现象，提出自适应圆形卷积核检测较亮区域中的空洞。最后采用形状因子和平均灰度强度来剔除由背景痕迹和过锡孔造成的误检测，从而实现空洞精细检测。
5.现有技术中提供了一种bga焊球内部空洞检测方法，该方法首先使用高斯滤波对图像进行光滑预处理，然后对平滑之后的图像进行阈值分割并获取图像轮廓信息，剔除轮廓点集少于6个像素的噪声，对剩下的所有轮廓进行椭圆拟合，最后对拟合后的轮廓进行分类，通过长宽比判断其是bga焊球还是空洞缺陷，然而，该方法未涉及将贴片电阻图像分为较亮和较暗两块区域，然后对两块区域针对性设计空洞缺陷检测方法，分区处理相较于基于全局处理的算法能够更好的适应背景差异，尤其对贴片电阻图像更加适用；针对较亮区域空洞与背景差异明显，空洞偏小且分布密集，提出了自适应圆形卷积核加阈值分割算法进行空洞检测，自适应圆形卷积核能够根据每幅贴片电阻图像设计一个不同尺寸的核，以更好的增强空洞区域，提高otsu算法的分割准确率等技术方案。


技术实现要素：

6.本发明提供一种贴片电阻焊点内部空洞自适应检测算法，该方法相较于基于全局处理的算法能够更好的适应背景差异，尤其对贴片电阻图像更加适用。
7.为了达到上述技术效果，本发明的技术方案如下：
8.一种贴片电阻焊点内部空洞自适应检测算法，包括以下步骤：
9.s1：将贴片电阻x-ray图像自动分割为较亮和较暗两个区域；
10.s2：对步骤s1得到的结果进行空洞检测；
11.s3：对步骤s2的得到的结果进行空洞精细检测。
12.进一步地，所述步骤s1的具体过程是：
13.为了将贴片电阻x-ray图像自动分割为较亮和较暗两个区域，提出一种优化求解的自适应分区策略找到两个区域的最优分界线，即将分区问题转化为求解平均灰度差异最大的优化问题：
[0014][0015]
s.t.
[0016][0017]
式(1)中，和分别表示i分界处左右两个区域的灰度总和除以行数m，col
l
(i)和colr(i)分别表示这两个区域对应的像素列数，m/n表示贴片电阻图像的像素总行/列数；
[0018]
采用匀速迭代遍历策略求解式(1)，获得i的全局最优解，即可将贴片电阻图像自动划分为较亮区域i
bright
和较暗区域i
dark
，迭代步长经验性设置为5。
[0019]
进一步地，所述步骤s2的具体过程是：
[0020]
1)、基于自适应圆形卷积核的较亮区域空洞缺陷粗检测：
[0021]
设total张贴片电阻x-ray图像中第j张图像的较亮区域为其中j＝1,2,.....,total，对首先采用自适应阈值分割，然后采用形态学处理剔除干扰，再获取最大空洞面积sj，则可设计相应的圆形卷积核其核尺寸wj为：
[0022][0023]
设wj＝5，圆形卷积核的设计为：
[0024][0025]
中元素之和为零且形状呈圆形，由式(2)可知，不同贴片电阻图像的较亮区域拥有不同的圆形卷积核，采用所获取的自适应圆形卷积核进行卷积操作后，再采用导向滤波进行滤波操作，最后采用otsu实现贴片电阻图像较亮区域的空洞缺陷粗检测
[0026]
2)、灰度自适应能量项：
[0027]
为提高水平集模型的对初始轮廓的鲁棒性，提高分割效率，提出基于灰度自适应的局部预拟合能量项，在水平集函数演化之前，通过求解两个预拟合函数e1(x)和e2(x)分别用来近似局部区域中轮廓内外的图像强度：
[0028]
其中
[0029]
局部窗口h尺寸在一定程度上决定了预拟合函数e1(x)和e2(x)，从而影响水平集函数的演化，通过实验发现，不同尺寸的h对贴片电阻图像的分割效果和时间有较大的的影响，核尺寸越小，消耗时间越少但对于教暗区域的分割效果也越差；核尺寸越大，消耗时间越多且在较亮区域容易出现过度分割，基于此提出基于灰度自适应的确定h的尺寸，对于较暗区域中的像素点其m尺寸大小为：
[0030][0031]
基于灰度自适应预拟合能量函数并引入水平集函数φ可表示为：
[0032][0033]
3)、多尺度形状先验能量项：
[0034]
在贴片电阻图像中，空洞是以圆或类圆的形状存在，为解决贴片电阻图像中空洞重叠、空洞位于背景差异界线以及存在背景痕迹干扰现象，提出了基于空洞多尺度形状先验的能量函数构建，并引入水平集框架，形状先验能量项的构建过程如下：
[0035][0036]
其中(xi,yi)为的第i个水平集函数的圆心，ri为半径，并分别可在二进制图上应用形态运算确定，然后根据式(7)创建二值形状先验：
[0037][0038]
根据式(8)可更新形状先验：
[0039][0040]
曲线每次演化都会动态更新之前的形状先验，根据式(9)设计正则化能量项：
[0041][0042]
4)、基于形状先验的灰度自适应水平集的较暗区域空洞缺陷粗检测：
[0043]
结合上述灰度自适应预拟合能量项e
ga
以及形状先验能量项e
sp
，总的能量泛函如下：
[0044][0045]
其中表示图像域，x,y∈ω，υ、u和λ是两个正常数，υ＝0.02*255*255，u＝0.2，λ＝0.1，k
σ
是高斯核函数，其核尺寸为9*9，σ＝3，h
ε
(x)和δ
ε
(x)是正则化的heaviside和dirac函数，定义为式(12)：
[0046][0047]
使用最速下降法最小化得到以下梯度下降流：
[0048][0049]
其中es(x)和e
l
(x)分别表示：
[0050]
[0051][0052]
式(13)为该模型求解水平集函数的演化方程，通过式(15)迭代求解最优φ，即为较暗区域的空洞粗检测
[0053]
将上述较亮区域空洞粗检测和较暗区域空洞粗检测简单合并得到空洞粗检测图像
[0054][0055]
中的若干个连通域可能就是待检测的空洞区域。
[0056]
进一步地，所述步骤s3的具体过程是：
[0057]
背景痕迹通常形状不规则，采用形状因子来剔除其造成的误检测，设空洞粗检测图像中第l个连通域的面积为a
l
、周长为l
l
，其形状因子sf
l
定义如下：
[0058][0059]
由式(17)可知，该连通域越接近于圆形，sf
l
值越大且趋近于1，反之则越小趋向于0，设置阈值t1即可剔除误检测，得到进一步检测结果对于连通域面积大于60pixel的大空洞t1设为0.6，面积小于60pixel的空洞t1设为0.8；
[0060]
虽然经过形状因子特征可以剔除贴片电阻图像中的一些非类圆干扰，但是过锡孔也是呈现圆形或类圆形，为此，提出一种平均灰度判定策略进一步抑制过锡孔干扰：
[0061]
设在中第l个连通域对应的原贴片电阻图像区域为rs
l
，rs
l
的最小外接矩形区域为rec
l
，则采用以下平均灰度判定策略判断rs
l
是否为空洞区域：
[0062]
mean(rs
l
)-mean(rec
l-rs
l
)》t2ꢀꢀ
(18)
[0063]
其中，mean(
·
)是求平均灰度值的操作，t2为阈值设置为0.01，若式(18)成立则认为rs
l
是空洞，保留该连通域，否则剔除；
[0064]
经过上述后处理步骤后即实现了空洞缺陷的精细检测，最后通过计算空洞面积与贴片电阻图像的总面积之比，即可得到空洞占比率。
[0065]
与现有技术相比，本发明技术方案的有益效果是：
[0066]
本发明提出了一种优化求解策略将贴片电阻图像分为较亮和较暗两块区域，然后对两块区域针对性设计空洞缺陷检测方法，分区处理相较于基于全局处理的算法能够更好的适应背景差异，尤其对贴片电阻图像更加适用；针对较亮区域空洞与背景差异明显，空洞偏小且分布密集，提出了自适应圆形卷积核加阈值分割算法进行空洞检测，自适应圆形卷积核能够根据每幅贴片电阻图像设计一个不同尺寸的核，以更好的增强空洞区域，提高otsu算法的分割准确率；针对较暗区域空洞与背景对比度低，面积偏大且分布较稀疏，提出基于形状先验的灰度自适应水平集方法用于空洞检测，将空洞类圆的形状先验设计能量函数引入水平集框架，该能量项的引入能够提高模型对空洞的敏感性，特别对重叠的空洞检测尤为有效，根据灰度强度确定局部窗口的大小，然后在水平集函数演化之前计算预拟合能量项，该能量项的引入能够极大地提高模型检测效率；空洞精细处理，分别采用形状因子
和平均灰度强度剔除误由于背景痕迹和过锡孔等缺陷造成的误检测，最后根据精细检测的结果计算空洞占比率，通过设置阈值可以直观的看出产品是否合格。
附图说明
[0067]
图1为本发明流程图；
[0068]
图2、3为本发明贴片电阻x-ray成像图；
[0069]
图4为采用本发明方法的实验结果图。
具体实施方式
[0070]
附图仅用于示例性说明，不能理解为对本专利的限制；
[0071]
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
[0072]
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0073]
下面结合附图和实施例对本发明的技术方案做进一步的说明。
[0074]
如图1所示，本发明提出了一种贴片电阻焊点内部空洞自适应检测算法，用于解决贴片电阻焊点内部空洞缺陷检测问题，具体步骤如下所示：
[0075]
1、自适应分区策略(如图2所示)
[0076]
为了将贴片电阻x-ray图像自动分割为较亮和较暗两个区域，提出一种优化求解的自适应分区策略找到两个区域的最优分界线，即将分区问题转化为求解平均灰度差异最大的优化问题：
[0077][0078]
s.t.
[0079][0080]
式(1)中，和分别表示i分界处左右两个区域的灰度总和除以行数m，col
l
(i)和colr(i)分别表示这两个区域对应的像素列数，m/n表示贴片电阻图像的像素总行/列数。
[0081]
采用匀速迭代遍历策略求解式(1)，获得i的全局最优解，即可将贴片电阻图像自动划分为较亮区域i
bright
和较暗区域i
dark
。迭代步长经验性设置为5。
[0082]
2、空洞粗检测
[0083]
2.1基于自适应圆形卷积核的空洞缺陷粗检测
[0084]
假设total张贴片电阻x-ray图像中第j张图像的较亮区域为(j＝1,2,.....,total)，对首先采用自适应阈值分割，然后采用形态学处理剔除干扰，再获取最大空洞面积sj，则可设计相应的圆形卷积核其核尺寸wj为：
[0085][0086]
以wj＝5为例展示圆形卷积核的设计：
[0087][0088]
可以看出，中元素之和为零且形状呈圆形。
[0089]
由式(2)可知，不同贴片电阻图像的较亮区域拥有不同的圆形卷积核。采用所获取的自适应圆形卷积核进行卷积操作后，再采用导向滤波进行滤波操作，最后采用otsu实现贴片电阻图像较亮区域的空洞缺陷粗检测
[0090]
2.2基于形状先验的灰度自适应水平集方法
[0091]
2.2.1灰度自适应
[0092]
为提高水平集模型的对初始轮廓的鲁棒性，提高分割效率，提出基于灰度自适应的局部预拟合能量项。在水平集函数演化之前，通过求解两个预拟合函数e1(x)和e2(x)分别用来近似局部区域中轮廓内外的图像强度：
[0093]
其中
[0094]
局部窗口h尺寸在一定程度上决定了预拟合函数e1(x)和e2(x)，从而影响水平集函数的演化。通过实验发现，不同尺寸的h对贴片电阻图像的分割效果和时间有较大的的影响。核尺寸越小，消耗时间越少但对于教暗区域的分割效果也越差；核尺寸越大，消耗时间越多且在较亮区域容易出现过度分割。基于此我们提出了基于灰度自适应的确定h的尺寸，对于较暗区域中的像素点其m尺寸大小为：
[0095][0096]
基于灰度自适应预拟合能量函数并引入水平集函数可表示为：
[0097][0098]
2.2.1多尺度形状先验的引入
[0099]
在贴片电阻图像中，空洞通常是以圆或类圆的形状存在。为解决贴片电阻图像中空洞重叠、空洞位于背景差异界线以及存在背景痕迹干扰等现象，提出了基于空洞多尺度形状先验的能量函数构建，并引入水平集框架，形状先验能量项的构建过程如下：
[0100]
[0101]
其中(xi,yi)为的第i个水平集函数的圆心，ri为半径，并分别可在二进制图上应用形态运算确定。然后根据式(7)创建二值形状先验：
[0102][0103]
根据式(8)可更新形状先验
[0104][0105]
曲线每次演化都会动态更新之前的形状先验，根据式(9)设计正则化能量项：
[0106]esp
(φ)＝∫
ω
(φ-ψ)2dxdy
ꢀꢀ
(10)
[0107]
结合灰度自适应预拟合能量项e
ga
以及形状先验能量项e
sp
，总的能量泛函如下：
[0108][0109]
其中表示图像域，x,y∈ω，υ、u和λ是两个正常数(本文中υ＝0.02*255*255，u＝0.2，λ＝0.1)，k
σ
是高斯核函数(本文中核尺寸为9*9，σ＝3)。h
ε
(x)和δ
ε
(x)是正则化的heaviside和dirac函数，定义为式(12)。
[0110][0111]
使用最速下降法最小化可得到以下梯度下降流：
[0112][0113]
其中es(x)和e
l
(x)分别表示：
[0114][0115][0116]
式(13)为该模型求解水平集函数φ的演化方程，通过式(15)迭代求解最优即为较暗区域的空洞粗检测
[0117]
将上述较亮区域空洞粗检测和较暗区域空洞粗检测简单合并得到空洞粗检测图像
[0118]
[0119]
中的若干个连通域可能就是待检测的空洞区域。但是，在实际工艺中贴片电阻图像往往还存在其他干扰，如背景痕迹(background trace)、过锡孔(vias)、噪声等，这些干扰将造成空洞缺陷误检测，因此需要进行后处理完成空洞精细检测。
[0120]
3、空洞精细检测
[0121]
背景痕迹通常形状不规则，采用形状因子来剔除其造成的误检测。假设空洞粗检测图像中第l个连通域的面积为a
l
、周长为l
l
，其形状因子sf
l
定义如下：
[0122][0123]
由式(17)可知，该连通域越接近于圆形，sf
l
值越大且趋近于1，反之则越小趋向于0。设置阈值t1即可剔除误检测，得到进一步检测结果在本发明中对于连通域面积大于60pixel的大空洞t1设为0.6，面积小于60pixel的空洞t1设为0.8。
[0124]
虽然经过形状因子特征可以剔除贴片电阻图像中的一些非类圆干扰，但是过锡孔也是呈现圆形或类圆形。因此，提出一种平均灰度判定策略进一步抑制过锡孔干扰。假设在中第l个连通域对应的原贴片电阻图像区域为rs
l
，rs
l
的最小外接矩形区域为rec
l
，则采用以下平均灰度判定策略判断rs
l
是否为空洞区域：
[0125]
mean(rs
l
)-mean(rec
l-rs
l
)》t2ꢀꢀ
(18)
[0126]
其中，mean(
·
)是求平均灰度值的操作，t2为阈值，在本文中设置为0.01。若式(18)成立则认为rs
l
是空洞，保留该连通域，否则剔除。
[0127]
经过上述后处理步骤后即实现了空洞缺陷的精细检测(实验结如图3所示)。最后通过计算空洞面积与贴片电阻图像的总面积之比，即可得到空洞占比率。
[0128]
相同或相似的标号对应相同或相似的部件；
[0129]
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
[0130]
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。