一种QFP的视觉识别方法与流程

一种qfp的视觉识别方法
技术领域
1.本发明涉及图像识别技术领域，更具体的说，本发明涉及一种qfp的视觉识别方法。


背景技术：

2.qfp(quad flat package)为四侧引脚扁平封装，是表面贴装型封装之一，引脚从四个侧面引出呈l型。
3.随着电子制造业的发展，表面贴片技术的发展越来越快，其中贴片元器件的定位精度和速度是影响贴片机性能的重要指标。基于计算机的电子元器件定位方法有着高速、高精度和智能化的特点，不仅增加了生产的柔性和自动化程度，而且大大提高了生产的智能性和通用性，因而高性能贴片机都采用计算机视觉检测技术来提高贴片机的贴片效率。
4.传统的贴片机中电子元器件的计算机视觉定位方法包括模板匹配法和质心法等，其中模板匹配法的定位精度较高，但是算法复杂，图像匹配的速度较慢，而后者虽然定位速度快，但定位精度不高。目前也没有一种通用的计算机视觉定位检测方法能在检测速度和精度方面都取得较理想的效果，因而针对元器件本身的特点选用有针对性的定位检测方法是一种较为实际的方案。qfp芯片是最为常见的电子元器件，由于qfp芯片引脚中存在一段弯折，而获得的图像中qfp芯片引脚对应区域的灰度不一致，使得在轮廓提取后的qfp芯片图像中，出现qfp芯片引脚断裂的现象，同时qfp芯片位置的检测和引脚的缺陷给分析带来很大困难；而利用定向膨胀修复引脚的方法检测qfp芯片，常因耗时过长、效率低下而不满足实际应用要求。


技术实现要素：

5.为了克服现有技术的不足，本发明提供一种qfp的视觉识别方法，该方法能够避免生产品质不良，使机器更加智能化。
6.本发明解决其技术问题所采用的技术方案是：一种qfp的视觉识别方法，其特征在于，该方法包括以下的步骤：
7.s10、图像前处理，包括采用高斯卷积核平滑图像、采用自动阈值对图像进行二值化以及使用形态学开运算过滤干扰点，闭运算使引脚封闭；
8.s20、粗定位，计算引脚的理论的最大面积和最小面积，提取轮廓后，得到最小外接矩形得到box1，并计算最小外接矩形box1的面积，并确定其是否为目标；
9.s30、掩膜图像，对于步骤s20中提取的所有目标，计算其四个顶点，将所有的顶点作为一个整体计算最小外接矩形，得到最小外接矩形为box2，然后计算中心和角度；根据设置的图像大小和引脚长度将元件中心掩掉；
10.s40、提取所有引脚，对掩膜后的图像，再次提取轮廓，计算最小外接矩形得到box3，并计算其理论面积，根据理论面积判断是否为目标；
11.s50、过滤非目标，计算所有目标的位置，当目标位置超过以元件四个顶点围成的
区域时，则过滤掉该目标；
12.s60、引脚分类，步骤s50中得到的所有最小外接矩形box3统称为box
all
1，将box
all
1的四个顶点组合至序列中，并通过该序列计算最小外接矩box
together
；根据box
all
1中每个最小外接矩形box3到最小外接矩box
together
四条边的距离将所有目标分成四类box
l
,box
t
,boxr,boxb，分别代表元件左侧、上侧、右侧、下侧的引脚；
13.s70、计算边的中心，其中元件左侧的最小外接矩形box
l
计算其左侧边的中心，元件上侧的最小外接矩形box
t
计算其上侧边的中心，元件右侧的最小外接矩形boxr计算其右侧边的中心，元件下侧的最小外接矩形boxb计算其下侧边的中心；
14.s80、引脚数比对，将元件各侧的引脚数与实际引脚数进行比对；
15.s90、插值，对上下两侧的引脚分别按x方向排序，对左右两侧的引脚分别按y方向排序，此后分别对上侧、下侧、左侧、右侧的引脚进行插值计算；
16.s100、检查引脚间距。
17.进一步的，步骤s20中，qfp元件的参数包括：元件宽度w、元件高度h、本体宽度c_w、本体高度c_h、引脚长度pin
length
、引脚宽度pin
width
、引脚间距pin
pitch
、足长foot
length
。
18.进一步的，步骤s20中，当满足以下公式的计算结果，则确定其为目标：
19.area
min
＝pin
length_min
×
pin
width_min
；
20.area
max
＝w
×
h；
21.area
real
＝box.size.width
×
box.size.height；
22.area
real
》area
min
×
0.8∩area
real
《area
max
×
1.2；
23.其中，area
min
表示最小面积，pin
length_min
表示最小脚长，pin
width_min
表示最小脚宽，最小面积等于最小脚长乘以最小脚宽；
24.area
max
表示最大面积，最大面积等于元件宽度w乘以元件高度h；
25.area
real
表示引脚实际面积，box.size.width表示引脚实际宽度，box.size.height表示引脚实际高度，引脚实际面积等于引脚宽度乘以引脚高度。
26.进一步的，步骤s20中，将所有box1的四个顶点组合至序列seq
all
中，并计算序列seq
all
中的最小外接矩形box
all
2；
27.将box
all
2的长度与元件宽度w进行比较，如box
all
2的长度大于元件宽度w，则沿x方向删除box
all
2两侧的点再次计算，直至box
all
2的长度收敛至元件的宽度附近；
28.将box
all
2的宽度的元件高度h进行比较，如box
all
2的宽度的大于元件高度h，则沿y方向删除box
all
2两侧的点再次计算，直至box
all
2的宽度收敛至元件的高度附近；以删除元件外的干扰点。
29.进一步的，步骤s40中，根据理论面积判断是否为目标的方法包括：当计算的理论面积满意以下公式的计算结果，则确认其为目标：
30.area
min
＝pin
length_min
×
pin
width_min
；
31.area
real
＝box.size.width
×
box.size.height；
32.area
real
》area
min
×
0.6∩area
real
《area
min
×
1.4；
33.其中，area
min
表示最小面积，pin
length_min
表示最小脚长，pin
width_min
表示最小脚宽，最小面积等于最小脚长乘以最小脚宽；
34.area
real
表示引脚实际面积，box.size.width表示引脚实际宽度，
box.size.height表示引脚实际高度，引脚实际面积等于引脚宽度乘以引脚高度。
35.进一步的，步骤s50还包括：通过聚类算法计算引脚的长和宽，当目标的长或宽超过通过聚类算法计算的长或宽1.5倍时，则过滤掉该目标。
36.进一步的，步骤s90中，对下测引脚进行插值计算的方法如下：
37.s901、通过聚类计算下侧引脚间距为pin_pitch
cluster
，若存在相邻的两脚间距pin_pitch大于1.5倍的pin_pitch
cluster
，则此处存在缺脚；
38.s902、缺脚个数计算公式如下：
[0039][0040]
其中，num为缺脚个数，pin_pitch为大于1.5倍的pin_pitch
cluster
的间距；
[0041]
s903、缺脚位置计算公式如下；
[0042][0043]
其中posi为第i个引脚位置，pos
start
为起始缺脚位置，pos
end
为终止缺脚位置，num为缺脚个数。
[0044]
进一步的，步骤s100包括以下的步骤：根据聚类计算各边的引脚间距记为pitch，分别计算各边上相邻两个引脚的间距pitchi，对所有两两相邻的引脚，当满足以下公式时，则认为引脚不良：
[0045]
pitchi《pitch
×
0.6∪pitchi》pitch
×
1.4。
[0046]
进一步的，还包括步骤s110、计算位置和角度，取各边中心的均值即为元件的中心位置，对各边中心分别拟合直线，计算直线角度并将左右侧的角度规整到0度附近，对四条边的角度取均值为元件的角度。
[0047]
本发明的有益效果是：本发明提供了一种qfp的视觉识别方法，能够有效的、快速的定位qfp元件，应用于贴片机生产过程中，避免生产品质不良，使机器更人性化和智能化。
附图说明
[0048]
图1为qfp元件的结构示意图。
[0049]
图2为qfp元件的参数示意图。
[0050]
图3为本发明的一种qfp的视觉识别方法的流程示意图。
[0051]
图4为本发明中的原始图像。
[0052]
图5为本发明中的二值化图像。
[0053]
图6为本发明中的经形态学处理后的图像。
[0054]
图7为本发明步骤s20中粗定位的结构示意图。
[0055]
图8为本发明步骤s30中掩膜图像的结构示意图。
[0056]
图9为本发明中提取所有引脚后的示意图。
[0057]
图10为本发明步骤s60中引脚分类后的示意图。
[0058]
图11为本发明中下侧的引脚插值后的示意图。
[0059]
图12为本发明步骤s110中计算位置和角度的结构示意图。
具体实施方式
[0060]
下面结合附图和实施例对本发明进一步说明。
[0061]
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，专利中涉及到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。
[0062]
在现代化的smt生产过程中，元件的定位都是通过视觉识别的方式实现的。qfp元件在贴片元件中是非常重要、非常昂贵的元件，在生产中不仅要保证其极高的位置精度和角度精度，还要保证其方向正确、保证其引脚完整且位置正确。由于其引脚状态的多样性，部分smt设备无法计算引脚状态，如果引脚有缺失依然进行贴装，则会造成产品不良，对生产造成极大危害，还可能对客户造成极大损失。
[0063]
本发明描述的方法是通过图像抓取所有引脚，然后进行几何变换，生成二维结果矩阵，与设置值比对，检查所有引脚状态是否正确，然后在缺脚处进行迭代线性插值，最后根据所有引脚计算位置和角度。这样不仅准确高效，而且更智能化、人性化，大大提高了产品的核心竞争力。
[0064]
qfp元件的结构如图1所示，结合图2，qfp元件的参数主要包括：元件宽度w、元件高度h、本体宽度c_w、本体高度c_h、引脚长度pin
length
、引脚宽度pin
width
、引脚间距pin
pitch
、足长foot
length
。
[0065]
参照图3所示，本发明提供了一种qfp的视觉识别方法，该方法包括以下的步骤10-步骤s100：
[0066]
s10、图像前处理，包括采用高斯卷积核平滑图像、采用自动阈值对图像进行二值化以及使用形态学开运算过滤干扰点，闭运算使引脚封闭；
[0067]
在本实施例中，如图4为原始图像，图5为二值化图像，图6为经形态学处理后的图像。
[0068]
s20、粗定位，计算引脚的理论的最大面积和最小面积，提取轮廓后，得到最小外接矩形得到box1，并计算最小外接矩形box1的面积，并确定其是否为目标；
[0069]
在本实施例中，步骤s20中，当满足以下公式的计算结果，则确定其为目标：
[0070]
area
min
＝pin
length_min
×
pin
width_min
；
[0071]
area
max
＝w
×
h；
[0072]
area
real
＝box.size.width
×
box.size.height；
[0073]
area
real
》area
min
×
0.8∩area
real
《area
max
×
1.2；
[0074]
其中，area
min
表示最小面积，pin
length_min
表示最小脚长，pin
width_min
表示最小脚宽，最小面积等于最小脚长乘以最小脚宽；
[0075]
area
max
表示最大面积，最大面积等于元件宽度w乘以元件高度h；
[0076]
area
real
表示引脚实际面积，box.size.width表示引脚实际宽度，box.size.height表示引脚实际高度，引脚实际面积等于引脚宽度乘以引脚高度。
[0077]
进一步的，步骤s20中，将所有box1的四个顶点组合至序列seq
all
中，并计算序列seq
all
中的最小外接矩形box
all
2；
[0078]
将box
all
2的长度与元件宽度w进行比较，如box
all
2的长度大于元件宽度w，则沿x方向删除box
all
2两侧的点再次计算，直至box
all
2的长度收敛至元件的宽度附近；
[0079]
将box
all
2的宽度的元件高度h进行比较，如box
all
2的宽度的大于元件高度h，则沿y方向删除box
all
2两侧的点再次计算，直至box
all
2的宽度收敛至元件的高度附近；通过该步骤，能够删除元件外的干扰点，从而提高识别的准确度。
[0080]
参照图7即为步骤s20中粗定位的结果。
[0081]
s30、掩膜图像，对于步骤s20中提取的所有目标，计算其四个顶点，将所有的顶点作为一个整体计算最小外接矩形，得到最小外接矩形为box2，然后计算中心和角度；根据设置的图像大小和引脚长度将元件中心掩掉；其结果如图8所示。
[0082]
s40、提取所有引脚，对掩膜后的图像，再次提取轮廓，计算最小外接矩形得到box3，并计算其理论面积，根据理论面积判断是否为目标；
[0083]
本实施例中，步骤s40中，根据理论面积判断是否为目标的方法包括：当计算的理论面积满意以下公式的计算结果，则确认其为目标：
[0084]
area
min
＝pin
length_min
×
pin
width_min
；
[0085]
area
real
＝box.size.width
×
box.size.height；
[0086]
area
real
》area
min
×
0.6∩area
real
《area
min
×
1.4；
[0087]
其中，area
min
表示最小面积，pin
length_min
表示最小脚长，pin
width_min
表示最小脚宽，最小面积等于最小脚长乘以最小脚宽；
[0088]
area
real
表示引脚实际面积，box.size.width表示引脚实际宽度，box.size.height表示引脚实际高度，引脚实际面积等于引脚宽度乘以引脚高度。
[0089]
如图9即为本发明中提取所有引脚后的示意图。
[0090]
s50、过滤非目标，计算所有目标的位置，当目标位置超过以元件四个顶点围成的区域时，则过滤掉该目标；
[0091]
步骤s50还包括：通过聚类算法计算引脚的长和宽，当目标的长或宽超过通过聚类算法计算的长或宽1.5倍时，则过滤掉该目标；剩下的所有目标即为元件的引脚。
[0092]
s60、引脚分类，步骤s50中得到的所有最小外接矩形box3统称为box
all
1，将box
all
1的四个顶点组合至序列中，并通过该序列计算最小外接矩box
together
；根据box
all
1中每个最小外接矩形box3到最小外接矩box
together
四条边的距离将所有目标分成四类box
l
,box
t
,boxr,boxb，分别代表元件左侧、上侧、右侧、下侧的引脚；
[0093]
参照图10所示，即为步骤s60中引脚分类后的示意图，边的颜色表明不同的分类，图10中，红色表示左侧的引脚，绿色表示上侧的引脚，蓝色表示右侧的引脚，橙色表示下侧的引脚。
[0094]
s70、计算边的中心，其中元件左侧的最小外接矩形box
l
计算其左侧边的中心，元件上侧的最小外接矩形box
t
计算其上侧边的中心，元件右侧的最小外接矩形boxr计算其右侧边的中心，元件下侧的最小外接矩形boxb计算其下侧边的中心；
[0095]
s80、引脚数比对，将元件各侧的引脚数与实际引脚数进行比对；
[0096]
本实施例中，元件各侧实际引脚个数等于对应侧的假象引脚个数减缺脚个数(假象引脚个数和缺脚个数都是元件的基本参数，在识别前已由用户设置完成)，步骤60中将所得到的所有分成了4类，分别代表元件左侧、上侧、右侧、下侧的引脚，将各侧引脚数与实际引脚数进行对比，以确保所有引脚都正常。
[0097]
s90、插值，对上下两侧的引脚分别按x方向排序，对左右两侧的引脚分别按y方向排序，此后分别对上侧、下侧、左侧、右侧的引脚进行插值计算；
[0098]
本实施例中，以下侧的引脚插值为例进行说明，对下测引脚进行插值计算的方法如下：
[0099]
s901、通过聚类计算下侧引脚间距为pin_pitch
cluster
，若存在相邻的两脚间距pin_pitch大于1.5倍的pin_pitch
cluster
，则此处存在缺脚；
[0100]
s902、缺脚个数计算公式如下：
[0101][0102]
其中，num为缺脚个数，pin_pitch为大于1.5倍的pin_pitch
cluster
的间距；
[0103]
s903、缺脚位置计算公式如下；
[0104][0105]
其中posi为第i个引脚位置，pos
start
为起始缺脚位置，pos
end
为终止缺脚位置，num为缺脚个数。
[0106]
本实施例中，参照图11所示，即为下侧的引脚插值后的示意图。并且，元件左侧、上侧以及右侧的计算方式与上述类似，本实施例中不再赘述。
[0107]
s100、检查引脚间距。
[0108]
在本实施例中，步骤s100包括以下的步骤：根据聚类计算各边的引脚间距记为pitch，分别计算各边上相邻两个引脚的间距pitchi，对所有两两相邻的引脚，当满足以下公式时，则认为引脚不良：
[0109]
pitchi《pitch
×
0.6∪pitchi》pitch
×
1.4。
[0110]
另外，还包括步骤s110、计算位置和角度，取各边中心的均值即为元件的中心位置，对各边中心分别拟合直线，计算直线角度并将左右侧的角度规整到0度附近，对四条边的角度取均值为元件的角度。其结果如图12所示。
[0111]
基于此，本发明提供了一种qfp的视觉识别方法，能够有效的、快速的定位qfp元件。其有效性体现在通过对引脚尺寸的计算，位置的计算，个数的计算以及引脚间距的计算，从而确保每一个贴装的元件都是合格的，避免了因缺脚、歪脚引起的不良，提高了产品品质。其快速性体现在使用传统的轮廓定位方式，不需要识别前学习模板，不需要识别中匹配模板，仅通过设置的参数即可定位目标，从而大大提高了定位速度。有效的、快速的定位方式使得设备具有更强的市场竞争力，极大的提高了设备的市场占有率。
[0112]
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施
例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。