PCBA零部件尺寸及间隙高精度视觉测量方法与流程

pcba零部件尺寸及间隙高精度视觉测量方法
技术领域
1.本发明属于机器视觉领域，具体涉及pcba零部件尺寸及间隙高精度视觉测量方法。


背景技术：

2.根据idc相关数据表明，全球约80％智能手机生产装配在中国完成，且预测出货量正在呈逐年递增趋势。当前5g手机智能计算能力大幅提高，非标零部件尺寸逐渐缩小，手机pcba零部件装配越来越密集，smt(surface mounted technology)和dip(dual inline
‑
pin package)集成对零件尺寸及其间隙非常敏感，高效、高质量smt上件和dip插件工艺依赖于视觉测量系统对零部件尺寸及其间隙的高精度测量。现有智能手机生产线上的高精度视觉定位和测量系统主要依赖美国康耐视、德国halcon等厂家，这成为国产化智能机器人在产线上推广应用的主要技术瓶颈。智能手机非标零部件尺寸遵循严格的规格控制，对pcba电路板的规范生产起着决定性的作用。随着5g通信技术的高速发展，手机电路板承载元件的数量不断增加，其规格逐渐减小，且各手机生产厂商对非标零部件的规格有着不同的规定。
3.智能手机自动化生产线日趋完善，许多传统工位逐渐被自动化设备所代替，降低生产成本的同时，大大提高生产效率，但同时也面临一些问题，例如人工智能无法进行主观判断导致生产过程中暴力操作而引起废板率增加等问题。目前，关于视觉测量所提出的方案较多，有学者在针对钢板尺寸提出一种大视场下的视觉测量方案，通过在测量平面内利用传送装置将钢板进行间歇性移动，以拍摄两次灰度差异明显的图像作为起始拍摄点，利用两次的视场差异，在市场中找到亚像素边缘位置，利用标定好的视场计算得到钢板的尺寸长度。该方法巧妙的利用了钢板与载物面的灰度差异实现了精确的亚像素尺寸测量，但由于pcba电路板背景复杂，该方法在实验过程中面对复杂且密集的边缘检测效果较差。智能手机pcba电路板背景复杂，工业级面阵相机难以实现无差异化图像采集，不能满足高精度的测量需求，这是当前边缘检测需要突破的难点。
4.因此，如何提高在pcba零部件检测过程中提高尺寸及间隙的视觉测量精度，成为了本领域技术人员急需解决的问题。


技术实现要素：

5.本发明的目的在于提供pcba零部件尺寸及间隙高精度视觉测量方法，以解决了现有的问题：本发明提出了pcba零部件尺寸及间隙高精度视觉测量方法，建立位置矩阵，对zernike矩中阶跃阈值的计算方法进行改进，利用像素梯度相关性动态计算判定阈值，减少弱边缘的消失问题，提高了零部件的尺寸与间隙测量精度。
6.本发明是通过以下技术方案实现的：
7.pcba零部件尺寸及间隙高精度视觉测量方法，包括以下步骤：
8.s1、进行系统标定得到坐标系的精准映射；
9.s2、使用canny算子对pcba电路板的零部件进行像素级边缘粗提取；
10.s3、对完成边缘粗提取的pcba零部件使用改进zernike矩方法，得到高精度的pcba电路板零部件亚像素边缘图像；
11.s4、通过坐标系的转换关系，得到每个像素所表示的长度，利用像素计数的原理可以计算得到pcba电路板中零部件的实际尺寸及间隙大小。
12.优选地，其中，进行系统标定得到坐标系的精准映射，主要包括：
13.以pcba电路板左上角点作为整个坐标系的原点，记为o
w
，原点向右平行于手机电路板作为纵轴，记为y
w
，原点水平向下平行于手机电路板作为横轴，记为x
w
。
14.优选地，其中，对完成边缘粗提取的pcba零部件使用改进zernike矩方法，主要包括：获取pcba电路板的零部件像素级边缘粗提取图像；
15.对亚像素边缘点公式进行改进，计算出亚像素坐标位置；
16.以背景像素和边缘像素最大分割阈值为原则，在不同区域下动态计算灰度门限值的值；
17.计算出可将背景像素与边缘像素进行分割的灰度门限值；
18.比较模型参数与阈值参数，如果灰度差值≥灰度门限值且垂直距离≤垂直距离限值，则判定为边缘点。
19.优选地，其中，得到高精度的pcba电路板零部件亚像素边缘图像，包括如下步骤：
20.对于圆形特征；
21.任意采样点到达对应描述圆方程中的点的距离最短，圆的半径表示为r，圆心坐标记为(a,b)，圆的方程为(x
‑
a)2 (y
‑
b)2＝r2；
22.圆心坐标a,b与半径可以表示其中，a，b，c为三个未知解；
23.选取点(x
i
,y
i
)到(a,b)距离的二次方到半径的差值记为则可以将a,b,c三个未知解写为函数的形式：
[0024][0025]
通过求解三元方程组，得到f最小值，min(f)求解得到a、b、c的记为所需要的解；
[0026][0027][0028][0029]
对于矩形特征：
[0030]
计算得到任意三个角点的坐标即可计算矩形元器件的长和宽，随机选取矩形零部件边缘上的一条边，利用边缘的梯度相邻性以边缘任意点作为种子像素，求得该梯度方向上的两个终点分别记为p
i
(x
i1
,y
i1
)和p
i
(x
i2
,y
i2
)，以该边两个终点中任意梯度拐点记为为p
i
(x
i3
,y
i3
)。
[0031]
计算得到二元组所在直线的长度和宽度，分别以w
i
,h
i
表示：
[0032][0033]
优选地，其中，利用像素计数的原理可以计算得到pcba电路板中零部件的实际尺寸及间隙大小，包括如下步骤：
[0034]
以pcba电路板左上角点作为整个坐标系的原点，记为o
w
，原点向右平行于手机电路板作为纵轴，记为y
w
，原点水平向下平行于手机电路板作为横轴，记为x
w
。
[0035]
与圆形亚像素间隙测量：需要找到两个圆心并计算两个圆的半径即可得到两个圆形零部件的像素距离，然后乘以相机标准参数给出的实际像元大小即可得到真实的物理距离；
[0036]
圆形与矩形亚像素间隙测量：圆形的一般方程形式为：a1(x2 y2) a2x a3y a4＝0，矩形角点为(x2,y2)，记矩形角点为(x2,y2),则圆形与矩形亚像素间隙距离
[0037]
矩形与矩形亚像素间隙测量：矩形间关系分为两种，一种为平行坐标相交时的位置关系，另一种是水平和垂直坐标不相交时的位置关系；
[0038]
当为平行坐标相交时的位置关系时，其间隙为l1部分，则取两个矩形相近边的某个角点作为已知点，记为p2(x2,y2)，p2点的横坐标不变，带入间隔矩形，即可得到纵坐标y1的坐标位置，其间距计算表达式为l1＝y2‑
f(x1)；
[0039]
当为水平和垂直坐标不相交时的位置关系时，其最短间距一定在其相邻方向的两个角点，两个角点坐标均已知，分别记为(x1,y1),(x2,y2)，则两矩形之间的最短间隙计算公式为
[0040]
本发明具有以下有益效果：
[0041]
本发明先用canny算子对pcba电路板的零部件进行像素级边缘粗提取，再使用改进的zernike矩方法对像素级边缘粗提取之后pcba零部件进行亚像素级边缘检测，同时建立标定坐标系，计算出矩形元件和圆形元件的尺寸和间隙，测量精度突破现有技术达到的0.1mm，整体的检测精度基本控制在0.02mm左右，提高了pcba零部件尺寸和间隙的视觉测量精度。
附图说明
[0042]
为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
[0043]
图1为本发明公开的pcba零部件尺寸及间隙高精度视觉测量方法的流程图；
[0044]
图2(a)为坐标系的精准映射示意图；
[0045]
图2(b)为相机内部成像平面示意图；
[0046]
图3(a)为圆形元件尺寸测量示意图；
[0047]
图3(b)为矩形元件尺寸测量示意图；
[0048]
图3(c)为圆形之间间隙测量示意图；
[0049]
图3(d)为矩形零部件间隙测量示意图；
[0050]
图3(e)为矩形与圆形零部件间隙测量示意图。
具体实施方式
[0051]
下面结合附图对本发明作进一步的详细说明。
[0052]
如图1所示，本发明公开了pcba零部件尺寸及间隙高精度视觉测量方法，包括以下步骤：
[0053]
s1、进行系统标定得到坐标系的精准映射；
[0054]
其中，进行系统标定得到坐标系的精准映射，主要包括：
[0055]
以pcba电路板左上角点作为整个坐标系的原点，记为o
w
，原点向右平行于手机电路板作为纵轴，记为y
w
，原点水平向下平行于手机电路板作为横轴，记为x
w
。
[0056]
s2、使用canny算子对pcba电路板的零部件进行像素级边缘粗提取；
[0057]
s3、对完成边缘粗提取的pcba零部件使用改进zernike矩方法，得到高精度的pcba电路板零部件亚像素边缘图像；
[0058]
s4、通过坐标系的转换关系，得到每个像素所表示的长度，利用像素计数的原理可以计算得到pcba电路板中零部件的实际尺寸及间隙大小。
[0059]
其中，对完成边缘粗提取的pcba零部件使用改进zernike矩方法，主要包括：
[0060]
s200、获取pcba电路板的零部件像素级边缘粗提取图像；
[0061]
提取图像为经过canny算子边缘检测后的图像。
[0062]
s201、对亚像素边缘点公式进行改进，假设选用的zernike模板大小为n，则模板区域包含的像素点个数为n2，圆的半径为n/2，在单位圆中计算得到的距离相当于对实际距离进行了n/2倍放大，所即此时的亚像素坐标位置为下式：
[0063][0064]
d为边缘到原点垂直距离，θ为d与x轴的夹角，(x,y)为原点坐标，(x
s
,y
s
)为亚像素坐标。在传统方法中，由于对模板较为依赖，导致算法的求解过程对亚像素边缘点的位置计算不准确，在边缘像素点较多(4
‑
5像素宽度)的区域会由于模板的不同而得到的亚像素位置差异较大，主要原因为zernike矩的计算均假设在理想的单位圆内进行，在实际操作时主要通过滑动窗口与图像完成卷积操作。在单位圆中计算得到的距离相当于对实际距离进行了n/2倍放大。
[0065]
s202、为避免弱边缘断裂现象，以背景像素和边缘像素最大分割阈值为原则，在不同区域下动态计算灰度门限值k
t
的值。设图像i(x,y)中存在d个灰度级，且像素数目记为n＝n1 n2 ... n
d
，n
i
记为灰度值i的像素个数，则在该区域内灰度值i占据概率p
i
如下式所示：
[0066][0067]
s203、计算出可将背景像素与边缘像素进行分割的灰度门限值k
t
，分割后的像素记为c0(c0∈[1,k])和c1(c1∈[k 1,d])，σ2为最大类间方差，灰度门限值k
t
的计算公式如下式所示：
[0068][0069]
k
t
＝max v al(σ2)
[0070]
以背景像素和边缘像素最大分割阈值为原则，求得最大类间方差之后，利用每个局部区域内的最优类间方差，可以有效的实现弱边缘的提取，对整体亚像素边缘点的定位更加准确。
[0071]
s204、zernike矩对边缘点的判定主要依靠模型参数与阈值参数的比较，d为垂直距离，k为灰度差值，如果满足式k≥k
t
，d≤d
t
两条件，则判定为边缘点进行连接，k
t
与d
t
均表示为亚像素边缘点的阈值。
[0072]
由于d位于单位圆内，因此d
t
的取值范围相对较小，选择相对较为容易；而k
t
的取值范围较大，且对边缘点的判定影响比重较大，如果k
t
取值较小，会导致伪边缘数量较多，主要表现为检测结果出现双边缘，如果k
t
取值较大，则会导致目标边缘丢失较多，出现边缘断缺现象；
[0073]
本发明在像素级边缘检测结果的基础上进一步使用亚像素边缘检测，在排除了大量无关像素的基础上使得亚像素级边缘检测的速度大大加快。为了提高亚像素检测的精度本发明针对pcba电路板的特殊性对亚像素级边缘检测算法进行改进，对zernike矩中阶跃阈值的计算方法进行改进，利用像素梯度相关性动态计算判定阈值，减少弱边缘的消失问题。
[0074]
其中，得到高精度的pcba电路板零部件亚像素边缘图像，包括如下步骤：
[0075]
s301、对于圆形特征，任意采样点到达对应描述圆方程中的点的距离最短，圆的半径表示为r，圆心坐标记为(a,b)，圆的方程为(x
‑
a)2 (y
‑
b)2＝r2。
[0076]
s302、圆心坐标a,b与半径可以表示a,b,c为三个未知解选取点(x
i
，y
i
)到(a，b)距离的二次方到半径的差值记为则可以将a,b,c三个未知解写为函数的形式，如下式所示：
[0077][0078]
通过求解三元方程组，得到f最小值，min(f)求解得到a、b、c的记为所需要的解。
[0079][0080][0081][0082]
s303、对于矩形特征，计算得到任意三个角点的坐标即可计算矩形元器件的长和宽，随机选取矩形零部件边缘上的一条边，利用边缘的梯度相邻性以边缘任意点作为种子
像素，求得该梯度方向上的两个终点分别记为p
i
(x
i1
，y
i1
)和p
i
(x
i2
,y
i2
)，以该边两个终点中任意梯度拐点记为p
i
(x
i3
,y
i3
)。
[0083]
假设检测出所有线段集合记为sp，某一条线段记为p
i
，由此可知线段p
i
是一个典型的二元组，且二元组所在直线的斜率x(p
i
)与三个参数(a,b,c)进行抽象对于p
i
的斜率x(p
i
)，可以由计算得出。利用三参数(a,b,c)可以两元组所在直线ax by c＝0，(a,b,c)可由式a＝
‑
y
i2
y
i1
，b＝x
i2
‑
x
i1
，c＝
‑
y
i1
x
i2
x
i1
y
i2
解得。
[0084]
s304、计算得到二元组所在直线的长度和宽度，分别以w
i
,h
i
表示，
[0085]
其中，利用像素计数的原理可以计算得到pcba电路板中零部件的实际尺寸及间隙大小，包括如下步骤：
[0086]
s401、以pcba电路板左上角点作为整个坐标系的原点，记为o
w
，原点向右平行于手机电路板作为纵轴，记为y
w
，原点水平向下平行于手机电路板作为横轴，记为x
w
。
[0087]
为了尽可能保证间隙测量的准确性，本发明对不同零部件之间的间隙分别进行创新测量，主要分为圆形与圆形间隙，圆形与矩形间隙和矩形与矩形间隙三类。依据建立好的坐标系，对pcba电路板执行边缘检测任务，主要分为两个过程，首先进行像素级边缘检测，然后进行亚像素级边缘检测，对最终亚像素级边缘检测实现圆形和矩形的检测，利用检测后存储的坐标点，实现相邻元器件之间的间隙测量。
[0088]
s402、圆形与圆形零部件之间的位置关系通过圆心距离进行确定。需要找到两个圆心并计算两个圆的半径即可得到两个圆形零部件的像素距离，然后乘以相机标准参数给出的实际像元大小即可得到真实的物理距离。
[0089]
s403、圆形与矩形亚像素间隙测量，以圆心和圆的上边界为界，存在两条水平直线，记为i1,i2，由于i2与矩形边界没有交点，因此可以判断其最短距离一定无法通过圆心的水平直线获取，且最短距离一定与矩形距离圆形最近的角点处产生，记矩形角点为(x2,y2)，由于矩形角点坐标已知，此时问题转化为求解已知点到已知圆的最短距离问题。
[0090]
圆形的一般方程形式为：a1(x2 y2) a2x a3y a4＝0，矩形角点为(x2,y2)，a1，a2，a3，a4均为圆的已知参数，可推出式均为圆的已知参数，可推出式再利用点与圆的关系，可计算得到l1为圆形与矩形间隙距离。
[0091]
s404、矩形与矩形亚像素间隙测量，矩形间关系大多分为两种，一种为平行坐标相交时的位置关系，另一种是水平和垂直坐标不相交时的位置关系。若两个矩形在水平方向坐标包含重叠关系，其间隙为l1部分，由于水平坐标存在重叠，则取两个矩形相近边的某个角点作为已知点，记为p2(x2,y2)，p2点的横坐标不变，带入间隔矩形，即可得到纵坐标y1的坐
标位置，其间距计算表达式为l1＝y2‑
f(x1)。f表示坐标y1计算关系。两个矩形元件在水平和垂直方向均无互相包含的坐标，则由图例分析可知，其最短间距一定在其相邻方向的两个角点，两个角点坐标均已知，分别记为(x1,y1),(x2,y2)，则两矩形之间的最短间隙计算公式为
[0092]
工业相机在理想状态下与载物面呈绝对平行关系；相机内部成像平面与相机镜头呈绝对平行关系，坐标系的建立映射如图2(a)和图2(b)所示。
[0093]
图3(a)至图3(e)分别为圆形元件尺寸测量结果、矩形元件尺寸测量结果、圆形之间间隙测量结果、矩形零部件间隙测量结果、矩形与圆形零部件间隙测量。
[0094]
为了进一步量化测量本发明的整体误差，对所测量的零部件首先使用千分尺得到实际物理长度，然后再将测量系统计算得到的测量长度进行记录，数据如表1、表2所示。
[0095]
表1实际测量尺寸与系统计算尺寸表
[0096][0097][0098]
表2实际测量间隙与视觉测量间隙表
[0099][0100]
从以上实验可看出，本发明在分析智能手机pcba电路板特殊性的基础上，对亚像
素级边缘检测算法进行改进，对zernike矩中阶跃阈值的计算方法进行改进，利用像素梯度相关性动态计算判定阈值，减少弱边缘的消失问题。先利用像素级边缘检测算子先进行粗定位，减少无关像素；然后在像素级边缘检测结果的基础上进一步使用亚像素边缘检测，在排除了大量无关像素的基础上使得亚像素级边缘检测的速度大大加快。在视觉测量过程中，测量精度符合预期，重复测量精度在0.02mm左右。
[0101]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。