一种基于机器视觉的FPC连接器表面裂纹检测方法

一种基于机器视觉的fpc连接器表面裂纹检测方法
技术领域
1.本发明涉及半导体技术领域，尤其是一种基于机器视觉的fpc连接器表面裂纹检测方法。


背景技术：

2.表面贴装连接器是以贴装的安装方式与印制电路板(pcb)连接的结构，它能够满足表面贴装技术(smt)的自动贴及回流焊的工艺要求，可以大幅度提高整机装配效率，增加安装密度，节约整机空间。
3.随着smt技术的普及，表面贴装连接器的应用也越来越广泛，各种类型的pcb都随之有相应的表面贴装连接器出现。fpc连接器就是一种用于连接柔性电路板(fpc)与普通pcb的连接器，fpc又称软性电路板、挠性电路板，其以质量轻、厚度薄、可自由弯曲折叠等优良特性而备受青睐。fpc连接器常被用于液晶显示屏(lcd)到驱动电路pcb的连接，主要以0.5mm pitch产品为主，0.3mm pitch产品也已大量使用。
4.随着fpc连接器生产规模的扩大，对产品质量的要求也迅速提升，这就导致产品质量检测成为连接器生产步骤中至关重要的环节。随着新技术、新材料的出现，连接器开始向外观尺寸的微小化、薄型化，线槽及主体的高精度化趋势发展，由此对连接器的质量检测提出了更高的要求，为满足在smt制程的要求，整个产品的塑胶端面都要求有良好的平整度和共面度，如果塑胶端面存在裂纹，则会导致连接器与排线连接不良，从而影响产品的使用。
5.目前大多数工厂仍然采用传统的人工检测方法，有经验的员工通过对产品的认知对批量待检产品进行判别分类。人工检测方法简单、投资小，但主要依靠人工目视识别和手工操作，效率低下，误判可能性较高且缺乏一定的客观性。


技术实现要素：

6.本发明人针对上述问题及技术需求，提出了一种基于机器视觉的fpc连接器表面裂纹检测方法，本发明的技术方案如下：
7.一种基于机器视觉的fpc连接器表面裂纹检测方法，该方法包括：
8.获取待检测fpc连接器的待检测区域的待处理图像f(x,y)；
9.利用各种典型表面裂纹特征的结构元素s(x,y)对待处理图像f(x,y)进行多尺度形态学运算得到二维裂纹概率图p(x,y)；
10.利用分割阈值t对二维裂纹概率图p(x,y)进行全局自适应阈值分割，得到裂纹二值图q(x,y)；
11.对裂纹二值图q(x,y)进行连通域搜索标记，确定其中满足预设连通域特征的目标连通域，并确定二维裂纹概率图p(x,y)中在目标连通域的位置处的候选裂纹区域的响应强度值mean；
12.若目标连通域的尺寸位置信息及其对应的候选裂纹区域的响应强度值mean均满足对应的预设条件，则确定待检测fpc连接器的表面存在裂纹。
13.其进一步的技术方案为，获取待检测fpc连接器的待检测区域的待处理图像，包括：
14.获取待检测fpc连接器的感兴趣区域的原始图像，感兴趣区域在纵向的列方向上包含待检测fpc连接器的上下边界之间的区域，感兴趣区域在横向的行方向的左边界为待检测fpc连接器的第一根金属引脚、右边界为待检测fpc连接器的最后一根金属引脚；
15.将感兴趣区域的原始图像处理为二值图像并确定下边界像素点所在位置的坐标，下边界像素点是二值图像中位于待检测fpc连接器的下边界处且与相邻的像素点的像素值不同的像素点；
16.基于二值图像中的下边界像素点的坐标进行直线拟合得到下边界拟合线，将下边界拟合线按待检测区域的宽度d向上平移得到上边界拟合线；
17.从感兴趣区域的原始图像中截取上边界拟合线和下边界拟合线之间的图像得到待处理图像。
18.其进一步的技术方案为，基于二值图像中的下边界像素点的坐标进行直线拟合得到下边界拟合线，包括：
19.任选两个下边界像素点的坐标进行直线拟合得到候选拟合线，并确定与候选拟合线之间的距离在误差范围内的下边界像素点的个数作为候选拟合线的拟合准确数据点数；
20.重新执行任选两个下边界像素点的坐标进行直线拟合得到候选拟合线的步骤，直至达到迭代终止条件，将每次迭代得到的候选拟合线中对应的拟合准确数据点数最多的一条候选拟合线作为下边界拟合线。
21.其进一步的技术方案为，将感兴趣区域的原始图像处理为二值图像并确定下边界像素点所在位置的坐标，包括：
22.将rgb三通道的感兴趣区域的原始图像转换为hsv三通的图像，并提取v通道作为预处理灰度图像；
23.对预处理灰度图像进行阈值分割得到二值图像，并提取二值图像的下半部分区域中与相邻的像素点的像素值发生突变的下边界像素点所在位置的坐标。
24.其进一步的技术方案为，利用各种典型表面裂纹特征的结构元素s(x,y)对待处理图像f(x,y)进行多尺度形态学运算得到二维裂纹概率图p(x,y)，包括得到二维裂纹概率图p(x,y)为：
25.p(x,y)＝max{(f
·
si)(x,y)}-f(x,y)；
26.其中，si(x,y)是第i种典型表面裂纹特征的结构元素，(f
·
si)(x,y)-f(x,y)表示灰度级黑帽运算，(f
·
si)(x,y)表示灰度级闭运算且
[0027][0028]
其进一步的技术方案为，该方法还包括：
[0029]
将二维裂纹概率图p(x,y)按纵向的列方向进行投影转换得到一维裂纹概率图p
′
(x,y)；
[0030]
根据预设间隔h对一维裂纹概率图p
′
(x,y)进行高斯滤波，并确定滤波结果中最大值对应的中心像素列；
[0031]
提取二维裂纹概率图p(x,y)中以中心像素列为中心包含两侧若干个像素列的局部区域f(x,y)；
[0032]
在局部区域f(x,y)内使用最大类间方差法求解得到分割阈值t。
[0033]
其进一步的技术方案为，当一个连通域的拟合路径长度l大于长度阈值、且面积达到面积阈值、且主方向与横向的行方向夹角达到角度阈值时，确定连通域是满足预设连通域特征的目标连通域。
[0034]
其进一步的技术方案为，确定二维裂纹概率图p(x,y)中在目标连通域的位置处的候选裂纹区域的响应强度值mean，包括：
[0035]
确定二维裂纹概率图p(x,y)中在目标连通域处的候选裂纹区域，并将候选裂纹区域包含的像素点的灰度平均值作为候选裂纹区域的响应强度值mean。
[0036]
其进一步的技术方案为，目标连通域的尺寸位置信息包括目标连通域的拟合路径长度l、目标连通域的上端点与待检测区域的上边界之间的第一距离lu、目标连通域的下端点与待检测区域的下边界之间的第二距离ld。
[0037]
其进一步的技术方案为，当l》l且lu和ld中有至少一个达到相应的距离阈值时，确定目标连通域的尺寸位置信息满足对应的预设条件；当mean》m时确定候选裂纹区域的响应强度值mean满足对应预设条件，l为拟合路径长度阈值，m为响应强度阈值。
[0038]
本发明的有益技术效果是：
[0039]
本技术公开了一种基于机器视觉的fpc连接器表面裂纹检测方法，该方法通过机器视觉实现表面裂纹的自动化检测，具有非接触、精度高、响应速度快、适应非光学恶劣环境等许多优势，可以在相对恶劣的条件下进行工作，在检测的同时不会对产品造成损坏，也不会在检测过程中引入二次不良，而且相比于人工检测具有更快的速度、更大的稳定性和可重复性，同时还可以提高企业的生产效率和降低劳动成本。
[0040]
该方法在在获取到的全区域原始图像后通过感兴趣区域划分的方法对待检测区域进行粗定位，再通过方法对待检测区域的下边界进行精确提取，完成对上下边界的精确拟合，并通过上下边界，在感兴趣区域内精确定位到实际的待检测区域，准确度高。
[0041]
在待检测区域内通过提出的多尺度形态学运算方法求解出待检测区域的裂纹概率图，基于提出的自适应阈值分割方法完成对上述概率图的阈值分割，对阈值分割后的二值图像进行连通域分析及连通域筛选，保留裂纹疑似区域，最后通过设定裂纹相关特征的阈值完成对待检测区域内裂纹的检测，能满足多种类型fpc连接器表面裂纹的实时在线检测，同时具有较高的检测准确率。
附图说明
[0042]
图1是一个实施例的fpc连接器表面裂纹检测方法的流程示意图。
[0043]
图2是一个实施例中由全区域原始图像逐步处理得到待检测区域的待处理图像f(x,y)的示意图。
[0044]
图3是6种典型的表面裂纹特征的结构元素。
[0045]
图4是另一个实施例的fpc连接器表面裂纹检测方法的流程示意图。
[0046]
图5是一个实施例中的二维裂纹概率图p(x,y)的示意图。
[0047]
图6是对图5进行全局自适应阈值分割得到的裂纹二值图q(x,y)的示意图。
[0048]
图7是图5所示的实例中标识出的待检测fpc连接器的表面的裂纹的示意图。
具体实施方式
[0049]
下面结合附图对本发明的具体实施方式做进一步说明。
[0050]
本技术公开了一种基于机器视觉的fpc连接器表面裂纹检测方法，该方法包括如下步骤，请参考图1：
[0051]
步骤110，获取待检测fpc连接器的待检测区域的待处理图像f(x,y)。待检测区域可以是整个待检测fpc连接器的区域，或者是待检测fpc连接器的部分结构的区域，根据实际所要执行表面裂纹检测的区域来决定。根据实际情况，fpc连接器一般在塑胶端面处会产生表面裂纹，因此表面裂纹检测也可以重点针对这一部分，则待检测区域即待检测fpc连接器的端面区域，本技术以此为例进行后续的说明。
[0052]
获取待处理图像f(x,y)的方法包括如下步骤，请参考图2的实例图：
[0053]
(1)获取待检测fpc连接器的感兴趣区域的原始图像。感兴趣区域包含待检测区域以及其他区域，通常是整个待检测fpc连接器的区域，这是因为在实际操作时较难直接获取准确的待检测区域的待处理图像f(x,y)。
[0054]
而在实际获取原始图像时，通常是利用工装卡槽夹持待检测fpc连接器进行拍摄，通常也很难准确的直接采集到感兴趣区域的原始图像，而是首先拍摄全区域原始图像，如图2中的(a)所示，该全区域原始图像包含感兴趣区域以及背景区域，也即包含待检测fpc连接器的图像和工装卡槽以及其他背景的图像，然后可以从全区域原始图像中提取出感兴趣区域的原始图像，如图2种的(b)所示，感兴趣区域提取的方法本技术不再赘述。本技术使用一款usb3.0接口的510万像素的工业显微相机进行图像采集，该相机可满足本例fpc连接器表面微米级裂纹高精度成像，同时为保证成像效果稳定，采用白色led环形光源进行补光。
[0055]
提取得到的待检测fpc连接器的感兴趣区域的原始图像在纵向的列方向上包含待检测fpc连接器的上下边界之间的区域，感兴趣区域在横向的行方向的左边界为待检测fpc连接器的第一根金属引脚、右边界为待检测fpc连接器的最后一根金属引脚；
[0056]
(2)将感兴趣区域的原始图像处理为二值图像并确定下边界像素点所在位置的坐标，为了减少数据处理量，可以先粗略截取感兴趣区域的原始图像的下半部分，如图2中的(c)所示。然后将感兴趣区域的下半部分的原始图像处理为二值图像，如图2中的(d)所示，为了清楚展示，该实施例还对(d)进行了颜色翻转得到(e)，继而提取下边界像素点所在位置的坐标。
[0057]
下边界像素点是二值图像中位于待检测fpc连接器的下边界处且与相邻的像素点的像素值不同的像素点。具体的：将rgb三通道的感兴趣区域的原始图像转换为hsv三通的图像，并提取v通道作为预处理灰度图像。
[0058]
对预处理灰度图像进行阈值分割得到二值图像，分割阈值可以取为0.5。并提取二值图像的下半部分区域中与相邻的像素点的像素值发生突变的下边界像素点所在位置的坐标。
[0059]
(3)基于二值图像中的下边界像素点的坐标进行直线拟合得到下边界拟合线。具体的：
[0060]
任选两个下边界像素点的坐标进行直线拟合得到候选拟合线，并确定与候选拟合线之间的距离在误差范围内的下边界像素点的个数作为候选拟合线的拟合准确数据点数，误差范围可以自定义设置，以避免坐标的噪声影响。
[0061]
重新执行任选两个下边界像素点的坐标进行直线拟合得到候选拟合线的步骤，直至达到迭代终止条件，得到各个候选拟合线的拟合准确数据点数，迭代终止条件可以是迭代的次数达到次数阈值。将每次迭代得到的候选拟合线中对应的拟合准确数据点数最多的一条候选拟合线作为下边界拟合线。
[0062]
(4)将下边界拟合线按待检测区域的宽度d向上平移得到上边界拟合线。宽度d是基于待检测fpc连接器的尺寸预先确定的。
[0063]
(5)从感兴趣区域的原始图像中截取上边界拟合线和下边界拟合线之间的图像得到待处理图像，由此提取得到的待检测区域的待处理图像f(x,y)，在本技术的举例中，也即待检测fpc连接器的端面区域的图像。如图2所示，利用上边界拟合线和下边界拟合线构成的如图2中的(f)的掩膜即可以从(b)中提取得到待检测区域的待处理图像f(x,y)，如图2中的(g)所示。
[0064]
步骤120，利用各种典型表面裂纹特征的结构元素s(x,y)对待处理图像f(x,y)进行多尺度形态学运算得到二维裂纹概率图p(x,y)。
[0065]
各种典型表面裂纹特征的结构元素s(x,y)是根据fpc连接器常见的几种典型的表面裂纹特征预先建立得到的，实际应用时比较典型的有6种，如图3所示。得到二维裂纹概率图p(x,y)为：
[0066]
p(x,y)＝max{(f
·
si)(x,y)}-f(x,y)；
[0067]
其中，si(x,y)是第i种典型表面裂纹特征的结构元素，(f
·
si)(x,y)-f(x,y)表示灰度级黑帽运算，(f
·
si)(x,y)表示灰度级闭运算且)(x,y)表示灰度级闭运算且表示膨胀运算的算子，θ表示腐蚀运算的算子，具体的计算过程本技术不详细展开。
[0068]
步骤130，利用分割阈值t对二维裂纹概率图p(x,y)进行全局自适应阈值分割，得到裂纹二值图q(x,y)。
[0069]
请参考图4，该步骤的分割阈值t利用如下方法计算得到：
[0070]
(1)根据裂纹实际结构为竖裂纹的特征，将二维裂纹概率图p(x,y)按纵向的列方向进行投影转换得到一维裂纹概率图p
′
(x,y)；
[0071]
(2)根据预设间隔h对一维裂纹概率图p
′
(x,y)进行高斯滤波，并确定滤波结果中最大值对应的中心像素列，预设间隔h是根据裂纹大致宽度以及裂纹可能出现的倾斜范围预先设定的，比如取h＝15。
[0072]
(3)提取二维裂纹概率图p(x,y)中以中心像素列为中心包含两侧若干个像素列的局部区域f(x,y)，局部区域f(x,y)包含的中心像素列左右像素列的列数预先设定，比如局部区域f(x,y)包含以中心像素列为中心左右各延伸10个像素列的区域。
[0073]
(4)在局部区域f(x,y)内使用最大类间方差法求解得到分割阈值t。
[0074]
然后可以利用局部区域f(x,y)求解得到的分割阈值t对全局的二维裂纹概率图p(x,y)进行全局自适应阈值分割得到q(x,y)，二维裂纹概率图p(x,y)如图5所示，进行全局自适应阈值分割得到的q(x,y)如图6所示。
[0075]
步骤140，对裂纹二值图q(x,y)进行连通域搜索标记，一个实施例中采用8连通方式。确定其中满足预设连通域特征的目标连通域，并确定二维裂纹概率图p(x,y)中在目标连通域的位置处的候选裂纹区域的响应强度值mean。
[0076]
当一个连通域的拟合路径长度l大于长度阈值、且面积达到面积阈值、且主方向与
横向的行方向夹角达到角度阈值时，确定连通域是满足预设连通域特征的目标连通域。在一个实施例中，取长度阈值为15个像素点，面积阈值为20，角度阈值为50
°
。
[0077]
在搜索标记连通域的过程中，可以确定目标连通域的上端点位置、下端点位置、上端点与待检测区域的上边界之间的第一距离lu、下端点与待检测区域的下边界之间的第二距离ld等位置标识的信息，基于这些位置标识的信息即可以定位p(x,y)中在目标连通域的位置处的候选裂纹区域。然后将候选裂纹区域包含的像素点的灰度平均值作为候选裂纹区域的响应强度值mean。
[0078]
步骤150，若目标连通域的尺寸位置信息及其对应的候选裂纹区域的响应强度值mean均满足对应的预设条件，则确定待检测fpc连接器的表面存在裂纹，否则确定待检测fpc连接器的表面不存在裂纹。
[0079]
在一个实施例中，目标连通域的尺寸位置信息包括目标连通域的拟合路径长度l、目标连通域的上端点与待检测区域的上边界之间的第一距离lu、目标连通域的下端点与待检测区域的下边界之间的第二距离ld。
[0080]
则当l》l且lu和ld中有至少一个达到相应的距离阈值时，确定目标连通域的尺寸位置信息满足对应的预设条件。当mean》m时确定候选裂纹区域的响应强度值mean满足对应预设条件，l为拟合路径长度阈值，m为响应强度阈值。也即记载为当满足和/或，时，确定待检测fpc连接器的表面存在裂纹，lu是第一距离对应的距离阈值，ld是第二距离对应的距离阈值。
[0081]
除了可以确定待检测fpc连接器的表面存在裂纹之外，还可以指标标识出候选裂纹区域指示裂纹的位置和形态，如图7所示。
[0082]
以上所述的仅是本技术的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。