用于电路板贴片元件焊点定位的连续条纹特征搜索方法与流程

1.本发明涉及条纹引脚贴片元件通用定位方法，属于高速高精度视觉检测表面贴装技术领域。


背景技术：

2.贴片型元件的封装结构通常为矩形，广泛使用于集成电路的印刷电路板加工生产中。贴片元件的引脚数量多，通常分布于元件两侧并其呈规律排列，由于印刷电路板的集成密度高，对于元件的贴装与检测工艺提出了严格要求。
3.常用的电路板元件定位方法有基于二值化连通域筛选的定位方法和基于元件模型的模板匹配方法。基于二值化连通域筛选的定位方法在实际场景使用中有以下不足：1)算法通常需要获得板内元件的不同尺寸信息，前期信息收集难度高；2)算法定位效果容易被板内的其他电子元件影响，即当其他电子元件的大小与检测目标元件大小相差较小时，目标元件的筛选将难以进行，极大影响了算法的检测效果；3)算法中的二值化预处理方法对待检测元件的拍摄环境、光线照射和表面反光材料等有要求，不具有通用性。基于元件模型的模板匹配方法主要有以下不足：1)算法需要读取、建立并保存不同元件、不同角度的模板，对计算机内存要求较高；2)针对每一种模型都需要对整个板件进行匹配并计算，匹配过程耗时长，增加了算法的执行时间；3)、模板匹配算法极大依赖模型的精确度，且对于待匹配元件的轮廓精度有较高要求，算法定位结果容易受到元件边缘干扰点的影响。


技术实现要素：

4.本发明要解决的技术问题是：现有印刷电路板难以从全局层面上对贴片元件进行定位。
5.为了解决上述技术问题，本发明的技术方案是提供了一种用于电路板贴片元件焊点定位的连续条纹特征搜索方法，其特征在于，包括以下步骤：
6.步骤1、对需要提前设置的参数进行设置，包括全局缩放比例或缩放尺寸、条纹引脚估计个数nume、间距估计de、条纹搜索相似度阈值、条纹引脚数量阈值、焊点灰度投影下降幅度阈值；
7.步骤2、获得待检测的图像中的边缘特征信息；
8.步骤3、在边缘特征信息的基础上对单个引脚做矩形拟合，从而定位第一个引脚的位置，并得到第一个引脚的引脚信息，第1个引脚的引脚信息表示为x1、y1、w1、h1，并根据w1、h1作为条纹滑动搜索窗口的参数依据，其中：x1、y1为对第1个引脚做矩形拟合后，拟合矩形的左上角端点在待检测图像中的坐标(x，y)，w1为拟合矩形的横向宽度，h1为拟合矩形的竖向长度；
9.步骤4、根据步骤3得到单个引脚的引脚信息建立空白条纹容器，并横向建立条纹滑动搜索窗口，具体包括以下步骤：
10.步骤401、在步骤3定位得到的单个引脚的引脚信息基础上，建立空白条纹容器，该
空白条纹容器为二维数组容器，记为[v1，v2，...，vi，...]
t
，其中，表示第i个引脚的位置向量，为有四个元素的一维向量，该四个元素为第i个引脚的位置信息xi、yi、wi、hi；
[0011]
步骤402、初始化空白条纹容器，v1＝[x1，y1，w1，h1]，[v2，...，vi，...]
t
初始化时为全0向量；
[0012]
步骤403、根据提前设定好的条纹引脚估计个数nume、间距估计de以及步骤3获取得到的w1、h1，计算出条纹滑动搜索窗口的大小，设条纹滑动搜索窗口的横向宽度与竖向长度分别为w
win
以及h
win
，则有：
[0013]wwin
＝1.5
×
(nume×
w1 (num
e-1)
×de
)
[0014]hwin
＝1.5
×
h1[0015]
步骤5、在条纹滑动搜索窗口内对剩余引脚的引脚边缘进行矩形拟合，继续根据步骤4获得的第一个引脚的引脚特征进行搜索，将拟合得到的搜索滑动窗口的引脚特征与步骤4定位得到的第一个引脚的引脚特征进行相似度匹配，根据引脚搜索相似度阈值确认余下的引脚；
[0016]
步骤6、若在条纹滑动搜索窗口内搜索到的引脚数量大于提前设置的条纹引脚数量阈值，则将识别到的所有引脚定义为一个引脚群组，并进一步将该引脚群组认定为一条初始条纹，将该条初始条纹所对应的所有引脚的引脚信息保存至步骤4创建的空白条纹容器中，获得条纹向量[v1，v2，...，vi，...，vi]
t
，则完成对初始条纹以及其内部所有引脚的定位；
[0017]
步骤7、计算得到步骤6所定位得到的初始条纹的条纹宽度s和条纹长度h，并计算得到引脚间距d和引脚数量num；
[0018]
步骤8、通过步骤7获得初始条纹的条纹位置与条纹信息后，对条纹对应的元件参数进行估算，根据估算信息在一定范围内搜索是否存在元件，以此进一步确认之前确定的初始条纹是否为目标元件附近的条纹，具体包括以下步骤：
[0019]
步骤801、根据步骤7中计算得到的条纹宽度s，设定元件搜索窗口的横向宽度w
icwin
＝1.5
×
s以及竖向长度h
icwin
＝1.2
×wicwin
；
[0020]
步骤802、根据横向宽度w
icwin
、竖向长度h
icwin
、元件中线x
mid
建立元件搜索窗口，x
mid
＝x1 0.5
×
(x
i-x1)；
[0021]
元件搜索窗口初始点位置信息根据竖向搜索时的向上向下方向不同：若搜索时为向上搜索元件，则元件搜索窗口初始点位置的左上角顶点位置描述为(x，y)＝(x
mid-0.5
×wic
，y1 h1)；若搜索时为向下搜索元件，则元件搜索窗口初始点位置的左上角顶点位置描述为(x，y)＝(x
mid-0.5
×wic
，y
1-h
1-h
icwin
)；
[0022]
步骤803、在元件搜索窗口内部，根据元件的边缘信息，拟合最大矩形区域，作为元件的定位区域；
[0023]
步骤9、通过向上或向下搜索元件，可以确定初始条纹与元件的相对位置。由于引脚通常在元件两侧对称排列，通过对称关系在相对元件的对称位置根据初始条纹信息进行条纹匹配，包括以下步骤：
[0024]
步骤901、根据初始条纹的条纹长度h、条纹宽度s、引脚数量num以及引脚间距d，建立完整的条纹匹配模板；
[0025]
步骤902、根据条纹匹配模板在对应的元件另一侧位置进行条纹匹配，如果条纹相
似度大于条纹搜索相似度阈值，则将该条纹定义为对称条纹，将对称条纹的条纹信息与初始条纹的条纹信息、元件信息以及定位信息统一写入为元件信息向量进行存储，其中：
[0026]
初始条纹的条纹信息包括初始条纹中每个引脚的引脚起始点和初始条纹的条纹宽度s、条纹长度h、引脚数量num以及引脚间距d；
[0027]
对称条纹的条纹信息包括对称条纹中每个引脚的引脚宽度、引脚长度以及引脚起始点，其中：
[0028]
对称条纹中第s个引脚的引脚宽度
[0029]
对称条纹中第s个引脚的引脚长度
[0030]
对称条纹中第s个引脚的引脚起始点(xs，ys)＝(x1 (i-1)
×
(ws d)，y1)，其中，i≤num，对称条纹中第s个引脚与初始条纹中第i个引脚相互对称；
[0031]
元件信息包括元件搜索窗口的横向宽度w
icwin
、竖向长度h
icwin
以及元件搜索窗口初始点位置的左上角顶点位置(x，y)；
[0032]
定位信息包括x
mid
和y
mid
，其中，y
mid
＝y1 0.5
×
(y
i-y1)；
[0033]
步骤10、对于步骤9新匹配到的对称条纹，在其区域内进行矩形拟合和初始引脚的相似度计算，查找缺失焊点。如相对于初始条纹，对称条纹存在缺失引脚，则在初始条纹对应位置添加缺失引脚信息，并对条纹信息进行更新；
[0034]
步骤11、根据已经搜索到的初始条纹-元件-对称条纹位置及内部引脚排列信息，估算引脚对应的焊点长度，以进行焊点搜索，具体包括以下步骤：
[0035]
步骤1101、创建焊点搜索窗口：
[0036]
创建长度为(h
icwin
2
×
1h)～(h
icwin
2
×
4h)的焊点搜索窗口，焊点搜索窗口以y
mid
为垂直中线逐渐增加上下两边长度，同时对焊点区域进行灰度投影统计；
[0037]
步骤1102、在焊点搜索窗口不断增加长度覆盖到更多元件周边信息时，对焊点搜索窗口内的焊点区域行灰度投影统计。在焊点区域中，焊点横向灰度投影的下降幅度超过焊点灰度投影下降幅度阈值处即为焊点边缘；
[0038]
步骤1103、根据搜索到的焊点边缘确定焊点长度，以ws 0.5d的长度对焊点区域进行分隔；
[0039]
步骤1104、记录焊点的位置信息。
[0040]
优选地，在所述步骤1之后，并所述步骤2之前，还包括以下步骤：
[0041]
对待检测图像进行尺寸校正。
[0042]
优选地，步骤1中，需要提前设置的参数还包括全局缩放比例或缩放尺寸；
[0043]
则对待检测图像进行尺寸校正时，根据步骤1设置的全局缩放比例或缩放尺寸将检测图像缩放至m
×
n大小。
[0044]
优选地，步骤2中，对待检测的图像进行多次下采样操作，并对下采样的不同维度进行差分操作，提取上下两张图像中的差异内容，从而获得待检测的图像的边缘特征信息。
[0045]
优选地，步骤1中，需要提前设置的参数还包括引脚搜索相似度阈值th，则所述步骤5具体包括以下步骤：
[0046]
步骤501、获得步骤4定位得到的第一个引脚的引脚特征，并根据该引脚特征创建匹配模版，其中，引脚特征包括对比度、灰度、结构特征；
[0047]
步骤502、创建单个引脚匹配的搜索滑动窗口，该搜索滑动窗口大小为1.2w1×
1.2h1；
[0048]
步骤503、在搜索滑动窗口内，根据引脚特征计算搜索滑动窗口内图像与匹配模版的相似度，采用提前设定的引脚搜索相似度阈值th对匹配结果进行筛选。
[0049]
优选地，步骤7中，
[0050]
条纹宽度s为条纹向量[v1，v2，...，vi，...，vi]
t
中第一个引脚的引脚信息x1与第i个引脚的引脚信息xi的差值；
[0051]
条纹长度h为条纹向量[v1，v2，...，vi，...，vi]
t
中的各位置向量的位置信息hi的平均值，即有：
[0052][0053]
引脚间距
[0054]
引脚数量
[0055]
本发明解决了老式电路板中元件密集程度高、所定位元件格式不统一、手工焊接焊点多样性强的问题。本发明提供的方法通过定位元件附近的顺序排列引脚，根据识别条纹与元件、焊点的排列特征达到定位元件和引脚对应焊点的目的，能够有效通过元件引脚条纹定位贴片元件与对应焊点，适用于电路板表面定位与检测。
附图说明
[0056]
图1为本发明的流程图；
[0057]
图2为实施例中元件的组成示意图；
[0058]
图3为实施例中元件对应引脚图像；
[0059]
图4为元件经过边缘信息提取之后的效果；
[0060]
图5为顺序排列引脚的组合条纹边缘特征；
[0061]
图6为引脚边缘信息图像；
[0062]
图7为条纹-元件-条纹示意图；
[0063]
图8为根据焊点长度估算建立的焊点检测窗口；
[0064]
图9为焊点定位过程中灰度投影区域的示意图；
[0065]
图10为元件区域实际灰度投影效果图。
具体实施方式
[0066]
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅是为了助于本技术领域的普通技术人员对本发明原理和知识的理解，而不用于限制本发明的范围，不能认为是限制本发明的应用场景。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，但基于本发明的原理和宗旨对实施例所做的变形、变化和转换同样落于本技术所附权利要求书所限定的范围。并且显而易见的是，本说明书仅以优选的实施方式作为举例，无需详尽所有的实施方式。
[0067]
本发明提出了一种在电路板全局图像中对电子贴片型元件和其引脚对应的焊点进行定位的方法，主要用于电路板与元件焊接效果检测领域。下面将对具体元件和焊点的定位方法及步骤进行统一说明。
[0068]
本实施例公开的一种用于电路板贴片元件焊点定位的连续条纹特征搜索方法具体包括以下步骤：
[0069]
步骤1、对需要提前设置的参数进行设置。本实施例中，需要提前设置的参数包括全局缩放比例或缩放尺寸、条纹引脚估计个数nume、间距估计de、引脚搜索相似度阈值th、条纹搜索相似度阈值、条纹引脚数量阈值、焊点灰度投影下降幅度阈值。
[0070]
步骤2、对待检测图像进行尺寸校正，根据步骤1设置的全局缩放比例或缩放尺寸将检测图像缩放至m
×
n大小，以减少图像细微噪点的影响，便于降低预处理操作难度，更好地对图像特征进行提取，并且提高图像特征的提取速度。
[0071]
步骤3、对大小为m
×
n的图像进行多次下采样操作，并对下采样的不同维度进行差分操作，提取上下两张图像中的差异内容，即获得图像中的边缘特征信息。
[0072]
步骤4、得到图像中的边缘特征信息后，在边缘特征信息的基础上对单个引脚做矩形拟合，从而定位第一个引脚的位置，并得到第一个引脚的引脚信息，第1个引脚的引脚信息表示为x1、y1、w1、h1，并根据w1、h1作为条纹滑动搜索窗口的参数依据。
[0073]
步骤4具体包括以下步骤：
[0074]
步骤401、根据引脚边缘信息，利用矩形拟合得到第空白条纹容器1个引脚的位置信息x1、y1、w1、h1，其中，x1、y1为对第1个引脚做矩形拟合后，拟合矩形的左上角端点在待检测图像中的坐标(x，y)，w1为拟合矩形的横向宽度，h1为拟合矩形的竖向长度。
[0075]
步骤402、记录w1以及h1分别作为步骤5中条纹滑动搜索窗口的定义参数依据。
[0076]
步骤5、根据步骤4得到单个引脚的引脚信息建立空白条纹容器，并横向建立条纹滑动搜索窗口。
[0077]
步骤5具体包括以下步骤：
[0078]
步骤501、在步骤4定位得到的单个引脚的引脚信息基础上，建立空白条纹容器，该空白条纹容器为二维数组容器，记为[v1，v2，...，vi，...]
t
，其中，表示第i个引脚的位置向量，为有四个元素的一维向量，该四个元素为第i个引脚的位置信息xi、yi、wi、hi；
[0079]
步骤502、初始化空白条纹容器，v1＝[x1，y1，w1，h1]，[v2，...，vi，...]
t
初始化时为全0向量；
[0080]
步骤503、根据提前设定好的条纹引脚估计个数nume、间距估计de以及步骤4获取得到的w1、h1，计算出条纹滑动搜索窗口的大小，设条纹滑动搜索窗口的横向宽度与竖向长度分别为w
win
以及h
win
，则有：
[0081]wwin
＝1.5
×
(nume×
w1 (num
e-1)
×de
)
[0082]hwin
＝1.5
×
h1[0083]
步骤6、创建好条纹滑动搜索窗口后，在条纹滑动搜索窗口内对剩余引脚的引脚边缘进行矩形拟合，继续根据步骤4获得的第一个引脚的引脚特征进行搜索。将拟合得到的搜索滑动窗口的引脚特征与步骤4定位得到的第一个引脚的引脚特征进行相似度匹配，根据引脚搜索相似度阈值确认余下的引脚。
[0084]
步骤6具体包括以下步骤：
[0085]
步骤601、获得步骤4定位得到的第一个引脚的引脚特征，并根据该引脚特征创建匹配模版，其中，引脚特征包括对比度、灰度、结构特征；
[0086]
步骤602、创建单个引脚匹配的搜索滑动窗口，该搜索滑动窗口大小为1.2w1×
1.2h1；
[0087]
步骤603、在搜索滑动窗口内，根据引脚特征计算搜索滑动窗口内图像与匹配模版的相似度，采用提前设定的引脚搜索相似度阈值th对匹配结果进行筛选。
[0088]
步骤7、若在条纹滑动搜索窗口内搜索到的引脚数量大于提前设置的条纹引脚数量阈值，则将识别到的所有引脚定义为一个引脚群组，并进一步将该引脚群组认定为一条初始条纹，将该条初始条纹所对应的所有引脚的引脚信息保存至步骤5创建的空白条纹容器中，获得条纹向量[v1，v2，...，vi，...，vi]
t
，则完成对初始条纹以及其内部所有引脚的定位。
[0089]
步骤8、计算得到步骤7所定位得到的初始条纹的条纹长度和条纹宽度，并计算得到引脚间距和引脚数量等信息。
[0090]
条纹宽度s为条纹向量[v1，v2，...，vi，...，vi]
t
中第一个引脚的引脚信息x1与第i个引脚的引脚信息xi的差值；
[0091]
条纹长度h为条纹向量[v1，v2，...，vi，...，vi]
t
中的各位置向量的位置信息hi的平均值，即有：
[0092][0093]
引脚间距
[0094]
引脚数量
[0095]
步骤9、通过步骤8获得初始条纹的条纹位置与条纹信息后，对条纹对应的元件参数进行估算，根据估算信息在一定范围内搜索是否存在元件，以此进一步确认之前确定的初始条纹是否为目标元件附近的条纹。
[0096]
步骤9具体包括以下步骤：
[0097]
步骤901、根据步骤8中计算得到的条纹宽度s，设定元件搜索窗口的横向宽度w
icwin
＝1.5
×
s以及竖向长度h
icwin
＝1.2
×wicwin
；
[0098]
步骤902、根据横向宽度w
icwin
、竖向长度h
icwin
、元件中线x
mid
建立元件搜索窗口，x
mid
＝x1 0.5
×
(x
i-x1)。
[0099]
元件搜索窗口初始点位置信息根据竖向搜索时的向上向下方向不同：若搜索时为向上搜索元件，则元件搜索窗口初始点位置的左上角顶点位置描述为(x，y)＝(x
mid-0.5
×wic
，y1 h1)；若搜索时为向下搜索元件，则元件搜索窗口初始点位置的左上角顶点位置描述为(x，y)＝(x
mid-0.5
×wic
，y
1-h
1-h
icwin
)。
[0100]
步骤903、在元件搜索窗口内部，根据元件的边缘信息，拟合最大矩形区域，作为元件的定位区域。
[0101]
步骤10、通过向上或向下搜索元件，可以确定初始条纹与元件的相对位置。由于引脚通常在元件两侧对称排列，通过对称关系在相对元件的对称位置根据初始条纹信息进行
条纹匹配。
[0102]
步骤1001、根据初始条纹的条纹长度h、条纹宽度s、引脚数量num以及引脚间距d，建立完整的条纹匹配模板；
[0103]
步骤1002、根据条纹匹配模板在对应的元件另一侧位置进行条纹匹配，如果条纹相似度大于条纹搜索相似度阈值，则将该条纹定义为对称条纹，将对称条纹的条纹信息与初始条纹的条纹信息、元件信息以及定位信息统一写入为元件信息向量进行存储，其中：
[0104]
初始条纹的条纹信息包括初始条纹中每个引脚的引脚起始点和初始条纹的条纹宽度s、条纹长度h、引脚数量num以及引脚间距d。
[0105]
对称条纹的条纹信息包括对称条纹中每个引脚的引脚宽度、引脚长度以及引脚起始点，其中：
[0106]
对称条纹中第s个引脚的引脚宽度
[0107]
对称条纹中第s个引脚的引脚长度
[0108]
对称条纹中第s个引脚的引脚起始点(xs，ys)＝(x1 (i-1)
×
(ws d)，y1)，其中，i≤num，对称条纹中第s个引脚与初始条纹中第i个引脚相互对称；
[0109]
元件信息包括元件搜索窗口的横向宽度w
icwin
、竖向长度h
icwin
以及元件搜索窗口初始点位置的左上角顶点位置(x，y)；
[0110]
定位信息包括x
mid
和y
mid
，其中，y
mid
＝y1 0.5
×
(y
i-y1)。
[0111]
步骤11、对于步骤10新匹配到的对称条纹，在其区域内进行矩形拟合和初始引脚的相似度计算，查找缺失焊点。如相对于初始条纹，对称条纹存在缺失引脚，则在初始条纹对应位置添加缺失引脚信息，并对条纹信息进行更新。
[0112]
步骤12、根据已经搜索到的初始条纹-元件-对称条纹位置及内部引脚排列信息，估算引脚对应的焊点长度，以进行焊点搜索。
[0113]
步骤12中，估算焊点长度的具体包括以下步骤：
[0114]
步骤1201、创建焊点搜索窗口：
[0115]
通常将焊点长度区间设置为1h～4h，进一步根据焊点长度，创建长度为(h
icwin
2
×
1h)～(h
icwin
2
×
4h)的焊点搜索窗口，焊点搜索窗口以y
mid
为垂直中线逐渐增加上下两边长度，同时对焊点区域进行灰度投影统计；
[0116]
步骤1202、在焊点搜索窗口不断增加长度覆盖到更多元件周边信息时，对焊点搜索窗口内的焊点区域行灰度投影统计。在焊点区域中，焊点横向灰度投影的下降幅度超过焊点灰度投影下降幅度阈值处即为焊点边缘；
[0117]
步骤1203、根据搜索到的焊点边缘确定焊点长度，以ws 0.5d的长度对焊点区域进行分隔；
[0118]
步骤1204、记录焊点的位置信息。
[0119]
本发明可应用于多种形状封装的贴片型元件检测场景，在不背离本发明精神及其实质的情况下，本领域技术人员可根据本发明作出各种相应的改变，但这些相应的改变都应属于本发明所附权利要求的保护范围。