一种基于图像对比的PCB板U型槽加工异常检测方法与流程

一种基于图像对比的pcb板u型槽加工异常检测方法
技术领域
1.本发明涉及图像处理领域，具体涉及一种基于图像对比的pcb板u型槽加工异常检测方法。


背景技术：

2.pcb上存在有金手指这类型的电气接口，用于使pcb板与其他电路相连。为了使连接更牢靠，往往需要在周边加工出u型槽来实现定位和卡扣的作用。而u型槽的加工偏差往往会使得例如内存条这样带有金手指的pcb板无法使用。
3.通过图像处理方式来检测u型槽加工异常的方式，使用常规相机采集图像很难满足加工精度的判断，且往往受到透视畸变的影响较大。通过双目相机测距等方式检测加工异常，则需要繁琐的相机标定工作，且难以适用于多变的pcb板设计方案。
4.本发明首先把高分辨率的设计信息转换为符合加工精度需求的标准参考图像，而后对相机进行自适应调节，使其采集多帧符合分辨率要求的局部图像，结合畸变程度的分析来完成当前加工pcb板的高分辨率图像采集，进而通过对比的方式来识别异常，并调整卡槽的加工信息，实现智能化的u型卡槽加工。


技术实现要素：

5.本发明提供一种基于图像对比的pcb板u型槽加工异常检测方法，以解决现有的异常检测精确度低的问题。
6.本发明的一种基于图像对比的pcb板u型槽加工异常检测方法，采用如下技术方案：s1：对pcb板标准参考图像的二值图进行边缘检测，得到pcb板轮廓边缘；s2：对pcb板轮廓边缘进行凸包检测，得到凸包边缘；s3：对pcb板轮廓边缘点和凸包边缘点进行匹配，得到每个轮廓边缘点匹配的凸包边缘点，以轮廓边缘点的序号为横坐标，每个轮廓边缘点与其匹配的凸包边缘点的坐标差异为纵坐标，建立差异曲线；s4：利用差异曲线中每个轮廓边缘点与其前后点的斜率差以及前后点的曲率差得到每个轮廓边缘点的重要程度；s5：通过所有轮廓边缘点的坐标和重要程度得到二维精度要求热图；s6：选取二维精度要求热图中的初始采集像素点，利用该初始采集像素点及其邻域像素点的重要程度、所要采集的图像精度以及像距得到对待检测pcb板上与该初始采集像素点对应像素点进行采集的相机焦距；通过该相机焦距对待检测pcb板上与初始像素点对应的位置进行图像采集，得到该焦距下的局部图像；s7：通过初始像素点及其邻域像素点的重要程度、所要采集的图像精度以及像素尺寸得到下一次局部图像采集的间隔距离；s8：按照获取的间隔距离得到二维精度要求热图中新的初始采集像素点，所述初
始采集像素点与新的初始采集像素点的距离为所述的间隔距离；将新的初始采集像素点作为初始采集像素点，重复步骤s6和s7，获取所有的局部图像；s9：获取所有局部图像中分辨率最大的局部图像所对应的分辨率，将其它局部图像的分辨率扩大为该分辨率，得到处理后的所有局部图像；将处理后的所有局部图像进行图像拼接，得到拼接后pcb板图像；s10：通过拼接后pcb板图像和标准参考图像的二值边缘图像判断u型槽加工是否存在异常。进一步的，所述的一种基于图像对比的pcb板u型槽加工异常检测方法，所述拼接后pcb板图像和标准参考图像的像素尺寸相同。
7.进一步的，所述的一种基于图像对比的pcb板u型槽加工异常检测方法，轮廓边缘点的重要程度的表达式为：式中：表示第个轮廓边缘点的重要程度，表示差异曲线上第个轮廓边缘点与其第前个点所在直线的斜率，表示差异曲线上第个轮廓边缘点与其第后个点所在直线的斜率，表示差异曲线上第个轮廓边缘点与其第前个点的曲率，表示差异曲线上第个轮廓边缘点与其第后个点的曲率，表示第个轮廓边缘点与其匹配的凸包边缘点的坐标差异归一化后的值。
8.进一步的，所述的一种基于图像对比的pcb板u型槽加工异常检测方法，相机焦距的表达式为：式中：表示采集图像的相机焦距，表示像距，表示加工精度，表示初始采集像素点和其邻域像素点所在窗口中的第个像素点，表示第个像素点的重要程度。
9.进一步的，所述的一种基于图像对比的pcb板u型槽加工异常检测方法，局部图像采集的间隔距离的表达式为：横向间隔距离的表达式为：式中：表示横向间隔距离，表示横向像素尺寸；纵向间隔距离的表达式为：式中：表示纵向间隔距离，表示纵向像素尺寸。
10.进一步的，所述的一种基于图像对比的pcb板u型槽加工异常检测方法，利用局部图像对应焦距下相机的畸变范围，对下一次局部图像采集的间隔距离进行修正。
11.进一步的，所述的一种基于图像对比的pcb板u型槽加工异常检测方法，将处理后的所有局部图像进行图像拼接，得到拼接后pcb板图像后，还包括：以标准参考图像的左上角点为基准点，对拼接后pcb板图像进行平移，得到对齐后的pcb板图像。
12.本发明的有益效果是：本发明利用图像处理技术对pcb板的标准设计图像进行分析，进而来自适应地调整相机的采集参数，获得pcb板的多张不同分辨率的局部图像，最后把多张局部图像进行拼接，获得高分辨率的已加工的pcb板图像，再通过与标准图像进行对比识别异常，相对于现有技术，本发明实现了u型槽的高精度的加工异常判断，且检测方法简单，适合不同pcb板设计方案。
附图说明
13.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
14.图1为本发明的一种基于图像对比的pcb板u型槽加工异常检测方法的实施例的流程示意图；图2为金手指区域的列和曲线示意图。
具体实施方式
15.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
16.实施例1本发明的一种基于图像对比的pcb板u型槽加工异常检测方法的实施例，如图1所示，包括：s1：对pcb板标准参考图像的二值图进行边缘检测，得到pcb板轮廓边缘。
17.pcb板的cad设计图是其加工所依赖的标准信息，即每个pcb板都需要根据对应的cad设计图来严格加工。而cad设计图像能够根据用户的交互而不断放大，即使得所呈现图像的像素对应的物理尺度信息不断变化。而我们需要固定标准的图像来判断异常，所以需要根据当前pcb板的尺寸以及加工精度要求，来获得符合要求的标准图像。
18.获得标准图像f的具体过程如下：获得当前pcb板的长宽尺寸，为了快速获得pcb板的尺寸信息，需要采用人机交互的方式，由人为输入pcb板的矩形尺寸信息，即，其中c为长，k为宽，单位为mm。
19.获取加工精度，同样，该加工精度的不同会使得后续自适应采集的参数不同，而此加工精度信息，需要通过人机交互方式，由人为根据需求给出。其值为，单位为mm。
20.计算当前标准图像对应的分辨率信息，要使得图像中的像素能反应出满足精度要求的异常误差，则所对应的图像其像素尺寸最小为，单位为像素。
21.其中：其中：控制当前pcb板设计区域对应的缩放系数s，使其导出图像的像素尺寸不低于，则该图像即可反应精度为d的加工误差，可作为后续判断异常的标准参考图像f。
22.采集的pcb板图像中，不同尺度（分辨率）的图像，其单个像素对应的横向和纵向物理尺寸不同，所以其对应的精度有限。例如对于一个像素代表1cm的图像，是无法判断0.5cm精度异常。因为图像是离散的数据量。
23.同时常规的相机由于透视关系的影响，越是偏离光轴较远的图像部分，其透视畸变的程度也越大。所以为了获得满足精度要求的pcb板图像，需要短焦采集局部图像，进而拼接后得到高分辨率的图像，来判断u型槽更高精度的加工异常。
24.为了确保相机尽可能的采集u型槽的高精度图像，所以需要先对上述获得的pcb标准参考图像进行分析处理，获得pcb上对应各部分的精度要求。
25.而后根据当前相机的采集参数，来调整后续的采集焦距，获得相对连续的图像后，识别图像中的金手指信息，并根据金手指的差异来获得透视误差信息，从而再进行弥补采集，减小采集图像的透视误差。最终获得误差尽量小，精度尽量高的pcb板u型槽的加工图像。
26.本实施例需要检测的是u型槽的加工异常、偏差，所以对于非u型槽的位置，无需高精度的连续采集，同时不正确的倒角往往会导致板卡部分功能的丧失，所以存在金手指的板卡，一定要注意u型槽的倒角规范，包括角度和深度两部分。所以对于u型槽的倒角位置、圆弧位置，应重点采集。
27.对于pcb的标准参考图像f，该图像为设计图像，首先进行二值化处理。cad图像往往是黑色的背景，白色或其他颜色的前景信息，所以对于非黑色背景的内容需要直接改变其像素值为1（白色），对于黑色背景内容直接改变像素值为0，得到二值图像。
28.利用canny边缘检测算子对二值图像进行处理，可获得边缘检测结果，再对闭合边缘进行提取，可来获得该闭合区域的最外层边缘，即pcb的轮廓边缘。
29.以左上角的边缘点为参考起点，对所有边缘点进行id的编号。
30.s2：对pcb板轮廓边缘进行凸包检测，得到凸包边缘。
31.对上述获得的pcb板轮廓边缘进行凸包检测，获得凸包边缘。通过凸包检测，可获得pcb板上的凸包边缘，对于pcb板上的凹槽部分，轮廓边缘和凸包边缘是存在差异的。
32.同样对于凸包边缘，以左上角点为参考起点，对各边缘点进行id的编号。
33.s3：对pcb板轮廓边缘点和凸包边缘点进行匹配，得到每个轮廓边缘点匹配的凸包边缘点，以轮廓边缘点的序号为横坐标，每个轮廓边缘点与其匹配的凸包边缘点的坐标差异为纵坐标，建立差异曲线。
34.而后对凸包边缘进行分析处理：以起点开始，通过凸包边缘点左右的点来获得当前凸包边缘点的匹配方向：通过凸包边缘点左右两点获得连接直线，而后求得该直线的法线，即为当前点的判断方向，通过该判断方向可获得与其匹配的轮廓边缘点。假设获得匹配的轮廓点的坐标定义为（x，y），与其配对的凸包边缘点的坐标（u，v）。
35.以轮廓点的id编号为横坐标，以轮廓点和凸包点的坐标差异为纵坐标，可获得差异曲线。所述差异的表达式为：s4：利用差异曲线中每个轮廓边缘点与其前后点的斜率差以及前后点的曲率差得到每个轮廓边缘点的重要程度。
36.上述获得的差异曲线能够反映pcb板边缘的槽位信息，通过分析该曲线，即可判断哪些位置需要高精度采集，哪些位置不需要高精度采集。
37.获得各轮廓边缘点对应的重要程度：式中：表示第个轮廓边缘点的重要程度，表示差异曲线上第个轮廓边缘点与其第前个点所在直线的斜率，表示差异曲线上第个轮廓边缘点与其第后个点所在直线的斜率，表示差异曲线上第个轮廓边缘点与其第前个点的曲率，表示差异曲线上第个轮廓边缘点与其第后个点的曲率，表示第个轮廓边缘点与其匹配的凸包边缘点的坐标差异归一化后的值，范围为[0,1]。
[0038]
上述公式即为根据当前轮廓边缘点左右两边的斜率差异（倒角）及曲率的差异（圆弧），并结合纵轴高度（凹槽），获得每个位置的采集重要性。
[0039]
获得各边缘点的重要程度z后，进行归一化操作，使其范围在[0,1]。越重要的位置，精度需求越高。
[0040]
s5：通过所有轮廓边缘点的坐标和重要程度得到二维精度要求热图。
[0041]
上述获得的是每个轮廓边缘点的采集精度要求，而我们需要根据二维的图像来调整相机的采集参数，所以需要获得二维的精度要求热图。
[0042]
重建同尺寸的空白图像，并在各边缘点位置修改其像素值为对应的重要程度z，而后利用高斯模糊方式进行模糊操作，得到二维的精度要求热图。
[0043]
对于非u型槽的区域，采集精度要求较低，对于u型槽区域其采集精度要求较高。
[0044]
该结果为处理标准图像所得，而真实采集的图像并非与该标准图像一模一样，所以需要利用该二维的精度要求热图来调节相机参数，获得合理的真实采集图像。
[0045]
上述获得各个位置的采集需求后，需要进而调整相机，得到自适应的采集策略。首先需要获得能达到精度需求的相机的采集参数。
[0046]
无论相机的采集参数如何改变，所能采集的图像的像素尺寸是不变的。而不同相机由于感光元件的不同，其像素尺寸是不同的。所以首先需要通过传感器的方式获得当前相机的参数。
[0047]
获得采集图像的像素尺寸为，并获得相机的内参矩阵，形式如下：其中，为焦距，一般情况下，二者相等，为主点坐标。焦距的计算公式为：为：式中：为当前的像距，、分别表示横、纵方向上的一个像素对应的物理长度，即为图像检测精度。
[0048]
为pcb板到相机光心的距离，该距离固定不变，为了满足精度要求，所以焦距的值为：式中：所求的相机焦距，d为需要的图像精度。
[0049]
焦距越长，单个像素对应的物理单位越小，两者成反比，焦距越小，则局部越能被放大。
[0050]
上述获得相机的采集信息后，可结合精度要求热图，来获得粗糙的连续采集参数。该方式采集的图像内包含有透视畸变的干扰。后续可再进行补拍，通过额外采集的重叠图像来消除畸变，最终匹配拼接得到无畸变图像。
[0051]
首先，本实施例中的相机以折回的方式来拍摄待检测pcb板的局部图像，从而通过拼接的方式来获得整个pcb板高精度的图像。
[0052]
s6：选取二维精度要求热图中的初始采集像素点，利用该初始采集像素点及其邻域像素点的重要程度、所要采集的图像精度以及像距得到对待检测pcb板上与该初始采集像素点对应像素点进行采集的相机焦距；通过该相机焦距对待检测pcb板上与初始像素点对应的位置进行图像采集，得到该焦距下的局部图像。
[0053]
根据中心像素点及其八邻域的平均采集精度要求计算当前采集图像的焦距：式中：表示当前像素点和其邻域像素点所在窗口中的第个像素点。
[0054]
s7：通过初始像素点及其邻域像素点的重要程度、所要采集的图像精度以及像素尺寸得到下一次局部图像采集的间隔距离。
[0055]
不同焦距采集的图像范围是不同的，需要根据焦距计算出其采集范围，从而计算出下次采集图像与当前采集图像的间隔距离：
式中：表示横向间隔距离，表示纵向间隔距离，表示单个像素的物理量。
[0056]
上述计算出的采集图像的横向间隔距离和纵向间隔距离意思是：若当前是横向移动，则按照xg移动，若当前是纵向移动，则按照yg进行移动。
[0057]
s8：按照获取的间隔距离得到二维精度要求热图中新的初始采集像素点，所述初始采集像素点与新的初始采集像素点的距离为所述的间隔距离；将新的初始采集像素点作为初始采集像素点，重复步骤s6和s7，获取所有的局部图像。
[0058]
s9：获取所有局部图像中分辨率最大的局部图像所对应的分辨率，将其它局部图像的分辨率扩大为该分辨率，得到处理后的所有局部图像；将处理后的所有局部图像进行图像拼接，得到拼接后pcb板图像。
[0059]
对于低分辨的图像需要扩大分辨率，以便能统一的分辨拼接，本实施例采用反池化的方式来修改图像的分辨率。该技术为公知技术，故不予详细解释。
[0060]
上述意思即为，在最终得到的局部图像中，每张局部待拼接图像的分辨率不一定相同，分辨率最高的局部图像保持不变，将其他分辨率低的局部待拼接图像的分辨率扩大为与最高分辨率图像的分辨率一致，再进行图像拼接，得到拼接后的图像。
[0061]
至此，得到各个位置对应的局部图像，结合空间采集位置通过角点检测匹配的方式可完成局部图像的拼接，获得高分辨率的pcb板图像。
[0062]
s10：通过拼接后pcb板图像和标准参考图像的二值边缘图像判断u型槽加工是否存在异常。
[0063]
因为实际采集过程中，很可能单个像素的精度满足要求，但是拼接后的图像，其尺寸大于标准参考图像，所以需要采用平移的方式来对齐pcb板。
[0064]
以图像内的pcb板边缘的左上角点为基准点，将拼接后的图像进行平移与标准参考图像对齐即可。
[0065]
将拼接后的图像与标准参考图像对齐后，分别通过canny算子获得对应的二值边缘图像，通过做差的方式，即可获得差值图像，如下：式中：表示差值图像，表示标准参考图像的二值边缘图像，表示拼接图像的二值边缘图像。
[0066]
通过差值图像判断u型槽加工是否存在异常。
[0067]
本发明利用图像处理技术对pcb板的标准设计图像进行分析，进而来自适应地调整相机的采集参数，获得pcb板的多张不同分辨率的局部图像，最后把多张局部图像进行拼接，获得高分辨率的已加工的pcb板图像，再通过与标准图像进行对比识别异常，相对于现有技术，本发明实现了u型槽的高精度的加工异常判断，且检测方法简单，适合不同pcb板设计方案。
[0068]
实施例2
在实施例1中，由于相机在拍摄照片时会存在一定的透视畸变，为了使采集到的局部图像形变更小，拼接后与标准参考图像对比后结果更加准确，因此本实施例需要对每个焦距下采集到局部图像后将相机移动到下一个位置的距离进行修改，来提高局部图像拼接的准确性，采用如下方法：本实施例是采用pcb板中金手指的变化来识别畸变程度，进而自适应的判断补拍的位置。
[0069]
因为金手指呈现周期性条纹的图像特征，所以可引起频谱上局部产生高亮点。所以可通过分析频谱来判断金手指区域。
[0070]
获得频谱对应的列均值曲线（频谱上每一竖列像素点的像素值相加，并求均值），通过计算列均值曲线的突变程度来判断当前图像是否存在金手指。
[0071]
列均值的表达式为：式中：表示当前列中的第个像素点，表示当前列第个像素点的像素值，表示当前列共有个像素点。
[0072]
突变程度的表达式为：式中：表示频谱对应的列均值曲线中第个点，也为频谱中的第列，表示频谱中的总列数，表示列均值曲线中第个点和其前个点所在直线的斜率，表示列均值曲线中第个点和其后个点所在直线的斜率，表示上述公式中的斜率差异阈值。
[0073]
上述公式实际为通过前后的斜率差异来判断突变程度，而后把各处的突变程度累加。
[0074]
设定突变程度阈值ks，当突变程度tb大于阈值ks时，判断当前图像中存在金手指区域。
[0075]
识别出金手指区域后，以最高的焦距重新采集该区域，以便识别畸变范围。
[0076]
获得金手指区域后，可通过分析像素的周期性变化来判断当前的透视畸变程度。
[0077]
获得采集的局部rgb图像，通过大津自适应二值化的方法获得对应的二值图像，累加每列像素点的像素值，得到列和曲线，对于金手指区域，其列和曲线的形式为方波脉冲形式，如图2所示。
[0078]
求得金手指区域的列和曲线（方波脉冲形式）中的拐点坐标，通过坐标的变化，来计算当前焦距对应的畸变范围：判断拐点的方法为：若当前点的左侧点与当前点的纵坐标做差，若差值小于0，判断当前点为脉冲左侧点；将当前点的右侧点与当前点的纵坐标做差，若差值小于0，判断当前点为脉冲右侧点。
[0079]
脉冲区间的畸变程度的表达式为：式中：表示图像最中间的脉冲区域的宽度，即图像最中间的两个拐点间的横坐标距离，表示从图像最中间往左第个脉冲区间的宽度，表示从图像最中间往右第个脉冲区间的宽度。的范围为[0,1]。
[0080]
中间则是畸变最小的区域，越向四周，畸变越大。
[0081]
结合当前焦距对应的单像素对应物理比例，可得各脉冲区域对应的物理畸变量：其中，与可通过像距和焦距计算获得。
[0082]
最后，若物理畸变大于d，则认为该区域的畸变影响较大。记录当前区域对应的区间标号，进而得到当前焦距下的畸变范围：计算所有采集的局部图像中当前像素点和其八邻域像素点重要程度均值，若该均值大于设定的阈值，则进行畸变校正采集。
[0083]
上述已经获得采集所用的焦距对应的畸变范围（），结合畸变范围，可知，需要在原间隔距离的基础上少移动2*bi。即新的间隔距离的表达式为：原间隔距离的基础上少移动2*bi。即新的间隔距离的表达式为：式中：表示新的横向间隔距离，表示新的纵向间隔距离。
[0084]
故可得到新的补偿采集点，以对应的焦距采集新的图像来替代具有畸变的图像。
[0085]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。