基于条纹投影3D成像的料盘内芯片形态的检测方法与流程

基于条纹投影3d成像的料盘内芯片形态的检测方法
技术领域
1.本发明属于芯片检测技术领域，具体涉及一种基于条纹投影3d成像的料盘内芯片形态的检测方法。


背景技术：

2.目前，ic测试、包装、烘烤等流程都使用料盘作为容器，料盘种类多样，内容物缺陷类型千变万化，通常会出现空料、翘料、叠料等问题。现有的2d 检测手段通过在料盘上方进行光学拍照来检测，光学拍照很难解决叠料的问题，也无法兼容所有的缺陷效果。
3.针对上述缺陷，现有的2d检测算法已无法满足实际检测需求，同时误检率漏检率较高也无法满足客户需求。且目前不存在国产的3d检测设备，故为满足客户需求研发出3d检测方法，大大降低误检率漏检率。


技术实现要素：

4.本发明的目的在于提供一种基于条纹投影3d成像的料盘内芯片形态的检测方法，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于条纹投影3d成像的料盘内芯片形态的检测方法，所述检测方法包括以下步骤：
6.机台控制移动待测料盘到光学检测模组正下方待测区域内，机台控制软件发送检测信号；
7.光学检测模组中的投影仪接收检测信号，投影仪投影多张粗细不等的离散条纹，光学检测模组中相机采集到对应的离散条纹；
8.通过三步相移算法和解包裹算法对离散条纹进行解析，得出原始3d点云图像；
9.使用点云滤波算法和误差补偿算法对原始3d点云图像进行降噪处理，得出完善的3d点云图像；
10.使用缺陷检测算法，分析3d点云图像，确定料盘中各个产品的形态特征，并判断形态特征是否满足用户需要，根据判断结果，检测软件输出结果信号到机台控制软件；
11.机台控制软件接收结果信号，结果信号若为良品信号，机台继续移动下一待测产品；若为不良品信号，机台发出报警信息，人工处理当前料盘内异常产品。
12.优选的，所述机台控制软件为handler软件。
13.优选的，所述光学检测模组包括投影仪和两个或多个相机，所述投影仪，用于往待测物体上投影正弦条纹；所述相机，用于获取形变后的正弦条纹。
14.优选的，所述相机采用四相机设置，每个所述相机同时硬触发采图，每个所述相机采图36张。
15.优选的，所述投影仪运用离焦条纹投影技术，所述投影仪投射出一组的条纹图案，此时从相机上同步观察到变形的条纹图案，这组变形的条纹图案通过两个或多个相机采集并分析，由于物体表面各点到投影中心距离不同，变形情况会有差异，通过条纹的变形来确
定待测物体到相机的距离，最终得到3d相位信息。
16.优选的，所述相机采用双目视觉相机标定技术，相位始终表示投影仪到被测物体距离，其中，投影范围为双相机可观察到变形条纹的公共视野范围，只有投影仪能投影到的且双相机也能看到的点才能够取得对应所述3d相位信息。
17.优选的，所述3d相位信息使用三步相移算法计算公式为：
18.i1(x,y)＝i0(x,y) i
mod
(x,y)cos(φ(x,y)
‑
θ),
19.i2(x,y)＝i0(x,y) i
mod
(x,y)cos(φ(x,y)),
20.i3(x,y)＝i0(x,y) i
mod
(x,y)cos(φ(x,y) θ),
21.其中，i0(x,y)为像素的背景强度，i
mod
(x,y)为调制项，φ(x,y)为包裹相位,θ为目标图像的相位相差，i1(x,y)、i2(x,y)、i3(x,y)分别为目标图像中各点的像素。
22.优选的，所述3d点坐标使用解包裹算法计算公式为：
23.i4(x,y)＝i0(x,y) i
mod
(x,y)cos(φ(x,y)),
24.其中，i0(x,y)为像素的背景强度，i
mod
(x,y)为调制项，φ(x,y)为包裹相位，i4(x,y)表示实际相位值。
25.优选的，所述结果信号包含当前料盘内是否有产品和料盘内产品位置，当料盘内产品为有且料盘内产品位置检测正常时，所述结果信号为ok信号，吸嘴取料将待测产品移至出料口，机台继续移动下一待测产品；当料盘内产品为无或料盘内产品异常时，则为ng信号，机台发出报警信息，人工检查当前料盘内是否有产品和料盘内产品位置。
26.本发明的技术效果和优点：
27.该基于条纹投影3d成像的料盘内芯片形态的检测方法具备检测料盘内是否有产品和料盘内产品位置是否正确的3d检测功能。其成像采用离焦条纹投影技术和双目视觉相机标定技术降低误检率漏检率，解决生产中出现的空料、翘料、叠料等问题，同时使用三步相移算法及解包裹算法，获取较为完善的 3d点云图像。使用误差补偿算法和滤波算法，将3d图像处理的更加完善。使用缺陷检测算法，筛选3d图片中的缺陷；设置四个相机，视野范围铺满整个料盘，一次检测即可解决整个料盘的问题。相比较2d检测方案速度更快。
28.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
29.图1为本发明的检测方法的流程图；
30.图2为本发明实施例中双目视觉标定技术示意图；
31.图3为本发明实施例中检测装置的结构示意图。
32.图中：1
‑
投影仪；2
‑
安装支架；3
‑
相机；4
‑
三维移动模组；5
‑
安装板。
具体实施方式
33.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。
34.本发明提供了一种基于条纹投影3d成像的料盘内芯片形态的检测方法，该检测方法具体检测料盘内是否有产品和料盘内产品位置是否正确的功能。
35.如图1所示，其具体包括以下步骤：
36.机台控制移动待测料盘到光学检测模组正下方待测区域内，机台控制软件发送检测信号；
37.光学检测模组中的投影仪1接收检测信号，投影仪1投影多张粗细不等的离散条纹，光学检测模组中相机3采集到对应的离散条纹；
38.通过三步相移算法和解包裹算法对离散条纹进行解析，得出原始3d点云图像；
39.使用点云滤波算法和误差补偿算法对原始3d点云图像进行降噪处理，得出完善的3d点云图像；
40.使用缺陷检测算法，分析3d点云图像，确定料盘中各个产品的形态特征，并判断形态特征是否满足用户需要，根据判断结果，检测软件输出结果信号到机台控制软件；
41.机台控制软件接收结果信号，结果信号若为良品信号，机台继续移动下一待测产品；若为不良品信号，机台发出报警信息，人工处理当前料盘内异常产品。
42.具体地，机台控制移动待测产品到光学检测模组正下方待测区域并等待，机台控制软件发送检测信号，光学检测模组中的投影仪1接收检测信号，投影仪1投影36张粗细不等的离散条纹，光学检测模组中相机3采集到对应的离散条纹；所述机台控制软件为handler软件。
43.所述光学检测模组包括投影仪1和两个或多个相机3；所述投影仪1，用于往待测物体上投影正弦条纹；所述相机3，用于获取形变后的正弦条纹。在本实施例中，所述相机3采用四相机3设置，采用四相机3可以一次看全整个料盘。
44.在本实施例中，所述光学检测模组中投影仪1收到机台控制软件发出的检测信号后，控制投影仪1投出36张粗细不等的离散条纹，获取对应3d相位信息。所述投影仪1运用离焦条纹投影技术，投影仪1投射出一组粗细不等的离散条纹图案，此时可以从物体上同步观察到变形的条纹图案；这组变形的条纹图案通过两个或多个相机3采集并分析，由于物体表面各点到投影中心距离不同，变形情况会有差异，使用双目相机3，同一条纹状态在两个相机3中的成像效果是不同的，通过分析两张图像条纹差异，得出对应点之间的视差。所述投影范围及双相机3可观察到变形条纹的公共视野范围，必须是两个相机3的公共视野范围，只有投影仪1能投影到的且双相机3也能看到的点才能够得到所述3d相位信息。
45.所述相机采用双目视觉相机标定技术，通过双目相机标定技术，确定两个相机的位置、角度、空间坐标等信息；具体地，每个所述相机采用同时硬触发采图，每个所述相机3采图36张。在本实施例中，如图2所示，相机3 采用双目视觉相机标定技术；相位始终表示投影仪1到被测物体距离，即物体上同一点在不同ccd来看，都有相同相位值。利用ccd1和ccd2相位中相同的像素点，到其对应ccd光心可以得到两条直线，这2条直线交于物体同一点，该点的坐标即为所得到的3d相位信息。具体地，所述ccd表示电荷耦合元件，即图像传感器。ccd1为相机一的图像传感器，ccd2为相机二的图像传感器，此处不限于双相机限制，同时也可为四相机3。
46.进一步地，将得到的3d相位信息通过三步相移算法和解包裹算法，得出原始3d点
云图像；
47.所述3d相位信息包括待测3d点坐标，将得到的待测3d点坐标使用三步相移算法及解包裹算法计算出实际相位值，获取较为完善的3d点云图像。具体的，本发明实施例中的目标图像的相位相差θ。进一步的，设定相位相差θ的目标图像中各点的像素分别为i1(x,y)、i2(x,y)、i3(x,y)，则三幅相位相差的目标图像上的各点光强分别表示为θ，所述三步相移算法的计算公式如下，
48.i1(x,y)＝i0(x,y) i
mod
(x,y)cos(φ(x,y)
‑
θ),
49.i2(x,y)＝i0(x,y) i
mod
(x,y)cos(φ(x,y)),
50.i3(x,y)＝i0(x,y) i
mod
(x,y)cos(φ(x,y) θ),
51.其中i0(x,y)为像素的背景强度，i
mod
(x,y)为调制项，φ(x,y)为包裹相位。
52.实际使用过程中，如果单纯使用一组条纹信息，其误差点太大，所以需要使用三种不同粗细的条纹，但最终计算的arccos数据被包裹，故使用解包裹算法计算出实际相位值；所述解包裹算法如下，
53.i4(x,y)＝i0(x,y) i
mod
(x,y)cos(φ(x,y)),
54.其中i0(x,y)为像素的背景强度，i
mod
(x,y)为调制项，φ(x,y)为包裹相位，i4(x,y)表示实际相位值。
55.进一步地，将得到的原始3d点云图像使用点云滤波算法和误差补偿算法，去除噪声，得出完善的3d点云图像。
56.使用误差补偿算法和滤波算法，将3d图像处理的更加完善。在高精度的测量中,图像处理精度对整体测量精度起着至关重要的作用,但成像过程中摄像机对特征点图像的离散化采样,会造成图像与原始信号的失真,从而带来图像处理环节的误差.通过对图像处理过程中特征点总能量,能量分布弥散半径和图像处理窗口的特性分析,并以特征点中心位置,提取误差大小和能量密度函数的标准差之间关系为基础,使用误差补偿算法.该方法仅需标定一次补偿参数,适用于所有摄像机和算法,可显著提升原有图像处理精度。所述滤波算法采用sor滤波算法，为了能够去除相机3产生的噪声同时又能极大的保存细节，系统采用的sor滤波算法会模糊区域边缘的不足,因此使用sor滤波算法可以消除这种影响。该算法在消除噪声的同时不会影响区域的边缘，经实验验证,sor滤波算法改进系统的效果优于其它均值滤波算法改进的系统。
57.进一步地，将得到完善的3d点云图像使用缺陷检测算法，筛选3d图像中的缺陷，对缺陷中不匹配的点标记为不良，筛选3d图像中所有的不良点信息，整合筛选结果，判定当前产品是否存在缺陷，判定完成后发送结果信号。在本实施例中，使用缺陷检测算法，分析3d点云图像，确定料盘中各个产品的形态特征，并判断形态特征是否满足用户需要，根据判断结果，检测软件输出结果信号到机台控制软件；
58.在本实施例中，使用缺陷检测算法，筛选3d图片中的缺陷；在获取一个相对合格的点云后，点云仍存在大量噪点声，影响最终的检测结果，故使用点云滤波算法，滤除无效的噪声点；缺陷检测使用模板匹配的方式，需要提前保存好良品的三维信息，当前图片与模板图片逐步比较，对3d信息不匹配的点标记为不良，最终重新筛选所有的不良点信息，当前产品与模板图像进行比较，对3d信息不匹配的店标记为不良，最终筛选所有的不良点信息，通过检测轮廓、腐蚀膨胀等2d图像处理算法判断当前图片是否异常。
59.进一步地，机台控制软件接收结果信号，结果信号若为良品信号，机台继续移动下一待测产品；若为不良品信号，机台发出报警信息，人工处理当前料盘内异常产品。在本具体实施例中，机台接收结果信号，若为ok信号，机台继续移动下一待测产品；若为ng信号，机台发出报警信息，人工检查当前料盘内是否有产品和料盘内产品位置。
60.具体地，所述结果信号包含当前料盘内是否有产品和料盘内产品位置，当料盘内产品为有且料盘内产品位置检测正常时，所述结果信号为ok信号，吸嘴取料将待测产品移至出料口，机台继续移动下一待测产品；当料盘内产品为无或料盘内产品异常时，则为ng信号，机台发出报警信息，人工检查当前料盘内是否有产品和料盘内产品位置。
61.具体地，当光学检测软件计算完当前图片后，通过io信号控制算法发送检测结果，触发io中继板电平信号(发送信号)，机台控制软件读取对应点位中继板的电平信息(接受信号)，做出下一步动作。
62.在本实施例中通过采用定制光源，有利于获取良好3d数据；速度快，3s 内可以解决整个料盘的缺陷检测；可兼容bga、qfp、qfn等多种封装产品，最小可检测产品3x3mm；可兼容黑色、红色、蓝色等常见料盘，且料盘变形亦不影响检测；经过客户端现场长期验证，稳定性很高。
63.该检测方法，可确定料盘内产品位置，输出mapping图。吸嘴根据mapping 图指示，吸取对应位置产品，可以解决入料前人工补盘的操作，节约人力，即使料盘料不满，也可以进行生产。
64.所述基于条纹投影3d成像的料盘内芯片形态的检测方法所对应的检测系统包括投影仪1、安装支架2、相机3、三维移动模组4和机台；具体可参考图3所示，其中：
65.投影仪1，位于待测物体的正上方，用于往待测物体上投影正弦条纹；
66.安装支架2，所述光学检测模组安装在安装支架2上，所述光学检测模组与机台连接；
67.相机3，用于获取形变后的正弦条纹；所述相机3选用四个相机3，视野范围铺满整个料盘，一次检测即可解决整个料盘的问题。相比较2d检测方案速度更快。
68.所述三维移动模组4，所述三维移动模组设置在安装支架的上方位置，具备三维移动功能，用于调整光学检测模组位置；
69.机台，用以移动待测物，所述机台位于光学检测模组的下方，图中未标出。
70.所述投影仪1位于待测产品正上方的位置，所述投影仪1安装在安装支架2上，所述安装支架2分为上下两层，中间采用镂空设计，上部镂空用于放置投影仪1，下部镂空是为了不遮挡投影仪的光束，待测物体位于投影仪正下方400mm处，所述相机3位于安装支架四周的四个角上。同样的在所述安装支架2的上部侧边安装三维移动模组4，用于调整光学检测模组的位置。所述三维移动模组与安装支架2采用螺栓连接，所述三维移动模组4与安装支架之间还设置有安装板5，安装板5可以起到防松以及调整高度的作用。所述三维移动模组4的另一端安装在机台上，所述三维移动模组4与投影仪接触部分设置有限位卡块，用来卡接投影仪1，实现投影仪1和三维移动模组4固定连接的作用。
71.本发明的有益效果为：成像采用离焦条纹投影技术和双目视觉相机标定技术降低误检率漏检率，解决生产中出现的空料、翘料、叠料等问题，同时使用三步相移算法及解包裹算法，获取较为完善的3d点云图像。使用误差补偿算法和滤波算法，将3d图像处理的更加
完善。使用缺陷检测算法，筛选3d 图片中的缺陷；设置四个相机3，视野范围铺满整个料盘，一次检测即可解决整个料盘的问题。相比较2d检测方案速度更快。
72.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。