一种异型元器件的针脚检测方法及装置

1.本发明涉及图像检测领域，具体来说，涉及一种异型元器件的针脚检测方法及装置。


背景技术：

2.目前，大部分的贴片设备都只能装贴一些符合行业标准的电子元器件，而对于异形元器件的插装多数依赖于人工进行，这一工序往往占据了整个pcb板贴装工作量的一半以上，大大影响了生产的速度与质量，产品经济效益也会受到影响，此外在插件过程中，工作人员需要肉眼来检验插件针脚品质，就会带来人工操作的强度大、时间长、错误率高、产品不良率高等一系列问题。总体而言，在插件之前对异形元器件针脚的检测对于整个贴装插件过程而言是一个至关重要的步骤，异形元器件针脚的良好性是插装工作的基础，是pcb电路板产品质量的保证。
3.目前有一部分实际方法是采用数字图像处理的方式取代人工进行针脚检测的方法，这类方法主要是通过从针脚的侧面采集图像，通过图像处理技术来对针脚进行相关的完好性检测，但这种方式所需要的夹持装置较为复杂，且对于得到的针脚二维图像进行图像处理也较为繁琐。也有一部分是使用检测夹具，直接对针脚进行通电测试，收集通电得到的电平来判断针脚质量，但是不能得到针脚脏污及针脚弯曲的品质信息，从而导致测试稳定性不高，而且此种检测方法自动化程度不高，工序繁琐，耗费精力大。


技术实现要素：

4.为了克服上述现有技术的不足之处，本发明提供了一种异型元器件的针脚检测方法，采用包括工控机、运动控制系统、图像采集系统及夹持系统的异型元器件的针脚检测装置，且包括如下步骤：
5.s1、对工控机和图像采集系统进行初始化调节；
6.s2、在工控机中选定或重新设定与待测器件相匹配的针脚区域模板，并设置相关参数；
7.s3、由外部的上料机构将待测器件运送至夹持系统的取料位，工控机通过运动控制系统控制夹持系统运动到取料位并夹持待测器件，夹持完毕后进一步使夹持系统运动到拍照位；
8.s4、工控机控制图像采集系统完成对拍照位的待测器件的拍照，获取待测器件的针脚区域图像，并将拍取的图像信息传输至工控机；
9.s5、工控机将拍取的图像信息进行视觉算法处理，并将处理后的待测器件的针脚区域图像与预存的针脚区域模板的图像进行对比，根据对比结果来判断待测器件的针脚区域是否合格；
10.s6、检测完成，将器件是否合格的判定结果存入数据库，并发送由判定结果生成的运动控制信号至运动控制系统；
11.s7、对于合格的器件，工控机通过运动控制系统控制夹持系统运动到插件位完成后续插件，对于不合格的器件，工控机通过运动控制系统控制夹持系统运动至废料抛料位，以抛弃不合格的器件；
12.s8、工控机控制运动控制系统将夹持系统运动到等待位，以等待对下一个待测器件的检测，对下一个待测器件进行检测前，若需要更换针脚区域模板，则返回步骤s1，若不需要更换针脚区域模板，则返回步骤s3，直至完成所有待测器件的检测。
13.在一些实施例中，步骤s5具体包括：
14.s51、首先使用均值滤波算法对针脚区域的图像信息进行平滑、降噪处理，再进行灰度形态学开运算处理，然后对开运算处理后图像信息进行灰度值线性变换；
15.s52、若图像信息中不存在标示点，则直接进入步骤s53，若图像信息中存在标示点，则对标示点亮斑区域进行面积大小测量、位置偏移检测及点数测量，根据测量结果判断标示点是否合格；
16.s53、使用局部动态阈值分割方法从图像信息中选出初步针脚区域；
17.s54、对步骤s53中选出的初步针脚区域的图像进行开运算处理，以断开图像中针脚边缘与元件底座的粘连区域；
18.s55、若图像信息中不存在合格的标示点，则直接进入步骤s56，若图像信息中存在合格的标示点，则借助标示点辅助定位针脚区域；
19.s56、对初步针脚区域进行感兴趣区域框选，从而精确选出针脚区域；
20.s57、提取步骤s56中获取的针脚区域图像的品质属性数据，并与预设的针脚区域模板图像的相关数据进行对比，当二者的相似度小于预设阈值时，则判定待测器件不合格并结束步骤s5，否则进入步骤s58；
21.s58、针脚区域图像中的每个针脚亮斑区域对应一个针脚，对针脚区域图像中的每个针脚亮斑区域进行区域填充，然后再对填充完成后的每个针脚亮斑区域进行特征提取，并将提取的特征参数与预设的参数阈值进行对比，根据对比结果来判断待测器件是否合格。
22.在一些实施例中，步骤s58具体包括：
23.对每个针脚亮斑区域进行区域填充后，计算针脚亮斑区域总数量，并对每个针脚亮斑区域进行矩度测量、面积大小测量及中心坐标偏移量测量；
24.若针脚亮斑区域总数量与预设的数量一致，且测得的每个针脚亮斑区域的距度、面积及中心坐标偏移量分别在预设的距度阈值、面积阈值及中心坐标偏移量阈值的范围内，则判定待测器件合格，否则判定待测器件不合格。
25.在一些实施例中，步骤s2中，先判断工控机内是否存储有与待测器件同类型的针脚区域模板数据，若是则选定相应的针脚区域模板，若否则根据如下步骤来重新设定针脚区域模板：
26.对待测器件执行步骤s3与步骤s4，获取处理后的待测器件的针脚区域图像，工作人员根据处理后的待测器件针脚区域图像进行人工判断，若人工判断待测器件合格，则工控机储存该待测器件的相关数据，并依此建立新的针脚区域模板，再进入步骤s6，若判断待测器件不合格，则直接进入步骤s6。
27.本发明另一方面提供了一种异型元器件的针脚检测装置，包括工控机、运动控制
系统、图像采集系统及夹持系统；
28.所述工控机分别与运动控制系统、图像采集系统及夹持系统电连接，所述工控机用于控制其他各系统的工作；
29.所述夹持系统安装在所述运动控制系统上，所述夹持系统用于夹持与放置待测器件，所述运动控制系统用于带动所述夹持系统在一定范围内运动；
30.所述图像采集系统用于采集待测器件的针脚区域图像，并将图像信息传输至所述工控机进行处理；
31.所述异型元器件的针脚检测装置根据上述的异型元器件的针脚检测方法来完成针脚检测。
32.在一些实施例中，还包括基板，所述运动控制系统固定安装在所述基板上；
33.所述图像采集系统包括安装架、工业相机及线性激光光源；
34.所述安装架的底端固定在所述基板上，所述安装架的顶端中部用于作为待测器件的拍照位；
35.所述线性激光光源固定安装在所述安装架的顶端，且从侧面正对着拍照位；
36.所述工业相机位于所述安装架的底端，且从底面正对着拍照位。
37.在一些实施例中，所述图像采集系统还包括上料轨道及光纤传感器，所述上料轨道固定安装在所述安装架上或通过支柱固定安装在所述基板上；所述上料轨道的入口端与外部的上料机构相配合，所述上料轨道的出口端作为取料位，且所述光纤传感器固定安装在取料位的一侧；所述光纤传感器用于在检测到待测器件达到取料位时，将信息传输至工控机，所述工控机进而通过所述运动控制系统控制所述夹持系统运动至取料位，以完成待测器件的夹持。
38.在一些实施例中，所述夹持系统包括连接板、下行气缸、夹取气缸及夹爪；所述连接板与所述运动控制系统的末端连接，所述下行气缸固定在所述连接板上，所述夹取气缸位于所述下行气缸的下方，所述夹爪位于所述夹取气缸的下方；所述下行气缸用于控制下方的夹取气缸及夹爪的整体进行上下运动，所述夹取气缸用于控制所述夹爪完成夹持与放置待测器件的操作。
39.在一些实施例中，所述图像采集系统包括两个工业相机、两个线性激光光源、两个上料轨道及多个光纤传感器，两个线性激光光源分别位于拍照位的左右两侧，两个上料轨道相互平行，两个工业相机相互平行放置，且分别对应于两个上料轨道的出口端；
40.所述夹持系统包括两个下行气缸、两个夹取气缸及两个夹爪，以形成两套夹持件，且每套夹持件分别工作，当所述夹持系统运动至取料位时，两套夹持件分别与两个上料轨道的位置相对应。
41.在一些实施例中，还包括集线器与放置盒；所述工控机与所述集线器直接通过数据线连接，所述集线器分别与所述图像采集系统及运动控制系统直接通过数据线连接，所述运动控制系统与所述夹持系统直接通过数据线连接；所述放置盒固定安装在所述基板上方。
42.与现有技术相比，本发明的有益效果是：
43.本发明提供的异型元器件的针脚检测方法及装置，相对于传统的人工检测的方式及其他机械检测方式，大大减轻了工作人员的工作量，也提高了企业的经济效益，并且能够
适应多种异型元器件的检测，检测的精度灵活可调，可以适应在不同的应用场景，本发明可以灵活的配置在自动化产线上，契合未来智能工厂、无人产线等的建设。
附图说明
44.图1为本发明提供的异型元器件的针脚检测方法的步骤流程图；
45.图2为图1中步骤s5的具体步骤流程图；
46.图3为一个具体实施例中经过拍照及图像处理后的针脚区域的示意图；
47.图4为本发明提供的异型元器件的针脚检测装置的示意图；
48.图5为图4中的图像采集系统的放大图；
49.图6为图4中的夹持系统的放大图；
50.图7为本发明提供的异型元器件的针脚检测装置的部分结构的俯视图。
51.附图标记说明：1、工控机；2、集线器；3、运动控制系统；4、图像采集系统；5、夹持系统；6、放置盒；7、基板；3.1、第一轴；3.2、第二轴；3.3、第三轴；4.1、上料轨道；4.2、光纤传感器；4.3、工业相机；4.4、安装架；4.5、线性激光光源；5.1、连接板；5.2、下行气缸；5.3、夹取气缸；5.4、夹爪。
具体实施方式
52.为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合附图和具体实施方式，进一步阐述本发明是如何实施的。
53.参照图1所示，本发明另一方面提供了一种异型元器件的针脚检测方法，采用包括工控机1、运动控制系统3、图像采集系统4及夹持系统5的异型元器件的针脚检测装置，且包括如下步骤：
54.s1、对工控机1和图像采集系统4进行初始化调节；
55.s2、在工控机1中选定或重新设定与待测器件相匹配的针脚区域模板，并设置相关参数；
56.s3、由外部的上料机构将待测器件运送至夹持系统5的取料位，工控机1通过运动控制系统3控制夹持系统5运动到取料位并夹持待测器件，夹持完毕后进一步使夹持系统5运动到拍照位；
57.s4、工控机1控制图像采集系统4完成对拍照位的待测器件的拍照，获取待测器件的针脚区域图像，并将拍取的图像信息传输至工控机1；
58.s5、工控机1将拍取的图像信息进行视觉算法处理，并将处理后的待测器件的针脚区域图像与预存的针脚区域模板的图像进行对比，根据对比结果来判断待测器件的针脚区域是否合格；
59.s6、检测完成，将器件是否合格的判定结果存入数据库，并发送由判定结果生成的运动控制信号至运动控制系统3；
60.s7、对于合格的器件，工控机1通过运动控制系统3控制夹持系统5运动到插件位完成后续插件，对于不合格的器件，工控机1通过运动控制系统3控制夹持系统5运动至废料抛料位，以抛弃不合格的器件；
61.s8、工控机1控制运动控制系统3将夹持系统5运动到等待位，以等待对下一个待测
器件的检测，对下一个待测器件进行检测前，若需要更换针脚区域模板，则返回步骤s1，若不需要更换针脚区域模板，则返回步骤s3，直至完成所有待测器件的检测。
62.进一步参照图2所示，优选地，步骤s5具体包括：
63.s51、首先使用均值滤波算法对针脚区域的图像信息进行平滑、降噪处理，再进行灰度形态学开运算处理，然后对开运算处理后图像信息进行灰度值线性变换；
64.s52、若图像信息中不存在标示点，则直接进入步骤s53，若图像信息中存在标示点(mark点)，则对标示点亮斑区域进行面积大小测量、位置偏移检测及点数测量，根据测量结果判断标示点是否合格；
65.s53、使用局部动态阈值分割方法从图像信息中选出初步针脚区域；
66.s54、对步骤s53中选出的初步针脚区域的图像进行开运算处理，以断开图像中针脚边缘与元件底座的粘连区域；
67.s55、若图像信息中不存在合格的标示点，则直接进入步骤s56，若图像信息中存在合格的标示点，则借助标示点辅助定位针脚区域；
68.s56、对初步针脚区域进行感兴趣区域(roi)框选，从而精确选出针脚区域；
69.s57、提取步骤s56中获取的针脚区域图像的品质属性数据，并与预设的针脚区域模板图像的相关数据进行对比，当二者的相似度小于预设阈值时，则判定待测器件不合格并结束步骤s5，否则进入步骤s58；
70.s58、针脚区域图像中的每个针脚亮斑区域对应一个针脚，对针脚区域图像中的每个针脚亮斑区域进行区域填充，然后再对填充完成后的每个针脚亮斑区域进行特征提取，并将提取的特征参数与预设的参数阈值进行对比，根据对比结果来判断待测器件是否合格。
71.优选地，步骤s58具体包括：
72.对每个针脚亮斑区域进行区域填充后，计算针脚亮斑区域总数量，并对每个针脚亮斑区域进行矩度测量、面积大小测量及中心坐标偏移量测量；
73.若针脚亮斑区域总数量与预设的数量一致，且测得的每个针脚亮斑区域的距度、面积及中心坐标偏移量分别在预设的距度阈值、面积阈值及中心坐标偏移量阈值的范围内，则判定待测器件合格，否则判定待测器件不合格。
74.参照图3所示，为一个具体实施例中经过拍照及图像处理后的针脚区域的示意图。可见，图中具有左侧的多个近似于矩形的亮斑及右侧的两个大的圆形亮斑，右侧的两个圆形亮斑即为标示点亮斑，左侧的多个亮斑即为针脚亮斑，每个针脚亮斑对应于器件的一个针脚。
75.进一步地，步骤s2中，先判断工控机1内是否存储有与待测器件同类型的针脚区域模板数据，若是则选定相应的针脚区域模板，若否则根据如下步骤来重新设定针脚区域模板：
76.对待测器件执行步骤s3与步骤s4，获取处理后的待测器件的针脚区域图像，工作人员根据处理后的待测器件针脚区域图像进行人工判断，若人工判断待测器件合格，则工控机1储存该待测器件的相关数据，并依此建立新的针脚区域模板，再进入步骤s6，若判断待测器件不合格，则直接进入步骤s6。
77.可以理解的是，在重新设定针脚区域模板时，对针脚区域图像的处理步骤与上述
的步骤s51-s56中的处理方式类似，最终同样采用感兴趣区域(roi)框选，从而得到精确的针脚区域的图像，以供工作人员进行人工判断，若人工判断待测器件合格，则保存针脚区域图像数据以及相关参数，从而作为新的针脚区域模板。
78.进一步参照图4-图7所示，本发明另一方面提供了一种异型元器件的针脚检测装置，包括工控机1、运动控制系统3、图像采集系统4及夹持系统5；工控机1分别与运动控制系统3、图像采集系统4及夹持系统5电连接，工控机1用于控制其他各系统的工作；夹持系统5安装在运动控制系统3上，夹持系统5用于夹持与放置待测器件，运动控制系统3用于带动夹持系统5在一定范围内运动；图像采集系统4用于采集待测器件的针脚区域图像，并将图像信息传输至工控机1进行处理，该异型元器件的针脚检测装置根据上述的异型元器件的针脚检测方法来完成针脚检测。
79.进一步地，该异型元器件的针脚检测装置还包括基板7，运动控制系统3固定安装在基板7上；图像采集系统4包括安装架4.4、工业相机4.3及线性激光光源4.5；安装架4.4的底端固定在基板7上，安装架4.4的顶端中部用于作为待测器件的拍照位；线性激光光源4.5固定安装在安装架4.4的顶端，且从侧面正对着拍照位；工业相机4.3位于安装架4.4的底端，且从底面正对着拍照位。
80.优选地，基板7在工业相机4.3设置的位置处开设有开口，工业相机4.3固定安装开口内部，且位于基板7所在平面的下方；线性激光光源4.5用于发射红色线性激光。本发明采用红色线性激光作为光源来打光，可以使工业相机4.3获取清晰明亮的元器件针脚区域图像。
81.优选地，参照图5所示，图像采集系统4还包括上料轨道4.1及光纤传感器4.2，上料轨道4.1固定安装在安装架4.4上或通过支柱固定安装在基板7上；上料轨道4.1的入口端与外部的上料机构相配合，上料轨道4.1的出口端作为取料位，且光纤传感器4.2固定安装在取料位的一侧；光纤传感器4.2用于在检测到待测器件达到取料位时，将信息传输至工控机1，工控机1进而通过运动控制系统3控制夹持系统5运动至取料位，以完成待测器件的夹持。
82.参照图6所示，夹持系统5包括连接板5.1、下行气缸5.2、夹取气缸5.3及夹爪5.4；连接板5.1与运动控制系统3的末端连接，下行气缸5.2固定在连接板5.1上，夹取气缸5.3位于下行气缸5.2的下方，夹爪5.4位于夹取气缸5.3的下方；下行气缸5.2用于控制下方的夹取气缸5.3及夹爪5.4的整体进行上下运动，夹取气缸5.3用于控制夹爪5.4完成夹持与放置待测器件的操作。
83.优选地，图像采集系统4包括两个工业相机4.3、两个线性激光光源4.5、两个上料轨道4.1及多个光纤传感器4.2，两个线性激光光源4.5分别位于拍照位的左右两侧，两个上料轨道4.1相互平行，两个工业相机4.3相互平行放置，且分别对应于两个上料轨道4.1的出口端；夹持系统5包括两个下行气缸5.2、两个夹取气缸5.3及两个夹爪5.4，以形成两套夹持件，且每套夹持件分别工作，当夹持系统5运动至取料位时，两套夹持件分别与两个上料轨道4.1的位置相对应。
84.进一步地，异型元器件的针脚检测装置，还包括集线器2与放置盒6；工控机1与集线器2直接通过数据线连接，集线器2分别与图像采集系统4及运动控制系统3直接通过数据线连接，运动控制系统3与夹持系统5直接通过数据线连接；放置盒6固定安装在基板7上方，放置盒6用于放置检测不合格的器件。
85.另外，运动控制系统3可为图示的三轴结构，包括第一轴3.1、第二轴3.2与第三轴3.3，通过三轴的共同作用，控制夹持系统5在各个位置之间运动。可以理解的是，传统插件设备是利用放置在三个坐标轴上的伺服电机作为运动控制单元，直接对元器件进行取、插作业，如果没有视觉检测单元，在插装作业过程中，一旦元器件针脚存在断裂、缺失、弯曲变形、脏污等情况，那必然会影响自动插件机的插装速度及产品的良品率。因此，本发明结合图像采集系统4，完成异型元器件的针脚的图像检测，能避免上述不利后果，提高插装速度及产品的良品率。
86.可以理解的是，在实际生产过程中，根据不同pcb板的要求不同，所需要插装的元器件种类也会不同，就会产生不同异形元器件底部外形的不规则、针脚与元器件颜色区分度小、针脚光反射性强、针脚长度不完全相同等问题，会提高视觉处理算法的难度；此外实际生产作业过程中不能完全消除外界光照对视觉采集打光的影响，也会影响视觉识别检测算法的稳定性，因此装贴元件的针脚视觉检测、打光问题也成为了异形元器件难以实现自动化装配的主要原因。
87.而本发明提供的异型元器件的针脚检测方法及装置，使用两个红色线性激光作为光源，将激光从侧面投射至异型元件的针脚端部处，工业相机从元件底部进行图像的获取，得到针脚的正面针尖图像，再进行视觉图像算法进行处理和分析，可对针脚的断裂、缺失、折损等进行识别，也可实现对针脚弯曲度、底座脏污及不同型号的插件针脚进行算法识别的检测，可以完全实现pcb板插件所需要的良品装插元件的要求。解决由人工操作的带来的工作强度大、时间长、错误率高、产品不良率高等一系列问题，在提高经济效益的同时也契合智能化工厂车间的改造进程。
88.总的来说，本发明采用的优秀的打光方式可以减少算法处理的复杂度及难度，并且结合多种视觉处理算法，大幅提高了异形元器件针脚检测的准确性，相对于传统的人工检测的方式及其他机械检测方式，大大减轻了工作人员的工作量，也提高了企业的经济效益，并且能够适应多种异型元器件的检测，检测的精度灵活可调，可以适应在不同的应用场景，本发明的结构特性就决定了本发明可以灵活的配置在自动化产线上，契合未来智能工厂、无人产线等的建设。
89.最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围中。