基于图像识别的电路板载元器件自动检测系统和方法与流程

1.本发明涉及工业自动化技术领域，尤其涉及一种基于图像识别的电路板载元器件自动检测系统和方法。


背景技术：

2.随着工业自动化的发展，人们对于效率的要求越来越高。在工业生产中，电路板的检测，目前的工业产线中，绝大多数工业流水线，对于电路板产品的产品外观检测仍然是采用人工目检方式，采用人工目检方式显然已经适应不了现代化工业发展要求。相对于人工目检，效率比较低，错检率比较高。


技术实现要素：

3.本发明实施例提供一种基于图像识别的电路板载元器件自动检测系统和方法，以解决传统的方案中电路板产品的效率比较低，错检率比较高
4.第一方面，提供了一种基于图像识别的电路板载元器件自动检测系统，包括检测触发模块、图像处理模块、图像采集模块和检测输出模块：
5.检测触发模块，用于检测流水线上是否有电路板流过；
6.图像处理模块，用于当检测到所述流水线上有电路板流过时，控制图像采集模块采集所述电路板对应的采集图像，并对采集到的所述采集图像进行图像分析处理，得到图像分析结果；
7.检测输出模块，用于基于所述图像分析结果，输出所述电路板的元器件检测结果。
8.进一步地，所述检测触发模块包括光电传感器和控制板卡，所述光电传感器与所述控制板卡连接，其中，所述光电传感器固定在所述流水线上方；
9.所述光电传感器用于检测所述流水线上是否有所述电路板流过；当所述流水线有电路板流过时，所述光电传感器输出变化电流信号至所述控制板卡；所述控制板卡用于将所述变化电流信号转化为目标数字信号输出至所述图像处理模块；所述图像处理模块用于响应所述目标数字信号，控制所述图像采集模块采集所述电路板对应的采集图像。
10.进一步地，所述图像采集模块包括照明光源和工业相机；所述照明光源和工业相机分别连接至所述图像处理模块，所述照明光源固定于所述流水线上方。
11.进一步地，所述照明光源采用箱体式led白色光源。
12.进一步地，所述图像处理模块，具体用于：
13.在所述电路板的样本图像中获取需要检测区域，并获取所述检测区域有插件的插件图像以及无插件时所在位置的pcb丝印图像；
14.对所述插件图像和pcb丝印图像分别进行预处理操作，得到目标插件图像和目标pcb丝印图像；
15.基于所述目标插件图像和目标pcb丝印图像，分别创建有插件以及无插件时对应的第一模版图和第二模版图；
16.分别计算所述第一模版图和第二模板图，与所述电路板的采样图像进行识别的匹配程度，以确定图像分析结果，所述图像分析结果用于指示所述电路板是否存在插件。
17.进一步地，当所述图像分析结果显示所述电路板存在插件时，所述图像处理模块还用于：
18.根据所述插件的器件类型，选择对应的检测方式检测所述插件是否插反。
19.进一步地，所述图像处理模块还用于：
20.若所述插件为侧放置的极性电容，则通过获取所述极性电容的侧面丝印文字的方向来判断所述极性电容的极性方向；
21.若所述插件为正放置的极性电容，则通过获取所述极性的极性标志来判断所述极性电容的极性方向；
22.若所述插件为包含丝印的第一变压器，则通过所述第一变压器的丝印的字符方向来确定所述第一变压器的极性方向；
23.若所述插件为未包含丝印的第二变压器，则通过所述第二变压器表面的区域范围图像；用傅里叶变化对所述区域范围图像进行处理转为频域后，对频域进行滤波处理，以得到所述第二变压器表面的区域范围的字符轮廓；通过所述轮廓确定所述第二变压器的极性方向。
24.第二方面，提供了一种基于图像识别的电路板载元器件自动检测方法，所述方法包括：
25.检测触发模块检测流水线上是否有电路板流过；
26.当检测到所述流水线上有电路板流过时，图像处理模块控制图像采集模块采集所述电路板对应的采集图像，并对采集到的所述采集图像进行图像分析处理，得到图像分析结果；
27.检测输出模块基于所述图像分析结果，输出所述电路板的元器件检测结果。
28.进一步地，对采集到的所述采集图像进行图像分析处理，得到图像分析结果，包括：
29.在所述电路板的样本图像中获取需要检测区域，并获取所述检测区域有插件的插件图像以及无插件时所在位置的pcb丝印图像；
30.对所述插件图像和pcb丝印图像分别进行预处理操作，得到目标插件图像和目标pcb丝印图像；
31.基于所述目标插件图像和目标pcb丝印图像，分别创建有插件以及无插件时对应的第一模版图和第二模版图；
32.分别计算所述第一模版图和第二模板图，与所述电路板的采样图像进行识别的匹配程度，以得到图像分析结果，所述图像分析结果用于指示所述电路板是否存在插件。
33.进一步地，当所述图像分析结果显示所述电路板存在插件时，所述方法还包括：
34.根据所述插件的器件类型，选择对应的检测方式检测所述插件是否插反。
35.本技术提供的基于图像识别的电路板载元器件自动检测方法或系统中，采用自动光学检测具有更高的稳定性、可重复性和更高的精准度，其标准及可控的检测标准，能最小化人为错误，降低错检率，同时在工厂中导入电路板图像的自动化检测，能降低人工操作频率，提高效率，也能减少人力成本。
附图说明
36.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
37.图1是本发明一实施例中基于图像识别的电路板载元器件自动检测系统的一系统结构示意图；
38.图2是本发明一实施例中基于图像识别的电路板载元器件自动检测方法的一流程图；
39.图3是本发明一实施例中基于图像识别的电路板载元器件自动检测方法中图像处理模块的一结构图。
具体实施方式
40.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.本技术一实施例中，提供了一种基于图像识别的电路板载元器件自动检测系统，包括检测触发模块100、图像处理模块300、图像采集模块200和检测输出模块400：
42.检测触发模块100，用于检测流水线上是否有电路板流过；
43.图像处理模块300，用于当检测到所述流水线上有电路板(pcb板)流过时，控制图像采集模块200采集所述电路板对应的采集图像，并对采集到的所述采集图像进行图像分析处理，得到图像分析结果；
44.检测输出模块400，用于基于所述图像分析结果，输出所述电路板的元器件检测结果。具体而言，输出pass/fail结果状态输出、检测数据分析控制输出和异常提示器。该异常提示器可以是蜂鸣器。
45.在一实施例中，所述检测触发模块包括光电传感器和控制板卡，所述光电传感器与所述控制板卡连接，其中，所述光电传感器固定在所述流水线上方；所述光电传感器用于检测所述流水线上是否有所述电路板流过；当所述流水线有电路板流过时，所述光电传感器输出变化电流信号至所述控制板卡；所述控制板卡用于将所述变化电流信号转化为目标数字信号输出至所述图像处理模块；所述图像处理模块用于响应所述目标数字信号，控制所述图像采集模块采集所述电路板对应的采集图像。
46.作为一个示例，所述检测触发模块100具体可以包括反射型数字激光传感器和io控制板卡，反射型数字激光传感器使用可视聚焦激光光束，提供长距离有无检测功能，可以有效地检测到流水线上的电路板。该io控制板卡可以是一款4路pnp兼容型光电输入、4路继电器输出的工业级io驱动板，光电传感器还可以采用其他类型的激光传感器，io控制板卡可以使用其他路输出和输入的驱动卡，这里均具体不做限定。
47.在一实施例中，所述图像采集模块200包括照明光源和工业相机；所述照明光源和工业相机分别连接至所述图像处理模块300，所述照明光源固定于所述流水线上方，照明光
源用于为采集图像时提供照明条件，工业相机用于采集流水线上的电路板的图像，得到采集图像。
48.作为一个示例，该照明光源采用箱体式led白色光源，工业相机可采用包括镜头透镜组、线阵ccd彩色图像传感器的工业级相机；其采集视野范围 300*200mm。
49.需要说明的是，在实际应用中，可根据所要达到的视野范围、工作距离及精度要求，确认上述工业相机的接口、靶面尺寸和分辨率大小；同时需要根据电路板产品的特征确认照明光源类型及打光方式，最后再根据工业相机的芯片尺寸大小确定光学镜头。
50.可以理解的是，工业相机获取的图像是通过接受物体反射光线，再经过光电转换生成图像。因此在不同的光源以及不同的打光角度下，工业相机获取的图像都是不一样的。由于插件后的电路板的场景复杂，不同类型的插件的形状、高度、颜色都不一样，为了兼容检测的所有插件并确保能够获取最佳的图像效果，本技术实施例中采用箱体式光源进行打光，可以使得整个光照范围下的电路板的光照效果最均匀，在该光源范围之内，边缘和中心的亮度相同，也不会出现亮度渐变即中间亮两边暗的情况，适合同一图像中包含多种不同类型的检测物体的复杂场景，有利于提高检测的准确性。
51.在确定好光源类型之后，还需要选取合适的相机和镜头。可以理解的是，工业相机的像素越高，同视野范围内所包含的像素点数量越多，能够呈现的图像细节也就也多。为了视野能够采集完整的电路板图像，并且尽量呈现电路板上插件的细节，在工业相机的选型上，可以选用诸如2000万像素等像素的相机。这样，相对于低像素相机对插件的精准拍摄，高像素整体拍摄的优势在于插件清晰度相同的情况下，采集图像所需消耗的时间更短，设备机构要求更简单。还有就是选择对应的镜头，本技术实施例中，根据检测的物体在采集图像中应该占据整张图像的2/3-3/4的原则。相同的工作距离下，光学镜头的焦距数值约小，物体在视野中的占比也就越小。也就是说，为了保证整幅图像的质量，光学镜头的最大适配芯片尺寸必须大于与之配套的工业相机芯片尺寸，否则会引起严重的畸变和相差，影响后续的检测准确率。
52.示例性的，机器视觉的光学镜头接口和相机接口一般分为c、cs、f和其他更大尺寸的接口类型。相机和镜头是互补的，即c接口的相机只能用c接口的镜头。本技术实施例中，采用12mm的相机镜头，工作距离小，且视野边缘不会产生较大的畸变，可以进一步提高检测准确性。
53.另外值得说明的是，图像采集模块200的照明光源目的是呈现高质量高对比图像，能够有最明显的特征检测点和最不明显的背景及干扰，它直接影响了处理的精度和速度；而调整图像采集模块的工业相机、光学镜头和照明光源位置，使图像处理模块的图形显示实时画面对焦清晰；在位置固定之后，需调整相机曝光时间和增益，提高图片质量，方便后续采图处理。
54.在一实施例中，图像处理模块300具体可采用台式电脑，包括一个彩色图像显示器，一套键盘鼠标输入设备，一台配有多个usb接口和多个以太网接口的计算机主机，通过pci插槽将相机和io控制卡与台式电脑的计算机主板连接。运行平台可以是windows平台，具体不做限定。其中，图像处理模块300与图像采集模块200和检测触发模块100的连接方式采用有线连接， tcp通信协议，具体也不做限定。
55.在安装及固定所有图像采集模块硬件设备，主控台式电脑安装相关的驱动软件，
测试所有的通信链路是否正常。用户在主控电脑上启动图像处理模块软件系统，检查各部件状态，若有部件出现异常，图像处理模块软件输出弹窗或者红色字体日志提示。
56.需要说明的是，图像处理模块是用于进行图像分析、图形显示、图形交互、图像预处理、条码扫描和图形特征点检测等的过程，如下：
57.在一实施例中，所述图像处理模块，具体用于：在所述电路板的样本图像中获取需要检测区域，并获取所述检测区域有插件的插件图像以及无插件时所在位置的pcb丝印图像；对所述插件图像和pcb丝印图像分别进行预处理操作，得到目标插件图像和目标pcb丝印图像；基于所述目标插件图像和目标 pcb丝印图像，分别创建有插件以及无插件时对应的第一模版图和第二模版图；分别计算所述第一模版图和第二模板图，与所述电路板的采样图像进行识别的匹配程度，以确定图像分析结果，所述图像分析结果用于指示所述电路板是否存在插件。
58.需要说明的是，在一实施例中，在所述电路板的样本图像中获取需要检测区域，并获取所述检测区域有插件的插件图像以及无插件时所在位置的pcb 丝印图像之前，还会对样本图像设置对应的基准点(mark点)，并保存基准点信息，该基准点是基于检测需求所设定的基准点，方便后续对电路板的检测过程中，对图像采集模块获取的采集图片进行mark匹配，得到mark数据，然后基于mark数据对采集图像的参考坐标进行旋转、平移、缩放等操作，使获取的图片坐标转化为样本图像相应的坐标。
59.在一实施例中，对所述插件图像和pcb丝印图像分别进行预处理操作，包括两张图像的对比度，提高边缘锐度，降低背景噪声等操作。通过预处理操作提高插件的特征值以及所对应的pcb丝印的特征值，便于后续检测。
60.基于所述目标插件图像和目标pcb丝印图像，分别创建有插件以及无插件时对应的第一模版图和第二模版图，也即创建了有插件和无插件两种的情况的图像模板。在一实施例中，可以对两种模板设置限定参数，包括可匹配的角度范围，可匹配的模板大小比例等，进一步提高匹配精准度。在一实施例中，可对上述得到的两个模板图像先进行匹配测试，通过设置匹配参数、查找角度范围，查找分数值范围，查找数量，叠加系数，子像素级，金字塔级等，以提高匹配的速度，兼容性和准确性。最后基于这些设置的匹配参数，分别计算所述第一模版图和第二模板图，与所述电路板的采样图像进行识别的匹配程度，以确定图像分析结果，所述图像分析结果用于指示所述电路板是否存在插件。
61.需要说明的是，在制作模板的同时，可检查点对应不良原因及器件位置、器件型号录入语音，用于在测试中检查到不良品时播放对应的语音包。
62.在一实施例中，当所述图像分析结果显示所述电路板存在插件时，所述图像处理模块还用于：
63.根据所述插件的器件类型，选择对应的检测方式检测所述插件是否插反。
64.在一实施例中，所述图像处理模块还用于：
65.若所述插件为侧放置的极性电容，则通过获取所述极性电容的侧面丝印文字的方向来判断所述极性电容的极性方向；
66.若所述插件为正放置的极性电容，则通过获取所述极性的极性标志来判断所述极性电容的极性方向；
67.若所述插件为包含丝印的第一变压器，则通过所述第一变压器的丝印的字符方向
来确定所述第一变压器的极性方向；
68.若所述插件为未包含丝印的第二变压器，则通过所述第二变压器表面的区域范围图像；用傅里叶变化对所述区域范围图像进行处理转为频域后，对频域进行滤波处理，以得到所述第二变压器表面的区域范围的字符轮廓；通过所述轮廓确定所述第二变压器的极性方向。
69.可以理解的是，对于有极性的插件，通过上述实施例获取插件存在的情况下，还需要通过插件的特征值来获取的插件的方向。对于不同的插件类可以用不同的算法来获取极性，具体而言：
70.d1：对于侧电容，也即侧放置的极性电容，可以通过获取电容侧面丝印文字的方向来判断电容的方向。具体而言，首先需要对电容侧面的丝印进行提高对比度处理，获取丝印字符区域，再通过去噪处理，出去噪点，提高丝印字符的清晰度，最后通过字符轮廓匹配或者ocr字符识别的结果，判断侧电容是否反向；
71.d2：对于正电容，也即正放置的极性电容主，由于正电容可以采集到极性标识，而且，这种情况下采集的采集图像的正电容的极性标志的亮度明显要大于元件的本体亮度，因此，具体可采用了histogarm类检测算法来判断正电容是否发生极性反向情况。
72.d3：对于包含丝印的第一变压器，可通过调节光源的亮度，以及相机的 gama值和曝光值，提高第一变压器插件表面上的丝印字符的清晰度，通过丝印的字符的方向来确定变压器的方向。
73.d4：对于一些丝印较浅或者非丝印类的第二变压器，可通过对整个区域的灰度值分析，分析后的结果用于进行区域分割，可得到精准的变压器表面的区域范围。将区域范围内的图片，用傅里叶变化处理转为频域后，对频域进行滤波处理，可得到区域表面的字符轮廓。根据轮廓进行进行对比，来确定变压器的方向。
74.上述主要是图像处理模块实现图像处理和分析得过程，还包括实现图形显示等的过程，图像显示包括使用相关显示接口函数，把采样图像数据通过hwindowcontrol或者picturebox控件显示出来；图形交互则是通过鼠标绘制感兴趣区域，得到感兴趣区域；图像预处理则用到了图像的灰度变换、图像的几何变换和图像分割，图像分割最常用的是阈值分割，阈值分割是一种按图像像素灰度幅度进行分割的方法。
75.在工业生产中，一般都会使用二维码等表示来进行每个电路板产品的标识。图像处理模块也包括了电路板的二维码获取并解码的过程。在每片板检测之前，首先进行二维码解码处理，获取设备id，并将最后的元器件检测结果与设备id关联绑定。
76.需要说明的是，在上述检测过程中，是基于模板匹配算法，这种匹配方式可适用于搜索对象有轻微的变形，存在大量的纹理以及模糊图像中的对象等场合，其速度快于传统的灰度匹配，并且在兼容性和操作方面优于形状匹配算法，有利于提高整体的处理效率；实际应用场景中，获取的采集图像的位置偏差小，基本等同于在同一位置获取采集图像。所以每张采集图像中同一位置的插件变化差异小，有利于提高检测效率。并且，本技术的电路板载元器件自动检测系统只需要获取插件图片设置好匹配参数，就可以进行匹配识别操作，灰度匹配算法则更为复杂。而且，在识别效果上，如果插件的轮廓不够清晰，与周围环境融为一体或者插件轮廓与插件底部电路板上的丝印相识，也会造成较高的误判，而使用本技术实施例则就不会出现这类情况，整体识别准确性较高。
77.另外需要说明的，图像处理模块还可以包括用户登录及用户管理功能、产品recipe添加及删除、日志打印、图片保存和pcb板统计计数等功能。
78.在图像模板建立完成之后即可开启自动检测流程，每一帧采集图像通过图像处理模块之后即可得到自动检测结果，检测输出模块，用于基于所述图像分析结果，输出所述电路板的元器件检测结果，检测输出模块可以包括蜂鸣器，有异常时，可通过蜂鸣器发出异常提示声音，操作员可以通过显示器的提示信息或语音提示及时获取检测结果信息。将不良信息传输到下一站别的显示屏上，且用语音提醒具体错误的器件位置及器件型号。操作员在下一站可精准处理不良品。
79.在一实施例中，结合上述自动检测系统，提供了一种基于图像识别的电路板载元器件自动检测方法，所述方法包括如下步骤：
80.s101：检测触发模块检测流水线上是否有电路板流过；
81.s102：当检测到所述流水线上有电路板流过时，图像处理模块控制图像采集模块采集所述电路板对应的采集图像，并对采集到的所述采集图像进行图像分析处理，得到图像分析结果；
82.s103：检测输出模块基于所述图像分析结果，输出所述电路板的元器件检测结果。
83.在一实施例中，对采集到的所述采集图像进行图像分析处理，得到图像分析结果，包括如下步骤：
84.在所述电路板的样本图像中获取需要检测区域，并获取所述检测区域有插件的插件图像以及无插件时所在位置的pcb丝印图像；
85.对所述插件图像和pcb丝印图像分别进行预处理操作，得到目标插件图像和目标pcb丝印图像；
86.基于所述目标插件图像和目标pcb丝印图像，分别创建有插件以及无插件时对应的第一模版图和第二模版图；
87.分别计算所述第一模版图和第二模板图，与所述电路板的采样图像进行识别的匹配程度，以得到图像分析结果，所述图像分析结果用于指示所述电路板是否存在插件。
88.在一实施例中，当所述图像分析结果显示所述电路板存在插件时，所述方法还包括如下步骤：
89.根据所述插件的器件类型，选择对应的检测方式检测所述插件是否插反。
90.在一实施例中，所述图像处理模块还用于：
91.若所述插件为侧放置的极性电容，则通过获取所述极性电容的侧面丝印文字的方向来判断所述极性电容的极性方向；
92.若所述插件为正放置的极性电容，则通过获取所述极性的极性标志来判断所述极性电容的极性方向；
93.若所述插件为包含丝印的第一变压器，则通过所述第一变压器的丝印的字符方向来确定所述第一变压器的极性方向；
94.若所述插件为未包含丝印的第二变压器，则通过所述第二变压器表面的区域范围图像；用傅里叶变化对所述区域范围图像进行处理转为频域后，对频域进行滤波处理，以得到所述第二变压器表面的区域范围的字符轮廓；通过所述轮廓确定所述第二变压器的极性方向。
95.本技术提供的基于图像识别的电路板载元器件自动检测系统中，采用自动光学检测具有更高的稳定性、可重复性和更高的精准度，其标准及可控的检测标准，能最小化人为错误，降低错检率，同时在工厂中导入电路板图像的自动化检测，能降低人工操作频率，提高效率，也能减少人力成本。
96.在一个实施例中，提供了一种计算机设备，该计算机设备可以是台式电脑，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的图像采集模块、检测触发模块和检测输出模块通过网络连接通信。该计算机程序被处理器执行时以实现一种电路板载元器件自动检测方法中图像处理模块的功能或步骤。
97.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种电路板载元器件自动检测方法中图像处理模块的功能或步骤。
98.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram (dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram (drdram)、以及存储器总线动态ram(rdram)等。
99.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
100.以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。