基于人工智能的视觉识别方法与流程

1.本发明属于pcb视觉分析技术领域，具体涉及一种基于人工智能的视觉识别方法。


背景技术：

2.随着经济和社会的不断发展，自动化生产在工业生产领域扮演着举足轻重的角色。在自动化生产中，产品的特征视觉信息数据收集与输出，例如，产品表面的瑕疵信息数据、真伪信息数据、颜色信息数据、条码信息数据以及字符信息数据等等；针对印制线路板制造领域的外观检测，由于印制线路板外观具有相当程度的复杂性，电路板行业产品外观检查目前采用检查设备拍照比对和人工复检的工作模式，由于电路板外观缺陷检测项目繁多，设备存在误检率高、检测算法无法升级等缺点问题，98%以上的电路板在机器检查后还要人工复检。


技术实现要素：

3.有鉴于此，本发明提供一种基于人工智能的视觉识别方法。
4.本发明的技术方案为：一种基于人工智能的视觉识别方法，其特征在于，包括图像采集相机、板件输入检测光电开关、板件传送链、相机拍照板件检测光电开关、步进电机、led光源、控制器、板件等待搬运工位气挡电池阀、图像识别工位气挡电池阀、图像识别上位机、显示屏；包括以下步骤：s1.当有pcb板到达流水线时，板件输入检测光电开关把检测到的信号传给控制器，控制器开始控制板件传送链运转并计数；s2.当pcb板刚离开相机拍照板件检测光电开关时，控制器控制电池阀，使图像识别工位气挡杆抬起，阻挡pcb板继续前进，方便相机更稳定地采集图像；s3.当相机采集完图像后，上位机给控制器信号，控制器控制图像识别工位气挡电池阀降下，pcb板继续前行；s4.当pcb板到达板件流出检测光电开关时，控制器控制电池阀，使板件等待搬运工位气挡杆抬起，阻挡pcb板继续前进，等待进一步的处理信号；步骤s2中，采集的图像包括三幅不同相位的图像，确定pcb检测目标的亮度图像、偏振度图像以及偏振相位图像。
5.本发明依据pcb检测表面的测量目标和背景的不同反射特性，研究基于偏振的pcb视觉检测装置设计、研究最优波段光源照明技术、偏振信息与颜色信息的融合增强对比度技术。识别pcb板中的故障发生点，对判明的故障点进行明确的标记与类别提示；通过人工智能的识别，提升检出故障点准确率，降低故障检出的噪音率；大幅降低甚至消除人工检视分析的工作量，减少因为人员因素导致的漏检发生。
6.根据彩色图像的成像原理，彩色三刺激值成像是由物体表面的反射函数、入射光
源的光谱功率相对分布以及相机的响应函数复杂作用而成，成像后的三刺激值ρi=(ri,gi,bi)t如下式所示：式中e(λ)是光源的光谱分布函数，si(λ)是物体的像素i的表面反射率，r(λ),g(λ)与b(λ)是相机光谱响应函数。其中(r(λ),g(λ),b(λ))可由相机确定，e(λ)是光源的光谱分布。因此相机采集得到的ρi=(ri,gi,bi)t与物体表面的反射函数密切相关。
7.基于偏振的pcb视觉检测原理是照明光源的光照射到检测目标上，经反射后通过偏振滤光片，由视觉传感器接受到图像，最后采集到的不同相位图像受到偏振片的相位角和透过率、视觉传感器的光谱响应、照明光源的光谱分布以及入射角度等的影响。因此首先分析pcb板检测目标的光谱反射率，研究设计均匀照明光源和选择视觉传感器的基础上，研究视觉传感器位置、偏振片位置、照明光源的通光孔径之间的最优位置匹配关系；在获取三幅不同相位图像后，确定pcb检测目标的亮度图像、偏振度图像以及偏振相位图像。亮度图像包含着普通视觉系统得到的颜色最优对比度信息，而偏振度和偏振相位图像是最有益的补充。因此研究在不同颜色空间下的融合，如最为常用的rgb颜色空间以及与人的色彩感知一致的hsi颜色空间；研究小波变换方法将偏振图像和最优照明得到的彩色图像融合，尽可能的保留图像细节，将特征与细节有机地融合起来，使得融合后的真彩色图像能够突出所需要的检测目标。
8.亮度图像、偏振度图像和偏振相位图像都包含着丰富的信息，对融合后pcb图像进行定量分析和评价是基于偏振视觉检测的最终依据。因此研究与传统的aoi检测方法对比，pcb检测的主要检测对象的目标对比度提高程度，检测结果误报率等主要参数，并将该方法用于的外观检测系统。
9.进一步的，还包括图像预处理，所述图像预处理包括图像灰度化、均值滤波、自适应阀值分割的图像二值化。
10.进一步的，所述图像灰度化，是在open cv中，通过设置参数代码color_rgb2gray，可以将grb转换为灰色。
11.进一步的，所述均值滤波，是在open cv中，函数blur是均值滤波，通过图像内核公式进行图像模糊平滑。
12.进一步的，所述自适应阀值分割的图像二值化，是在open cv中，函数adaptive threshold对图像应用自适应阈值，根据公式将灰度图像转换为二值化图像。
13.进一步的，所述图像预处理，包括以下步骤：通过相机采集原始pcb板的rgb图像，然后把原始图像灰度化，由于灰度化的图像具有干扰点，影响图像的后期处理，采用均值滤波对灰度化图像进行滤波去噪，再使用自适应阈值滤波去除较小的干扰。
14.进一步的，还包括pcb板外形轮廓的提取，包括以下步骤：从阈值分割二值图像中提取轮廓，同时提取的这些轮廓中周长和形状复杂的连通区域将被移除掉。
15.进一步的，还包括轮廓提取，包括以下步骤：对模板图像和待识别图像进行图像的预处理，将模板图像进行二值化，并从二值化模板图像中提取出目标pcb板的外轮廓。
16.进一步的，所述轮廓提取与匹配还包括：对于待识别的pcb板图像，进行二值化处
理，提取出待识别pcb板的所有轮廓，并对轮廓进行区分。
17.进一步的，还包括轮廓匹配，包括以下步骤：通过计算出模板轮廓hu矩值和待识别图像中的轮廓hu矩值，将模板的轮廓与待识别的轮廓进行匹配。
18.进一步的，还包括pcb板的识别与分类，包括以下步骤：提取待识别pcb板图像的轮廓，同时，提取的待识别pcb板轮廓，将取出识别的轮廓分别与匹配模板相比较，识别pcb板。
19.本发明初期对不同尺寸的pcb板进行了测试，收集了大量的数据模型，在光照条件调整到位的情况下，通过收集亮度图像、偏振度图像以及偏振相位图像，可识别出pcb板的外观，准确率可达99.5%以上。
20.本发明能避免因人而异的外观检测结果，减小误差，能提高效率和准确度。
具体实施方式
21.下面将结合本发明实施例对技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
22.一种基于人工智能的视觉识别方法，其特征在于，包括图像采集相机、板件输入检测光电开关、板件传送链、相机拍照板件检测光电开关、步进电机、led光源、控制器、板件等待搬运工位气挡电池阀、图像识别工位气挡电池阀、图像识别上位机、显示屏；包括以下步骤：s1.当有pcb板到达流水线时，板件输入检测光电开关把检测到的信号传给控制器，控制器开始控制板件传送链运转并计数；s2.当pcb板刚离开相机拍照板件检测光电开关时，控制器控制电池阀，使图像识别工位气挡杆抬起，阻挡pcb板继续前进，方便相机更稳定地采集图像；s3.当相机采集完图像后，上位机给控制器信号，控制器控制图像识别工位气挡电池阀降下，pcb板继续前行；s4.当pcb板到达板件流出检测光电开关时，控制器控制电池阀，使板件等待搬运工位气挡杆抬起，阻挡pcb板继续前进，等待进一步的处理信号；步骤s2中，采集的图像包括三幅不同相位的图像，确定pcb检测目标的亮度图像、偏振度图像以及偏振相位图像。
23.在获取三幅不同相位图像后，确定pcb检测目标的亮度图像、偏振度图像以及偏振相位图像。亮度图像包含着普通视觉系统得到的颜色最优对比度信息，而偏振度和偏振相位图像是最有益的补充。因此研究在不同颜色空间下的融合，如最为常用的rgb颜色空间以及与人的色彩感知一致的hsi颜色空间；研究小波变换方法将偏振图像和最优照明得到的彩色图像融合，尽可能的保留图像细节，将特征与细节有机地融合起来，使得融合后的真彩色图像能够突出所需要的检测目标。
24.亮度图像、偏振度图像和偏振相位图像都包含着丰富的信息，对融合后pcb图像进
行定量分析和评价是基于偏振视觉检测的最终依据。因此研究与传统的aoi检测方法对比，pcb检测的主要检测对象的目标对比度提高程度，检测结果误报率等主要参数，并将该方法用于的外观检测系统。
25.进一步的，还包括图像预处理，所述图像预处理包括图像灰度化、均值滤波、自适应阀值分割的图像二值化。
26.进一步的，所述图像灰度化，是在open cv中，通过设置参数代码color_rgb2gray，可以将grb转换为灰色。
27.进一步的，所述均值滤波，是在open cv中，函数blur是均值滤波，通过图像内核公式进行图像模糊平滑。
28.进一步的，所述自适应阀值分割的图像二值化，是在open cv中，函数adaptive threshold对图像应用自适应阈值，根据公式将灰度图像转换为二值化图像。
29.进一步的，所述图像预处理，包括以下步骤：通过相机采集原始pcb板的rgb图像，然后把原始图像灰度化，由于灰度化的图像具有干扰点，影响图像的后期处理，采用均值滤波对灰度化图像进行滤波去噪，再使用自适应阈值滤波去除较小的干扰。
30.进一步的，还包括pcb板外形轮廓的提取，包括以下步骤：从阈值分割二值图像中提取轮廓，同时提取的这些轮廓中周长和形状复杂的连通区域将被移除掉。
31.进一步的，还包括轮廓提取，包括以下步骤：对模板图像和待识别图像进行图像的预处理，将模板图像进行二值化，并从二值化模板图像中提取出目标pcb板的外轮廓。
32.进一步的，所述轮廓提取与匹配还包括：对于待识别的pcb板图像，进行二值化处理，提取出待识别pcb板的所有轮廓，并对轮廓进行区分。
33.进一步的，还包括轮廓匹配，包括以下步骤：通过计算出模板轮廓hu矩值和待识别图像中的轮廓hu矩值，将模板的轮廓与待识别的轮廓进行匹配。
34.进一步的，还包括pcb板的识别与分类，包括以下步骤：提取待识别pcb板图像的轮廓，同时，提取的待识别pcb板轮廓，将取出识别的轮廓分别与匹配模板相比较，识别pcb板。
35.本发明初期对不同尺寸的pcb板进行了测试，收集了大量的数据模型，在光照条件调整到位的情况下，通过收集亮度图像、偏振度图像以及偏振相位图像，可识别出pcb板的外观，准确率可达99.5%以上。
36.本发明能避免因人而异的外观检测结果，减小误差，能提高效率和准确度。
37.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
38.此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。需注意的是，本发明中所未详细描述的技术特征，均可以通过任一现有技术实现。