基于多模态视觉融合的电路板缺陷识别方法及系统与流程

摘要: 本发明涉及图像识别,尤其涉及基于多模态视觉融合的电路板缺陷识别方法及系统。背景技术:1、图像识别技术领域涉及利用计算机视觉处理图像数据并依据图像中的纹理、轮廓、...
基于多模态视觉融合的电路板缺陷识别方法及系统与流程

本发明涉及图像识别,尤其涉及基于多模态视觉融合的电路板缺陷识别方法及系统。

背景技术:

1、图像识别技术领域涉及利用计算机视觉处理图像数据并依据图像中的纹理、轮廓、灰度及局部特征确定目标类别或状态。其中,电路板缺陷识别是指利用工业相机或其他图像传感器采集电路板表面图像,对来自不同成像通道或不同视觉源的图像执行配准、尺度统一及像素或特征层融合,再对融合图像进行区域分割、特征提取和特征匹配,并根据提取的焊点、线路、孔位及元器件区域特征完成缺陷区域识别和类别判定。

2、现有的电路板缺陷识别主要依据单一视觉成像结果或多路图像中的局部异常特征开展,检测过程中根据线路,焊盘及孔环位置呈现的灰度,纹理,边缘或轮廓变化确定候选异常区域,再依据预设判定条件识别缺陷。

3、存在以下技术问题,

4、一,不同成像条件对线路,焊盘及孔环表面特征的响应存在差异,同一实际结构在不同图像中的异常位置,面积及边缘表现容易产生波动,单纯依据局部异常特征进行判断时,难以区分真实缺陷与成像差异,容易产生误判;

5、二,多路视觉图像出现异常结果不一致时,缺乏统一的正常差异判定依据,难以判断不同成像结果之间的偏差属于正常成像波动还是实际结构异常,使多视觉信息难以形成稳定一致的缺陷判定结果;

6、三,固定候选异常区域主要反映局部图像变化,当缺陷影响线路连接关系,焊盘邻接关系或孔环轮廓连续状态时,局部检测范围难以完整反映异常向周边结构延伸的情况,容易遗漏与候选异常区域相关联的结构变化;

7、四,多路检测结果发生冲突时,缺乏结合线路两侧焊盘及孔环两侧轮廓连续状态进行复核的处理过程,也难以识别具体成像结果中的噪声,反光或伪影对判断造成的干扰,异常结果容易直接参与最终缺陷判定。

8、因此,现有以局部异常特征识别,固定范围检测及多路结果直接判定为特征的方案,难以兼顾不同成像条件下异常特征的一致性,结构异常的完整性及冲突结果的可靠排除,容易造成电路板线路、焊盘及孔环缺陷的误判或漏判,影响电路板缺陷位置定位的稳定性和可信度。

技术实现思路

1、本发明旨在提供一种基于多模态视觉融合的电路板缺陷识别方法及系统,通过对多个视觉成像装置在待检测电路板同一位置获取的图像进行联合分析,结合候选异常区域在不同成像结果之间的中心位置差异、面积比例差异、边缘方向差异及位置关系差异,并进一步依据线路、焊盘或孔环对应位置的结构连续状态进行缺陷判定;在不同视觉成像装置的检测结果存在差异或结构连续状态不一致时,通过扩大检测范围以及逐一去除单个视觉成像装置异常结果并重新判定结构连续状态,对由单一成像结果异常所形成的候选异常区域进行排除,从而实现对电路板线路、焊盘及孔环位置缺陷的识别。

2、为了实现上述目的,本发明采用了如下技术方案,基于多模态视觉融合的电路板缺陷识别方法,包括以下步骤:

3、s1、通过多个视觉成像装置获取待检测电路板同一位置采集的图像,确定各图像的候选异常区域,并记录所述候选异常区域的中心位置、面积比例、边缘方向以及相对于线路或焊盘的位置关系;

4、s2、以无缺陷电路板在相同成像条件下采集的图像为基准图像,确定不同视觉成像装置之间中心位置差异、面积比例差异、边缘方向差异以及位置关系差异的正常范围,并将各视觉成像装置对应的所述候选异常区域与正常范围进行比较,记录所述候选异常区域的差异情况;

5、s3、当所述候选异常区域在不同视觉成像装置之间的中心位置差异、面积比例差异、边缘方向差异以及位置关系差异均处于正常范围内时,根据多个视觉成像装置在同一位置确定的所述候选异常区域,以及所述候选异常区域对应的线路、焊盘或孔环的结构连续状态,确定电路板缺陷区域位置;当所述候选异常区域存在差异情况超出正常范围时,扩大所述候选异常区域的检测范围,根据线路两侧的焊盘、孔环两侧的轮廓位置,确定对应位置的结构连续状态;

6、s4、当不同视觉成像装置对应的结构连续状态不一致时,分别去除单个视觉成像装置对应的异常结果,重新确定所述候选异常区域及对应位置的结构连续状态,排除去除单个视觉成像装置对应的异常结果后结构恢复连续的所述候选异常区域,并将剩下的所述候选异常区域确定电路板缺陷区域位置。

7、具体而言,s1中,候选异常区域的确定过程中:

8、分别利用多个视觉成像装置对待检测电路板同一位置采集的图像进行区域检测,在各图像中确定与周围图像区域存在差异的连续区域,并依据连续区域的边界确定所述候选异常区域;

9、确定所述候选异常区域后,记录所述候选异常区域的中心位置,并统计算所述候选异常区域的面积与对应检测范围面积之间的面积比例,将所述候选异常区域边界的延伸方向,将连续长度最大的边界段对应的延伸方向确定为确定为边缘方向,并将所述候选异常区域与线路或焊盘边界之间的相对位置确定为位置关系。

10、具体而言,s2中,获取正常范围的过程中:

11、获取无缺陷电路板在相同成像条件下由多个视觉成像装置采集的基准图像,按照待检测电路板中所述候选异常区域对应位置,在基准图像中确定相同位置,并分别记录相同位置对应的中心位置、面积比例、边缘方向以及相对于线路或焊盘的位置关系;

12、比较不同视觉成像装置在相同位置对应的中心位置、面积比例、边缘方向以及位置关系,根据无缺陷电路板对应位置在不同视觉成像装置之间形成的差异,分别确定中心位置差异、面积比例差异、边缘方向差异以及位置关系差异对应的正常范围。

13、具体而言,获取不同视觉成像装置在待检测电路板同一位置确定的所述候选异常区域,分别确定不同视觉成像装置对应的所述候选异常区域之间的中心位置差异、面积比例差异、边缘方向差异以及位置关系差异;

14、将中心位置差异、面积比例差异、边缘方向差异以及位置关系差异分别与对应的正常范围进行比较,当任一差异超出对应的正常范围时,记录对应差异情况;当均处于对应的正常范围内时,记录各项差异均处于正常范围内。

15、具体而言,s3中,当不同视觉成像装置之间的中心位置差异、面积比例差异、边缘方向差异以及位置关系差异均处于正常范围内时,获取多个视觉成像装置在同一位置确定的所述候选异常区域,并记录所述候选异常区域对应的线路、焊盘或孔环;

16、判断线路、焊盘或孔环在候选异常区域两侧的结构是否连续,确定对应位置的结构连续状态,当结构连续状态为不连续时,将多个视觉成像装置确定的所述候选异常区域的位置,标记为所述电路板缺陷区域位置。

17、具体而言,确定结构连续状态时:

18、一方面,针对线路对应的所述候选异常区域,确定所述候选异常区域两侧的线路位置,并根据两侧线路位置是否连续确定线路对应位置的结构连续状态;

19、另一方面,针对焊盘或孔环对应的所述候选异常区域,确定所述候选异常区域两侧的轮廓位置,并根据两侧轮廓是否连续确定焊盘或孔环对应位置的结构连续状态。

20、具体而言,s3中,不同视觉成像装置之间的中心位置差异、面积比例差异、边缘方向差异或位置关系差异存在超出正常范围的情况时,扩大所述候选异常区域的检测范围,使扩大后的检测范围覆盖所述候选异常区域以及对应线路、焊盘或孔环位于所述候选异常区域两侧部分;

21、对于线路,确定扩大后的检测范围内位于所述候选异常区域两侧的线路位置;对于焊盘或孔环,确定扩大后的检测范围内位于所述候选异常区域两侧的轮廓位置,并根据两侧的线路位置或轮廓位置确定对应位置的结构连续状态。

22、具体而言,s4中,当不同视觉成像装置对应的结构连续状态不一致时,分别去除单个视觉成像装置对应的异常结果,并根据其余视觉成像装置对应的结果重新确定同一位置的所述候选异常区域;

23、根据重新确定的所述候选异常区域,重新确定对应线路、焊盘或孔环的结构连续状态,当去除单个视觉成像装置对应的异常结果后结构连续状态恢复连续时,则排除对应的所述候选异常区域,当去除单个视觉成像装置对应的异常结果后结构连续状态仍为不连续时,保留对应的所述候选异常区域;

24、记录保留下来的所述候选异常区域在待检测电路板上的位置,确定为电路板缺陷区域位置。

25、具体而言,去除单个视觉成像装置对应的异常结果时,每次去除一个视觉成像装置对应的异常结果,并保留其余视觉成像装置对应的异常结果,根据保留的异常结果重新确定同一位置的所述候选异常区域;

26、分别记录每次去除单个视觉成像装置对应的异常结果后确定的结构连续状态,当任一次去除后结构连续状态恢复连续时,排除对应的候选异常区域;当每次去除后结构连续状态均未恢复连续时,保留对应的候选异常区域。

27、本发明还提供一种基于多模态视觉融合的电路板缺陷识别系统,包括提取模块、差异比对模块、结构连续判定模块和筛选模块。

28、所述提取模块用于通过多个视觉成像装置获取待检测电路板同一位置采集的图像,确定各图像的候选异常区域,并记录候选异常区域的中心位置、面积比例、边缘方向以及相对于线路或焊盘的位置关系。

29、所述差异比对模块与提取模块通信连接,用于以无缺陷电路板在相同成像条件下采集的图像为基准图像,确定不同视觉成像装置之间中心位置差异、面积比例差异、边缘方向差异以及位置关系差异的正常范围,并将各视觉成像装置对应的候选异常区域与正常范围进行比较,记录候选异常区域的差异情况。

30、所述结构连续判定模块与差异比对模块通信连接,用于当候选异常区域在不同视觉成像装置之间的中心位置差异、面积比例差异、边缘方向差异以及位置关系差异均处于正常范围内时,根据多个视觉成像装置在同一位置确定的候选异常区域以及候选异常区域对应的线路、焊盘或孔环的结构连续状态,确定电路板缺陷区域位置;当候选异常区域存在差异情况超出正常范围时,扩大候选异常区域的检测范围,根据对应位置两侧的线路位置或者焊盘、孔环两侧的轮廓位置,确定对应位置的结构连续状态。

31、所述筛选模块与结构连续判定模块通信连接,用于当不同视觉成像装置对应的结构连续状态不一致时,分别去除单个视觉成像装置对应的异常结果,重新确定候选异常区域及对应位置的结构连续状态,排除去除单个视觉成像装置对应的异常结果后结构恢复连续的候选异常区域,并将剩下的候选异常区域确定为电路板缺陷区域位置。

32、与现有技术相比,本发明的优点和积极效果在于:

33、本发明中,以同一位置的多视觉图像为判定对象,利用无缺陷电路板建立位置、面积、边缘方向和位置关系的正常差异边界,使跨成像结果完成一致性核验,差异超出正常边界时扩大检测范围并结合线路两侧焊盘及孔环两侧轮廓追踪结构连续状态,将局部异常判断转化为跨视角差异与结构连续性的联合判断,结构连续状态冲突时逐一剔除单路异常结果并重新判定,借助结构恢复情况识别单路成像噪声或伪影形成的候选异常,降低多成像差异引发的误判和固定范围造成的漏判,提高线路、焊盘及孔环缺陷定位的稳定性与可信度。