元器件贴片缺陷检测方法、设备及系统与流程

摘要: 本技术涉及缺陷检测,尤其涉及一种元器件贴片缺陷检测方法、设备及系统。背景技术:1、表面贴装技术(surfacemounttechnology,smt)是产品的组...
元器件贴片缺陷检测方法、设备及系统与流程

本技术涉及缺陷检测,尤其涉及一种元器件贴片缺陷检测方法、设备及系统。

背景技术:

1、表面贴装技术(surface mount technology,smt)是产品的组装生产过程中极其核心的制造环节。smt需要将大量微小的电子元器件直接贴装并焊接在印刷电路板(printed circuit board,pcb)的表面。其中,电子元器件包括:集成电路(integratedcircuit,ic)芯片、电阻、电容、二极管等。然而,在使用贴片机,将大量微小的电子元器件直接贴装并焊接在pcb板时,受贴片机吸嘴磨损、机械定位误差、震动以及元器件原料公差等物理因素影响,在贴片过程中不可避免地会产生诸如漏件、元器件偏位、错件以及极性反向等贴片缺陷,这会严重影响pcb板的电气性能与质量。

2、相关技术中,在pcb板的组装生产过程中,通过自动光学检测(automated opticalinspection,aoi)设备,对pcb板进行在线质量控制。基于目标pcb板的2d图像的“模板匹配”或常规启发式算子,与生产的pcb板进行比对,以检测生产的pcb板是否存在贴片缺陷。这种方式,无法区分轮廓对称但电气方向相反的元器件,导致极性反向缺陷漏检,直接限制贴片缺陷检测的准确性。

技术实现思路

1、本技术实施例提供元器件贴片缺陷检测方法、设备及系统,用以达到提高贴片缺陷检测的准确性的效果。

2、第一方面,本技术实施例提供一种元器件贴片缺陷检测方法,包括:

3、获取待检测pcb板的原始图像,待检测pcb板中包括至少一个元器件;

4、基于原始图像的多尺度特征图,获取在原始图像中框选得到的各元器件对应的类型分类结果、候选检测框以及候选检测框的基础角、极性方向和位置尺寸,其中,基础角用于表征候选检测框在半周期的物理朝向角,极性方向用于表征候选检测框的正向或反向;

5、对各候选检测框的基础角和极性方向进行线性的代数缝合,重构得到用于表征各候选检测框的无周期缺陷的绝对物理朝向角;

6、基于绝对物理朝向角和位置尺寸,对候选检测框对应的图像进行对齐处理,得到各元器件对应的转正图像;

7、基于各元器件的类型分类结果、转正图像和候选检测框,执行级联分流的逐级匹配策略,得到待检测pcb板内各元器件的缺陷检测结果。

8、在一种可能的实施方式中,对各候选检测框的基础角和极性方向进行线性的代数缝合,重构得到用于表征各候选检测框的无周期缺陷的绝对物理朝向角,包括:

9、基于各候选检测框的极性方向,确定各候选检测框的方向标识,方向标识包括正向标识或反向标识;

10、将基础角与方向标识进行线性代数缝合,重构出表征各候选检测框无周期缺陷的绝对物理朝向角。

11、在一种可能的实施方式中,基于各元器件的类型分类结果、转正图像和候选检测框,执行级联分流的逐级匹配策略,得到待检测pcb板内各元器件的缺陷检测结果,包括:

12、将各元器件的候选检测框与标准模板内的检测框进行匹配,得到候选检测框对应的基准检测框,其中,标准模板用于表征待检测pcb板在无任何贴片缺陷时的各元器件的检测框以及检测框对应的检测参数;

13、将候选检测框与基准检测框进行匹配,执行位置异常检测,得到各候选检测框的初步判定结果;

14、若初步判定结果指示候选检测框无异常,基于各元器件的类型分类结果,对转正图像进行特征校验和/或字符审核,得到各元器件的缺陷检测结果;

15、基于各元器件的缺陷检测结果,得到待检测pcb板内各元器件的缺陷检测结果。

16、在一种可能的实施方式中,若初步判定结果指示候选检测框存在异常,则将初步判定结果作为元器件的缺陷检测结果。

17、在一种可能的实施方式中,若类型分类结果指示元器件不具有字符特征,对转正图像进行特征校验,得到元器件的缺陷检测结果,包括:

18、若类型分类结果指示元器件不具有字符特征,则通过对比转正图像与基准检测框内的图像的颜色分布和纹理梯度特征,对元器件进行异常校验,得到元器件对应的异常校验结果;

19、若异常校验结果指示无误,则元器件的缺陷检测结果为:通过;

20、若异常校验结果指示有误,则元器件的缺陷检测结果为:不通过。

21、在一种可能的实施方式中,若类型分类结果指示元器件具有字符特征,对转正图像进行字符审核,得到元器件的缺陷检测结果,包括:

22、将转正图像送入预训练的字符识别模型,提取元器件的表面字符文本;

23、将表面字符文本与基准检测框对应的字符串进行文本相似度计算,得到元器件的文本相似度;

24、若文本相似度大于预设阈值,则判定元器件的缺陷检测结果为:通过;

25、若文本相似度小于或等于预设阈值,则判定元器件的缺陷检测结果为丝印异常。

26、在一种可能的实施方式中,将候选检测框与基准检测框进行匹配,执行位置异常检测,得到各候选检测框的初步判定结果,包括:

27、基于基准检测框的位置尺寸与候选检测框的位置尺寸,确定基准检测框的中心点与候选检测框的中心点之间的欧氏距离,以及,基准检测框的边界框与候选检测框的边界框之间的交并比;

28、基于欧氏距离、交并比以及候选检测框对应的元器件的类型分类结果,得到候选检测框的初步判定结果。

29、在一种可能的实施方式中,基于欧氏距离、交并比以及候选检测框对应的元器件的类型分类结果,得到候选检测框的初步判定结果,包括:

30、若欧氏距离和交并比满足偏位条件,则初步判定结果为:偏位,其中,偏位条件为欧氏距离大于预设距离阈值,或,交并比小于预设交并比阈值;

31、若欧氏距离和交并比不满足偏位条件,且,类型分类结果与基准检测框对应的元器件的类型一致,则初步判定结果为:无异常;

32、若欧氏距离和交并比不满足偏位条件,且,类型分类结果与基准检测框对应的元器件的类型不一致,则初步判定结果为:错件。

33、第二方面,本技术实施例提供一种元器件贴片缺陷检测装置,包括:

34、获取模块,用于获取待检测pcb板的原始图像,待检测pcb板中包括至少一个元器件;

35、处理模块,用于基于原始图像的多尺度特征图,获取在原始图像中框选得到的各元器件对应的类型分类结果、候选检测框以及候选检测框的基础角、极性方向和位置尺寸,其中,基础角用于表征候选检测框在半周期的物理朝向角,极性方向用于表征候选检测框的正向或反向;对各候选检测框的基础角和极性方向进行线性的代数缝合,重构得到用于表征各候选检测框的无周期缺陷的绝对物理朝向角;基于绝对物理朝向角和位置尺寸,对候选检测框对应的图像进行对齐处理,得到各元器件对应的转正图像;基于各元器件的类型分类结果、转正图像和候选检测框,执行级联分流的逐级匹配策略,得到待检测pcb板内各元器件的缺陷检测结果。

36、在一种可能的实施方式中,处理模块,具体用于:基于各候选检测框的极性方向,确定各候选检测框的方向标识,方向标识包括正向标识或反向标识;将基础角与方向标识进行线性代数缝合,重构出表征各候选检测框无周期缺陷的绝对物理朝向角。

37、在一种可能的实施方式中,处理模块,具体用于:将各元器件的候选检测框与标准模板内的检测框进行匹配,得到候选检测框对应的基准检测框,其中,标准模板用于表征待检测pcb板在无任何贴片缺陷时的各元器件的检测框以及检测框对应的检测参数;将候选检测框与基准检测框进行匹配,执行位置异常检测,得到各候选检测框的初步判定结果;若初步判定结果指示候选检测框无异常,基于各元器件的类型分类结果,对转正图像进行特征校验和/或字符审核,得到各元器件的缺陷检测结果;基于各元器件的缺陷检测结果,得到待检测pcb板内各元器件的缺陷检测结果。

38、在一种可能的实施方式中,处理模块,还用于:若初步判定结果指示候选检测框存在异常,则将初步判定结果作为元器件的缺陷检测结果。

39、在一种可能的实施方式中,若类型分类结果指示元器件不具有字符特征,处理模块,还用于:若类型分类结果指示元器件不具有字符特征,则通过对比转正图像与基准检测框内的图像的颜色分布和纹理梯度特征,对元器件进行异常校验,得到元器件对应的异常校验结果;若异常校验结果指示无误,则元器件的缺陷检测结果为:通过;若异常校验结果指示有误,则元器件的缺陷检测结果为:不通过。

40、在一种可能的实施方式中,若类型分类结果指示元器件具有字符特征,处理模块,还用于:将转正图像送入预训练的字符识别模型,提取元器件的表面字符文本;将表面字符文本与基准检测框对应的字符串进行文本相似度计算,得到元器件的文本相似度;若文本相似度大于预设阈值,则判定元器件的缺陷检测结果为:通过;若文本相似度小于或等于预设阈值,则判定元器件的缺陷检测结果为丝印异常。

41、在一种可能的实施方式中,处理模块,还用于:基于基准检测框的位置尺寸与候选检测框的位置尺寸,确定基准检测框的中心点与候选检测框的中心点之间的欧氏距离,以及,基准检测框的边界框与候选检测框的边界框之间的交并比;基于欧氏距离、交并比以及候选检测框对应的元器件的类型分类结果,得到候选检测框的初步判定结果。

42、在一种可能的实施方式中,处理模块,还用于:若欧氏距离和交并比满足偏位条件,则初步判定结果为:偏位,其中,偏位条件为欧氏距离大于预设距离阈值,或,交并比小于预设交并比阈值;若欧氏距离和交并比不满足偏位条件,且,类型分类结果与基准检测框对应的元器件的类型一致,则初步判定结果为:无异常;若欧氏距离和交并比不满足偏位条件,且,类型分类结果与基准检测框对应的元器件的类型不一致,则初步判定结果为:错件。

43、第三方面,本技术实施例提供一种元器件贴片缺陷检测设备,包括:存储器,处理器;

44、存储器存储计算机执行指令;

45、处理器执行存储器存储的计算机执行指令,使得处理器执行如上第一方面和/或第一方面各种可能的实施方式。

46、第四方面,本技术实施例提供一种包括通信连接的如上第三方面和/或第三方面各种可能的实施方式的元器件贴片缺陷检测设备和图像采集装置,其中:

47、图像采集装置,用于采集待检测pcb板的原始图像,并向元器件贴片缺陷检测设备发送待检测pcb板的原始图像;

48、元器件贴片缺陷检测设备,用于接收图像采集装置发送的待检测pcb板的原始图像,并基于待检测pcb板的原始图像执行如上第一方面和/或第一方面各种可能的实施方式的元器件贴片缺陷检测方法。

49、第五方面,本技术实施例提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现如上第一方面和/或第一方面各种可能的实施方式。

50、第六方面,本技术实施例提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上第一方面和/或第一方面各种可能的实施方式。

51、本技术实施例提供的元器件贴片缺陷检测方法、设备及系统,通过获取待检测pcb板的原始图像,并基于原始图像的多尺度特征对各元器件进行类型分类、候选检测框提取以及获取基础角、极性方向和位置尺寸联合表征,能够在复杂贴片场景下更完整地描述元器件的类别与姿态信息。之后,通过对基础角和极性方向进行线性的代数缝合,重构得到表征无周期缺陷的绝对物理朝向角,并基于绝对物理朝向角和位置尺寸对候选检测框对应图像进行对齐处理,能够提升对轮廓近对称器件、近似正方形器件的朝向区分能力和边界表征稳定性。进而,基于类型分类结果、转正图像和候选检测框执行级联分流的逐级匹配策略,能够提高对极性反向、姿态异常及细微错件等贴片缺陷的识别精度,并降低受光照波动、机械定位偏差及物料外观差异影响导致的误报。