基于深度视觉的高精密线路板微细线路缺陷在线检测与分类方法及系统与流程

摘要: 本发明属于高精密线路板微细线路缺陷在线检测与分类领域,尤其涉及基于深度视觉的高精密线路板微细线路缺陷在线检测与分类方法及系统。背景技术:1、高精密线路板,尤其是...
基于深度视觉的高精密线路板微细线路缺陷在线检测与分类方法及系统与流程

本发明属于高精密线路板微细线路缺陷在线检测与分类领域,尤其涉及基于深度视觉的高精密线路板微细线路缺陷在线检测与分类方法及系统。

背景技术:

1、高精密线路板,尤其是应用于高密度互连、多层封装载板及高频高速电子产品中的微细线路板,在制造过程中对线路成形精度、局部边界完整性、线路连续性以及相邻导线间绝缘可靠性提出了极高要求。随着线路宽度和间距持续减小,开路、短路、毛刺、缺口、线宽超差及铜渣残留等常见缺陷的尺度已接近在线视觉成像系统的有效分辨极限,其图像表现普遍具有尺度小、边界弱、局部对比度低、易受反光和纹理扰动影响、并且与正常线路结构高度相似等特点,导致传统依赖人工目检、阈值分割、模板比对或单纯几何测量的检测方法在高节拍产线上难以稳定适用。现有部分在线检测方案虽然已经引入深度学习模型对缺陷进行识别,但多数仍沿用普通表面缺陷检测思路,主要依据局部纹理、边缘响应或检测框特征直接判定异常,对于高精密线路板这种具有明确设计路径、固定线宽间距和严格连通关系的人工结构对象而言,单纯依赖图像表观往往难以准确区分真实失效缺陷与正常结构变化,也难以解释同一局部异常在不同线路位置和不同邻接环境下为何具有不同工程含义。与此同时,在线检测场景下的图像通常具有连续扫描、视场有限、板件运动和局部成像波动等特征,同一条微细线路往往以分段、条带或局部区域形式出现,若缺少将在线图像与设计基准统一组织的处理机制,以及缺少面向单条线路对象的连续结构表达方式,则容易在候选异常提取和后续分类中出现目标对象不清、前后区域脱节、相邻线路混淆以及分类依据不足等问题,进而造成漏检、误检和类型判定不稳定。尤其在多层板、复杂焊盘引出区、并行窄间距区和转角过渡区中,这类问题会更加突出。

2、因此,针对高精密线路板微细线路在线检测这一特定工业场景,需要一种能够将在线图像与设计基准在检测起点阶段统一起来、能够围绕单条微细线路构建结构化表达、并能够在此基础上完成候选缺陷提取和缺陷精确分类的技术方案,以解决现有技术在对象组织能力、结构理解能力、分类判定能力和工程适配性方面存在的不足。

技术实现思路

1、本发明的目的是提出基于深度视觉的高精密线路板微细线路缺陷在线检测与分类方法及系统,解决上述问题。

2、为了达到上述目的,在本发明的第一方面提供了基于深度视觉的高精密线路板微细线路缺陷在线检测与分类方法,所述方法包括以下步骤:

3、s1、获取在线采集的微细线路图像数据和对应板件的设计基准数据,通过预定义的组合处理过程将所述微细线路图像数据与所述设计基准数据建立对应关系,生成基础检测数据;其中,所述预定义的组合处理过程为包括板件归并、设计解析、锚点配准以及结构映射的组合处理过程;

4、s2、从所述基础检测数据中逐条读取线路对象,沿设计中心路径进行离散采样并构造局部包络区域,结合路径距离高斯权重和邻线压缩增强生成线路权重图;基于所述线路权重图,结合对应线路的图像子区域、沿线位置编码和局部结构标签进行通道拼接,生成微细线路结构化表达;其中,所述微细线路结构化表达的每个基本单元对应一条线路,并包含所述线路的图像子区域、线路权重图、沿线位置编码和局部结构标签;

5、s3、基于所述微细线路结构化表达,对所述对应线路的图像子区域进行梯度提取,利用所述线路权重图和局部结构标签对梯度响应进行修正,得到对应线路的异常响应图;对所述异常响应图进行候选区域提取和定位,生成候选缺陷数据;其中,所述候选缺陷数据中的每一个元素对应一个候选缺陷区域,包含其在所述微细线路图像数据中的位置范围、所属线路编号、沿线路的起止位置、对应的局部图像片段以及异常响应统计值;

6、s4、根据所述候选缺陷数据和微细线路结构化表达,计算每个候选缺陷区域的沿线连续性比值、局部宽度变化比值以及与相邻线路的交叠关系,并结合局部结构标签图对应的局部结构标签所指示的结构位置,判定缺陷类型,输出缺陷分类结果。

7、进一步地,所述微细线路图像数据由布置在产线检测工位上的高分辨率工业相机采集;所述对应板件的设计基准数据来自当前板件对应的gerber设计文件;

8、所述s1,具体为:

9、对所述在线采集的微细线路图像数据做板件归并,把属于同一块板的图像归并成一个板件级图像集合;

10、对所述设计基准数据设计解析,提取与微细线路缺陷检测密切相关的设计信息,并按线路对象重组,得到设计记录整理后的设计基准数据;

11、选取在板件级图像集合和整理后的设计基准数据都稳定存在的结构特征作为对准锚点,然后通过多点匹配求出整体空间映射关系,将设计中的线路结构映射到当前板件图像坐标中,得到基础检测数据。

12、进一步地,所述与微细线路缺陷检测密切相关的设计信息包括线路中心走向、线路边界、焊盘外形以及线路间的邻接关系;

13、所述对准锚点包括焊盘轮廓、定位孔以及板边角点;其中,图像侧的锚点由灰度阈值分割和轮廓提取获得,设计侧的锚点直接来自gerber解析结果。

14、进一步地,所述从所述基础检测数据中逐条读取线路对象,沿设计中心路径进行离散采样并构造局部包络区域,具体为:

15、先从所述基础检测数据中逐条读取线路对象记录;其中,每条所述线路对象记录至少包含四项内容:一项是映射到当前图像坐标中的设计中心路径,一项是该线路的设计边界,一项是该线路在图像中的局部像素区域,另一项是与其相邻线路的标识关系;

16、先沿所述设计中心路径做离散采样,把整条线路表示成按顺序排列的路径点列;其中,每个路径点都保留其在图像中的坐标位置和该位置对应的设计边界宽度;

17、围绕每个路径点构造局部包络,其中,所述局部包络的中心落在设计路径点上,宽度由该点的设计边界宽度决定,方向由该点前后两个采样点形成的切向量确定,法向方向则由切向量旋转得到,沿路径把这些局部包络首尾拼接后,就得到单条线路的连续区域,得到单条线路的局部包络区域。

18、进一步地,所述结合路径距离高斯权重和邻线压缩增强生成线路权重图,具体为:

19、对于图像中的每个位置,计算其到当前线路的设计中心路径的最短距离,通过高斯核函数将该距离转换为中心路径权重;

20、同时计算其到最近相邻线路中心路径的最短距离,通过另一高斯核函数生成邻线增强项;其中,所述邻线增强项用于使两条并行细线距离很近的区域在结构化表达中具备更高的敏感性;

21、结合所述中心路径权重与邻线增强项,得到线路权重图;

22、其中,所述高斯核函数基于对应线路的包络尺度生成,所述包络尺度由当前线路在所述基础检测数据中记录的设计边界宽度换算而来,取值为该宽度对应尺度的一半,用于控制权重从路径中心向两侧衰减的速度。

23、进一步地,所述沿线位置编码来自设计中心路径的累计路径长度:从路径起点开始逐段累加相邻采样点之间的距离,再按焊盘引出段、直线段、转角段和窄间距段的边界把累计长度映射成分段编号,并将该编号回填到对应的图像位置;

24、所述局部结构标签来自所述基础检测数据中的设计边界变化记录和相邻线路关系记录;

25、其中,所述s2,还包括:

26、将所述图像子区域、结构权重图、沿线位置编码和局部结构标签在空间上保持同尺寸对齐,然后按通道维拼接生成对应线路的结构化表达单元;

27、按照线路对象编号把同一条线路分布在不同图像帧中的表达单元沿路径顺序重新串接,形成单条线路的完整表达序列;串接时采用路径端点连接关系和累计路径长度连续性共同判断:若前一表达单元的终点与后一表达单元的起点在路径索引上连续,且两者的累计路径长度相差在允许范围内,则将其归并为同一条线路的连续表达。

28、进一步地,所述利用所述线路权重图和局部结构标签对梯度响应进行修正,得到对应线路的异常响应图,具体为:

29、通过sobel算子计算目标线路的目标位置的图像子区域的梯度幅值和垂直梯度,结合所述目标位置的所述线路权重图和结构增强因子,生成所述目标线路的目标位置的异常响应值;所述结构增强因子用于控制结构标签对响应的放大程度;

30、将所有位置的异常响应聚合,生成对应线路的异常响应图。

31、进一步地,所述沿线连续性比值基于候选缺陷区域覆盖的路径点之间的弧长之和以及同一线路对象上邻近正常参考路径段的弧长之和计算生成;

32、所述局部宽度变化比值基于当前候选缺陷区域在法向方向上的平均像素跨度、以及当前位置的设计参考宽度计算生成;

33、所述与相邻线路的交叠关系基于候选缺陷区域与相邻线路的结构区域进行集合交叠计算生成。

34、进一步地,所述判定缺陷类型,输出缺陷分类结果,具体为:

35、当所述沿线连续性比值显著小于参考范围时,结合局部宽度变化比值判定为开路或缺口;若所述沿线连续性比值接近1,则进一步依据局部宽度变化比值判断是否为线宽异常或边界外扩;

36、当沿线连续性比值接近参考范围且宽度比值超出正常范围但未发生邻接交叠时,判定为毛刺或铜渣残留;当存在邻接交叠时,判定为短路或桥连。

37、在本发明的第二方面提供了基于深度视觉的高精密线路板微细线路缺陷在线检测与分类系统,所述系统包括:

38、基础数据构建模块,用于获取在线采集的微细线路图像数据和对应板件的设计基准数据,通过预定义的组合处理过程将所述微细线路图像数据与所述设计基准数据建立对应关系,生成基础检测数据;其中,所述预定义的组合处理过程为包括板件归并、设计解析、锚点配准以及结构映射的组合处理过程;

39、结构化表达生成模块,用于从所述基础检测数据中逐条读取线路对象,沿设计中心路径进行离散采样并构造局部包络区域,结合路径距离高斯权重和邻线压缩增强生成线路权重图;基于所述线路权重图,结合对应线路的图像子区域、沿线位置编码和局部结构标签进行通道拼接,生成微细线路结构化表达;其中,所述微细线路结构化表达的每个基本单元对应一条线路,并包含所述线路的图像子区域、线路权重图、沿线位置编码和局部结构标签;

40、候选缺陷提取模块,用于基于所述微细线路结构化表达,对所述对应线路的图像子区域进行梯度提取,利用所述线路权重图和局部结构标签对梯度响应进行修正,得到对应线路的异常响应图;对所述异常响应图进行候选区域提取和定位,生成候选缺陷数据;其中,所述候选缺陷数据中的每一个元素对应一个候选缺陷区域,包含其在所述微细线路图像数据中的位置范围、所属线路编号、沿线路的起止位置、对应的局部图像片段以及异常响应统计值;

41、缺陷分类输出模块,用于根据所述候选缺陷数据和微细线路结构化表达,计算每个候选缺陷区域的沿线连续性比值、局部宽度变化比值以及与相邻线路的交叠关系,并结合局部结构标签图对应的局部结构标签所指示的结构位置,判定缺陷类型,输出缺陷分类结果。

42、本发明的有益技术效果至少在于以下:

43、本发明针对上述问题,围绕高精密线路板微细线路“对象规则明确、缺陷尺度极小、分类依赖结构语义、检测过程必须在线完成”的特点,构建了一条从基础检测数据组织到结构化表达生成、再到候选缺陷提取和最终缺陷分类的完整技术路线。该方案首先将在线采集到的微细线路图像与当前板件的设计基准进行统一组织,使图像信息与线路设计路径、边界及邻接关系在检测入口阶段即建立对应关系,从而使后续处理不再面对松散的原始图像和独立的设计文件,而是面对已经完成图像—设计绑定的检测对象;在此基础上,进一步围绕单条微细线路构建结构化表达,将线路图像、线路主体权重、沿线位置以及局部结构语义组织到同一表达单元中,使后续异常识别能够直接利用焊盘引出段、转角段、窄间距邻接段等关键结构信息;随后,基于所述结构化表达生成候选缺陷数据,使微小边界突变、局部附着、连续性异常和宽度偏移等细微异常能够在线路级上下文中被稳定提取;最后,再结合候选缺陷所在的沿线位置、局部宽度变化、连续性变化及相邻线路空间关系完成缺陷分类,从而实现对开路、短路、毛刺、缺口、线宽超差及铜渣残留等微细线路缺陷的有针对性判定。由此,本发明的创新并不在于单独替换某个检测模型,而在于针对高精密线路板微细线路在线检测场景,对检测对象的组织方式、结构语义的表达方式以及候选异常到最终缺陷的判定链路进行了协同设计,使深度视觉对微小异常的感知能力与设计约束对工程缺陷的确认能力有机结合,从而提高了微细线路缺陷在线检测与分类的准确性、稳定性和工程适用性。