工业视觉异常检测方法、装置及存储介质与流程

摘要: 本技术涉及视觉检测领域,特别涉及一种工业视觉异常检测方法、装置及存储介质。背景技术:1、随着印刷电路板、柔性电路板、半导体晶圆、miniled及先进封装等制造领...
工业视觉异常检测方法、装置及存储介质与流程

本技术涉及视觉检测领域,特别涉及一种工业视觉异常检测方法、装置及存储介质。

背景技术:

1、随着印刷电路板、柔性电路板、半导体晶圆、miniled及先进封装等制造领域的工艺复杂度持续提升,自动光学检测技术在产品质量控制环节的重要性日益凸显。当前工业检测实践中,基于规则的检测方法依赖模板匹配、图像差分及形态学处理等传统图像处理技术,虽能应对固定缺陷模式,但在复杂背景干扰、工艺参数波动以及新型缺陷出现时适应能力显著不足。

2、基于监督学习的检测方法采用卷积神经网络或目标检测网络进行缺陷分类与定位,然而工业场景中缺陷类型呈现高度多样性且动态演变,大规模标注样本的获取成本高昂,难以覆盖持续涌现的异常模式。

3、基于无监督异常检测的方法通过建模正常样本特征分布实现未知缺陷发现,但缺乏行业知识引导导致误报率居高不下,且无法有效整合历史积累的缺陷经验数据。

4、值得注意的是,在印刷电路板与柔性电路板检测过程中,设计数据与实物图像同步存在,包括gerber文件、odb++格式文档及cad图纸等,相关技术仅将设计资料作为粗略定位参考,未能深度挖掘设计数据中蕴含的结构语义信息。同时,检测系统普遍存在设计文件与光学图像间的配准误差问题,导致空间对齐精度受限。更为关键的是,相关异常检测框架缺乏跨产品线、跨工艺阶段的知识沉淀机制,历史检测经验无法形成闭环积累,不同产品类别间的缺陷特征知识难以迁移复用。

5、上述缺陷共同造成检测结果可解释性薄弱、新缺陷识别能力受限、人工复检负担加重等技术瓶颈,严重制约工业检测系统的智能化水平与应用效能。针对上述问题,现有技术亟需改进。

技术实现思路

1、本技术提供一种工业视觉异常检测方法、装置及存储介质;具有对缺陷检测精度高、适应性强、误报率低、可解释性好的优点,显著提升了工业视觉异常检测的智能化水平和实用价值。

2、一方面,本技术提供一种工业视觉异常检测方法,所述方法包括:

3、采集待测产品的实物图像并进行预处理后划分为图像块,提取各图像块的特征向量并进行聚类,基于聚类结果构建视觉语义节点及其连接关系,形成视觉语义图;

4、将所述视觉语义图与设计语义图与进行图匹配和建立语义映射关系,并基于所述语义映射关系对所述实物图像中的检测区域执行语义路由,确定所述检测区域对应的结构类别;

5、提取所述检测区域的视觉特征向量,结合所述结构类别从预设的层级特征知识库中检索对应的缺陷原型集合;

6、计算所述视觉特征向量与各缺陷原型的特征距离,并依据所述特征距离生成异常评分,输出包含异常判定结果及缺陷类别信息的检测结果。

7、具体的,所述设计语义图的构建过程包括:

8、从所述设计文件中识别出焊盘、走线、过孔、多边形、区域、球栅阵列、连接器、丝印、金手指和/或封装结构元素;

9、为识别出的每一结构元素生成对应的节点;节点属性包括节点属性包括类型、中心坐标、尺寸、旋转角度和所属层;

10、计算任意两节点之间的空间距离,当所述空间距离小于预设阈值时建立邻接边;

11、依据设计文件中的网络信息建立电气连接边,依据功能包含关系建立包含边。

12、具体的,所述视觉语义图的构建过程包括:

13、对所述实物图像执行亮度均衡、对比度受限自适应直方图均衡化增强、颜色校正、畸变校正和噪声抑制中的至少一种预处理;

14、将预处理后的图像划分为p×p的图像块,利用预训练的视觉基础模型提取每一图像块的d维特征向量;

15、采用聚类算法对全部图像块的特征向量进行聚类,将属于同一聚类的图像块映射为一个视觉语义节点;

16、依据聚类所得节点之间的空间位置和特征相似性,构建视觉语义边,形成所述视觉语义图。

17、具体的,所述进行图匹配和建立语义映射关系,包括:

18、通过对比将所述设计语义图与所述视觉语义图的节点类型、节点数量、节点位置以及边关系,确定节点匹配得分、关系匹配得分与拓扑匹配得分;节点匹配得分反映两图在节点类型、数量及位置上的综合一致性;关系匹配得分反映两图在邻接关系、连接关系及包含关系上的匹配程度;拓扑匹配得分反映两图在结构排列和邻接矩阵上的一致性;

19、基于节点匹配得分、关系匹配得分与拓扑匹配得分计算语义一致性评分,表示如下:

20、

21、其中,为预设权重,满足;

22、当所述语义一致性评分满足预设条件时建立语义映射关系,否则执行局部重匹配。

23、具体的,所述语义路由采用软路由机制:

24、利用语义分类器对所述检测区域的特征进行计算,得到属于各候选结构类别的概率分布;

25、将各候选结构类别的特征按其概率加权求和,得到融合路由特征,以支持多结构融合分析。

26、具体的,所述提取所述检测区域的视觉特征向量,包括:

27、分别计算所述视觉特征向量与所述缺陷原型集合中各缺陷原型的特征距离,表示如下:

28、

29、其中,为所述检测区域的视觉特征向量,和分别为第i个缺陷原型的特征中心和协方差矩阵;

30、具体的,所述异常评分计算过程如下:

31、计算所述视觉特征向量与正常类原型的第一距离以及与最近缺陷原型的第二距离;

32、基于所述第一距离与第二距离构建异常评分,表示为:

33、

34、其中为预设正数,当大于预设阈值时判定所述检测区域为异常。

35、具体的,还包括知识进化步骤:

36、在检测结果经人工确认后,基于确认后的样本特征,按照以下公式更新对应缺陷原型的特征中心:

37、

38、其中为原特征中心,为新确认样本的视觉特征向量,为学习率;

39、同步更新所述缺陷原型的协方差矩阵;

40、当所述视觉特征向量与现有所有原型的距离均大于预设阈值且确认属于新的缺陷类别时,创建新的缺陷原型并加入所述层级特征知识库。

41、另一方面,本技术提供一种工业视觉异常检测装置,所述装置包括:

42、语义图构建模块:用于采集待测产品的实物图像并进行预处理后划分为图像块,提取各图像块的特征向量并进行聚类,基于聚类结果构建视觉语义节点及其连接关系,形成视觉语义图;

43、语义对齐与路由模块:用于将所述视觉语义图与设计语义图与进行图匹配和建立语义映射关系,并基于所述语义映射关系对所述实物图像中的检测区域执行语义路由,确定所述检测区域对应的结构类别;

44、缺陷特征检索模块:用于提取所述检测区域的视觉特征向量,结合所述结构类别从预设的层级特征知识库中检索对应的缺陷原型集合;

45、异常判定输出模块:用于计算所述视觉特征向量与各缺陷原型的特征距离,并依据所述特征距离生成异常评分,输出包含异常判定结果及缺陷类别信息的检测结果。

46、又一方面,本技术还提供一种计算机可读存储介质,所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述方面所述的工业视觉异常检测方法。

47、本技术实施例提供的技术方案带来的有益效果至少包括:本技术通过引入设计语义图与视觉语义图的对齐机制,有效解决了设计数据利用率低和设计与实物配准误差大的问题。其通过将实物图像的视觉语义与设计图纸的结构语义进行精确匹配,系统能够将检测区域准确地路由到其对应的结构类别,这使得后续的缺陷检测能够针对性地进行,避免了传统方法中因配准不准导致的误判或漏检。

48、此外,本技术通过构建层级特征知识库并结合结构类别进行缺陷原型检索,解决了现有异常检测方法缺乏行业知识约束、容易产生误报以及历史缺陷经验无法持续积累的问题。

49、由此,本技术的方法实现了从单纯的像素级图像处理向结构化语义分析的跨越,将设计知识、视觉特征知识和行业经验知识有机融合,构建了一个知识闭环的工业检测体系。这种体系不仅能够有效识别已知缺陷,还能通过特征距离量化评估未知缺陷,并提供可解释的缺陷类别信息,从而显著提升了工业视觉异常检测的智能化水平和实用价值。