一种基于动态特征模板匹配的缺陷检测方法、设备和介质与流程

摘要: 本发明涉及机器视觉与智能检测,具体涉及一种基于动态特征模板匹配的缺陷检测方法、设备和介质。背景技术:1、目前,工业自动化生产中,产品的在线质量检测至关重要。传统...
一种基于动态特征模板匹配的缺陷检测方法、设备和介质与流程

本发明涉及机器视觉与智能检测,具体涉及一种基于动态特征模板匹配的缺陷检测方法、设备和介质。

背景技术:

1、目前,工业自动化生产中,产品的在线质量检测至关重要。传统的机器视觉检测方法主要分为以下三类:

2、一是基于传统图像处理的规则化检测,例如边缘检测和blob分析。这类方法依赖人工设定的阈值和规则,对光照变化、产品微小形变和复杂背景干扰非常敏感,鲁棒性较差。当产品型号更换时,工程师需重新调试大量参数,维护成本较高。

3、二是基于深度学习的目标检测方法,如yolo系列和faster r-cnn等。以yolov8为代表的现代目标检测模型能够高精度地识别和定位图像中的各类目标。然而,在工业质检场景中,仅知道“存在某个元器件”远远不够。质检的核心在于判断元器件相对标准位置是否存在偏移、尺寸是否在公差范围内、是否存在缺失或多余的情况。现有目标检测模型通常只输出类别和边界框,缺乏与“合格标准”进行多维度比对的能力。

4、三是静态模板匹配方法。部分系统会预先制作一张“黄金模板”,即一张完美产品的图像,然后将待检图像与其对齐后进行逐像素比较。这种方法对产品的全局刚性位姿要求极高,无法处理产品本身的微小形变或局部差异,且模板制作过程繁琐,不适用于多型号、柔性化的生产线。

技术实现思路

1、本发明所要解决的技术问题是传统图像处理方法鲁棒性差且维护成本高,纯目标检测方法缺乏与合格标准的多维度比对能力,而静态模板匹配方法对产品形变容忍度低且不适用于柔性化生产,目的在于提供一种基于动态特征模板匹配的缺陷检测方法、设备和介质,基于yolov8的目标检测能力,通过目标检测结果构建结构化数据集合作为动态特征模板,并选取参考目标进行坐标映射对齐消除全局偏移干扰,再在相对坐标系下进行多维度量化比对,实现高精度、高鲁棒性且柔性化的产品缺陷检测。

2、本发明通过下述技术方案实现:

3、本发明第一方面提供一种基于动态特征模板匹配的缺陷检测方法,包括以下具体步骤:

4、获取历史合格目标执行目标检测,得到目标特征信息;

5、基于目标特征信息构建动态特征模板;

6、基于待检测目标的目标特征信息进行动态特征模板的匹配与完整性判断,输出匹配结果;

7、从所述动态特征模板中选取空间分布上具有预设位置关系的至少三个不共线的目标作为参考目标;

8、基于所述参考目标对所述待检测目标的目标特征信息执行坐标映射对齐,构建相对坐标系;

9、在所述相对坐标系下,对所述待检测目标的目标特征信息与所述动态特征模板执行多维度量化比对,确定缺陷类型。

10、进一步的,所述获取历史合格目标执行目标检测,得到目标特征信息,包括:

11、构建初始目标检测模型;

12、基于标注有元器件类别标签的历史产品图像对初始目标检测模型进行训练;

13、基于训练好的目标检测模型对历史合格产品的图像进行推理,输出每个检测目标的类别标签、置信度分数以及在原始图像上的边界框位置;

14、将每个检测目标的类别标签、置信度分数以及在原始图像上的边界框位置按预设数据结构编排为数据记录集合,得到所述动态特征模板。

15、进一步的,所述基于训练好的目标检测模型对历史合格产品的图像进行推理,包括:

16、对所述历史合格产品的图像进行预处理,包括:保持宽高比的缩放与填充,使其适配模型固定的输入尺寸,并完成归一化和张量格式转换;

17、将处理后的图像送入训练好的目标检测模型进行前向传播:通过骨干网络、特征金字塔和检测头输出多尺度的原始预测结果,所述原始预测结果包括类别标签和置信度分数;

18、对原始预测结果进行后处理,解码得到在原始图像上的边界框;

19、通过非极大值抑制剔除冗余和重叠的原始图像上的边界框,保留高置信度且不重复的目标;

20、输出每个检测目标的类别标签、置信度分数以及在原始图像上的边界框位置。

21、进一步的,所述基于待检测目标的目标特征信息进行动态特征模板的匹配与完整性判断,包括:

22、判断模板库中是否存在与当前待检测目标图像相对应的动态特征模板;

23、若不存在,即当前产品为新型号,则将当前待检测目标图像的检测结果保存为结构化的数据文件并存入所述模板库,作为该型号产品的基准模板;

24、若存在,则对比当前待检测目标图像的目标特征信息与所述动态特征模板中的类别标签集合以及各类别的数量,判断是否一致:

25、若一致,则标记为匹配,并进入后续的参考目标选取与坐标映射对齐步骤;

26、若不一致,则标记为不匹配,直接输出缺失或多余的缺陷诊断结果,不再执行后续的坐标映射对齐与多维度量化比对。

27、进一步的,所述构建相对坐标系,包括:

28、基于所述动态特征模板中参考目标的坐标与所述待检测目标中对应参考目标的坐标,求解仿射变换矩阵的参数,其中所述仿射变换矩阵的变换关系表示为:,x,y为原始坐标,,为变换后坐标,a,b,c,d为线性变换参数,,为平移参数;

29、基于所述仿射变换矩阵,将所述待检测目标的目标特征信息映射至以所述动态特征模板为基准的相对坐标系。

30、进一步的,所述动态特征模板以数据记录集合的形式存储,每一条数据记录包含类别标签、置信度分数、边界框位置以及与该类别相关联的多维度容差参数和缺陷类型诊断规则。

31、进一步的,所述多维度量化比对包括:

32、计算检测目标与模板目标中心点之间的欧氏距离作为所述位置偏差指标;

33、计算检测目标与模板目标之间的交并比作为重合度指标;

34、计算检测目标与模板目标在宽度和高度上的相对偏差率,并取最大方向偏差作为所述尺寸偏差指标;

35、将位置偏差指标与预设偏移阈值进行对比、将尺寸偏差指标与预设尺寸公差带进行对比、将重合度指标与重合度下限进行比对,得到缺陷分类结果。

36、进一步的,所述将位置偏差指标与预设偏移阈值进行对比、将尺寸偏差指标与预设尺寸公差带进行对比、将重合度指标与重合度下限进行比对,包括:

37、若存在任一目标满足位置偏差指标大于预设偏移阈值,标记为偏位;

38、若存在类别匹配但尺寸偏差指标小于预设尺寸公差带,标记为尺寸异常;

39、若重合度指标小于重合度下限,则待检测目标无匹配项,启用缺失检查,标记为缺失;

40、若待检测目标的目标特征信息中存在所述动态特征模板未定义的额外目标,启用多余目标检查,并标记为多余。

41、本发明第二方面提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现一种基于动态特征模板匹配的缺陷检测方法。

42、本发明第三方面提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现一种基于动态特征模板匹配的缺陷检测方法。

43、本发明与现有技术相比,具有如下的优点和有益效果:

44、基于目标检测结果构建结构化数据集合的动态特征模板,摆脱了静态模板对全局刚性位姿的严苛要求,通过选取具有预设位置关系的参考目标进行坐标映射对齐构建相对坐标系,有效消除了产品在产线上可能产生的全局偏移干扰,使得检测过程在抗干扰的统一基准下进行,显著提升了系统对光照变化、微小形变及背景干扰的鲁棒性;

45、在相对坐标系下执行多维度量化比对,综合计算交并比、中心点欧氏距离偏差及宽高相对偏差率,避免了单一指标在特定偏差场景下可能引发的误判,提高了检测精度。