基于视觉检测的汽车按键注塑件缺陷在线检测方法及系统与流程

本发明涉及汽车零部件视觉检测，特别是基于视觉检测的汽车按键注塑件缺陷在线检测方法及系统。

背景技术：

1、汽车按键注塑件是汽车内饰的重要组成部分，其表面质量直接关系到整车的美观性和用户体验。在注塑成型过程中，由于模具磨损、工艺参数波动、原材料杂质等多种因素的影响，按键注塑件表面极易产生划痕、凹痕、缺胶、气泡、毛刺、变形等各种类型的缺陷。目前国内多数企业对注塑件外观缺陷的检测仍以人工检测为主，部分采用基于特征工程的机器视觉检测，少量采用深度学习检测方法。然而，人工检测存在效率低下、主观性强、漏检率和误检率高、难以满足在线实时检测需求等问题；传统机器视觉检测方法依赖于人工设计的特征提取算子，对光照变化和缺陷形态变化的适应性较差，检测精度和鲁棒性难以保证。

技术实现思路

1、本发明的目的是为了解决上述问题，设计了基于视觉检测的汽车按键注塑件缺陷在线检测方法及系统。

2、实现上述目的本发明的技术方案为，进一步，在上述基于视觉检测的汽车按键注塑件缺陷在线检测方法中，该汽车按键注塑件缺陷在线检测方法包括以下步骤：

3、对待检测汽车按键注塑件进行多角度图像采集，获取按键注塑件在不同光谱波段和不同照明角度下的原始图像数据；

4、对原始图像数据依次进行图像去噪、对比度增强和几何校正处理，得到标准化处理图像；

5、利用改进型yolov8目标检测模型作为主干检测网络，在改进型yolov8目标检测模型中嵌入坐标注意力机制模块和可变形卷积模块，对标准化处理图像进行特征提取和缺陷目标检测，输出缺陷候选区域；

6、基于改进的densenet卷积神经网络构建的缺陷精细分类模型，利用缺陷精细分类模型对缺陷候选区进行分类和程度分级，输出类别标签和严重等级；

7、将缺陷候选区域、类别标签和严重等级进行融合判断，根据预设的缺陷判定阈值和按键注塑件质量等级标准，输出质量检测结果。

8、进一步，在上述基于视觉检测的汽车按键注塑件缺陷在线检测方法中，所述对待检测汽车按键注塑件进行多角度图像采集，获取按键注塑件在不同光谱波段和不同照明角度下的原始图像数据，包括：

9、控制多光谱光源依次输出可见光波段、近红外波段和紫外波段的照明光，分别照射待检测按键注塑件；

10、采用高分辨率工业面阵相机，在各光谱波段下分别从正视角度、左侧倾斜角度和右侧倾斜角度采集按键注塑件的图像；

11、同步记录各帧图像的采集参数，采集参数包括光谱波段标识、照明角度标识和采集时间戳，将采集到的多光谱多角度图像按采集参数进行编号归档，得到原始图像数据集。

12、进一步，在上述基于视觉检测的汽车按键注塑件缺陷在线检测方法中，所述对原始图像数据依次进行图像去噪、对比度增强和几何校正处理，得到标准化处理图像，包括：

13、通过自适应中值滤波算法对原始图像进行去噪处理，去除图像采集过程中引入的椒盐噪声和高斯噪声；

14、基于自适应直方图均衡化的算法对去噪后的图像进行对比度增强，提升缺陷区域与背景区域的对比度；

15、利用透视变换的图像校正算法，将不同角度采集的图像统一校正至标准视角；

16、对校正后的图像进行roi区域提取，裁剪出按键注塑件所在的有效检测区域，去除背景干扰区域，得到标准化处理图像。

17、进一步，在上述基于视觉检测的汽车按键注塑件缺陷在线检测方法中，所述利用改进型yolov8目标检测模型作为主干检测网络，在改进型yolov8目标检测模型中嵌入坐标注意力机制模块和可变形卷积模块，对标准化处理图像进行特征提取和缺陷目标检测，输出缺陷候选区域，包括：

18、构建改进型yolov8目标检测模型：在yolov8的基础网络结构中，于主干特征提取网络的各关键层后嵌入坐标注意力机制模块，在颈部网络中引入可变形卷积模块替代部分标准卷积层，使卷积核根据缺陷形状自适应调整采样位置；

19、将标准化处理图像输入改进型yolov8目标检测模型，经过主干网络的多层级特征提取，得到不同尺度的特征图；

20、通过颈部网络对多尺度特征图进行特征融合，通过检测头网络对融合后的特征图进行回归和分类预测，输出各缺陷候选区域的边界框坐标、缺陷类别置信度分数和缺陷类别标签，得到缺陷候选区域。

21、进一步，在上述基于视觉检测的汽车按键注塑件缺陷在线检测方法中，所述基于改进的densenet卷积神经网络构建的缺陷精细分类模型，利用缺陷精细分类模型对缺陷候选区进行分类和程度分级，输出类别标签和严重等级，包括：

22、构建基于改进型densenet的缺陷精细分类模型，所述改进型densenet在标准densenet结构的基础上引入通道注意力模块和空间注意力模块构成的双重注意力机制；

23、以缺陷候选区域对应的图像子块作为输入，通过改进型densenet模型进行深度特征提取；

24、将提取到的深度特征输入全连接分类网络，输出各缺陷候选区域属于各缺陷细分类别的概率分布；

25、根据概率分布确定各缺陷候选区域的最终缺陷类别标签，同时根据预设的严重程度分级标准输出该缺陷的严重等级。

26、进一步，在上述基于视觉检测的汽车按键注塑件缺陷在线检测方法中，所述将缺陷候选区域、类别标签和严重等级进行融合判断，根据预设的缺陷判定阈值和按键注塑件质量等级标准，输出质量检测结果，包括：

27、将缺陷候选区域、类别标签和严重等级进行加权融合，计算各缺陷的综合置信度；

28、将综合置信度高于第二预设阈值的缺陷判定为有效缺陷，低于第二预设阈值的缺陷判定为虚警并予以剔除；

29、根据有效缺陷的缺陷类别、严重等级和缺陷数量，综合评判按键注塑件的质量等级；

30、输出汽车按键注塑件的最终质量检测结果，所述检测结果至少包括合格品、不合格品及不合格原因分类。

31、进一步，在上述基于视觉检测的汽车按键注塑件缺陷在线检测方法中，所述改进型yolov8目标检测模型和缺陷精细分类模型的预训练过程，包括：

32、采集汽车按键注塑件样本在多种光谱波段和多种照明角度下的图像，构建初始训练图像库；

33、对训练图像库中各图像中的缺陷区域进行像素级标注，标注信息包括缺陷类别标签和缺陷边界框坐标，构建缺陷检测训练数据集；

34、采用mosaic数据增强和mixup数据增强策略对训练数据集进行扩充，生成增强训练数据集；

35、用增强训练数据集分别对改进型yolov8目标检测模型和缺陷精细分类模型进行端到端的监督训练，直至模型在验证集上的检测精度达到预设指标。

36、进一步，在基于视觉检测的汽车按键注塑件缺陷在线检测系统，所述工程施工项目总体进度监管系统包括以下模块：

37、图像数据采集模块，用于对待检测汽车按键注塑件进行多角度图像采集，获取按键注塑件在不同光谱波段和不同照明角度下的原始图像数据；

38、图像预处理模块，用于对原始图像数据依次进行图像去噪、对比度增强和几何校正处理，得到标准化处理图像；

39、缺陷区域识别模块，用于利用改进型yolov8目标检测模型作为主干检测网络，在改进型yolov8目标检测模型中嵌入坐标注意力机制模块和可变形卷积模块，对标准化处理图像进行特征提取和缺陷目标检测，输出缺陷候选区域；

40、分类和分级模块，用于基于改进的densenet卷积神经网络构建的缺陷精细分类模型，利用缺陷精细分类模型对缺陷候选区进行分类和程度分级，输出类别标签和严重等级；

41、检测结果融合模块，用于将缺陷候选区域、类别标签和严重等级进行融合判断，根据预设的缺陷判定阈值和按键注塑件质量等级标准，输出质量检测结果。

42、进一步，在基于视觉检测的汽车按键注塑件缺陷在线检测系统中，所述图像数据采集模块包括以下子模块：

43、控制子模块，用于控制多光谱光源依次输出可见光波段、近红外波段和紫外波段的照明光，分别照射待检测按键注塑件；

44、采集子模块，用于采用高分辨率工业面阵相机，在各光谱波段下分别从正视角度、左侧倾斜角度和右侧倾斜角度采集按键注塑件的图像；

45、记录子模块，用于同步记录各帧图像的采集参数，采集参数包括光谱波段标识、照明角度标识和采集时间戳，将采集到的多光谱多角度图像按采集参数进行编号归档，得到原始图像数据集。

46、进一步，在基于视觉检测的汽车按键注塑件缺陷在线检测系统中，所述图像预处理模块包括以下子模块：

47、删除子模块，用于通过自适应中值滤波算法对原始图像进行去噪处理，去除图像采集过程中引入的椒盐噪声和高斯噪声；

48、提升子模块，用于基于自适应直方图均衡化的算法对去噪后的图像进行对比度增强，提升缺陷区域与背景区域的对比度；

49、校正子模块，用于利用透视变换的图像校正算法，将不同角度采集的图像统一校正至标准视角；

50、裁剪子模块，用于对校正后的图像进行roi区域提取，裁剪出按键注塑件所在的有效检测区域，去除背景干扰区域，得到标准化处理图像。

51、其有益效果在于，通过多光谱多角度成像技术，能够在多个光谱波段和多个拍摄角度下获取按键注塑件的图像数据，使不同类型、不同朝向的缺陷在不同成像条件下得到充分显现，有效解决了单一成像条件下微小缺陷难以检测的问题，显著提升了微小缺陷的检出率。通过在yolov8中引入坐标注意力机制和可变形卷积模块，使模型既能够精确定位缺陷的空间位置，又能够自适应地适应不规则缺陷的几何形变，相比标准yolov8模型在检测精度上取得了显著提升。通过yolov8粗检加densenet精细分类，实现了从缺陷发现到缺陷精细分类和严重程度分级的一站式检测流程，满足了汽车行业对缺陷等级精细判定的实际需求，提升检测效率。