基于图像辨别的汽车紧固件表面瑕疵检测系统及方法与流程

本发明涉及瑕疵检测，特别是指基于图像辨别的汽车紧固件表面瑕疵检测系统及方法。

背景技术：

1、瑕疵检测技术领域涉及对目标对象外观或结构中的异常特征进行检测与分类，核心事项包括图像采集、特征分析、模式识别与判别判断。该领域技术通常通过构建自动化检测流程实现高效识别，常应用于工业制造、电子产品、汽车零部件、金属表面、织物材料等场景。在实现路径上，主要依托图像传感器获取目标图像，再经由图像处理方法提取疑似缺陷特征，结合分类规则或判别算法完成缺陷类型识别与标注。在该领域中，常用的图像处理方法包括边缘检测、纹理分析、对比度增强、灰度转换、形态学变换等，并借助确定性规则或机器学习方法对异常区域作出判定。

2、其中，传统汽车紧固件表面瑕疵检测系统是指用于识别汽车制造中螺钉、螺母、铆钉、垫圈等紧固件表面是否存在划痕、压痕、锈蚀、缺料、毛刺等缺陷的检测系统。该类检测系统所针对的技术事项为紧固件外观质量判断问题，传统方式通常采用人工目检的方式完成表面缺陷识别，依赖人工在固定光照下目视观察紧固件表面状态，判断其是否存在表面异常或加工缺陷。此外，也有部分方式通过图像采集设备对紧固件进行拍摄，获取其二维图像后，运用灰度差分法、阈值分割法或轮廓拟合法等图像处理方法进行缺陷区域提取，再利用预设判定规则对图像中疑似缺陷区域进行分析，得出合格或不合格结论。这些方法在执行中通常依赖图像分辨率、光照均匀性及表面反光控制等物理条件的设定，并通过预设的参数与标准对不同类型瑕疵加以识别。

技术实现思路

1、为了解决现有技术存在的技术问题，本发明实施例提供了基于图像辨别的汽车紧固件表面瑕疵检测系统及方法。所述技术方案如下：

2、一方面，提供了基于图像辨别的汽车紧固件表面瑕疵检测系统，该系统包括：

3、灰度响应提取模块获取紧固件表面图像数据，对图像中全部像素点执行固定尺度窗口扫描处理，提取灰度扰动响应值序列，调用序列中最大灰度值与最小灰度值的差值，计算差值的均方差，生成多频响应均方差信息；

4、显著区判定模块根据所述多频响应均方差信息，对区域执行空间位置重排，获取区域中心坐标集合，实施聚类归组，对每个聚类组映射至原图中标记区域，生成响应聚类显著图；

5、分段建模模块根据所述响应聚类显著图，调用每一像素通道值与邻域像素通道值执行差值运算，识别衰减区段，调用每段的最大幅度值与对应距离计算衰减率，执行分类处理，获取颜色通道衰减分区图；

6、纹理归类模块调用所述颜色通道衰减分区图中的标记区域，调用梯度值构建二维结构张量，计算每个区域主方向，调用方向与每个类别标签样本方向之间进行余弦相似度比对，标识区域缺陷类别，得到纹理方向匹配区域图。

7、作为本发明的进一步方案，所述多频响应均方差信息包括扰动响应分布映射、频率子带灰度序列表和均方差值像素索引图，所述响应聚类显著图包括显著区域空间聚类图谱、扰动差异区域标签集和坐标映射对应表，所述颜色通道衰减分区图包括通道衰减区段掩膜图、rgb扰动幅度连续序列库和通道扰动分类索引标记图，所述纹理方向匹配区域图包括结构张量方向场、主方向相似度评分集和区域方向一致性标注图。

8、作为本发明的进一步方案，所述灰度响应提取模块包括：

9、图像窗口扫描子模块获取紧固件表面图像数据，按固定尺度设定窗口大小执行滑动处理，依次扫描图像全区域，对每一窗口中心像素建立像素坐标索引矩阵，对应记录每一窗口的中心位置与邻域边界坐标集合，生成图像滑窗坐标阵列；

10、频域扰动提取子模块根据所述图像滑窗坐标阵列中每个坐标点的空间位置，提取对应图像区域像素灰度值集合，调用二维离散小波变换中的多个频率子带系数对灰度集合执行滤波处理，构造每个频带下的灰度响应序列矩阵，生成多频灰度响应序列集；

11、扰动差值计算子模块调用所述多频灰度响应序列集中的每一序列，对序列中灰度值执行极值提取，获取最大灰度值与最小灰度值的数值差，调用响应序列均值，计算序列中元素相对均值的离散幅度，根据差值平方后取均值得到每组响应序列对应的扰动均方差值，生成多频响应均方差信息。

12、作为本发明的进一步方案，所述显著区判定模块包括：

13、显著区域筛选子模块根据所述多频响应均方差信息中的每一像素对应的均方差值，调用响应显著性阈值，筛选均方差值大于响应显著性阈值的像素索引，对应提取像素所在图像窗口的中心坐标，并建立二维位置矩阵，生成均方差阈值筛选坐标集；

14、空间聚类构建子模块调用所述均方差阈值筛选坐标集中每个坐标点位置，计算任意两点之间的欧氏距离值，基于空间聚类阈值判断点对之间的距离关系，若欧氏距离低于空间聚类阈值，则归入同一聚类标签组，依聚类组编号记录每个区域对应关系，生成图像区域空间聚类矩阵；

15、坐标映射标记子模块根据所述图像区域空间聚类矩阵中的区域编号和聚类中心坐标，映射对应图像中原始像素索引区域，标记每个聚类编号对应的原图位置块，在图像矩阵上构造聚类掩膜图层，并将聚类信息融合至掩膜图，生成响应聚类显著图。

16、作为本发明的进一步方案，所述响应显著性阈值的设置方式为，针对多频响应均方差信息中全部像素对应的均方差值，计算对应均值与标准差的加和值作为响应显著性阈值；

17、所述欧氏距离值的计算方式为，调用均方差阈值筛选坐标集中的每一坐标点，依据图像窗口中心点在二维坐标轴上的绝对位置关系，分别计算坐标点与剩余坐标点之间在横向与纵向维度上的像素距离平方之和的平方根，建立对应的距离矩阵；

18、所述空间聚类阈值的设置方式为，依据距离矩阵中全部有效非零距离值，计算第九十分位数，并以第九十分位数作为空间聚类阈值。

19、作为本发明的进一步方案，所述分段建模模块包括：

20、颜色通道采样子模块根据所述响应聚类显著图中标记区域的位置索引，获取每一区域内全部像素在红色、绿色与蓝色通道下的通道值数据，调用每一像素的rgb通道值与邻域对应位置的rgb通道值，执行三通道差值运算，依次记录差值向量组成颜色扰动序列集合，生成通道扰动幅度序列矩阵；

21、扰动趋势识别子模块调用所述通道扰动幅度序列矩阵中的每一序列，对序列中连续三项差值执行符号方向判断，检测是否存在差值连续为负的情况，若连续出现两次方向为负的差值趋势则设为衰减片段，提取片段内最大幅度值和序列中的像素距离，计算对应扰动下降比率，生成通道衰减速率集；

22、通道区段分类子模块根据所述通道衰减速率集中每条数据的数值大小，调用通道衰减率范围阈值下限与上限进行区间判断，筛选落入区间范围内的片段索引，对应标注为有效衰减区段，结合标注索引和像素坐标生成空间映射掩膜图，建立颜色通道衰减分区图。

23、作为本发明的进一步方案，所述纹理归类模块包括：

24、梯度方向提取子模块调用所述颜色通道衰减分区图中已标记区域，对每一目标区域执行水平与垂直方向的梯度检测，提取对应区域在x轴与y轴方向上的sobel算子响应值，分别记录区域在两个方向上的梯度强度分布，建立区域在二维坐标系下的方向变化信息，生成梯度方向分布信息；

25、主方向构建子模块根据所述梯度方向分布信息中每个像素点的水平与垂直梯度值，构建二维结构张量并提取张量的主方向特征角，根据结构张量中主对角元与非对角元之间的比值计算局部方向角度，构建目标区域的主方向角信息集合，得到区域主方向角度集；

26、相似度筛选子模块调用所述区域主方向角度集中的每个方向角，对应调用类别样本库中已存储的瑕疵纹理方向标签角度，执行余弦相似度计算，比较目标方向角与标签方向角之间的夹角余弦值，并与方向相似度阈值进行大小判断，筛选满足相似度条件的区域编号，建立纹理方向匹配区域图。

27、作为本发明的进一步方案，所述系统还包括：

28、标签生成模块基于所述纹理方向匹配区域图中标记区域的空间位置索引，对每个区域执行边缘检测与最小外接矩形包围，调用包围区域中的像素索引赋予类型编号，将类型编号图与原图执行通道叠加处理，生成瑕疵分类编号图层；

29、所述瑕疵分类编号图层包括瑕疵类型编号掩膜、边界框坐标集合和图像叠加标签层。

30、作为本发明的进一步方案，所述标签生成模块包括：

31、区域边界提取子模块基于所述纹理方向匹配区域图中已标记区域的空间位置索引，调用图像边缘检测算子对每一目标区域执行边界轮廓提取，依据提取的边缘像素点集合构建最小外接矩形边框，记录每个区域的矩形左上角坐标和边框尺寸参数，生成瑕疵区域外接矩形参数集；

32、类别编号赋值子模块调用所述瑕疵区域外接矩形参数集中全部矩形区域的坐标范围，依照区域在输入序列中所处次序为唯一类型编号，对应调用原图中每个矩形区域内像素索引，按编号建立一一映射关系，并构建与原图尺寸一致的二维编号矩阵，生成区域分类编号图阵；

33、图层通道叠加子模块根据所述区域分类编号图阵中每个像素位置编号，对应将编号值转换为三通道伪彩编码，调用原图rgb通道矩阵执行逐像素加权通道融合运算，将编号编码层与原图通道数据进行通道叠加处理，建立瑕疵分类编号图层。

34、另一方面，基于图像辨别的汽车紧固件表面瑕疵检测方法，所述基于图像辨别的汽车紧固件表面瑕疵检测方法基于上述基于图像辨别的汽车紧固件表面瑕疵检测系统执行，包括以下步骤：

35、s1：获取紧固件表面图像数据，对图像中全部像素点执行固定尺度窗口扫描处理，提取灰度扰动响应值序列，调用序列中最大灰度值与最小灰度值的差值，计算差值的均方差，生成多频响应均方差信息；

36、s2：根据所述多频响应均方差信息，对区域执行空间位置重排，获取区域中心坐标集合，实施聚类归组，对每个聚类组映射至原图中标记区域，生成响应聚类显著图；

37、s3：根据所述响应聚类显著图，调用每一像素通道值与邻域像素通道值执行差值运算，识别衰减区段，调用每段的最大幅度值与对应距离计算衰减率，执行分类处理，获取颜色通道衰减分区图；

38、s4：调用所述颜色通道衰减分区图中的标记区域，调用梯度值构建二维结构张量，计算每个区域主方向，调用方向与每个类别标签样本方向之间进行余弦相似度比对，标识区域缺陷类别，得到纹理方向匹配区域图；

39、s5：基于所述纹理方向匹配区域图中标记区域的空间位置索引，对每个区域执行边缘检测与最小外接矩形包围，调用包围区域中的像素索引赋予类型编号，将类型编号图与原图执行通道叠加处理，生成瑕疵分类编号图层。

40、本发明实施例提供的技术方案带来的有益效果至少包括：

41、本发明，通过构建多频率子带下灰度扰动响应序列并引入均方差分析方式提取图像窗口间灰度波动特性，可提升在复杂光照条件下的区域敏感度，通过对空间位置重排后执行欧氏距离聚类处理，增强了图像中显著响应区域的空间关联性识别能力，通过建立颜色通道差值衰减趋势及幅度变化率的建模方式实现区域细粒度分类，有助于增强对不同表面瑕疵的颜色扰动模式感知能力，结合梯度张量方向匹配与相似度比对手段，可基于纹理方向信息实现对瑕疵类型的精准归类，实现对多类细微缺陷的稳定识别并增强对多样化异常区域的分类适配能力。