一种基于多粒度重构与特征记忆匹配的板材表面缺陷在线检测方法及系统

本发明涉及板材表面质量检测，具体涉及一种基于多粒度重构与特征记忆匹配的板材表面缺陷在线检测方法及系统。

背景技术：

1、板材在原材料处理、成型、加工、表面处理及搬运过程中，容易产生裂纹、孔洞、划痕、污染、水渍、色差、破损及边角缺损等多种表面缺陷。该类缺陷不仅影响产品外观质量和分级结果，还会影响后续加工利用率，因此需要在生产线上对板材进行稳定、连续的质量检测。

2、目前，板材行业对表面缺陷的检测仍主要包括人工目视检测和机器视觉检测两类方式。人工目视检测依赖质检人员经验，容易受到疲劳程度、主观判断、环境噪声和生产节拍等因素影响，存在检测效率低、一致性差、漏检和误检率较高的问题，已难以满足现代板材生产线连续化、自动化和大批量生产的要求。目前板材表面缺陷检测方法主要包括基于光学成像与人工规则的检测方法，以及基于监督式深度学习的检测方法。

3、当前常用的第一类方法为基于光学成像系统、ccd/线扫相机及人工规则判定的检测方法，如专利cn107589124a所公开的方案。当板材经过检测区域时，由位置传感器触发采图，利用正反两组ccd工业线阵相机配合led光源对板材表面进行在线扫描成像，再由计算机完成缺陷定位、提取、分类，并与标准缺陷数据库进行比对，最终实现缺陷报警和产品分级；但此类方法对光照条件较为敏感，对颜色、纹理及材质变化的泛化能力有限。

4、另一类方案采用监督式深度学习方法，现有技术中，已有专利公开了基于改进yolov5l网络的板材表面缺陷检测方法，例如cn114359235a。该类方法通过公开缺陷数据集预训练，并结合实景板材数据进行人工标注及伪标签微调，实现对多种板材表面缺陷的识别和检测，在一定程度上提高了检测效率和自动化水平。该类方法通常依赖大量已标注缺陷样本，能够实现对已知缺陷类别的识别，但对未知缺陷、复合缺陷及边界模糊缺陷的适应性仍有限。

5、因此，现有技术的主要问题包括：对光照环境和人工规则依赖较强，对板材天然纹理、颜色和材质变化的泛化能力有限；监督式检测方法对大规模高质量缺陷标注样本依赖较强，数据获取与标注成本较高；对未知缺陷、复合缺陷及边界模糊缺陷的适应性不足；基于检测框的定位方式难以实现像素级精细定位，因而难以同时满足板材表面复杂场景下的高鲁棒性检测与精细定位需求。

技术实现思路

1、本发明的目的是提供一种基于多粒度重构与特征记忆匹配的板材表面缺陷在线检测方法及系统，以解决现有板材表面缺陷检测方法对光照环境和人工规则依赖强、泛化能力有限、依赖大量缺陷标注样本、难以兼顾未知缺陷检测与像素级精细定位的技术问题。

2、为实现上述目的，本发明提供的技术方案是：一种基于多粒度重构与特征记忆匹配的板材表面缺陷在线检测方法，包括以下步骤：

3、s1：采集板材表面的正常样本图像，利用正常样本图像训练多粒度自编码器并构建特征记忆库，校准图像级判定阈值、像素级分割阈值、图像级融合权重和像素级融合权重；所述多粒度自编码器包括空间结构、尺度语义和颜色分布三个自编码器；所述特征记忆库基于冻结参数的预训练网络提取正常样本的特征，分别构建用于图像级评分的全局特征记忆库和用于像素级定位的局部特征记忆库；

4、s2：在生产线上采集待检测板材的表面图像，执行预处理后按预设尺寸进行网格化分块，得到多个图像块；

5、s3：将每个图像块并行送入多粒度自编码器分支和特征记忆库分支；其中，多粒度自编码器分支中将图像块分别输入三个自编码器，得到三路重构图像及重构误差，经动态融合后输出重构误差图像级分数及重构误差像素级响应图；特征记忆库分支中将同一图像块输入预训练网络提取特征，通过k近邻检索计算与全局特征记忆库、局部特征记忆库的特征偏离距离，输出特征距离图像级分数及特征距离像素级响应图；

6、s4：将重构误差图像级分数与特征距离图像级分数进行鲁棒归一化后按图像级融合权重加权融合，得到综合图像级异常分数；将重构误差像素级响应图与特征距离像素级响应图进行鲁棒归一化后按像素级融合权重加权融合，得到综合像素级异常图；当综合图像级异常分数超过图像级判定阈值时，判定当前图像块存在缺陷，采用像素级分割阈值对综合像素级异常图进行二值化，标记缺陷区域；

7、s5：将所有图像块的缺陷区域按空间位置拼接，对重叠区域采用距离加权融合进行边界补偿，形成整板级异常热力图，输出缺陷位置及包含综合图像级异常分数的报警信息。

8、为优化上述技术方案，采取的具体措施还包括：

9、步骤s1中，所述利用正常样本图像训练多粒度自编码器，具体过程为：分别训练空间结构自编码器、尺度语义自编码器和颜色分布自编码器，三个自编码器均仅使用正常样本图像，优化器采用adam；空间结构自编码器的损失函数包均方误差、l1辅助项以及编码器后验分布与高斯先验之间的kl散度；尺度语义自编码器和颜色分布自编码器的损失函数包含均方误差与l1辅助项的加权组合；三个自编码器训练完成后冻结其参数，再使用正常样本图像训练所述动态融合模块，训练过程中引入权重分布的熵正则化约束。

10、所述空间结构自编码器为卷积变分自编码器，用于表征裂纹、孔洞和边角缺损引起的板面连续性破坏；所述尺度语义自编码器为残差金字塔融合自编码器，用于表征节疤、纹理错位和局部结构不协调的跨尺度异常；所述颜色分布自编码器为多分支融合注意力自编码器，用于表征水渍、污染、色差及涂饰不均的颜色型异常。

11、步骤s1中，所述构建特征记忆库具体包括：使用冻结参数的预训练网络提取全部正常样本图像的中间层特征；对提取到的特征执行局部邻域平均池化；对不同层级的特征进行上采样后沿通道维度拼接，形成多尺度patch级特征表示；对采集到的patch特征执行随机子采样，保留具有代表性的紧凑子集作为最终的特征记忆库。

12、步骤s3中，所述重构误差像素级响应图的生成方式为：对每一路自编码器的输入图像与重构图像，分别计算逐像素的均方误差图和逐像素的结构相似性误差图；将均方误差图与结构相似性误差图按预设权重加权融合，得到混合误差图；对混合误差图执行多尺度平均池化后取逐像素最大值，得到该路自编码器的重构误差像素级响应图。

13、步骤s2中，所述预处理包括自适应光照校正与反光抑制处理，具体为：全局亮度预判与曝光补偿、基于大尺度高斯平滑核的局部光照分量估计、基于局部亮度比生成连续值反光掩膜、以及基于该掩膜对非反光区域执行光照归一化校正并对反光区域执行邻域加权平滑插值补偿的分区自适应校正，校正后图像按预设窗口截取得到图像块，保留其在所述校正图像中的空间位置对应关系。

14、步骤s4中，所述鲁棒归一化包括根据正常样本或验证样本的分数分布确定归一化参数，将重构误差图像级分数、特征距离图像级分数、重构误差像素级响应图和特征距离像素级响应图分别映射至统一数值范围；所述加权融合包括按照图像级融合权重生成综合图像级异常分数，按照像素级融合权重生成综合像素级异常图；所述缺陷区域生成包括基于综合像素级异常图提取高响应区域，对高响应区域进行后处理以得到缺陷区域。

15、步骤s4之后，还包括缺陷属性辅助判别步骤：对已定位的异常区域提取面积、形状、纹理方向、颜色差异及边缘连续性五类视觉特征，采用多级决策树进行属性标注；第一级依据长宽比和圆度分为线性缺陷、斑块缺陷和不规则缺陷，第二级在各分支内结合边缘锐度、纹理方向偏差和色差进行细分判定。

16、作为另一个重要的技术方案，本发明还提供一种基于多粒度重构与特征记忆匹配的板材表面缺陷在线检测系统，用于实现如上所述的一种基于多粒度重构与特征记忆匹配的板材表面缺陷在线检测方法，包括：

17、样本训练与记忆库构建模块，用于采集板材表面的正常样本图像，训练多粒度自编码器并构建特征记忆库，校准图像级判定阈值、像素级分割阈值、图像级融合权重和像素级融合权重；

18、在线采图与分块预处理模块，用于在生产线上采集待检测板材的表面图像，执行预处理后按预设尺寸进行网格化分块，得到多个图像块；

19、双路并行异常检测模块，用于将每个图像块并行送入多粒度自编码器分支和特征记忆库分支；其中，多粒度自编码器分支输出重构误差图像级分数及重构误差像素级响应图；特征记忆库分支基于预训练网络提取图像块特征，通过特征匹配计算特征偏离距离，输出特征距离图像级分数及特征距离像素级响应图；

20、融合判定与阈值分割模块，用于将重构误差图像级分数与特征距离图像级分数进行鲁棒归一化后按图像级融合权重加权融合，得到综合图像级异常分数；将重构误差像素级响应图与特征距离像素级响应图进行鲁棒归一化后按像素级融合权重加权融合，得到综合像素级异常图；当综合图像级异常分数超过图像级判定阈值时，判定当前图像块存在缺陷，采用像素级分割阈值对综合像素级异常图进行二值化，标记缺陷区域；

21、整板重建与报警输出模块，用于将所有图像块的缺陷区域按空间位置拼接，对重叠区域进行边界补偿，形成整板级异常热力图，输出缺陷位置及报警信息。

22、本发明还提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时，实现如上所述的一种基于多粒度重构与特征记忆匹配的板材表面缺陷在线检测方法。

23、本发明还提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序使计算机执行如上所述的一种基于多粒度重构与特征记忆匹配的板材表面缺陷在线检测方法。

24、与现有技术相比，本发明的有益效果是：

25、本发明通过将多粒度自编码器与特征记忆匹配两条检测路径并行使用，能够在只依赖正常样本的情况下完成模型训练和检测准备，更适用于板材生产线中缺陷形态多样、样本收集困难的实际情况，降低了数据准备和模型维护的成本。

26、本发明通过多粒度自编码器分别针对板材表面的结构连续性、跨尺度纹理变化和颜色分布进行建模，特征记忆库分支捕捉与正常特征分布存在任何偏离的异常模式，二者融合后对裂纹、孔洞、节疤、水渍、色差等多种已知或未知的缺陷均能产生稳定响应，尤其对于边界不清晰或形态不规则的复合缺陷，检测的可靠性更高。

27、本发明通过对大尺寸板材进行网格化分块检测，并在分块重叠区域采用距离加权融合进行边界补偿，避免了拼接伪影，最终形成连续的整板级异常热力图。同时基于多级决策树的缺陷属性辅助判别，能够在无需额外标注样本的前提下给出缺陷的类型倾向描述，为现场质检人员提供可解释的参考信息。

28、本发明在保持较高检测精度的前提下，对设备、材料、环境和人员的技能要求均处于较低水平，具有良好的可复制性和跨场景迁移能力，适合在板材加工行业乃至更广泛的表面质量检测领域中推广应用。