一种工业零件缺陷检测方法、系统及训练方法与流程

本发明属于工业视觉检测，具体涉及一种工业零件缺陷检测方法、系统及训练方法。

背景技术：

1、在现代工业生产中，基于机器视觉的自动化表面缺陷检测已成为保障产品质量的关键环节。然而，工业零件的缺陷往往呈现出目标尺寸小、在整幅图像中占比极低、形态多变且不规则等特点。同时，缺陷的视觉特征常常与零件表面的正常纹理（如周期性加工痕、拉丝纹理）、结构（如倒角、轮廓边缘、压印字符）以及成像过程中的干扰因素（如镜面反光、油污、灰尘、阴影、曝光不均、传感器噪声）高度相似。这些正常区域在局部特征上极易与裂纹、划伤、凹坑或污点等缺陷混淆，导致深度学习检测网络产生大量的误报。

2、以yolov8及其分割版本（yolov8-seg）为代表的单阶段检测网络，因其高效的端到端设计，在工业界得到了广泛应用。这类网络能够同步完成候选框定位、目标分类和实例分割。但其固有的设计也存在局限性：其分类分支的决策主要依赖于特征图上特定位置及其有限的感受野，这使得模型难以显式地、整体地感知候选框内的完整结构、候选分割掩码的精确形状，以及候选框外部邻域的背景信息。在实际应用中，为了确保不漏掉任何可能的真实缺陷（即提高召回率），通常需要将模型的检测置信度阈值设置得较低。然而，这一操作会不可避免地放大模型在正常图像上的误报问题，即便是无缺陷的图像也可能输出大量误报框，严重影响检测系统的可靠性和实用性。

3、为了解决上述误报问题，现有技术提出了一些改进方案。这些方案大致可分为：调整后处理策略（如提高置信度阈值）、优化训练数据（如增加正常样本）、改造网络结构（如增加注意力模块、修改分类头）、调整损失函数（如调整分割损失权重）以及引入二次分类器等。尽管这些方法在特定场景下能取得一定效果，但仍普遍存在以下不足：

4、1.单纯提高置信度阈值是一种一刀切的策略，它在过滤误报的同时，也极有可能滤除那些置信度较低的真实缺陷，导致召回率显著下降。

5、2.仅对检测网络的分类头进行改造，由于输入特征并未对候选目标的前景和背景进行显式分离，模型仍然难以准确定位误报的根源，即无法判断高响应是由真实缺陷引起，还是由相似的背景纹理引起。

6、3.在原有检测头旁增加辅助分类头时，若辅助头与主分类头使用完全相同的感兴趣区域（roi）特征作为输入，两个分支很可能学习到重复或高度相关的信息，导致判别能力的提升有限。

7、4.对于一些由反光、工艺边缘等引起的、置信度非常高的困难误报样本，简单地调整分割损失的权重或增加常规的正常样本，往往难以有效抑制。

8、5.采用独立的二次分类器对主检测网络的输出进行再次筛选，虽然可以提升精度，但通常需要对候选区域进行重复的图像裁剪和特征提取，引入了额外的推理时延和部署复杂度，不适用于对实时性要求高的工业场景。

9、6.训练与推理阶段的候选框分布存在偏差。训练时，辅助分支常使用精确的真实标注框进行学习，而推理时则面对位置和尺寸都不甚准确的预测框，这种分布差异可能导致模型性能下降。

10、7.现有方法普遍缺乏一种将实例分割信息与候选框的内、外背景进行联合建模的机制，未能充分利用分割掩码提供的精确空间信息来辅助进行误报判别。

技术实现思路

1、本发明旨在至少在一定程度上解决上述技术问题。为此，本发明目的在于提供一种工业零件缺陷检测方法、系统及训练方法。

2、本发明所采用的技术方案为：

3、为实现上述目的，本发明的第一方面提供了一种工业零件缺陷检测方法，该方法基于一个具备实例分割能力的深度学习检测分割网络实现，包括如下步骤：

4、首先，获取待检测的工业零件图像，并通过所述检测分割网络的前向传播，提取图像的多尺度特征图。基于这些多尺度特征图，网络的主检测分割分支生成至少一个候选目标。每个候选目标包含其位置信息的候选框、一个表示其属于某个缺陷类别的基础分类得分，以及描述其精确形状的候选分割信息。

5、接着，对生成的候选目标执行特征解耦。具体而言，根据候选框的位置和尺寸，从对应的多尺度特征图中提取出覆盖整个候选框区域的候选框上下文特征。然后，利用候选分割信息作为空间引导，将该候选框上下文特征显式地分离为两部分：代表缺陷本体的候选前景特征，和代表候选框内非缺陷区域的候选背景特征。

6、随后，对候选目标执行多分支协同判别。这一步骤包含多个并行的判别路径：

7、（1）基于所述候选前景特征，执行前景真实性判别，其目的是判断候选区域内是否存在真实的缺陷实体，并输出一个前景判别得分。

8、（2）基于所述候选背景特征，执行背景混淆风险判别，其目的是评估候选框内外的背景模式（如反光、纹理）引发当前误报的可能性，并输出一个背景通过概率。

9、（3）融合所述候选目标位置对应的局部分类特征、所述候选框上下文特征与所述候选前景特征，生成一个上下文增强分类得分。

10、最后，对候选目标进行联合重评分。该步骤综合利用了来自不同判别路径的信息，依据初始的基础分类得分、前述步骤生成的上下文增强分类得分、前景真实性判别得到的前景判别得分，以及背景混淆风险判别得到的背景通过概率，计算出一个更为可靠的最终置信度。依据该最终置信度对所有候选目标进行筛选和后处理（如非极大值抑制），最终输出置信度高于预设阈值的缺陷检测结果，结果可包括缺陷的边界框、类别、最终置信度以及对应的分割掩码。

11、在一个优选的实施方案中，所述候选分割信息具体为候选软掩码，其每个像素值在0到1之间，表示该位置属于前景的概率。特征解耦步骤具体通过以下方式实现：通过对候选框上下文特征与候选软掩码进行逐元素的加权操作（如乘法），并对结果进行空间池化（如全局平均池化），得到候选前景特征；同时，通过对候选框上下文特征与候选软掩码的互补权重（即1减去软掩码）进行逐元素加权，并进行池化，得到候选框内的背景特征。

12、在一个优选的实施方案中，为了更全面地评估背景影响，所述候选背景特征由两部分融合而成：一部分是前述的候选框内背景特征，另一部分是环带背景特征。该环带背景特征通过在原候选框基础上构造一个向外扩展的环形区域（外扩环带区域）并提取该区域内的特征而获得。这使得模型能够感知候选框紧邻区域的上下文信息。

13、在一个优选的实施方案中，所述联合重评分步骤采用一种乘性融合的方式来计算最终置信度。例如，最终置信度可以由基础分类得分、增强分类得分、前景判别得分与背景通过概率三者相乘得到。这种方式下，任何一个维度的判别结果为低分（如前景不真实或背景风险高），都会显著拉低最终得分，从而实现有效的误报抑制。

14、在一个优选的实施方案中，为了适应不同尺寸的缺陷，候选框上下文特征的提取是动态的。具体地，根据候选框的面积或长边尺寸，从多尺度特征金字塔中动态地选择一个最适宜的分辨率层级（如小目标用高分辨率特征图，大目标用低分辨率特征图），然后在该选定的特征图上对候选框区域执行感兴趣区域采样操作（如roi align或roi pooling），以获得固定空间尺寸的特征图，便于后续处理。

15、在一个优选的实施方案中，为了平衡检测精度与推理效率，在执行计算开销较大的特征解耦与多分支协同判别之前，该方法还包括一个预筛选步骤。该步骤根据各候选目标的基础分类得分进行快速排序，并仅筛选出得分排名前k（top-k）的候选目标。后续的精细化判别流程仅对这k个最有可能是真实缺陷的候选目标执行，从而大幅降低了整体计算量。

16、本发明的第二方面提供了一种工业零件缺陷检测系统，该系统被设计用于实现前述的方法。该系统包括：

17、一特征提取模块，配置用于加载并运行一个检测分割网络，以处理输入的待检测图像，提取多尺度特征，并生成包含候选框、基础分类得分及候选分割信息的候选目标。

18、一特征解耦模块，与特征提取模块连接，配置用于根据候选框提取候选框上下文特征，并利用候选分割信息将该上下文特征分离为候选前景特征与候选背景特征。

19、一协同判别模块，与特征解耦模块连接，配置用于接收解耦后的特征，并并行地执行前景真实性判别以输出前景判别得分，以及执行背景混淆风险判别以输出背景通过概率；以及用于融合所述候选目标位置对应的局部分类特征、所述候选框上下文特征与所述候选前景特征，生成一增强分类得分。

20、一联合重评分模块，与特征提取模块和协同判别模块连接，配置用于汇集基础分类得分、增强分类得分、前景判别得分和背景通过概率，计算最终置信度，并据此筛选候选目标，输出最终的缺陷检测结果。

21、本发明的第三方面提供了一种工业零件缺陷检测模型的训练方法，该方法用于训练前述方法和系统中所使用的深度学习模型。该方法包括如下步骤：

22、首先，构建一个训练样本集，该样本集不仅包含带有精确缺陷标注（边界框和分割掩码）的样本图像，也包含大量无任何缺陷的正常零件图像。

23、其次，采用一种课程式混合候选训练策略。在训练的初期阶段，主要使用真实标注框和由标签分配策略产生的正样本框作为候选来源，让模型先学习基础的判别能力。随着训练的进行，逐步提高由模型自身生成的预测框，以及从正常图像中挖掘出的高置信度误报候选框在训练批次中的采样比例。这种由易到难的训练方式有助于模型更好地适应推理阶段的真实情况。

24、然后，采用一个联合损失函数对整个网络的参数进行端到端优化。该联合损失函数是多个损失项的加权和，至少包含用于定位的主分类损失、用于前景真实性判别的前景判别损失，以及用于背景混淆风险判别的背景判别损失。此外，还可包括框回归损失、实例分割损失、增强分类损失等。

25、最后，该训练方法还包括一个迭代优化的闭环。周期性地（例如每隔若干个训练轮次），使用当前训练好的模型对正常图像库进行扫描，将新发现的高置信度误报候选框挖掘出来，并补充到训练流程中，从而持续地让模型学习并克服其最容易犯错的模式。

26、在一个优选的实施方案中，对于从正常图像中挖掘出的高置信度误报候选框，在训练时为其分配特定的监督信号。具体地，其在前景真实性判别任务中所对应的训练标签被设置为负样本（即非真实前景），而在背景混淆风险判别任务中所对应的训练标签被设置为正样本（即高风险背景），以此来专门训练辅助判别分支学习识别这些典型的易混淆背景模式。

27、本发明的有益效果为：

28、1.通过引入前景—背景协同判别模块，本发明能够对候选区域的内部特征进行精细化分析。具体地，通过计算背景混淆风险，能够有效识别并抑制那些由复杂背景纹理、划痕或光照不均引起的伪缺陷（即假阳性样本），使得模型不再仅仅依赖于粗略的分类特征，从而大幅提升检测结果的精确率。

29、2.通过设计分割上下文融合模块，本发明能够利用缺陷区域周围的上下文环境信息来辅助判断。对于那些特征微弱、对比度低或形态模糊的真实缺陷，即使其自身特征不足以产生高置信度得分，该模块也能通过分析其与周围正常背景的差异来确认其存在，从而有效挽救这些易被忽略的缺陷，显著提高了检测的召回率。

30、3.本发明将局部精判（前景—背景协同判别）与全局佐证（分割上下文融合）相结合，形成了一种双重校验机制。这种机制使得模型不仅关注缺陷本身，还关注缺陷与其所处环境的关系，从而对缺陷的判别更为全面和可靠。因此，本发明对于不同形态、尺寸的缺陷以及多变的工业背景环境表现出更强的鲁棒性和适应性。

31、4.本发明提出的联合重评分策略，将基础分类得分、前景置信度、背景通过概率以及上下文增强得分进行有机融合，生成了一个更为可靠的最终置信度。该最终置信度能够更准确地反映候选区域是真实缺陷的可能性。在后续的非极大值抑制（nms）处理中，使用这一高质量的置信度进行排序和筛选，能够更有效地保留最佳的检测框，同时剔除冗余和错误的检测框，最终实现平均精度均值（map）等核心性能指标的显著提升。