一种工业表面微缺陷检测的模型训练及微缺陷检测方法与流程

本发明涉及计算机视觉，具体涉及一种工业表面微缺陷检测的模型训练及微缺陷检测方法。

背景技术：

1、传统的工业表面缺陷检测方法通常基于阈值分割、边缘检测、模板匹配、频域滤波或人工设计特征完成检测。但这类方法对光照稳定性、产品姿态一致性和背景纹理规则性要求较高，当工件表面存在拉丝纹、反光、油污、压印纹、自然纹理或微划痕等微小缺陷时，容易产生误检或漏检。

2、基于深度学习的缺陷检测方法虽然能够学习缺陷特征，但工业缺陷具有明显的小样本和长尾特性，许多严重缺陷发生概率低，采集周期长，且缺陷形态受材料、工艺、光照和拍摄角度影响较大，导致真实标注数据难以覆盖全部工况。基于少量缺陷样本进行模型训练容易出现过拟合；仅基于正常样本进行模型训练，又容易把正常纹理变化误判为缺陷。

3、虽然可以通过生成式模型进行缺陷样本扩充，但该模型在图像生成时容易改变产品背景纹理、产生不符合物理规律的缺陷，或者生成与真实生产场景不一致的伪缺陷；依托海量通用图像预训练的视觉基础模型虽然具有较强的分割能力，但当其应用在工业微缺陷检测场景时，仍容易将纹理、反光、边缘或阴影误认为缺陷。

4、因此，现有方法易受工件固有纹理、反光、阴影等因素干扰而产生误检或漏检，同时受缺陷小样本、长尾特性的制约，模型泛化能力不足，难以实现工业表面微缺陷精准检测。

技术实现思路

1、本发明主要解决的技术问题是如何实现工业表面微缺陷的精准检测。

2、根据第一方面，一种实施例中提供一种用于工业表面微缺陷检测的模型训练方法，包括：

3、获取第一样本训练集；

4、根据所述第一样本训练集对预设的扩散模型进行训练，得到反事实扩散模型；所述反事实扩散模型用于根据所述第一样本训练集中的正常样本图像，生成反事实缺陷样本图像，所述反事实缺陷样本图像中的每个像素单元对应一个缺陷判定标签，所述缺陷判定标签用于表征该像素单元是否属于缺陷；

5、根据所述第一样本训练集以及所有反事实缺陷样本图像得到第二样本训练集；

6、通过双教师模型获取所述第二样本训练集中每个样本图像的像素级缺陷标签置信度，所述双教师模型包括第一教师模型与第二教师模型，对于所述第二样本训练集中任意一个样本图像：所述第一教师模型用于对该样本图像进行缺陷语义识别，得到该样本图像对应的第一缺陷概率图；所述第二教师模型用于对该样本图像进行纹理识别，得到该样本图像对应的第二缺陷概率图；根据所述第一缺陷概率图以及第二缺陷概率图进行一致性融合，得到该样本图像中每个像素单元的缺陷标签置信度；此时所述第二样本训练集中每个样本图像的每个像素单元对应一个缺陷判定标签以及一个缺陷标签置信度；

7、根据所述第二样本训练集对一个预设的学生模型进行训练，得到学生缺陷检测模型，所述学生缺陷检测模型用于进行工业表面微缺陷检测。

8、一实施例中，所述根据所述第一样本训练集对预设的扩散模型进行训练，得到反事实扩散模型，包括：

9、对于所述第一样本训练集中的任意一个正常样本图像：将该正常样本图像及其对应的预设的缺陷类型、预设的缺陷位置掩膜与预设的缺陷强度参数输入到所述扩散模型中，得到该正常样本图像对应的预测噪声；所述缺陷位置掩膜用于确定缺陷的生成范围；

10、根据该正常样本图像对应的预测噪声得到该正常样本图像的反事实缺陷样本图像以及所述反事实缺陷样本图像中每个像素单元的缺陷判定标签；

11、根据每个正常样本图像对应的真实噪声以及所述预测噪声计算主损失函数；

12、根据该正常样本图像对应的缺陷位置掩膜以及所述反事实缺陷样本图像计算背景一致性约束损失；

13、根据所述反事实缺陷样本图像计算缺陷形态约束损失，所述缺陷形态约束损失用以保证所述反事实缺陷样本图像中缺陷区域的物理形态，所述缺陷形态约束损失包括连续性约束、曲率约束以及尺寸约束，所述连续性约束用以约束所述反事实缺陷样本图像中缺陷的连续性，所述曲率约束用于约束所述反事实缺陷样本图像中缺陷的弯曲平滑程度，所述尺寸约束用于约束所述反事实缺陷样本图像中缺陷的尺寸范围；

14、根据所述主损失函数以及所述背景一致性约束损失、所述缺陷形态约束损失得到反事实总损失函数；

15、根据反事实总损失函数对所述扩散模型进行训练，将训练完成后的所述扩散模型作为反事实扩散模型。

16、一实施例中，所述第二教师模型用于对该样本图像进行纹理识别，得到该样本图像对应的第二缺陷概率图，包括：

17、获取预先训练的纹理重建模型，所述纹理重建模型通过所述第一样本训练集对一预设模型进行训练后得到，用以学习正常纹理分布；

18、将该样本图像输入到所述纹理重建模型中，得到该样本图像对应的重建图像；

19、根据该样本图像及其对应的重建图像得到该样本图像对应的第二缺陷概率图。

20、一实施例中，所述根据所述第一缺陷概率图以及第二缺陷概率图进行一致性融合，得到该样本图像中每个像素单元的缺陷标签置信度，包括：

21、所述第一缺陷概率图中每个像素单元对应的数值为该像素单元的第一缺陷概率，用以表示由第一教师模型输出的该像素单元属于缺陷的概率；

22、所述第二缺陷概率图中每个像素单元对应的数值为该像素单元的第二缺陷概率，用以表示由第二教师模型输出的该像素单元属于缺陷的概率；

23、根据每个像素单元的第一缺陷概率与第二缺陷概率，得到该像素单元对应的教师分歧不确定度；

24、根据每个像素单元的第一缺陷概率、第二缺陷概率以及教师分歧不确定度进行教师一致性融合，得到该像素单元对应的缺陷标签置信度。

25、一实施例中，所述根据所述第二样本训练集对一个预设的学生模型进行训练，得到学生缺陷检测模型，包括：

26、在所述第二样本训练集中，当每个样本图像中的一个像素单元对应的缺陷判定标签表示该像素单元属于缺陷时，该像素单元还对应一个缺陷类型标签，所述缺陷类型标签用以表示该像素单元所属的缺陷类型；

27、将所述第二样本训练集中的每个样本图像依次输入到预设的学生模型中，得到每个样本图像的预测结果，在每个样本图像对应的预测结果中，该样本图像中的每个像素单元对应一个缺陷判定概率以及该像素单元属于不同缺陷类型的类型概率；

28、根据每个样本图像及其预测结果计算学生总损失函数；所述学生总损失函数包括缺陷分割损失、缺陷分类损失、样本一致性约束损失、异常评分排序损失以及背景保持约束损失；

29、其中，根据每个样本图像中各像素单元的缺陷判定概率、缺陷判定标签与缺陷标签置信度，计算缺陷分割损失；

30、根据每个样本图像中各像素单元属于不同缺陷类型的类型概率、缺陷类型标签以及缺陷标签置信度，计算缺陷分类损失；

31、获取每个样本图像在经过图像增强变换后的样本增强图像，将该样本增强图像通过所述学生模型得到的预测结果，作为该样本图像对应的增强预测结果；根据每个样本图像对应的预测结果以及增强预测结果计算样本一致性约束损失；

32、获取每个反事实缺陷样本图像对应的正常样本图像，根据每个反事实缺陷样本图像对应的预测结果以及该反事实缺陷样本图像对应正常样本图像的预测结果，计算异常评分排序损失；

33、根据每个样本图像对应预测结果中属于背景区域的像素单元对应的缺陷判定概率计算背景保持约束损失；

34、根据所述学生总损失函数对所述学生模型进行训练，将训练完成的所述学生模型作为学生缺陷检测模型。

35、一实施例中，所述根据每个反事实缺陷样本图像对应的预测结果以及该反事实缺陷样本图像对应正常样本图像的预测结果，计算异常评分排序损失，包括：

36、对于任意一个反事实缺陷样本图像：根据该反事实缺陷样本图像中各个像素单元的缺陷判定概率，得到该反事实缺陷样本图像对应的第一缺陷评分；根据该反事实缺陷样本图像对应的正常样本图像中各个像素单元的缺陷判定概率，得到该正常样本图像对应的第二缺陷评分；

37、根据所述第一缺陷评分以及所述第二缺陷评分得到异常评分排序损失，包括：计算所述第二缺陷评分与预设最小评分间隔的相加结果，计算所述相加结果与所述第一缺陷评分之间的差值；将所述差值与0之间的最大值作为该反事实缺陷样本图像对应的样本损失值；

38、根据所有反事实缺陷样本图像对应的样本损失值得到异常评分排序损失。

39、根据第二方面，一种实施例中提供一种工业表面微缺陷检测方法，包括：

40、获取待测图像；

41、将所述待测图像输入到学生缺陷检测模型中，得到所述待测图像的预测结果，所述预测结果中包括各像素单元对应的缺陷判定概率以及该像素单元属于不同缺陷类型的类型概率；其中，所述学生缺陷检测模型通过上述用于工业表面微缺陷检测的模型训练方法训练得到；

42、根据所述待测图像中各像素单元属于不同缺陷类型的类型概率，得到所述待测图像中各像素单元的缺陷类型；

43、获取所述待测图像中各像素单元的检测不确定度；根据各个像素单元的检测不确定度，得到所述待测图像中的缺陷区域以及所述缺陷区域对应的缺陷类型。

44、一实施例中，所述获取所述待测图像中各像素单元的检测不确定度，包括：

45、根据所述待测图像以及所述学生缺陷检测模型得到所述待测图像对应的第一不确定度图像；所述第一不确定度图像中每个像素单元对应的数值用以表征该像素单元对应的推理稳定度；

46、获取所述待测图像对应的第二不确定度图像，所述第二不确定度图像在所述学生缺陷检测模型的训练过程中得到，所述第二不确定度图像中每个像素单元对应的数值用以表征该像素单元的基础误差程度；

47、根据各像素单元的第一不确定度以及第二不确定度得到该像素单元对应的检测不确定度，根据所述检测不确定度判断该像素单元是否为缺陷的判定结果是否可靠。

48、一实施例中，还包括：

49、对于所述待测图像中的任意一个缺陷区域：获取该缺陷区域对应的缺陷信息，所述缺陷信息包括该缺陷区域的面积、最大连通长度、平均对比度以及缺陷位置对应的位置风险系数中的多个；

50、根据所述待测图像中的缺陷区域对应的缺陷信息计算缺陷严重度。

51、根据第三方面，一种实施例提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现上述用于工业表面微缺陷检测的模型训练方法以及工业表面微缺陷检测方法。

52、依据上述实施例的一种用于工业表面微缺陷检测的模型训练方法，通过反事实扩散模型以正常样本为基础，仅在指定区域生成局部缺陷，同时保持背景纹理和拍摄条件不变，生成具有明确掩膜标签的缺陷训练样本，从而在真实缺陷样本极少甚至仅有正常样本的情况下构建可训练数据，极大地减少人工标注量；通过物理先验约束的缺陷生成机制，针对划痕、裂纹、凹坑、脏污等不同缺陷类型，引入连续性、曲率、尺度和背景一致性约束，使生成缺陷更符合工业表面真实形态；而后，通过双教师一致性伪标签融合方法对缺陷标签的可靠性进行双重校验，结合两个教师输出的缺陷概率以及两个教师之间的教师分歧不确定度配置缺陷标签置信度，以调整每个样本图像中各像素单元在学生缺陷检测模型训练过程中的贡献权重，从而生成更加可靠的第二样本训练集；基于该第二样本训练集对轻量级学生模型进行训练，在此过程中，基于反事实缺陷样本与正常样本之间的排序训练机制，使学生模型不仅可以学习缺陷特征，还可以学习同一产品在正常状态与缺陷状态之间的异常评分差异，从而提高学生缺陷检测模型在小样本场景下的识别能力；基于样本一致性约束损失使学生缺陷检测模型能够很好地适应光照与纹理变化造成的检测波动，由此得到一个更加精准、可靠的微缺陷检测模型。

53、依据上述实施例的一种工业表面微缺陷检测方法，基于上述模型训练方法训练得到的轻量级学生缺陷检测模型对待测图像进行缺陷检测，初步识别待测图像中的缺陷区域及其缺陷类型，可满足产线边缘设备的实时检测需求；通过对待测图像进行多尺度和/或多次推理评估推理稳定度，结合训练过程中各坐标对应像素单元的历史分歧信息计算待测图像的检测不确定度，根据检测不确定度判断学生缺陷检测模型的缺陷检测结果是否可靠，实现不确定度抑制，从而自动识别缺陷或进行人工复核，在人工复核结果与缺陷检测模型的检测结果不一致时，对该样本进行收集以进行模型在线或离线更新，实现模型的闭环优化；通过对缺陷区域的缺陷严重度进行量化，使得缺陷检测结果更直观，且通过将所得缺陷检测结果与工艺参数、产线批次、设备编号等进行关联，支持缺陷追溯和工艺参数优化。