一种基于迁移学习的类别不平衡表面缺陷检测方法与流程

1.本发明属表面缺陷检测、目标检测技术领域，具体涉及一种基于迁移学习的类别不平衡表面缺陷检测方法。


背景技术：

2.表面缺陷检测是制造业中非常重要的一项研究内容，对产品进行表面缺陷检测，可以及时的发现并控制这些缺陷带来的不良影响。传统的基于机器视觉的表面缺陷检测方法,往往采用常规图像处理算法或人工设计特征加分类器的方式。但是，在真实复杂的工业环境下,表面缺陷检测往往面临诸多挑战，例如缺陷尺度变化大且缺陷图像中存在噪声等情形，此时经典方法往往显得束手无策，难以取得较好的检测效果。
3.近些年来,随着以卷积神经网络(convolutional neural networks，cnn)为代表的深度学习模型在诸多计算机视觉领域成功应用，不少基于深度学习的缺陷检测方法也被广泛应用在表面缺陷检测任务中，不仅可以提高缺陷分类的性能，还能实现缺陷的定位。一些方法是为缺陷位置生成候选框，然后对候选框进行分类。虽然基于深度学习的方法在某些情况下表现良好，但它们在实际工业环境中无法工作，因为缺陷类别的分布往往是不平衡的，即常见缺陷类别有很多样本，而罕见缺陷类别样本极少。
4.目前针对少样本的模型训练问题，已经有四种方法：数据增强、弱监督学习、半监督学习、元学习。最常用的缺陷图像扩增方法是对原始缺陷样本采用镜像、旋转、平移、扭曲等多种图像处理操作来获取更多的样本。基于弱监督的方法是指采用图像级别类别标注(弱标签)来获取分定位级别的检测效果，如marino等人在文献“marino,sofia,pierre beauseroy,and andr
éꢀ
smolarz."weakly
‑
supervised learning approach for potato defects segmentation."engineering applications of artificial intelligence 85(2019):337
‑
346.”中提出采用一种基于prm(peak response maps)弱监督学习方法来对马铃薯表面缺陷进行分类、定位和分割，这类方法仍然需要较多数量的若标注图像，不适用于数据极其少的情况。半监督学习通常会使用大量的未标记数据和少部分有标签的数据用于表面缺陷检测模型的训练，如gao等人在文献“gao,yiping,et al."a semi
‑
supervised convolutional neural network
‑
based method for steel surface defect recognition."robotics and computer
‑
integrated manufacturing 61(2020):101825.”中提出了一种使用卷积神经网络的半监督学习方法来分类钢表面缺陷，通过采用伪标签改进了分类cnn的性能。目前，基于半监督的方法大部分用于解决缺陷分类任务，还没有广泛应用到缺陷定位中。元学习的主要目标是学习先验知识并将其用于快速适应一个新任务。


技术实现要素：

5.为了克服现有技术的不足，本发明提供一种基于迁移学习的类别不平衡表面缺陷检测方法。首先，对获取的缺陷图像进行分类标注，划分为常见缺陷图像和稀有缺陷图像，并对图像进行增强处理；然后，利用cnn网络对缺陷图像进行特征提取，利用特征重加权模
块提取图像的特征权重，以二者的深度卷积作为缺陷类别图像的特征；接着，利用缺陷定位网络提取得到缺陷位置和特征，再利用距离度量值计算缺陷类别概率，得到检测结果。其中，特征重加权可以提供特定类别的特征权重，距离度量的分类方法可以减少参数，有效避免稀有缺陷样本过少导致的模型过拟合问题；利用两阶段的迁移学习方法，实现从常见缺陷到稀有缺陷检测的迁移，对模型进行泛化，提高表面缺陷检测的识别率。
6.一种基于迁移学习的类别不平衡表面缺陷检测方法，其特征在于步骤如下：
7.步骤1：将所获取的表面缺陷图像中图像数量占比超过10％的缺陷类别归为常见缺陷，其他归为稀有缺陷，并对所有缺陷图像进行数据增强处理，增强处理前后的图像共同构成扩展的表面缺陷图像数据集；
8.步骤2：对每一幅常见缺陷图像利用cnn网络进行特征提取，得到对应的由m个特征图组成的特征f∈r
w
×
h
×
m
，其中，w表示特征图的宽度，h表示特征图的高度，m表示特征图的数量；
9.步骤3：将常见缺陷类别i的所有缺陷图像和其对应的缺陷位置标签输入到特征重加权模块，得到该类别缺陷图像对应的重加权向量w
i
∈r
m
，i＝1,2,
…
,n，n表示常见缺陷类别数量；所述的特征重加权模块是包括两个卷积层的卷积神经网络；
10.步骤4：将步骤2得到的特征f与步骤3得到的重加权向量w
i
按下式进行1
×
1的深度卷积，得到常见缺陷类别i的特征f
i
：
[0011][0012]
其中，i＝1,2,
…
,n；
[0013]
步骤5：将步骤4得到的特征f
i
输入缺陷定位网络rpn网络，得到缺陷位置特征l以及该位置的特征并对进行roi池化操作，使大小一致，i＝1,2,
…
,n；所述的缺陷定位网络包括顺序连接的1个3*3的卷积、1个1*1的卷积和softmax函数；
[0014]
步骤6：按下式计算常见缺陷类别i的表示c
i
：
[0015][0016]
其中，k表示常见缺陷类别i的图像数量；
[0017]
步骤7：按下式计算缺陷图像x属于常见缺陷类别i的概率p(y＝i|x)：
[0018][0019]
其中，表示特征与类别表示c
i
的平方欧氏距离，i＝1,2,
…
,n；
[0020]
将最大概率值p(y＝i|x)对应的缺陷类别作为图像x的缺陷分类结果；
[0021]
步骤8：用稀有缺陷图像代替常见缺陷图像，重复步骤3
‑
7，得到稀有缺陷类别检测结果。
[0022]
本发明的有益效果是：由于采用了图像增强处理，对样本数量进行了扩展，避免模型训练时由于样本过少而导致模型出现过拟合现象；由于设计了特征重加权模块，以缺陷图像及其标注为输入，学习将这些信息嵌入到重加权向量中，调整特征图的权重，提高检测模型对不同缺陷类别的识别性能；由于设计了距离度量模块，为每个缺陷类别生成一种类
别表示，通过计算待测样本表示与各种类别表示之间的欧式距离进行缺陷分类；由于采用首先将常见缺陷图像送入模型进行学习，再将稀有缺陷图像送入模型进行微调的两阶段模型训练，可以实现检测模型对类别不平衡数据集的表面缺陷检测。
附图说明
[0023]
图1是本发明的基于迁移学习的类别不平衡表面缺陷检测方法流程图；
[0024]
图2是采用不同方法进行缺陷检测性能对比示意图。
具体实施方式
[0025]
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
[0026]
如图1所示，本发明提供了一种基于迁移学习的类别不平衡表面缺陷检测方法，其具体实现过程如下：
[0027]
步骤1：将所获取的表面缺陷图像中图像数量占比超过10％的缺陷类别归为常见缺陷，其他归为稀有缺陷，并对所有缺陷图像进行数据增强处理，增强处理前后的图像共同构成扩展的表面缺陷图像数据集；
[0028]
步骤2：对每一幅常见缺陷图像利用cnn网络进行特征提取，得到对应的由m个特征图组成的特征f∈r
w
×
h
×
m
，其中，w表示特征图的宽度，h表示特征图的高度，m表示特征图的数量；
[0029]
步骤3：将常见缺陷类别i的所有缺陷图像和其对应的缺陷位置标签输入到特征重加权模块，得到该类别缺陷图像对应的重加权向量w
i
∈r
m
，i＝1,2,
…
,n，n表示常见缺陷类别数量；所述的特征重加权模块是包括两个卷积层的卷积神经网络；
[0030]
步骤4：将步骤2得到的特征f与步骤3得到的重加权向量w
i
按下式进行1
×
1的深度卷积，得到常见缺陷类别i的特征f
i
：
[0031][0032]
其中，i＝1,2,
…
,n；
[0033]
步骤5：将步骤4得到的特征f
i
输入缺陷定位网络rpn网络，得到缺陷位置特征l以及该位置的特征并对进行roi池化操作，使大小一致，i＝1,2,
…
,n；所述的缺陷定位网络包括顺序连接的1个3*3的卷积、1个1*1的卷积和softmax函数；
[0034]
步骤6：按下式计算常见缺陷类别i的表示c
i
：
[0035][0036]
其中，k表示常见缺陷类别i的图像数量；
[0037]
步骤7：按下式计算缺陷图像x属于常见缺陷类别i的概率p(y＝i|x)：
[0038][0039]
其中，表示特征与类别表示c
i
的平方欧氏距离，i＝1,2,
…
,n；
[0040]
将最大概率值p(y＝i|x)对应的缺陷类别作为图像x的缺陷分类结果；至此，对于
常见缺陷的模型学习过程称为基础训练阶段。
[0041]
步骤8：用稀有缺陷图像代替常见缺陷图像，重复步骤3
‑
7，将此过程称为少样本微调阶段，得到稀有缺陷类别检测结果。
[0042]
为验证本发明方法的有效性，采用不同方法在铝材型表面缺陷图像数据集上进行仿真实验，采用的对比方法有tl方法、tl fr方法，并计算ap作为性能对比指标，图2给出了不同方法计算得到的铝材表面缺陷检测结果，其中，横坐标轴表示缺陷种类，包括漏底、起坑、脏点、桔皮、擦花、凸粉；tl方法为使用两阶段策略训练的faster r
‑
cnn网络进行缺陷检测，tl fr方法为使用两阶段策略训练的带有特征重加权模块的faster r
‑
cnn网络进行缺陷检测，tl
‑
sdd方法为本发明方法。可以看出，本发明方法对所列类别的检测效果均有提升，尤其对于稀有缺陷的检测效果提升明显，说明其对于类别不平衡的表面缺陷检测具有实际意义。