基于深度学习模型AGLNet的工业产品表面缺陷自适应检测方法与流程

基于深度学习模型aglnet的工业产品表面缺陷自适应检测方法
技术领域
1.本发明属于产品缺陷检测技术领域，涉及一种基于深度学习模型 aglnet的工业产品表面缺陷自适应检测方法。


背景技术：

2.我国的工业制造产业发展方向朝着高可靠性、高精度、零缺陷和 智能化高速发展。高精度、高速度且稳定程度高是工业产品缺陷检测 与识别过程中的重要一环，产品部件表面是否存在缺陷时判定一个产 品是否满足工业质量要求的重要依据。传统工业上对产品部件表面缺 陷的识别与检测主要是通过人工质检的方式完成，但是人工检测方法 耗费大量人力，且存在效率低、精度低且人力成本高等问题，满足不 了长时间的实时检测的需求。因此，在实际的工业缺陷检测中迫切需 要使用机器通过使用计算机技术来自动检测产品表面的缺陷。
3.基于人工特征的机器视觉检测技术在一定程度上弥补了人工质 检的弊端，实现了缺陷自动检测，具有分类能力强、检测精度高和检 测成本低等优点，提高了工业生产良品率。但是该检测方法仍然存在 以下不足之处，难以满足工业生产的实际需求：首先，人工特征提取 过程复杂，且特征信息很难包含所有缺陷特征；第二，特征提取依然 存在人为介入过多的问题，依赖于人为设计的特征，很难具有良好的 可移植性；同时，在较为复杂的检测环境、复杂缺陷空间集聚或者多 目标的检测环境中，基于机器视觉的检测准确度相对较差，且泛化能 力较差；最后，当被检测的产品类型发生变化后，所有基于机器视觉 的算法和参数都需要重新设计和开发。


技术实现要素：

4.为解决上述问题，提供一种高效率、高精度以及良好适用性的缺 陷检测方法，本发明采用了如下技术方案：
5.本发明提供了一种基于深度学习模型aglnet的工业产品表面 缺陷自适应检测方法，其特征在于，包括以下步骤：步骤s1，对流水 线上的工业产品的表面缺陷进行图像采集得到缺陷图像；步骤s2， 基于图像标注模块对缺陷图像进行人为标注，得到不同类别的标签文 件；步骤s3，对缺陷图像进行图像增强操作得到增强图像；步骤s4， 将标签文件以及对应的增强图像作为表面缺陷数据集；步骤s5，构 建基于深度学习网络的缺陷检测器模型，将表面缺陷数据集作为输入， 基于深度学习模型aglnet对制造过程的缺陷数据进行训练；步骤 s6，通过训练好的aglnet模型对工业生产线上的产品进行实时缺陷 检测，获取缺陷的类型以及位置信息；步骤s7，对缺陷的类型以及位 置信息进行整理统计，分析缺陷产生的原因，其中，深度学习模型 aglnet由resnet_fpn特征提取网络、at
‑
rpn候选框提取网络以 及global local regression算法模块合并得到。
6.本发明提供的基于深度学习模型aglnet的工业产品表面缺陷 自适应检测方法，
还可以具有这样的技术特征，其中，图像增强操作 为对缺陷图像进行图像反转、图像平移、图像亮度变化以及增强噪声。
7.本发明提供的基于深度学习模型aglnet的工业产品表面缺陷 自适应检测方法，还可以具有这样的技术特征，其中，标签文件含有 缺陷类别信息以及缺陷位置信息，标签文件为xml文件，每一张缺陷 图像对应一个xml文件。
8.本发明提供的基于深度学习模型aglnet的工业产品表面缺陷 自适应检测方法，还可以具有这样的技术特征，其中，resnet_fpn特 征提取网络由一个以残差网络和特征金字塔网络为骨干的卷积神经 网络构建而成，resnet_fpn特征提取网络工作过程包括如下步骤： 基于残差网络对缺陷图像按低纬度到高纬度的顺序进行特征提取，生 成每个阶段的特征图；基于特征金字塔网络对各阶段的特征图进行从 高纬度到低纬度的上采样以及横向连接操作，将特征图进行网络卷积， 最终得到从高纬度抽象特征到低纬度底层特征的不同尺度的特征图。
9.本发明提供的基于深度学习模型aglnet的工业产品表面缺陷 自适应检测方法，还可以具有这样的技术特征，其中，at
‑
rpn候选 框提取网络用于对缺陷数据集中矩形状的标注进行自适应提取，自适 应提取包括如下步骤：步骤a1，将不同尺度的特征图依次输入至at
‑ꢀ
rpn候选框提取网络，基于初始化的参数设置自动生成若干个不同 尺度的锚框，依次在各层的特征图上进行滑动；步骤a2，基于步骤 a1和预定的参数优化算法，随着迭代生成最优化的锚框参数以及锚 框，并获取缺陷目标存在的多个候选区域；步骤a3，根据iou原则， 基于锚框选择出存在缺陷的候选区域，对每个被锚框框中的候选区域 进行iou计算，将iou大于0.7的视为正样本加入后续运算，iou小 于0.3的视为负样本加入后续运算，其他区域视为无用样本不加入后 续运算；步骤a4，提取a3步骤中筛选后的候选区域中缺陷的类别和 信息位置信息，并与缺陷目标的真实信息进行比较，分别计算出at
‑ꢀ
rpn预测出的位置信息与真实位置信息的差值以及at
‑
rpn预测出 的类别信息与真实类别信息的差值，将差值输入到损失函数的计算中， 不断优化减少损失。
10.本发明提供的基于深度学习模型aglnet的工业产品表面缺陷 自适应检测方法，还可以具有这样的技术特征，其中，global localregression算法模块对筛选后的候选区域进行回归计算得到缺陷目标 的位置信息，at
‑
rpn候选框提取网络对筛选后的候选区域进行分类 得到缺陷目标的类别信息。
11.发明作用与效果
12.根据本发明的基于深度学习模型aglnet的工业产品表面缺陷 自适应检测方法，由训练好的深度学习模型aglnet对缺陷图像中的 缺陷目标进行特征提取以及分类回归检测得到缺陷图像中的缺陷信 息。该深度学习模型由resnet_fpn特征提取网络、at
‑
rpn候选框 提取网络以及global local regression算法模块合并得到，在 resnet_fpn特征提取网络对缺陷图像进行网络卷积得到特征图后， 由at
‑
rpn候选框提取网络对特征图进行特征提取得到候选区域，在 对每个候选区域进行筛选后，由global local regression算法模块对筛 选后的候选区域进行回归计算得到缺陷目标的信息。
13.因此，本发明的基于深度学习模型aglnet的工业产品表面缺陷 自适应检测方法，无需先验知识的测试积累，抛弃人为调参的模式， 降低了计算机的内存需求，缓解缺陷形状差异较大，空间位置密集导 致的检测精度低问题，大大提高了制造业中缺陷检测的效
率，避免了 因作业环境复杂，主观判断失误等导致的错误检测结果，实现能更好 更精确地进行缺陷检测，实现实时在线检测，在复杂环境和多目标场 景中具有良好的适用性。
附图说明
14.图1是本发明实施例中的基于深度学习模型aglnet的工业产品表 面缺陷自适应检测方法流程图；
15.图2是本发明实施例中的基于深度学习模型aglnet的工业产品表 面缺陷自适应检测方法的卷积神经网络的结构示意图；
16.图3是本发明实施例中的at
‑
rpn候选框提取网络的结构示意图；
17.图4是本发明实施例中的tpe自适应的锚框参数调节模块流程图。
具体实施方式
18.为了使本发明实现的技术手段、创作特征、达成目的与功效易于 明白了解，以下结合实施例及附图对本发明的基于深度学习模型 aglnet的工业产品表面缺陷自适应检测方法作具体阐述。
19.<实施例>
20.本实施例的基于深度学习模型aglnet的工业产品表面缺陷自 适应检测方法基于一台计算机实现，该计算机采用的硬件配置为 intel(r)core(tm)i7
‑
8700k处理器,gtx 1080ti显卡，软件环境为 cuda10.0和cudnn7.6，开发环境为ubuntu18.04。
21.图1是本发明实施例中的基于深度学习模型aglnet的工业产 品表面缺陷自适应检测方法流程图。
22.如图1所示，基于深度学习模型aglnet的工业产品表面缺陷自 适应检测方法包括以下步骤：
23.步骤s1，对流水线上的工业产品的表面缺陷进行图像采集得到 缺陷图像。
24.步骤s2，基于图像标注模块对增强图像中的缺陷进行人为标注， 得到不同类别的标签文件。
25.本实施例中，标签文件含有缺陷类别信息以及缺陷位置信息，该 标签文件为xml文件，每一张缺陷图像对应一个xml文件。
26.步骤s3，对缺陷图像进行图像增强操作得到增强图像。
27.本实施例中，图像增强操作为对缺陷图像进行图像反转、图像平 移、图像亮度变化以及增强噪声。
28.步骤s4，将标签文件以及对应的增强图像作为表面缺陷数据集。
29.步骤s5，构建基于深度学习网络的缺陷检测器模型，将表面缺 陷数据集作为输入，基于深度学习模型aglnet对制造过程的缺陷数 据进行训练。
30.步骤s6，通过训练好的aglnet模型对工业生产线上产品进行 实时缺陷检测，获取缺陷的类型以及位置信息。
31.步骤s7，对缺陷的类型以及位置信息进行整理统计，分析缺陷 产生的原因。
32.本实施例中，深度学习模型aglnet通过pycharm和开源的深度 学习框架pytorch1.1.0来完成，在训练中使用sgd优化器优化网络 参数，该aglnet模型由resnet_
fpn特征提取网络、at
‑
rpn候选 框提取网络以及global local regression算法模块合并得到。具体地：
33.resnet_fpn特征提取网络由一个以残差网络和特征金字塔网络 为骨干的卷积神经网络构建而成。
34.图2是本发明实施例中的基于深度学习模型aglnet的工业产 品表面缺陷自适应检测方法的卷积神经网络的结构示意图。
35.如图2所示，resnet_fpn特征提取网络工作过程如下：
36.首先，基于残差网络对缺陷图像按低纬度到高纬度的顺序进行特 征提取，生成每个阶段的特征图{c2,c3,c4,c5}；
37.然后，基于特征金字塔网络对各阶段的特征图{c2,c3,c4,c5}进 行从高纬度到低纬度的上采样以及横向连接操作，将特征图进行网络 卷积，最终得到从高纬度抽象特征到低纬度底层特征的不同尺度的特 征图。具体地：
38.特征图c5经过256个1
×
1卷积得到t5，特征图c4经过256个 1
×
1卷积得到的结果与t5经过上采样得到的结果进行张量相加得到 t4。
39.本实施例中，t3和t2的获取流程与t4的获取流程一致，在此 不再赘述。
40.最终基于张量相加得到的{t5,t4,t3,t2}分别经过256个3
×
3的 卷积，得到从高维度抽象特征到低维度底层特征的不同尺度的特征图。
41.图3是本发明实施例中的at
‑
rpn候选框提取网络的结构示意 图。
42.如图3所示，at
‑
rpn候选框提取网络用于对表面缺陷数据集中 矩形状的标注进行自适应提取，即，基于参数优化生成并筛选出的最 优锚框得到存在缺陷目标的候选区域，再对该候选区域的缺陷目标进 行位置与类别的预测。具体地：
43.该自适应提取包括如下步骤：
44.步骤a1，将不同尺度的特征图依次输入至at
‑
rpn候选框提取 网络，基于初始化的参数设置自动生成若干个不同尺度的锚框，依次 在各层的特征图上进行滑动。
45.本实施例中，使用256个3
×
3的锚框依次在各层的特征图上进行 滑动。
46.步骤a2，基于步骤a1和预定的参数优化算法，随着迭代生成最 优化的锚框参数以及锚框，并获取缺陷目标存在的多个候选区域。
47.本实施例中，该预定的参数优化算法为tpe优化算法，基于该 tpe优化算法形成自适应的锚框参数调节模块，根据该锚框参数调节 模块生成最优化的锚框参数，在窗口滑过的每一个位置映射出一个具 有固定尺寸和不同高宽比的锚框。
48.步骤a3，根据iou原则，基于锚框选择出存在缺陷的候选区域， 对每个被锚框框中的候选区域进行iou计算，将iou大于0.7的视为 正样本加入后续运算，iou小于0.3的视为负样本加入后续运算，其 他区域视为无用样本不加入后续运算。
49.在本实施例的深度学习模型aglnet的训练过程中，给每个锚框 分配一个二进制标签，采用iou交并比的方式，判断候选区域属于目 标还是背景，交并比iou表示锚框和目标真实标定框之间的交集面积 和并集面积之比，定义为：
50.51.式中，l为分配的二进制标签，当候选区域的iou大于等于0.7时，标记该候选区域为正样本，并将该候选区域加入后期运算；当候选区域的iou小于0.3时，标记该候选区域为负样本，不加入后期运算。
52.步骤a4，提取a3步骤中筛选后的候选区域中缺陷的类别信息和位置信息，并与缺陷目标的真实信息进行比较，分别计算出at
‑
rpn预测出的位置信息与真实位置信息的差值以及at
‑
rpn预测出的类别信息与真实类别信息的差值，将差值输入到损失函数的计算中，不断优化减少损失。
53.本实施例中，将表面缺陷数据集作为输入不断训练，迭代获取更优化的锚框生成参数，更快且更优的获取候选区域信息。
54.图4是本发明实施例中的tpe自适应的锚框参数调节模块流程图。
55.如图4所示，在at
‑
rpn候选框提取网络中，对于一个待优化的超参数模型：
[0056][0057]
式中，x为待优化的超参数模型中的超参数，χ是超参数的范围。
[0058]
转换待优化算法为目标函数：
[0059]
x
ξ 1
＝arg
x
maxγ(x；ψ
ξ
)(2)
[0060]
式中，arg
x
maxγ(x；ψ
ξ
)为采集函数(acquisitionfunction)，作用是在每次迭代中，在现有的众多超参数中决定输入的超参数。
[0061]
在优化过程的每一次迭代{ξ＝1,2,3...}，选取一个输入的超参数{x
ξ
∈χ}，输入到原模型γ(x)中，得到的结果为：
[0062]
y
t
＝γ(x；ψ
ξ
) ∈(3)
[0063]
式中，∈为零，是平均值的高斯分布的噪音，其中，σ是噪音的方差。
[0064]
至此观察到这一组值{x
ξ
,y
ξ
}，并加入到现有的观察到的数据：
[0065]
ψ
ξ 1
＝{ψ
ξ
,(x
ξ 1
,y
ξ 1
)}(4)
[0066]
式中，ψ
ξ
为现有观察到的数据，在新数据加入后进行下一轮迭代。
[0067]
本实施例中，采用的期望函数是：
[0068][0069]
式中，y
*
是目标函数的阈值，x是建议的超参数，y是使用超参数x的目标函数的实际值，p(y|x)是表示在给出x后y的概率。
[0070]
tpe优化算法，在遵循贝叶斯优化的基础上，设置：
[0071][0072]
由公式(6)得到，当目标函数的值低于阈值{y<y
*
}时，采用密度函数l(x)；当目标函数值大于阈值{y>y
*
}时，采用密度函数g(x)。
[0073]
构建tpe优化算法的ei函数则为：
[0074][0075]
本实施例中，设置γ＝p(y<y
*
)，γ为目标函数的值低于阈值的概率，且：
[0076]
p(x)＝∫p(x|y)p(y)dy＝γl(x) (1
‑
x)g(x)(8)
[0077]
根据上述，得到：
[0078][0079]
则原ei函数可以转换为：
[0080][0081]
在每次迭代中，tpe优化算法可以决定得到最优ei的x
*
作为候选超参数点加入ψ
ξ
中，进行下一步迭代，直至达到最大迭代次数或者时间。
[0082]
本实施例中，at
‑
rpn网络的损失函数由分类损失函数和回归函数构成，定义为：
[0083][0084][0085]
式中，p
i
表示第i个锚框的预测概率，p
i*
表示iou标定的概率，即：
[0086]
当标定框包含目标时，p
i*
＝1；
[0087]
当标定框不包含目标时，p
i*
＝0。
[0088]
在式(12)中，n
cls
，n
reg
和μ为固定值，l
cls
(
·
)表示是否为目标的对数损失函数：
[0089]
l
cls
(p
i
,p
i*
)＝
‑
log[p
i
p
i*
(1
‑
p
i
)(1
‑
p
i*
)](13)
[0090]
式中，l
reg
(
·
)表示修正参数后的回归损失函数，定义为：
[0091]
l
reg
(r
i
,r
i*
)＝∑
i∈{x,y,w,h}
smooth
l
(r
i
‑
r
i*
)。(14)
[0092]
步骤s5，将待测缺陷图像输入至缺陷检测器模型进行特征提取以及分类回归，得到待测缺陷图像中缺陷的信息。
[0093]
本实施例中，由globallocalregression算法模块对筛选后的候选区域进行回归计算得到缺陷目标的位置信息，由at
‑
rpn候选框提取网络对筛选后的候选区域进行分类得到缺陷目标的类别信息。具体地：
[0094]
图2是本发明实施例中的基于深度学习模型aglnet的工业产品表面缺陷自适应检测方法的卷积神经网络的结构示意图。
[0095]
如图2所示，首先，基于roialign得到被分成k
×
k单元的特征 图，将每一个单元的特征信息输入到全卷积网络中，计算每个单元特 征u
i
在各自位置(x
i
，y
i
)到真实标定框g左上角和右下角的距离，借 此做位置偏移量(box offsets)的预测，以确定缺陷目标的精确位置。
[0096]
具体地：
[0097]
特征图各单元格位置偏移量定义如下：
[0098][0099][0100]
式中，l
i
，t
i
，r
i
，b
i
分别表示单元格到真实标定框左边界、上边 界、右边界和下边界的距离，(x
i
，y
i
)表示单元格的位置坐标，(x
l
， y
t
)和(x
r
，y
b
)表示真实标定框左上角和右下角的坐标。
[0101]
然后基于稀硫化操作对每个单元格进行标签化，基于二项分类预 测算法判断每个单元格的特征，即判断单元格属于前景特征还是属于 后景特征，并只允许具有前景特征信息的单元格加入运算，定义如下：
[0102][0103]
式中，c
i
作为单元格分类判断的输出量加入到位置偏移量运算中， 形成五个条件的回归{l
i
，t
i
，r
i
，b
i
，c
i
}，在训练时，二项分类预测 输出值c
i
传入sigmoid激活函数计算二值交叉熵损失。
[0104]
最终，缺陷的位置信息基于aglnet模型通过对五个激活了的条 件参数{l
i
，t
i
，r
i
，b
i
，c
i
}进行回归损失计算预测得到，未激活的条 件参数不参与回归运算，缺陷的分类信息是利用之前环节已获得的候 选区域特征图，通过全连接层和softmax层计算每一个候选区域具体 输入某个缺陷类别，输出模型对缺陷的分类概率进行预测最终得到缺 陷的类型。
[0105]
本实施例中，对得到的缺陷类型以及位置等信息进行统计整理后， 邀请专家基于统计整理后的缺陷信息分析缺陷产生的原因，达到提高 芯片良品率的目的。
[0106]
实施例作用与效果
[0107]
根据本实施例提供的基于深度学习模型aglnet的工业产品表 面缺陷自适应检测方法，由训练好的深度学习模型aglnet对缺陷图 像中的缺陷目标进行特征提取以及分类回归检测得到缺陷图像中的 缺陷信息。该深度学习模型由resnet_fpn特征提取网络、at
‑
rpn候 选框提取网络以及global local regression算法模块合并得到，在 resnet_fpn特征提取网络对缺陷图像进行网络卷积得到特征图后， 由at
‑
rpn候选框提取网络对特征图进行特征提取得到候选区域，在 对每个候选区域进行筛选后，由global local regression算法模块对筛 选后的候选区域进行回归计算得到缺陷目标的信息。
[0108]
本实施例的基于深度学习模型aglnet的工业产品表面缺陷自 适应检测方法，无需先验知识的测试积累，抛弃人为调参的模式，降 低了计算机的内存需求，缓解缺陷形状差异较大，空间位置密集导致 的检测精度低问题，大大提高了制造业中缺陷检测的效率，
避免了因 作业环境复杂，主观判断失误等导致的错误检测结果，实现能更好更 精确地进行缺陷检测，实现实时在线检测，在复杂环境和多目标场景 中具有良好的适用性。
[0109]
实施例中，aglnet模型中的at
‑
rpn候选框提取网络较现有技 术抛弃人为调参的模式，针对不同表面缺陷，能够基于缺陷数据自主 学习超参数设置，自由切换应用场景，不仅适用于多种缺陷检测，还 降低了计算机的内存需求，具有较高的泛化能力。同时，由于at
‑
rpn 候选框提取网络是由残差网络和特征金字塔网络结合而成的特征提 取结构，因此减少了层级之间传递导致的语义缺失，不仅提高了传统 深度学习模型缺陷检测的精度，而且有效缓解缺陷形状差异较大，空 间位置密集的问题。
[0110]
实施例中，aglnet模型中的global local regression算法模块采 用多点监督定位的方法实现了对缺陷图像中的缺陷目标的更精准定 位，相较传统深度学习模型缺陷检测方法达到了更好的检测效果。
[0111]
上述实施例仅用于举例说明本发明的具体实施方式，而本发明不 限于上述实施例的描述范围。