一种基于AI深度学习算法的表面缺陷检测方法

一种基于ai深度学习算法的表面缺陷检测方法
技术领域
1.本发明涉及计算机视觉技术领域，特别涉及一种基于ai深度学习算法的 表面缺陷检测方法。


背景技术：

2.表面缺陷检测是智能制造行业生产质量控制的重要组成部分。传统上， 制造业中的大多数表面缺陷检测任务仍然是人工完成的。遗憾的是，人工缺 陷检查存在主观不稳定和耗时的缺点。随着近年来图像处理技术的快速发展， 可以预见的是，检验中涉及的人工工作将被自动化所取代，这不仅可以降低 人工成本，还可以提高效率。
3.早期的机器学习视觉模型依赖于人工分析提取缺陷特征得到的具体视觉 检测任务，然后利用基于规则的经验或基于学习的分类器进行决策，其系统 性能很大程度上取决于特定特征类型的准确表示。然而，现代制造技术需要 更稳定的产品线，这限制了传统机器学习模型的使用。传统的机器学习模型 需要较长的开发周期来适应不同的任务。
4.近年来，基于ai深度学习与卷积神经网络的目标检测方法得到了广泛的 研究。它可以自动提取特征，在分类和定位等图像相关任务中取得良好的性 能，并且由于其具有实时性、鲁棒性和泛化能力强等优点，在表面缺陷自动 检测方面显示出巨大的潜力。然而，由于以下原因，其还未能很好地进行工 业应用。为了保证深度卷积神经网络稳定可靠的性能，在训练过程中需要大 量的人工标注数据。不幸的是，精确的注释(如边界框和像素级注释)非常 耗时，并且在商业上很昂贵。这一困难在工业应用中尤为突出，因为工业图 像上弱缺陷的边界模糊，即使对于有经验的工人也难以准确识别。
5.综上，现有技术存在如下不足:
6.(1)工厂环境存在光照变化、灰度变化、遮挡、背景干扰等诸多不确定 因素；
7.(2)工业产品表面缺陷存在类内方差较大，类间方差较小的特点；(3) 并且工业界可获得的数据集较少、制作标签的成本极高。


技术实现要素：

8.本发明的目的在于提供一种基于ai深度学习算法的表面缺陷检测方法， 通过探索替代的弱注释来减少人类在图像标记方面的努力，模型更准确地定 位到并识别目标区域，并且其对于计算的开销较小，以解决上述背景技术中 提出的基于ai深度学习的表面缺陷检测领域中数据集不足的问题。
9.为实现上述目的，本发明提供如下技术方案：
10.一种基于ai深度学习算法的表面缺陷检测方法，包括如下步骤：
11.步骤1：建立基础卷积神经分类网络，并插入coordinate注意力机制模 块。然后在大型数据集图像网上进行预训练获得预训练权重，保存权重；
12.步骤2：将待检测图片输入步骤1中建立的卷积神经网络，分别获得多个 特征图与注意力图；
13.步骤3：由步骤2中得到的注意力图指导进行数据增强，并将增强后的数 据输入回基本网络；
14.步骤4：将步骤3获取到的注意力图与特征图进行双线性注意力叠加的全 局平均池化，以得到特征向量，而后拼接成为特征矩阵；
15.步骤5：构建网络的损失函数，包括分类损失与注意力正则化损失，分类 损失为普通的均方误差；
16.步骤6：设置网络的超参数并采用带有弱标签的数据集以进行训练；
17.步骤7：使用训练完成的网络执行缺陷检测任务，可得到缺陷类别。
18.进一步地，步骤1的coordinate注意力机制通过位置信息对通道关系和 长程依赖进行编码，其过程分为两个步骤：坐标信息嵌入和coordinate注意 力生成。
19.进一步地，坐标信息嵌入流程为：
20.对于给定的输入x，首先使用尺寸为(h,1)与(1，w)的池化核沿着水 平坐标方向和竖直坐标方向对每个通道进行编码，高度为τ的第ω个通道的 输出定义表述如下：
[0021][0022]
对于宽度为φ的第ω个通道的输出定义表述如下：
[0023][0024]
上述两个变换沿着两个空间方向进行特征聚合，返回一对基于方向感知 的特征图。
[0025]
进一步地，coordinate注意力生成流程为：
[0026]
级联这两个特征图，然后使用一个共享的1x1卷积进行变换f1，生成的，生成的是对空间信息在水平方向和竖直方向的中间特征图，这里的r表 示下采样比例:
[0027]
η＝σ(f1([z
τ
，z
ω
]))
[0028]
接着，沿着空间维度将切分为两个单独的张量接着，沿着空间维度将切分为两个单独的张量再利用两个1x1卷积f
t
和f
φ
将特征图η
t
和η
φ
变换到和输入x同样的通道 数，表示如下：
[0029]
λ
τ
＝ξ(f
τ
(η
τ
))
[0030][0031]
最终对λ
t
和λ
φ
进行扩展，作为注意力权重，coordinate注意力机制模 块最终的输出表述如下：
[0032][0033]
进一步地，步骤3中对于每张用于训练的输入图像，随机选择其由步骤2 生成的众多注意力图之一ωk，首先将其进行标准化为第i个增强图可以表 示为：
[0034]
[0035]
进一步地，步骤4中双线性注意力叠加的全局平均池化为将注意力图和 特征图逐元素相加，生成m个部分特征图，特征图通过函数σ(
·
)生成注意 力特征向量αk，过程进行如下描述：
[0036]
zk＝ωk z，(k＝1，2，3......，m)
[0037]
αk＝σ(zk)
[0038]
其中ω表示注意力图，z表示特征图，各个注意力特征向量αk堆叠形成 部分特征矩阵φ表述如下：
[0039][0040]
其中，函数γ(
·
)代表双线性注意力叠加的全局平均池化。
[0041]
进一步地，步骤5中注意力正则化损失目的是使步骤4中注意力特征 向量αk逐步逼近全局特征中心tk，损失函数fι进行如下表示：
[0042][0043]
tk初始化为0，在训练过程中逐步更新，新的tk为原始tk加上(α
k-tk)
·
∈， ∈为可以自行设置的更新率。
[0044]
进一步地，步骤6中超参数包括训练策略，学习率，批量的大小，优化 方法，权重衰减参数，迭代次数，动量系数，学习率更新策略，网络采用首 先采用上述移动网络电视网络的预训练权重进行训练，同时冻结上述移动网 络电视网络的权重更新训练30个时期，解冻权重后训练50个时期，期间采 用随机梯度下降优化方式进行训练。
[0045]
进一步地，coordinate注意力机制模块解析se通道注意力模块，给定输 入特征，se通道注意力模块首先为每个通道独立采用全局平均池化，然后使 用两个全连接层以及非线性sigmoid函数来生成通道权重，两个全连接层捕 获非线性跨通道交互，coordinate注意力机制模块包括增强特征聚合、通道 和空间注意的结合，采用内核大小为k
×
k的2d卷积计算空间注意力，然后 将其与通道注意力结合起来。
[0046]
进一步地，步骤7中通过cam方法通过注意力图得到热力图，与原始图 片进行叠加便可得到缺陷区域的显示。
[0047]
与现有技术相比，本发明的有益效果是：
[0048]
1、本发明一种基于ai深度学习算法的表面缺陷检测方法，采用 coordinate注意力机制模块，不同于通道注意力机制与空间注意力机制， coordinate注意力机制同时考虑了通道间关系和位置信息。其不仅具有跨通 道的信息，还包含方向与位置的信息，这使得模型更准确地定位到并识别目 标区域。并且其对于计算的开销较小。
[0049]
2、本发明一种基于ai深度学习算法的表面缺陷检测方法，采用基于注 意力引导的数据增强，不同于随机数据增强，例如mosaic、cutmix等随机数 据增强均有概率对网络预测结果产生负面影响，而基于注意力指导的数据增 强会提供最优质的数据返回给网络。
[0050]
3、本发明一种基于ai深度学习算法的表面缺陷检测方法，在公开数据 集缺陷数据集neu-cls上进行验证，本发明提出的网络可以在10个周期内学 习达到100％的正确率。
附图说明
[0051]
图1为本发明的一种基于ai深度学习算法的表面缺陷检测方法的流程图；
[0052]
图2为本发明的一种基于ai深度学习算法的表面缺陷检测方法的步骤3 中对最显著区域的掩盖流程图；
[0053]
图3为本发明的一种基于ai深度学习算法的表面缺陷检测方法的特征矩 阵拼接流程图；
[0054]
图4为本发明一种基于ai深度学习算法的表面缺陷检测方法的 coordinate注意力机制示意图；
[0055]
图5为本发明一种基于ai深度学习算法的表面缺陷检测方法的bneck结 构流程示意图；
[0056]
图6为本发明一种基于ai深度学习算法的表面缺陷检测方法的网络整体 结构示意图。
具体实施方式
[0057]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0058]
请参阅图1，本实施例提出一种基于ai深度学习算法的表面缺陷检测方 法，包括如下步骤：
[0059]
步骤1：建立基础卷积神经分类网络，采用移动网络电视轻量级分类网络， 并插入coordinate注意力机制模块，采用的具体结构如下表所示：
[0060]
[0061][0062]
然后在大型数据集图像网上进行预训练获得预训练权重，保存权重； coordinate注意力机制通过位置信息对通道关系和长程依赖进行编码，其过 程分为两个步骤：坐标信息嵌入和coordinate注意力生成，表中becnk的具 体结构如图5所示，表中“操作”一列中3
×
3或5
×
5代表图5中深度可分 离卷积的卷积核大小，表中“coordinate模块”一列代表图5中的注意力机 制是否使用，使用为√，不使用为-，表中“步长”一列代表图5中深度可分 离卷积的步长大小。表中激活函数hs代表h-swish函数，re代表relu函数。 relu函数的计算公式如下：
[0063]
f(x)＝max(0，x)
[0064]
h-swish函数的计算公式如下，其中relu6为限制relu函数的最大输出 为6：
[0065][0066]
关于附图5，输入通道数据，判定输入的通道数据与输出的通道数据是否 相等，如果相等，1x1卷积，对于1x1的卷积核，此时1x1卷积只是把原始数 据乘以一个倍数(卷积核的数值)。1x1卷积一般只改变输出通道数，而不改 变输出的宽度和高度，becnk正则化，非线性函数作为激活函数，这样深层神 经网络表达能力就更加强大。k
×
k深度可分离卷积，becnk正则化，coordinate 注意力机制通过位置信息对通道关系和长程依赖进行编码，激活函数，becnk 正则化，最后输出通道。
[0067]
坐标信息嵌入流程为：
[0068]
对于给定的输入x，首先使用尺寸为(h,1)与(1，w)的池化核沿着水 平坐标方向和竖直坐标方向对每个通道进行编码，高度为τ的第ω个通道的 输出定义表述如下：
[0069][0070]
对于宽度为φ的第ω个通道的输出定义表述如下：
[0071][0072]
上述两个变换沿着两个空间方向进行特征聚合，返回一对基于方向感知 的特征图。
[0073]
coordinate注意力机制模块解析se通道注意力模块，给定输入特征，se 通道注意力模块首先为每个通道独立采用全局平均池化，然后使用两个全连 接层以及非线性sigmoid函数来生成通道权重，两个全连接层捕获非线性跨 通道交互，coordinate注意力机制模块包括增强特征聚合、通道和空间注意 的结合，采用内核大小为k
×
k的2d卷积计算空间注意力，然后将其与通道 注意力结合起来。如图4，输入待检测图片至卷积神经网络，注意力图与特征 图进行双线性注意力叠加的水平全局平均池化和垂直全局平均池化，堆叠卷 积，正则化、非线性回归，卷积神经网络进行卷积激活，更新权重后输出。
[0074]
coordinate注意力生成流程为：
[0075]
级联这两个特征图，然后使用一个共享的1x1卷积进行变换f1，生成的，生成的是对空间信息在水平方向和竖直方向的中间特征图，这里的r表 示下采样比例:
[0076]
η＝σ(f1([z
τ
，z
ω
]))
[0077]
接着，沿着空间维度将切分为两个单独的张量接着，沿着空间维度将切分为两个单独的张量再利用两个1x1卷积f
t
和f
φ
将特征图η
t
和η
φ
变换到和输入x同样的通道 数，表示如下：
[0078]
λ
τ
＝ξ(f
τ
(η
τ
))
[0079][0080]
最终对λ
t
和λ
φ
进行扩展，作为注意力权重，coordinate注意力机制模 块最终的输出表述如下：
[0081][0082]
步骤2：将待检测图片输入步骤1中建立的卷积神经网络，分别获得多个 特征图与注意力图；
[0083]
步骤3：请参阅图2，由步骤2中得到的注意力图指导进行数据增强，并 将增强后的数据输入基本网络；具体来说，对于每张用于训练的输入图像， 随机选择其由步骤2生成的众多注意力图之一ωk，首先将其进行标准化为第i 个增强图可以表示为：
[0084][0085]
这样保证每个增强图转为的矩阵中的每个数字都在[0,1]之间。接下来进 行基于注意力的掩盖。为了鼓励模型的注意力可以注意到图像上并不是那么 显著的部分，即鼓励注意力图代表区分对象的多个部分，将大于阈值θ
t
∈ [0,1]的元素设置为0，其他设置为1，可获得注意力掩模di。此过程可以进行 如下定义：
[0086][0087]
通过di来掩盖图像第i部分区域以迫使模型学习非最显著的特征。
[0088]
步骤4：请参阅图3，将步骤3获取到的注意力图与特征图进行双线性注 意力叠加的全局平均池化，以得到特征向量，而后拼接成为特征矩阵；如图6 所示，双线性注意力叠加的全局平均池化为将注意力图和特征图逐元素相加， 生成m个部分特征图，特征图通过函数σ(
·
)生成注意力特征向量αk，过程 进行如下描述：
[0089]
zk＝ωk z，(k＝1，2，3......，m)
[0090]
αk＝σ(zk)
[0091]
其中ω表示注意力图，z表示特征图，各个注意力特征向量αk堆叠形成 部分特征矩阵φ表述如下：
[0092][0093]
其中，函数γ(
·
)代表双线性注意力叠加的全局平均池化。
[0094]
步骤5：构建网络的损失函数，包括分类损失与注意力正则化损失，分类 损失为普通的均方误差；注意力正则化损失目的是使步骤4中注意力特征向 量αk逐步逼近全局特征中心tk，损失函数fι进行如下表示：
[0095][0096]
tk初始化为0，在训练过程中逐步更新，新的tk为原始tk加上(α
k-tk)
·
∈， ∈为可以自行设置的更新率。
[0097]
步骤6：设置网络的超参数并采用带有弱标签的数据集以进行训练，超参 数包括训练策略，学习率，批量的大小，优化方法，权重衰减参数，迭代次 数，动量系数，学习率更新策略，网络采用首先采用上述移动网络电视网络 的预训练权重进行训练，同时冻结上述移动网络电视网络的权重更新训练30 个时期，解冻权重后训练50个时期，期间采用随机梯度下降优化方式进行训 练，权重衰减设置为5e-4，动量衰减为0.9，初始学习率设置为0.01，学习 率更新策略为每训练2个epoch变为原来的0.9倍，批量设置为16；
[0098]
步骤7：使用训练完成的网络执行缺陷检测任务，可得到缺陷类别，通过 cam方法通过注意力图得到热力图，与原始图片进行叠加便可得到缺陷区域的 显示，对缺陷检测结
果的可视化。
[0099]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不 局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根 据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明 的保护范围之内。