基于自注意力的对抗自编码器纹理表面缺陷检测方法与流程

1.本发明涉及到用于纹理类工业产品表面缺陷图像处理方法，具体地说，是一种基于自注意力的对抗自编码器算法对工业产品表面缺陷进行检测的方法。


背景技术：

2.纹理表面缺陷检测是工业生产中的关键步骤，其目的是识别和定位产品表面出现的缺陷(如图1)，以确定产品是否合格，进而及时调整生产方案，提高生产效率，减低生产成本。传统上，表面缺陷检测是由人眼进行的，但是，人眼视觉评估不仅耗时、耗力，而且主观性强，容易出错。随着硬件设备费用的减少和计算能力的增加，基于计算机视觉的工业产品表面缺陷检测技术已经取得了很大的进步，并被广泛的使用到工业生产故障检测系统中。
3.传统机器视觉缺陷检测方法，诸如支持向量机(svm)方法、hog和gabor特征提取方法，来区分缺陷和非缺陷，这种特征在纹理类型复杂、场景变化情况下不够鲁棒，因此，很难应用工业产品表面缺陷检测过程。近年来，自编码器网络在图像重构和缺陷检测等任务中取得了很好的性能。但是基于自编码器网络的缺陷检测算法依然存在诸多问题，如缺陷定位能力差，重构图像的边缘比较模糊等。


技术实现要素：

4.针对传统方法的不足，本发明的目的是提供一种基于自注意力的对抗自编码器纹理表面缺陷检测算法，对所获取的纹理类工业产品表面图像，利用基于自注意力的对抗自编码器算法检测图像中的缺陷目标。为达到上述目的，本发明采用的技术方案如下：
5.步骤1：根据无缺陷的纹理类工业产品图像，搭建基于颜色和形变两种缺陷生成方法，来生成缺陷数据模拟真实的缺陷样本；
6.步骤2：搭建基于自注意力的对抗自编码器纹理表面缺陷检测框架；
7.步骤3：设计输入图像与重构图像的度量损失；
8.步骤4：通过计算测试图像和重构图像的多尺度结构相似性来获得像素级别的异常分数，进而判断测试图像是否有缺陷。
9.进一步的技术方案是，步骤1中所述的基于颜色方法生成缺陷数据的具体搭建步骤如下：
10.步骤1-1：利用bezier曲线建立一个封闭区域；
11.步骤1-2：在封闭区域中加入随机的颜色；
12.步骤1-3：将封闭区域调整为随机大小；
13.步骤1-4：将封闭区域添加到无缺陷图像的随机位置，完成基于颜色方法生成缺陷数据。
14.进一步的技术方案是，步骤1中所述的基于形变方法生成缺陷数据的具体搭建步骤如下：
15.步骤1-5：随机生成两个点(p1,p2)和变形半径r；
16.步骤1-6：根据p1，p2和r计算形变区域；
17.步骤1-7：根据公式计算形变区域的像素位置，完成基于形变方法生成缺陷数据。
18.进一步的技术方案是，步骤2中所述的基于自注意力的对抗自编码器纹理表面缺陷检测框架的搭建步骤如下：
19.步骤2-1：搭建编码器网络框架；
20.步骤2-2：搭建解码器网络框架；
21.步骤2-3：搭建联合通道和位置的自注意力框架；
22.步骤2-4：使用dcgan网络中的判别器搭建判别器网络框架；
23.步骤2-5：使用四个全连接层操作搭建中间层网络框架；
24.步骤2-6：使用三个全连接层操作搭建分类器网络框架。
25.进一步的技术方案是，步骤2-1中所述的编码器网络框架的搭建具体操作步骤如下：
26.步骤2-1-1：使用vgg-16网络的前五个卷积模块作为编码层网络；
27.步骤2-1-2：在每个卷积模块之后进行斜率为0.2的relus激活操作，之后进行核大小为2*2，步长为2的最大池化操作。
28.进一步的技术方案是，步骤2-2中所述的解码器网络框架的搭建的搭建具体操作步骤如下：
29.步骤2-2-1：对于编码器中的每一个卷积块，在解码器中均有与之相应的解码块。前四个解码块中均包含一个卷积层和一个反卷积层，卷积层采用3*3的卷积核，步长为1，填充为1，反卷积层采用4*4的卷积核，步长为2，填充为1，在卷积层和反卷积层后均采用斜率为0.2的relus激活操作；
30.步骤2-2-2：第五个解码块中包含一个卷积层，卷积核大小为3*3，步长为1，填充为1。
31.进一步的技术方案是，步骤2-3中所述的通道自注意力框架的搭建具体操作步骤如下：
32.步骤2-3-1：将编码器模块的最后一层输出的特征输入到通道自注意模块；
33.步骤2-3-2：重新调整ma的形状为称为m
a1
，其中c表示通道数量，n＝h
×
w表示ma中特征的数量；
34.步骤2-3-3：通过m
a1
与m
a1
的转置矩阵相乘得到通道注意力图
35.步骤2-3-4：然后应用softmax操作得到最终的通道注意力图；
36.步骤2-3-5：使用公式m
out
＝[x
·ma1
]r ma将通道自注意力图作用到特征图上，[
·
]r是重新调整矩阵形状的操作。
[0037]
进一步的技术方案是，步骤2-3中所述的位置自注意力框架的搭建具体操作步骤如下：
[0038]
步骤2-3-6：将通道自注意模块输出mb的特征输入到三个卷积层，分别生成三个新
的特征图m
b1
，m
b2
，和m
b3
，其中重新调整形状为其中c表示通道数量，n＝h
×
w表示mb中特征的数量；
[0039]
步骤2-3-7：计算m
b2
和m
b1
的转置之间的余弦距离，得到位置自注意力图；
[0040]
步骤2-3-8：使用softmax操作得到最终的位置自注意力图；
[0041]
步骤2-3-9：使用公式m
out
＝[m
b3
·
s]r mb将位置自注意力图作用到特征图上。
[0042]
进一步的技术方案是，步骤3中所述的输入图像与重构图像的度量损失的设计具体描述如下：
[0043]
步骤3-1：综合考虑重构图像与输入图像的结构相似性以及输入图像的注意图f，设计重构损失为l
re
(i,j)＝ssim(i
in
(i,j),i
re
(i,j))*(1 cr*f(i,j))，这里，l
re
(i,j)表示图像的第i,j位置的损失，i
in
表示输入图像，i
re
表示重构图像，ssim(
·
)表示结构相似性损失，cr∈{0,1}表示分类的结果，f(
·
)表示指定卷积层的注意图；
[0044]
步骤3-2：提出了梯度域的边缘一致性损失使输入图像与重构图像的边缘一致，这里，λ
ec
使一个常数，
↓
n表示下采样操作，||
·
||f表示f范数，σ()表示弱修正线性单元，表示梯度操作，
⊙
表示对应元素相乘操作；
[0045]
步骤3-3：设计最终的度量函数为l＝θ1l
re
θ2l
edge
θ3ld θ4lc，这里，θi为常数，ld为对抗损失，lc为交叉熵分类损失。
[0046][0047]
l
re
＝ssim(i
in
,i
re
)*(1 cr*f))
[0048][0049]
进一步的技术方案是，步骤4中所述的测试图像是否有缺陷的判断具体描述如下：
[0050]
步骤4-1：使用多尺度结构相似性来计算测试图像的异常图asm(io,ir)；这里，io表示测试图像，ir表示重构图像，
[0051]
步骤4-2：根据异常图，通过设置分割阈值τ1与分类阈值τ2，来获得最终的像素级的缺陷分割图与图像级的缺陷分类类别。
[0052]
考虑到传统的自编码器网络缺陷定位能力差的缺点，本发明在编码层引入自注意力机制，使得长程上下文信息能够自适应的聚拢，来改善纹理重构的特征表达，如图2所示。针对缺陷区域重构结果鲁棒性差的缺点，本发明从颜色和形变两方面制作缺陷样本，使得模型能够精准的对制作的缺陷样本进行分类。此外，在重构的过程中，两种输入输出模式(缺陷-无缺陷，无缺陷-无缺陷)使得重构的结果更加鲁棒。针对重构结果边缘模糊的问题，本发明加入边缘一致性损失，使得输入图像与重构图像在边缘上保持一致，消除模糊。
[0053]
本发明与现有技术相比，其显著有点是：(1)对纹理类工业产品表面图像进行无监督缺陷检测，不需要提供缺陷样本，不需要提供标签；(2)对工业产品表面缺陷检测的准确
率较高；(3)运行速率快，能够满足实际应用的实时性要求；(4)硬件要求简单，易于大规模推广。
附图说明
[0054]
图1是本发明的纹理类产品的正常图像和异常图像图；第一行是正常图像，第二行是异常图像，第三行是异常图像的局部放大图。
[0055]
图2是本发明的网络框架图。
[0056]
图3是本发明的基于形变方法的缺陷制作过程示意图。
[0057]
图4是本发明的基于颜色和形变两种缺陷制作方法的结果图。
[0058]
图5是本发明的缺陷重构及检测结果图，第一至四行分别表示测试图像、重构图像、缺陷定位结果图和真值图。
具体实施方式
[0059]
如图1所示，本发明基于自注意力的对抗自编码器纹理表面缺陷检测算法的步骤如下：
[0060]
步骤1：根据无缺陷的纹理类工业产品图像，搭建基于颜色和形变两种缺陷生成方法，来生成缺陷数据模拟真实的缺陷样本；
[0061]
步骤2：搭建基于自注意力的对抗自编码器纹理表面缺陷检测框架；
[0062]
步骤3：设计输入图像与重构图像的度量损失；
[0063]
步骤4：通过计算测试图像和重构图像的多尺度结构相似性来获得像素级别的异常分数，进而判断测试图像是否有缺陷。
[0064]
本发明公开了一种基于自注意力的对抗自编码器纹理表面缺陷检测方法，为工业产品表面的异常检测提出一种无监督的解决方案。该方法结合自编码器与自注意力机制对纹理类工业产品表面的缺陷进行检测。首先，基于颜色和形变两种方法生成缺陷数据来模拟真实的缺陷样本。其次，使用两种输入输出模式(无缺陷-无缺陷，缺陷-无缺陷)对基于自注意力的对抗自编码器缺陷检测算法进行训练。最后，通过计算测试图像和重构图像的多尺度结构相似性来获得像素级别的异常分数，进而判断测试图像是否有缺陷。本发明可以在给定大量无缺陷纹理类产品表面样本的情况下，准确的定位产品表面出现的缺陷；运行效率高，可以满足实时性要求；且硬件成本低，易于在工业缺陷检测系统中推广，具有良好的应用前景。
[0065]
具体实施如下。
[0066]
第一步：基于颜色和形变两种方法生成缺陷数据。
[0067]
根据给定的正常纹理表面样本(如图1第一行所示)，本发明基于颜色和形变两种缺陷生成方法，来生成缺陷数据模拟真实的缺陷样本(如图1第二行所示)。
[0068]
颜色缺陷样本的生成主要分为以下几个步骤。首先，利用bezier曲线建立一个封闭区域；其次，在封闭区域中加入随机的颜色。第三，将封闭区域调整为随机大小。最后，将封闭区域添加到无缺陷图像的随机位置。
[0069]
形变缺陷样本的制作主要分为以下几个步骤。首先，随机生成两个点(p1,p2)和变形半径r。其次，根据p1，p2和r计算形变区域。最后，根据公式
计算形变区域的像素位置，过程示意图如图3所示。最终制作的缺陷样本结果图如图4所示。
[0070]
第二步：搭建基于自注意力的对抗自编码器纹理表面缺陷检测框架。
[0071]
本发明提出的对抗自编码器网络由自编码器，对抗网络和分类器网络三个模块组成，如图2所示。自编码器网络由编码器、解码器和中间层三部分组成。在编码器中，卷积核的大小为3，步长和填充均为1，激活函数使用斜率为0.2的leaky relu。在编码器中，使用反卷积来增加特征图大小。，中间层网络使用四个全连接层搭建，对抗网络使用dcgan网络中的判别器，分类器网络使用三个全连接层搭建。
[0072]
本发明提出联合通道和位置的自注意力框架，如图2所示。在通道自注意力模块中，首先，将编码器模块的最后一层输出的特征输入到通道自注意模块，接着，重新调整ma的形状为称为m
a1
，其中c表示通道数量，n＝h
×
w表示ma中特征的数量。通过m
a1
与m
a1
的转置矩阵相乘得到通道注意力图应用softmax操作得到最终的通道注意力图，最终，将通道自注意力图作用到特征图上。在位置自注意力模块中，首先，将通道自注意模块输出mb的特征输入到三个卷积层，分别生成三个新的特征图m
b1
，m
b2
，和m
b3
，其中然后，重新调整形状为其中c表示通道数量，n＝h
×
w表示mb中特征的数量。接着，计算m
b2
和m
b1
的转置之间的余弦距离，应用softmax操作得到最终的位置自注意力图，最终，将通道自注意力图作用到特征图上。
[0073]
第三步：设计输入图像与重构图像的度量损失。
[0074]
本发明综合考虑重构图像与输入图像的结构相似性以及输入图像的注意图f，设计重构损失为l
re
(i,j)＝ssim(i
in
(i,j),i
re
(i,j))*(1 cr*f(i,j))，这里，l
re
(i,j)表示图像的第i,j位置的损失，i
in
表示输入图像，i
re
表示重构图像，ssim(
·
)表示结构相似性损失，cr∈{0,1}表示分类的结果，f(
·
)表示指定卷积层的注意图。
[0075]
此外本发明提出了梯度域的边缘一致性损失使输入图像与重构图像的边缘一致，这里，λ
ec
使一个常数，
↓
n表示下采样操作，||
·
||f表示f范数，σ()表示弱修正线性单元，表示梯度操作，
⊙
表示对应元素。
[0076]
因此，最终的度量函数为l＝θ1l
re
θ2l
edge
θ3ld θ4lc，这里，θi为常数，ld为对抗损失，lc为交叉熵分类损失。
[0077]
第四步：通过计算测试图像和重构图像的多尺度结构相似性来获得像素级别的异常分数，进而判断测试图像是否有缺陷。
[0078]
本发明使用多尺度结构相似性来计算测试图像的异常图asm(io,ir)；这里，io表示测试图像，ir表示重构图像。根据异常图，通过设置分割阈值τ1与分类阈值τ2，来获得最终的像素级的缺陷分割图与图像级的缺陷分类类别。图5给出了本发明缺陷重构图及检测结果。其中，第一至四行分别为测试图像，重构图像，缺陷定位结果图和真值图。