基于边界引导的工件表面缺陷分割方法、装置及设备与流程

1.本发明涉及工件表面缺陷划分技术领域，具体涉及一种基于边界引导的工件表面缺陷分割方法、装置及设备。


背景技术：

2.检测工件表面是否达标识保证工件产品质量的重要手段，相关技术中通常通过基于深度学习的工件表面缺陷精细化分割算法来对工件表面缺陷进行检测。其中，基于深度学习的工件表面缺陷精细化分割算法多采用编码器-解码器架构，在这个架构中，编码器使用多个层级的卷积层和池化层，提取分类能力更强的特征，同时特征的空间分辨率逐渐降低，导致特征的空间定位能力变弱；之后的解码器利用多次转置卷积，对特征进行逐层级的上采样，逐渐恢复特征的空间分辨率，并在此过程中融合编码器的多层级特征（深层级的分类能力强的特征、浅层级的定位能力强的特征）。
3.现有的基于编码器-解码器架构的方法通过编码不同尺度的空间上下文信息来改善目标的分割效果，但是连续的卷积池化操作造成的空间细节信息损失，使得输入图像缺陷区域的分割准确度降低，导致最终的工件表面缺陷区域分割结果边缘轮廓粗糙，难以适应工业场景的实际应用。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种基于边界引导的工件表面缺陷分割方法、装置及设备，以克服目前工件表面缺陷区域分割结果边缘轮廓粗糙，难以适应工业场景的实际应用的技术问题。
5.为实现以上目的，本发明采用如下技术方案：一方面，一种基于边界引导的工件表面缺陷分割方法，包括：获取目标工件的表面图像；将所述目标工件的表面图像输入工件表面缺陷分割网络中，得到所述目标工件的表面图像的缺陷精细化分割结果；其中，所述工件表面缺陷分割网络包括主干卷积神经网络及附加在所述主干卷积神经网络上的边缘感知模块、边缘引导特征模块和上下文聚合模块；所述边缘感知模块的输出作为输入，输入到所述边缘引导特征模块中；所述边缘引导特征模块的输出作为输入，输入到所述上下文聚合模块中。
6.可选的，所述主干卷积神经网络在所述表面图像中提取多级特征；所述边缘感知模块用于在所述多级特征中获取包含局部边缘细节的低级特征和包含目标边界监督下的全局位置信息的高级特征，并确定目标工件的表面边缘特征；所述边缘引导特征模块用于将所述表面边缘特征分别与所述主干卷积神经网络中每个层次的主干特征进行特征融合，得到语义增强后特征；所述上下文聚合模块用于通过自下而上的方式逐步聚合多层所述语义增强后特
征，并预测得到所述目标工件的表面图像的缺陷精细化分割结果。
7.可选的，所述边缘感知模块，具体用于通过两个1*1卷积层分别将所述包含局部边缘细节的低级特征和包含目标边界监督下的全局位置信息的高级特征的通道改为64和256，得到卷积低级特征和卷积高级特征；通过concat运算将通过64通道和256通道的卷积低级特征和卷积高级特征进行融合，得到融合卷积特征；将所述融合卷积特征通过两个3
×
3卷积、一个1
×
1卷积和一个sigmoid函数得到所述目标工件的表面边缘特征。
8.可选的，所述边缘引导特征模块，具体用于：分别将所述表面边缘特征与每个层次的主干特征使用附带跳跃连接的元素级相乘和3*3卷积层卷积，得到初始融合特征；将初始融合特征经过通道全局平均池化聚合卷积特征；通过一维卷积和sigmoid函数获得对应的通道注意力权重；将所述通道注意力权重与所述初始融合特征相乘，通过1*1卷积层卷积减少通道数，得到所述语义增强后特征。
9.可选的，所述上下文聚合模块，具体用于：通过自下而上的方式将相邻的两层所述语义增强后特征，通过concat运算，进行1*1卷积层卷积获得初始聚集特征；沿通道维将所述初始聚集特征划分为四个特征映射；将所述特征映射进行跨尺度交互学习，预测得到所述目标工件的表面图像的缺陷精细化分割结果。
10.可选的，所述主干卷积神经网络包括resnet-50。
11.可选的，所述低级特征为非首层特征。
12.又一方面，一种基于边界引导的工件表面缺陷精细化分割装置，包括：获取模块，用于获取目标工件的表面图像；分割模块，用于将所述目标工件的表面图像输入工件表面缺陷分割网络中，得到所述目标工件的表面图像的缺陷精细化分割结果；其中，所述工件表面缺陷分割网络包括主干卷积神经网络及附加在所述主干卷积神经网络上的边缘感知模块、边缘引导特征模块和上下文聚合模块；所述边缘感知模块的输出作为输入，输入到所述边缘引导特征模块中；所述边缘引导特征模块的输出作为输入，输入到所述上下文聚合模块中。
13.可选的，所述分割模块输入的工件表面缺陷分割网络的所述主干卷积神经网络用于在所述表面图像中提取多级特征；所述边缘感知模块用于在所述多级特征中获取包含局部边缘细节的低级特征和包含目标边界监督下的全局位置信息的高级特征，并确定目标工件的表面边缘特征；所述边缘引导特征模块用于将所述表面边缘特征分别与所述主干卷积神经网络中每个层次的主干特征进行特征融合，得到语义增强后特征；所述上下文聚合模块用于通过自下而上的方式逐步聚合多层所述语义增强后特征，并预测得到所述目标工件的表面图像的缺陷精细化分割结果。
14.又一方面，一种基于边界引导的工件表面缺陷精细化分割设备，包括处理器和存储器，所述处理器与存储器相连：其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储所述程序，所述程序至少用于执行上述任一项所述的基于边界引导的工件表面缺陷精细化分割方法。
15.本发明提供的技术方案至少具备如下有益效果：本发明实施例提供的基于边界引导的工件表面缺陷分割方法、装置及设备，预先
设置工件表面缺陷分割网络，在工件表面缺陷分割网络中设置主干卷积神经网络及附加在所述主干卷积神经网络上的边缘感知模块、边缘引导特征模块和上下文聚合模块；所述边缘感知模块的输出作为输入，输入到所述边缘引导特征模块中；所述边缘引导特征模块的输出作为输入，输入到所述上下文聚合模块中。采用本技术提供的技术方案，在获取到表面图像后，将表面图像输入到预先设置的工件表面缺陷分割网络中，得到缺陷精细化分割结果，其中，采用边缘感知模块集成了低级局部边缘信息和高级全局位置信息，在显式边界监督下探索与目标边界相关的边缘语义；边缘引导特征模块，将边缘特征与各级主干特征相结合，以引导特征学习，强制网络更加关注目标的结构和细节，将多层融合特征自上而下地逐渐聚合，以预测分割结果。采用本技术提供的技术方案，提升工件表面缺陷区域分割结果边缘轮廓准确性，适应工业场景的实际应用。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明实施例提供的一种基于边界引导的工件表面缺陷分割方法的流程示意图；图2为本发明实施例提供的一种工件表面缺陷分割网络的网络结构示意图；图3为本发明实施例提供的一种边缘感知模块的结构示意图；图4为本发明实施例提供的一种边缘引导特征模块的结构示意图；图5为本发明实施例提到的一种上下文聚合模块的结构示意图；图6为本发明实施例提供的一种基于边界引导的工件表面缺陷分割装置的结构示意图；图7为本发明实施例提供的一种基于边界引导的工件表面缺陷分割设备的结构示意图。
具体实施方式
18.为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
19.检测工件表面是否达标识保证工件产品质量的重要手段，相关技术中通常通过基于深度学习的工件表面缺陷精细化分割算法来对工件表面缺陷进行检测。其中，基于深度学习的工件表面缺陷精细化分割算法多采用编码器-解码器架构，在这个架构中，编码器使用多个层级的卷积层和池化层，提取分类能力更强的特征，同时特征的空间分辨率逐渐降低，导致特征的空间定位能力变弱；之后的解码器利用多次转置卷积，对特征进行逐层级的上采样，逐渐恢复特征的空间分辨率，并在此过程中融合编码器的多层级特征（深层级的分类能力强的特征、浅层级的定位能力强的特征）。
20.现有的基于编码器-解码器架构的方法通过编码不同尺度的空间上下文信息来改善目标的分割效果，但是连续的卷积池化操作造成的空间细节信息损失，使得输入图像缺陷区域的分割准确度降低，导致最终的工件表面缺陷区域分割结果边缘轮廓粗糙，难以适应工业场景的实际应用。
21.基于此，本发明实施例提供一种基于边界引导的工件表面缺陷分割方法、装置及设备。
22.图1为本发明实施例提供的一种基于边界引导的工件表面缺陷分割方法的流程示意图，参阅图1，本发明实施例提供的方法可以包括以下步骤：步骤s1、获取目标工件的表面图像。
23.在一个具体的实现过程中，可以以任意一个待检测的工件作为目标工件，通过相机、摄像头等拍摄得到目标工件的表面图像，控制器获取到该表面图像并进行处理。
24.步骤s2、将目标工件的表面图像输入工件表面缺陷分割网络中，得到目标工件的表面图像的缺陷精细化分割结果；其中，工件表面缺陷分割网络包括主干卷积神经网络及附加在主干卷积神经网络上的边缘感知模块、边缘引导特征模块和上下文聚合模块；边缘感知模块的输出作为输入，输入到边缘引导特征模块中；边缘引导特征模块的输出作为输入，输入到上下文聚合模块中。
25.在获取得到表面图像后，将表面图像输入到预先构建的工件表面缺陷分割网络中，得到目标工件的表面图像的缺陷精细化分割结果。
26.在一些实施例中，主干卷积神经网络用于在表面图像中提取多级特征。例如，本技术中，主干卷积神经网络可以为resnet-50，本技术中，以resnet-50为例，对技术方案进行说明。图2为本发明实施例提供的一种工件表面缺陷分割网络的网络结构示意图，其中，边缘感知模块（eam）可以为1个、边缘引导特征模块（efm）可以为4个、上下文聚合模块（cam）可以为3个。
27.可以理解的是，采用本技术提供的技术方案，在获取到表面图像后，将表面图像输入到预先设置的工件表面缺陷分割网络中，得到缺陷精细化分割结果，其中，采用边缘感知模块集成了低级局部边缘信息和高级全局位置信息，在显式边界监督下探索与目标边界相关的边缘语义；边缘引导特征模块，将边缘特征与各级主干特征相结合，以引导特征学习，强制网络更加关注目标的结构和细节，将多层融合特征自上而下地逐渐聚合，以预测分割结果。采用本技术提供的技术方案，提升工件表面缺陷区域分割结果边缘轮廓准确性，适应工业场景的实际应用。
28.在一些实施例中，边缘感知模块在多级特征中获取包含局部边缘细节的低级特征和包含目标边界监督下的全局位置信息的高级特征，并确定目标工件的表面边缘特征；边缘引导特征模块用于将表面边缘特征分别与主干卷积神经网络中每个层次的主干特征进行特征融合，得到语义增强后特征；上下文聚合模块用于通过自下而上的方式逐步聚合多层语义增强后特征，并预测得到目标工件的表面图像的缺陷精细化分割结果。
29.在一些实施例中，边缘感知模块，具体用于通过两个1*1卷积层分别将包含局部边缘细节的低级特征和包含目标边界监督下的全局位置信息的高级特征的通道改为64和256，得到卷积低级特征和卷积高级特征；通过concat运算将通过64通道和256通道的卷积
低级特征和卷积高级特征进行融合，得到融合卷积特征；将融合卷积特征通过两个3
×
3卷积、一个1
×
1卷积和一个sigmoid函数得到目标工件的表面边缘特征。
30.图3为本发明实施例提供的一种边缘感知模块的结构示意图，参阅图3，首先使用两个1
×
1卷积层将f2和f5的通道改为64（f
2/
）和256（f
5/
）；然后通过concat运算将f
2/
和上采样的f
5/
进行融合；最后通过3
×
3卷积、一个1
×
1卷积和一个sigmoid函数得到表面边缘特征。
31.在一些实施例中，边缘引导特征模块，具体用于：分别将表面边缘特征与每个层次的主干特征使用附带跳跃连接的元素级相乘和3*3卷积层卷积，得到初始融合特征；将初始融合特征经过通道全局平均池化聚合卷积特征；通过一维卷积和sigmoid函数获得对应的通道注意力权重；将通道注意力权重与初始融合特征相乘，通过1*1卷积层卷积减少通道数，得到语义增强后特征。
32.图4为本发明实施例提供的一种边缘引导特征模块的结构示意图，参阅图4，给定输入特征fi(i=2,3,4,5)和表面边缘特征fe,首先使用附带跳跃连接的元素级相乘和一个3
×
3卷积得到初始融合特征，可表示为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，d表示下采样，f
conv
为3
×
3卷积，表示元素乘法，表示元素加法。
33.随后使用通道全局平均池化（gap）聚合卷积特征。然后通过一维卷积和sigmoid函数获得相应的通道注意力权重。再将通道注意力权重与初始融合特征相乘，并通过1
×
1卷积减少通道数得到最后的特征：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中，f
conv1
是1
×
1卷积f
1dk
，是核大小为k的一维卷积，σ表示sigmoid函数。核大小k可以自适应的设置为，其中表示最近的奇数，c是通道数。核大小与通道尺寸成正比。可以理解的是，该注意力策略可以突出关键通道，抑制冗余通道或噪声，从而增强语义表示。
34.在一些实施例中，上下文聚合模块，具体用于：通过自下而上的方式将相邻的两层语义增强后特征，通过concat运算，进行1*1卷积层卷积获得初始聚集特征；沿通道维将初始聚集特征划分为四个特征映射；将特征映射进行跨尺度交互学习，预测得到目标工件的表面图像的缺陷精细化分割结果。
35.图5为本发明实施例提到的一种上下文聚合模块的结构示意图，参阅图5，为了集成多级融合特征以进行工件表面缺陷精细化分割，采用上下文聚合模块上下文聚合模块来挖掘上下文语义以增强工件表面缺陷精细化分割效果。本模块利用几个并行分支来分别提取不同尺度的特征，并考虑各个分支之间的语义相关性，以增强特征表示。
36.参阅图5，输入可以为和，以i=4为例，即以和为例，首先上采
样并进行concat运算，然后进行1
×
1卷积以获得初始聚集特征fm。接下来沿着通道维将fm划分为四个特征映射，然后进行跨尺度交互学习，及元素级相加，以3*3卷积层进行卷积，通过一系列空洞卷积来集成相邻分支的特征以提取多尺度上下文特征。聚合后，通过1*1卷积层卷积，3*3卷积层卷积，即，采用多个上下文聚合模块以自下而上的方式逐步聚合多层融合特征，并预测得到分割结果图，选择最后一个上下文聚合模块的预测作为最终结果。图5中，d为层次。
37.值得说明的是，在一些实施例中，述低级特征为非首层特征。本技术中没有采用f1主干特征，因为它接近输入，有很多冗余信息，感受野很小。
38.本技术中利用边缘感知模块，集成了低级局部边缘信息和高级全局位置信息，在显式边界监督下探索与目标边界相关的边缘语义；然后，引入边缘引导特征模块，将边缘特征与各级主干特征相结合，以引导特征学习，强制网络更加关注目标的结构和细节；然后，将多层融合特征自上而下地逐渐聚合，以预测分割结果；为了增强特征表示，本技术中还采用一个上下文聚合模块，通过一系列空洞卷积来挖掘和聚合多尺度的上下文语义，以产生具有更强、更有效的特征。
39.基于一个总的发明构思，本发明实施例中还提供一种基于边界引导的工件表面缺陷精细化分割装置。
40.图6为本发明实施例提供的一种基于边界引导的工件表面缺陷分割装置的结构示意图，参阅图6，本技术提供的装置可以包括：获取模块61，用于获取目标工件的表面图像；分割模块62，用于将目标工件的表面图像输入工件表面缺陷分割网络中，得到目标工件的表面图像的缺陷精细化分割结果；其中，工件表面缺陷分割网络包括主干卷积神经网络及附加在主干卷积神经网络上的边缘感知模块、边缘引导特征模块和上下文聚合模块；边缘感知模块的输出作为输入，输入到边缘引导特征模块中；边缘引导特征模块的输出作为输入，输入到上下文聚合模块中。
41.可选的，分割模块62输入的工件表面缺陷分割网络的主干卷积神经网络用于在表面图像中提取多级特征；边缘感知模块用于在多级特征中获取包含局部边缘细节的低级特征和包含目标边界监督下的全局位置信息的高级特征，并确定目标工件的表面边缘特征；边缘引导特征模块用于将表面边缘特征分别与主干卷积神经网络中每个层次的主干特征进行特征融合，得到语义增强后特征；上下文聚合模块用于通过自下而上的方式逐步聚合多层语义增强后特征，并预测得到目标工件的表面图像的缺陷精细化分割结果。
42.可选的，边缘感知模块，具体用于通过两个1*1卷积层分别将包含局部边缘细节的低级特征和包含目标边界监督下的全局位置信息的高级特征的通道改为64和256，得到卷积低级特征和卷积高级特征；通过concat运算将通过64通道和256通道的卷积低级特征和卷积高级特征进行融合，得到融合卷积特征；将融合卷积特征通过两个3
×
3卷积、一个1
×
1卷积和一个sigmoid函数得到目标工件的表面边缘特征。
43.可选的，边缘引导特征模块，具体用于：分别将表面边缘特征与每个层次的主干特征使用附带跳跃连接的元素级相乘和3*3卷积层卷积，得到初始融合特征；将初始融合特征经过通道全局平均池化聚合卷积特征；通过一维卷积和sigmoid函数获得对应的通道注意力权重；将通道注意力权重与初始融合特征相乘，通过1*1卷积层卷积减少通道数，得到语义增强后特征。
44.可选的，上下文聚合模块，具体用于：通过自下而上的方式将相邻的两层语义增强后特征，通过concat运算，进行1*1卷积层卷积获得初始聚集特征；沿通道维将初始聚集特征划分为四个特征映射；将特征映射进行跨尺度交互学习，预测得到目标工件的表面图像的缺陷精细化分割结果。
45.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
46.基于一个总的发明构思，本发明实施例还提供一种基于边界引导的工件表面缺陷分割设备。
47.本发明还提供了一种基于边界引导的工件表面缺陷分割设备，用于实现上述方法实施例。图7为本发明实施例提供的一种基于边界引导的工件表面缺陷分割设备的结构示意图，参阅图7，本实施例的基于边界引导的工件表面缺陷分割设备包括处理器71和存储器72，处理器71与存储器72相连。其中，处理器71用于调用并执行存储器72中存储的程序；存储器72用于存储程序，程序至少用于执行以上实施例中的基于边界引导的工件表面缺陷分割方法。
48.本技术实施例提供的基于边界引导的工件表面缺陷分割设备的具体实施方案可以参考以上任意实施例的基于边界引导的工件表面缺陷分割方法的实施方式，此处不再赘述。
49.可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
50.需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
51.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
52.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（pga），现场可编程门阵列（fpga）等。
53.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步
骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
54.此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
55.上述提到的存储介质可以是只读存储器，磁盘或光盘等。
56.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
57.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。