一种基于渐进式分割网络的细微缺陷分析方法

1.本发明属于缺陷检测技术领域，具体涉及一种基于渐进式分割网络的细微缺陷分析方法。


背景技术：

2.装备制造业是我国工业的核心组成部分，是我国国民经济的生命线，也是支撑起国家综合国力的重要基石。其中，航空、航天、航海(“三航”)的大型高端装备又是我国装备制造业的核心组成部分，其产品生产质量直接影响了最终的产品性能及市场竞争力。
3.在大型装备部件的生产和使用过程中，由于生产工艺和使用疲劳等因素，部件表面难以避免地会出现缺陷。基于对大量二维测量数据的分析，大型装备部件表面的缺陷往往具有类型多、形态复杂以及尺度跨度大的特定。对大型装备部件表面缺陷的精准检测和定量分析是装备质量保障的核心基础。目前工业生产实践中，主要采用人工方法定性检测。但基于人眼的视觉检测不仅无法实现定量测量，而且存在人工检测费时费力、漏检率高、效率低、可靠性差等问题，且人工目检对于细微缺陷存在严重的漏检，难以满足实际的质量需求。


技术实现要素：

4.本发明针对现有技术中的不足，提供一种基于渐进式分割网络的细微缺陷分析方法，采用的技术方案如下：
5.一种基于渐进式分割网络的细微缺陷分析方法，包括以下步骤：
6.步骤s1、采集部件表面的原始图像，并将原始图像裁剪为具有一定大小的若干小块图像，用于后续对细微缺陷的检测分析任务；
7.步骤s2、将小块图像分别输入训练好的细微缺陷特征提取网络中提取图像特征；
8.步骤s3、根据提取到的图像特征将小块图像分为缺陷图和不包含缺陷的背景图；
9.步骤s4、对于缺陷图，将其通过细微缺陷特征提取网络提取到的图像特征输入训练好的缺陷分割网络中，以获取对应缺陷的分割掩膜图；
10.步骤s5、根据分割掩膜图对缺陷进行定量分析，获取对应缺陷的各类指标信息，所述指标信息包括缺陷的面积、长度和宽度。
11.进一步地，步骤s1中采用重叠性裁剪方式将原图像裁剪为小块图像，若小块图像的宽高分别为w和h，则相邻两个小块图像重叠区域的宽为w
·
op或高为h
·
op，其中op为重叠阈值。
12.进一步地，所述重叠阈值的计算公式为：
[0013][0014]
其中，max(
·
)函数表示取最大值操作，w、h分别表示原始图像的长度和宽度，wi、hi分别表示某个缺陷样本的长度和宽度，δ是一个约束值，根据所有缺陷样本中缺陷目标的距离分布计算得出：
[0015][0016][0017]
其中，(xi,yi)表示某个缺陷样本中以图像左上角为基准原点得到的缺陷目标的中心点坐标，n代表缺陷数据集中缺陷样本的总数。
[0018]
进一步地，步骤s2中，所述细微缺陷特征提取网络包括残差单元模块和跨尺度特征融合模块，所有特征尺度下采样操作均由步长更大的卷积层完成，且跨尺度特征融合模块中使用三种卷积核大小不同的卷积层对残差单元模块的输出特征进行不同感受野大小的特征信息提取。
[0019]
进一步地，所述细微缺陷特征提取网络依次包括第一残差单元模块、跨尺度特征融合模块和第二残差单元模块；跨尺度特征融合模块使用三个卷积分支分别对第一残差单元模块输出的特征进行不同感受野大小的特征信息提取，分支(1)仅使用卷积核大小为1
×
1的卷积层，分支(2)和分支(3)分别使用卷积核大小为3
×
3、5
×
5的卷积层，并在分支首尾分别添加卷积核大小为1
×
1的卷积层；将三个卷积支路提取的特征与第一残差单元模块的输出特征进行融合作为第二残差单元模块的输入，并将第二残差单元模块的输出作为整个特征提取网络的最终输出；所述第二残差单元模块的输入f(x,y,c)表示为：
[0020][0021]
其中，h为第一残差单元模块的输出特征，α、β、γ分别表示分支(1)、分支(2)、分支(3)提取的特征，x、y、c分别表示特征信息图长度、宽度、深度三个维度的索引；x、y、c分别代表在这三个维度上的最大索引值。
[0022]
进一步地，在保持感受野大小不变的情况下，将分支(3)中大小为5
×
5的卷积核替换为两个级联的大小为3
×
3的卷积核，以进一步减少特征提取时的计算消耗。
[0023]
进一步地，步骤s4中，所述缺陷分割网络包括分类、定位和分割三个分支，分类分支用于输出缺陷的分类置信度，定位分支用于输出缺陷的位置信息，分割分支用于输出缺陷的分割掩膜图，通过设定分类置信度阈值筛选得到最终的缺陷位置信息及对应的分割掩膜图。
[0024]
进一步地，步骤s5中，统计分割掩膜图中非零像素点的总数，并将其作为对应缺陷的面积；获取分割掩膜图中非零像素区域的最小外接矩形，将最小外接矩形的长和宽作为对应缺陷的长和宽。
[0025]
本发明的有益效果是：
[0026]
(1)本发明通过设定合适的重叠阈值对部件表面的原始图像进行重叠性分割，在保证缺陷完整性的同时提高缺陷检测的检测效率和检测精度；
[0027]
(2)本发明通过深度神经网络首先对裁剪后的图像进行分类，然后仅对包含缺陷的图像做检测分析，进一步提高了缺陷检测的效率。
附图说明
[0028]
图1为本发明方法的流程示意图；
[0029]
图2为本发明方法中重叠性裁剪的示意图；
[0030]
图3为本发明方法中细微缺陷特征提取网络的示意图；
[0031]
图4为本发明方法中缺陷分割网络的示意图。
具体实施方式
[0032]
现在结合附图对本发明作进一步详细的说明。
[0033]
本发明提出的一种基于渐进式分割网络的细微缺陷分析方法中，对细微缺陷的质量指标的定量分析是基于深度学习网络进行的。通过对深度学习网络输出结果的分析，准确检测出每一个细微缺陷实例，再通过对其分割轮廓的分析得出长度、宽度等质量指标信息。
[0034]
如图1所示，本发明方法主要包括以下步骤：
[0035]
步骤1、采集细微缺陷图像数据，所述数据根据具体任务具体采集设备得到。对于采集到的部件表面的原始图像数据，由于缺陷目标相较于图像数据面积占比率较小，因此对于原始图像首先进行重叠性裁剪，剪裁得到的小块图像数据用于后续对细微缺陷的检测任务。
[0036]
具体地，所述重叠性裁剪旨在图像裁剪过程中保证细微缺陷目标的完整性，将原始图像数据按照一定的重叠度阈值进行裁剪。裁剪示意图可参见图2，重叠度阈值op由如下公式计算得出：
[0037][0038]
其中，max(
·
)函数表示取最大值操作，w、h分别表示原始图像的长度和宽度，n代表缺陷数据集中缺陷样本的总数，wi、hi分别表示某个缺陷样本标注时的长度和宽度，δ是一个约束值，根据所有样本中缺陷目标的距离分布计算得出：
[0039][0040][0041]
其中，(xi,yi)表示某个缺陷样本中以图像左上角为基准原点得到的缺陷中心点坐标。
[0042]
步骤2、构建细微缺陷特征提取网络，将所述得到的裁剪后的小块缺陷图像送进网络，提取得到图像特征信息。
[0043]
本实施例中，细微缺陷特征提取网络主要由残差单元块和跨尺度特征融合模块组成。为了保证细微缺陷在特征提取过程中不会丢失，本发明的细微缺陷特征提取网络不含有池化层，所有特征尺度下采样操作均由步长更大的卷积层完成。特别地，所述跨尺度特征融合模块使用三种卷积核大小不同的卷积层对残差单元块的输出特征进行不同感受野大小下的特征信息提取。
[0044]
具体地，包括：
[0045]
步骤201、经过重叠性裁剪后的小块图像数据输入细微特征提取网络，经过第一个残差单元块提取特征，输出的图像特征尺度变更为原始图像的一半大小，通道数增加。
[0046]
步骤202、步骤201所述残差单元块后连接一个跨尺度特征融合模块，实现跨尺度融合的特征提取。跨尺度特征融合模块分别使用卷积内核大小为1
×
1、3
×
3、5
×
5的卷积操作对残差单元块输出的特征图进行感受野大小不同的特征信息提取。对于跨尺度特征融合模块的分支(1)，使用卷积内核大小为1
×
1的卷积对输入特征进行处理主要是为了在不增加额外的计算量的同时为网络引入更多的非线性，提高泛化能力。对于分支(2)和(3)，在分支首尾分别添加卷积内核大小为1
×
1的卷积层的作用在于先降低输入特征的深度，然后进行特征提取，最后再将提取后的特征信息的深度还原回原始深度，降低了特征提取过程中需要的计算量。特别地，对于分支(3)，使用卷积内核5
×
5的卷积层进行特征提取时，因为更大的卷积内核会引入更多的计算量和参数量，因此为了进一步减少特征提取时的计算消耗，将卷积内核5
×
5改变为两个级联的卷积内核3
×
3，而最终的卷积感受野大小不变。跨尺度特征融合模块不会改变输出图像特征的尺度。
[0047]
跨尺度特征融合模块的输出特征是源输入特征与三个不同感受野大小分支下输出特征的拼接融合结果：
[0048][0049]
其中，h,α,β,γ分别表示原始输入特征，分支(1)，分支(2)，分支(3)的特征信息图；x、y、c分别表示特征信息图中长度、宽度、深度三个维度的索引；x、y、c分别代表在这三个维度上的最大索引值，详细结构参见于图3。
[0050]
步骤203、将步骤202中输出的跨尺度特征融合后的图像特征再通过一个残差单元块学习特征，最终输出的图像特征尺度为原始图像的1/4，通道维度扩大。
[0051]
步骤3、根据提取到的图像特征图，对所有输入图像进行二分类，区分缺陷定位图以及无效背景图，从而得到细微缺陷的粗略性定位，缺陷定位图将作为后续对细微缺陷的精细检测任务的输入数据。
[0052]
步骤4、对于区分出的缺陷定位图，使用步骤2中提取到的对应图像特征，通过缺陷分割网络，得到图像中细微缺陷的精细检测结果。所述缺陷分割网络包含三个分支，即分类，定位以及分割分支。其中分类分支用于输出待检测缺陷的分类置信度，输出维度为n
×
k，其中n表示预测目标数，k表示缺陷类别数；定位分支输出待检测缺陷的定位偏差，输出维度为n
×
4，其中n表示预测目标数，4表示预测的定位偏差数据维度；分割分支输出待检测缺陷的分割掩膜，输出维度为w
×h×
n，其中w、h分别表示分割掩膜的长和宽，其与输入图像尺度相同，n表示预测目标数。最终的预测缺陷实例经过阈值筛选得到。缺陷分割网络的结构参见图4。
[0053]
步骤5、根据步骤4中输出的关于细微缺陷的精细检测结果，对缺陷进行定量分析，主要包括面积、长度、宽度等指标。具体地，细微缺陷的面积可根据步骤4中分割分支输出的待测缺陷的分割掩膜计算得到。分割掩膜是一个w
×
h的矩阵，其矩阵值包括0和1，取值为0时表示该点对应原始图像中像素点属于背景区域，取值为1表示表示该点对应原始图像中像素点属于待检测缺陷区域，因此待检测缺陷的面积可由如下公式得出，其中mask代表分
割掩膜矩阵,count(
·
)表示计数：
[0054]
area＝count(mask(i,j)＝1,i∈w,j∈h)
[0055]
对于待检测缺陷的长度和宽度分析，首先根据分割掩膜图像提取待检测缺陷的轮廓，再根据轮廓求出待检测缺陷的最小外接矩形。最小外接矩形的较长边被认为是待检测缺陷的长度，较短边被认为是待检测缺陷的宽度。
[0056]
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。