基于形状感知的焊接缺陷检测方法与流程

1.本发明属于工业射线图像检测技术领域，具体是一种基于形状感知的焊接缺陷检测方法，可用于工业领域中各种焊接结构的缺陷检测。


背景技术：

2.焊接缺陷检测一般通过无损检测(non destructive testing，ndt)技术来实现，ndt在检测过程中不会损坏被检测物体，是一种安全的检测技术，主要包括x射线检测、超声检测等。x射线检测适用于大部分检测材料，可以长期保留缺陷的检测结果，是ndt中主流的检测方法，主要通过对x射线底片进行人工评阅来识别缺陷的类型和危险等级。然而随着现代工业的快速发展，通过计算机辅助实现焊接缺陷自动化检测已经成为当前工业领域的主要发展方向。人工评片方式检测流程繁琐，效率低下，并且受到人为主观因素的干扰，已难以满足工业检测的需求。
3.计算机视觉处理技术的成熟为焊接缺陷检测提供了极大的帮助，通过将x射线底片数字化之后的图像进行预处理，然后借助计算机视觉技术对图像中的缺陷特征进行手工提取，最后将手工提取的特征放入分类器中对缺陷进行检测。虽然这种方法较于人工评片的方式有了较大的优势，但是仍然需要人工辅助，并且焊接缺陷类型众多，大小和形状差异较大，位置信息也较为复杂，选择合适的特征提取方法来准确识别出焊接缺陷的方式效率较低，因此并不能实现对缺陷全自动化检测。
4.近年来，随着基于深度学习的目标检测技术的快速发展，给焊接缺陷的检测带来了新的思路，目标检测技术不易受到人为主观因素的干扰，可以使检测结果和评定过程更加客观、合理性以及规范，可以实现焊接缺陷的自动化检测。由于焊接缺陷具有不同类型缺陷相似度高、缺陷长短分布不均等特点，常规的缺陷检测模型难以有效检测焊接缺陷，因此本技术提出了一种基于形状感知的焊接缺陷检测方法。


技术实现要素：

5.针对现有技术的不足，本发明拟解决的技术问题是，提出一种基于形状感知的焊接缺陷检测方法。
6.本发明解决所述技术问题采用的技术方案如下：
7.一种基于形状感知的焊接缺陷检测方法，其特征在于，该方法包括以深度学习网络为基础，构建缺陷检测模型，将训练后的缺陷检测模型用于焊接缺陷检测，输出包括目标类别和位置信息的预测结果；
8.缺陷检测模型为双阶段网络结构，第一阶段包括resnext101网络、fpn模块、基于形状尺度感知的区域建议网络模块，第二阶段包括基于形状定位的检测头模块；缺陷图像经过resnext101网络提取特征，将resnext101网络的第二～五层卷积结构提取的特征图c2～c5输入到fpn模块中进行特征融合，特征图c5输入到fpn模块中即为特征图p5，对特征图p5进行下采样，得到特征图p6；与此同时，将特征图p5和c4进行融合，得到特征图p4；将特征
图p4与c3进行融合，得到特征图p3；将特征图p3和c2进行融合，得到特征图p2；特征图p2～p6即为fpn模块的输出特征，将特征图p2～p6输入到基于形状尺度感知的区域建议网络模块中进行第一次预测；
9.在基于形状尺度感知的区域建议网络模块中，首先利用式(1)对输入特征图f进行3
×
3卷积操作，得到特征图f1；
10.f1＝t
conv3
(f)
ꢀꢀꢀ
(1)
11.式中，t
conv3
表示3
×
3卷积操作；
12.其次，利用式(2)对特征图f1进行1
×
1卷积操作，得到形状预测特征图fs；
13.fs＝t
conv1
(f1)
ꢀꢀꢀ
(2)
14.式中，t
conv1
表示1
×
1卷积操作；
15.然后，对形状预测特征图fs进行1
×
1卷积操作，得到包含锚框形状信息的偏移量δpn；
16.δpn＝t
conv1
(fs)
ꢀꢀꢀ
(5)
17.再将偏移量δpn与特征图f1进行3
×
3可变形卷积，得到特征图f2；最后，利用特征图f2对形状预测特征图fs中生成的锚框进行分类和回归，完成缺陷的第一次预测；
18.在可变形卷积中，利用式(6)对特征图f1中的每个采样点进行变形，扩大每个采样点对应的感受野，使得采样点能够感知更大范围内的内容；
[0019][0020]
式(6)中，χ表示特征图f1中采样点的集合，w
t
为权衡系数，f2(p0)表示特征图f2中采样点p0的值，pn表示集合χ中的元素，f1(p0 pn δpn)表示特征图f2中采样点p0扩大感受野后的值；
[0021]
fpn模块的输出特征分别经过池化层，得到roi特征图；对锚框进行筛选得到候选框，将候选框与roi特征图一起输入到基于形状定位的检测头模块中进行第二次预测；基于形状定位的检测头模块包括特征提取和分类回归两个分支，特征提取分支包括边缘特征提取和定位回归两部分，边缘特征提取用于得到缺陷的上边缘特征向量、下边缘特征向量、左边缘特征向量和右边缘特征向量，定位回归用于对缺陷进行定位。
[0022]
进一步的，在所述基于形状定位的检测头模块中，边缘特征提取的具体过程为：首先，将roi特征图进行两次3
×
3卷积操作，得到特征图fr，再通过自注意力机制获取roi特征图中的空间信息，公式如下：
[0023]mx
(xi,yi)＝g
x
(t
conv1
(fr(xi,yi)))
ꢀꢀꢀ
(7)
[0024]my
(xi,yi)＝gy(t
conv1
(fr(xi,yi)))
ꢀꢀꢀ
(8)
[0025]
式中，m
x
(xi,yi)、my(xi,yi)分别表示沿x、y轴方向的注意力图中采样点(xi,yi)的空间信息，g
x
、gy分别表示沿x、y轴方向正则化，fr(xi,yi)为特征图fr中采样点(xi,yi)的值；
[0026]
然后，分别将空间信息m
x
(xi,yi)、my(xi,yi)与特征图fr进行相乘，分别得到沿x、y轴方向的特征图f
x
和fy；
[0027]fx
＝m
x
(xi,yi)*fr(xi,yi)
ꢀꢀꢀ
(9)
[0028]fy
＝my(xi,yi)*fr(xi,yi)
ꢀꢀꢀ
(10)
[0029]
式中，*表示相乘操作；
[0030]
利用式(11)对特征图f
x
进行1
×
3卷积操作，得到特征图再利用式(13)对特征图进行卷积倍数为2的一维反卷积操作，得到特征张量同理，利用式(12)对特征图fy进行3
×
1卷积操作，得到特征图再利用式(14)对特征图进行卷积倍数为2的一维反卷积操作，得到特征张量
[0031][0032][0033][0034][0035]
式中，t
conv
表示卷积操作，t
tran
表示一维反卷积操作；
[0036]
然后，利用split函数对特征张量和进行分割，得到缺陷的上边缘特征张量f
top
、下边缘特征张量f
bottom
、左边缘特征张量f
left
和右边缘特征张量f
right
；
[0037][0038][0039]
最后，对缺陷的上边缘特征张量f
top
、下边缘特征张量f
bottom
、左边缘特征张量f
left
和右边缘特征张量f
right
分别进行全连接操作，得到缺陷的上边缘特征向量、下边缘特征向量、左边缘特征向量和右边缘特征向量。
[0040]
进一步的，所述基于形状定位的检测头模块中，定位回归包括块估计和微调回归两部分；在定位之前，首先确定一个候选区域范围覆盖检测目标，然后将该区域在水平和垂直方向上划分为块；具体的，给定一个候选框，候选框的上、下、左、右边缘分别为e
top
、e
bottom
、e
left
和e
right
，通过放大因子扩大候选区域，候选区域在x轴和y轴方向分别被划分为2k个块，k为正整数，每k个块对应一条候选区域的边缘，通过式(17)和(18)计算每个块在x轴和y轴上的宽度w
x
和wy；
[0041][0042][0043]
式中，δ表示放大因子，δ＞1；
[0044]
在块估计中，通过边缘特征提取得到的四个边缘特征向量，利用二分类法得到预测框每条边缘对应的块，进而得到x轴上两条边缘的坐标点(x1,x2)和y轴上两条边缘的坐标点(y1,y2)；
[0045]
在微调回归中，利用分类回归分支的两次3
×
3卷积操作预测每个块的中心线坐标与真实框四条边缘的偏移量(δx1,δx2,δy1,δy2)，根据偏移量调整预测框的位置。
[0046]
进一步的，在基于形状尺度感知的区域建议网络模块中，形状预测特征图fs为双通道的网络结构，首先预测宽度中间量w'和高度中间量h'，再通过式(3)和(4)将宽度中间量w'和高度中间量h'映射为锚框宽度w和高度h，最后通过锚框宽度w和高度h在每个采样点
生成不同大小的锚框；
[0047]
w＝α
·s·ew
′
ꢀꢀꢀ
(3)
[0048]
h＝α
·s·eh'
ꢀꢀꢀ
(4)
[0049]
式中，α表示权衡系数，s表示1
×
1卷积操作的步长。
[0050]
进一步的，该方法还包括构建损失函数，对缺陷检测模型进行训练；
[0051]
基于形状尺度感知的区域建议网络模块的训练损失l
ssa-rpn
包括分类损失l
rpn_cls
、回归损失l
rpn_reg
和形状预测损失l
rpn_sa
，公式如下：
[0052]
l
ssa-rpn
＝l
rpn_cls
l
rpn_reg
l
rpn_sa
ꢀꢀꢀ
(19)
[0053]
基于形状定位的检测头模块的训练损失l
sl-head
包括块估计损失l
blocking
、分类损失l
cls
和回归损失l
reg
，公式如下：
[0054]
l
sl-head
＝l
cls
l
reg
l
blocking
ꢀꢀꢀ
(24)
[0055]
训练时，在块估计中，对于候选区域的每一侧，将块的中心线与真实框对应的边位置最近的块标记为正样本，其他块标记为负样本，将每一侧与距离真实框对应边第二近的块视为被忽略样本；在微调回归中，忽略了每一侧的负样本。
[0056]
与现有技术相比，本发明的有益效果是：
[0057]
1.本发明的ssa-rpn模块在常规rpn的基础上添加了一个形状预测网络分支来预测锚框的大小和形状，从而在每个采样点生成大量的锚框；同时，通过形状预测网络分支得到的形状信息经过卷积操作生成偏移量，然后与原有特征图进行可变形卷积，以此来扩大每个采样点对应的感受野，让感受野更趋近于缺陷本身的形状，能够得到更有效的信息，抑制无关特征的表达，同时减少无关特征对小目标特征的干扰，能够检测出更多的小目标；ssa-rpn模块可以有效获取缺陷的形状细节信息，细微地控制缺陷形状比例，解决不同类型焊接缺陷相似度高的问题。在ssa-rpn模块中，为了有利于形状预测网络分支的训练，本发明提出的形状自适应损失(shape adaptive loss，sa loss)可以更好地优化形状预测网络分支的参数，以便预测时在每个采样点上生成最佳候选框的形状大小。
[0058]
2.sl-head模块是一种以提取缺陷边缘特征为基础，对目标的形状进行控制，从而得到目标位置信息的检测头。常规的检测头是以边界框回归的方式来对目标进行定位，以目标的中心点为中心，再利用回归网络计算出的偏移量进行校准，但是对于细长型的缺陷，预测框的中心点可能与缺陷的中心点距离较远，故难以精准地定位到缺陷，可能会将该缺陷检测成多段大小不一的缺陷，而难以完整地将其检测出来。sl-head模块则是通过自注意力和反卷积生成四个网络分支提取缺陷的上、下、左、右边缘特征，然后利用这四个网络分支得到的特征向量得到预测框四条边缘的位置信息，然后再通过回归网络计算的偏移量对位置校准。该方式预测出四条边缘在x轴或y轴的位置，然后对四条边组合，生成预测框，这样可以完整地检测出较长的缺陷，同时不会生成许多冗余的预测框，进而提高了模型检测精度。
附图说明
[0059]
图1为本发明的整体流程图；
[0060]
图2为本发明的缺陷检测模型的结构示意图；
[0061]
图3为本发明的ssa-rpn模块的结构示意图；
[0062]
图4为本发明的sl-head模块中边缘特征提取阶段的结构示意图；
[0063]
图5(a)为本发明的sl-head模块定位回归阶段中块估计的结构示意图；
[0064]
图5(b)为本发明的sl-head模块定位回归阶段中微调回归的结构示意图；
[0065]
图6(a)为利用基线模型和ssa-rpn模块对圆形缺陷进行检测的测试结果图；
[0066]
图6(b)为利用基线模型和ssa-rpn模块对条形缺陷进行检测的测试结果图；
[0067]
图6(c)为利用基线模型和ssa-rpn模块对未焊透缺陷进行检测的测试结果图；
[0068]
图7为利用基线模型和sl-head模块检测未焊透缺陷的测试结果图；
[0069]
图8为利用本发明的缺陷检测模型检测条形缺陷的测试结果图。
具体实施方式
[0070]
下面结合附图和具体实施方式对本发明的技术方案进行详细说明，并不以此限定本技术的保护范围。
[0071]
本发明为一种基于形状感知的焊接缺陷检测方法(简称方法，参见图1-8)，包括如下步骤：
[0072]
第一步、获取带有obb(oriented bounding boxes)标注的焊接图像，构建数据集；
[0073]
第二步、以深度学习网络为基础，构建缺陷检测模型；
[0074]
缺陷检测模型为双阶段网络结构，第一阶段包括resnext101网络、fpn(feature pyramid networks)模块、基于形状尺度感知的区域建议网络(shape scale aware based region proposal network，ssa-rpn)模块，第二阶段包括基于形状定位的检测头(shape localization based head，sl-head)模块；以resnext101网络作为骨干网络，利用resnext101网络对焊接图像进行特征提取，将resnext101网络的第二～五层卷积结构提取的特征图输入到fpn模块中进行特征融合，融合后的特征图输入到ssa-rpn模块中进行第一次预测，对缺陷的形状大小和比例进行限制并输出锚框，对锚框进行筛选得到候选框，将候选框输入到sl-head模块中进行第二次预测，提取缺陷的边缘特征，利用边缘特征预测缺陷上下左右四条边缘的位置，对缺陷进行精确定位；
[0075]
如表1所示，resnext101网络包括第一～五层卷积结构conv1～conv5，resnext101网络分为32组，每组包含4个通道，表1中c表示分组数量；
[0076]
表1 resnext101网络结构
[0077][0078]
如图2所示，缺陷图像经过resnext101网络提取特征，将resnext101网络的第二～五层卷积结构提取的特征图c2～c5输入到fpn模块中进行特征融合，特征图c5输入到fpn模块中即为特征图p5，对特征图p5进行下采样，得到特征图p6；与此同时，将特征图p5和c4进行融合，得到特征图p4；将特征图p4与c3进行融合，得到特征图p3；将特征图p3和c2进行融合，得到特征图p2；特征图p2～p6即为fpn模块的输出特征，将特征图p2～p6输入到ssa-rpn模块中进行第一次预测；
[0079]
如图3所示，在ssa-rpn模块中，首先，利用式(1)对输入特征图f进行3
×
3卷积操作，得到特征图f1；
[0080]
f1＝t
conv3
(f)
ꢀꢀꢀ
(1)
[0081]
式中，t
conv3
表示3
×
3卷积操作；
[0082]
其次，利用式(2)对特征图f1进行1
×
1卷积操作，得到形状预测特征图fs；
[0083]fs
＝t
conv1
(f1)
ꢀꢀꢀ
(2)
[0084]
式中，t
conv1
表示1
×
1卷积操作；
[0085]
形状预测特征图fs为双通道的网络结构，预测了锚框的形状和大小(w,h)，w、h分别表示锚框宽度和高度，然后通过锚框宽度w和高度h在每个采样点生成不同大小的锚框；由于锚框的尺寸较大，直接对w和h进行预测可能会导致预测结果不稳定，因此首先预测宽度中间量w'和高度中间量h'，再通过式(3)和(4)将宽度中间量w'和高度中间量h'映射为锚框宽度w和高度h，该映射可以将预测范围进行压缩，进而提高模型的稳定性；
[0086]
w＝α
·s·ew
′
ꢀꢀꢀ
(3)
[0087]
h＝α
·s·eh'
ꢀꢀꢀ
(4)
[0088]
式中，α表示权衡系数，s表示1
×
1卷积操作的步长；
[0089]
然后，对形状预测特征图fs进行1
×
1卷积操作，得到包含锚框形状信息的偏移量δpn；
[0090]
δpn＝t
conv1
(fs)
ꢀꢀꢀ
(5)
[0091]
再将偏移量δpn与特征图f1进行3
×
3可变形卷积，得到特征图f2；最后，利用特征图f2对形状预测特征图fs中生成的锚框进行分类和回归，完成缺陷的第一次预测；
[0092]
在可变形卷积中，利用式(6)对特征图f1中的每个采样点进行变形，扩大每个采样点对应的感受野，使得采样点能够感知更大范围内的内容；
[0093][0094]
式(6)中，χ表示特征图f1中采样点的集合，w
t
为权衡系数，f2(p0)表示特征图f2中采样点p0的值，pn表示集合χ中的元素，f1(p0 pn δpn)表示特征图f2中采样点p0扩大感受野后的值；
[0095]
如图2所示，fpn模块的五个输出特征分别经过roi align层进行池化，得到roi(region of interest)特征图；通过非极大值抑制法对锚框进行筛选得到候选框，将候选框与roi特征图一起输入到sl-head模块中进行第二次预测；如图4所示，sl-head模块包括特征提取和分类回归两个分支，特征提取分支包括边缘特征提取和定位回归两部分；对于边缘特征提取，首先将roi特征图进行两次3
×
3卷积操作，得到特征图fr，再通过自注意力机制获取roi特征图中的空间信息，公式如下：
[0096]mx
(xi,yi)＝g
x
(t
conv1
(fr(xi,yi)))
ꢀꢀꢀ
(7)
[0097]my
(xi,yi)＝gy(t
conv1
(fr(xi,yi)))
ꢀꢀꢀ
(8)
[0098]
式中，m
x
(xi,yi)、my(xi,yi)分别表示沿x、y轴方向的注意力图中采样点(xi,yi)的空间信息，g
x
、gy分别表示沿x、y轴方向正则化，fr(xi,yi)为特征图fr中采样点(xi,yi)的值；
[0099]
然后，分别将空间信息m
x
(xi,yi)、my(xi,yi)与特征图fr进行相乘，分别得到沿x、y轴方向的特征图f
x
和fy；
[0100]fx
＝m
x
(xi,yi)*fr(xi,yi)
ꢀꢀꢀ
(9)
[0101]fy
＝my(xi,yi)*fr(xi,yi)
ꢀꢀꢀ
(10)
[0102]
式中，*表示相乘操作；
[0103]
利用式(11)对特征图f
x
进行1
×
3卷积操作，得到特征图再利用式(13)对特征图进行卷积倍数为2的一维反卷积操作，得到特征张量同理，利用式(12)对特征图fy进行3
×
1卷积操作，得到特征图再利用式(14)对特征图进行卷积倍数为2的一维反卷积操作，得到特征张量
[0104][0105][0106][0107][0108]
式中，t
conv
表示卷积操作，t
tran
表示一维反卷积操作；
[0109]
然后，利用split函数对特征张量和进行分割，得到缺陷的上边缘特征张量f
top
、下边缘特征张量f
bottom
、左边缘特征张量f
left
和右边缘特征张量f
right
；
[0110][0111][0112]
最后，对缺陷的上边缘特征张量f
top
、下边缘特征张量f
bottom
、左边缘特征张量f
left
和右边缘特征张量f
right
分别进行全连接操作，得到缺陷的上边缘特征向量、下边缘特征向量、左边缘特征向量和右边缘特征向量；
[0113]
定位回归用于对缺陷进行定位，包括块估计和微调回归两部分；在定位之前，首先确定一个候选区域范围覆盖检测目标，然后将该区域在水平和垂直方向上划分为块；如图5(a)所示，给定一个候选框，候选框的上、下、左、右边缘分别为e
top
、e
bottom
、e
left
和e
right
，通过一个放大因子δ(δ＞1)来扩大候选区域，以便覆盖整个检测目标；候选区域在x轴和y轴方向分别被划分为2k(k为正整数)个块，每k个块对应一条候选区域的边缘，通过式(17)和(18)计算每个块在x轴和y轴上的宽度w
x
和wy；
[0114][0115][0116]
在块估计中，通过边缘特征提取得到的四个边缘特征向量，利用二分类法得到预测框每条边缘对应的块，进而得到x轴上两条边缘的坐标点(x1,x2)和y轴上两条边缘的坐标点(y1,y2)；
[0117]
在微调回归中，利用分类回归分支的两次3
×
3卷积操作预测每个块的中心线坐标与真实框四条边缘的偏移量(δx1,δx2,δy1,δy2)，以此来调整预测框的位置，使得每个块的中心线坐标与真实框四条边缘的偏移量尽可能小，最后分类回归分支预测缺陷的分类结果和位置信息；
[0118]
第三步、构建损失函数，对缺陷检测模型进行训练，将训练后的缺陷检测模型用于焊接缺陷检测，输出预测结果，预测结果为目标的类别信息和位置信息；
[0119]
ssa-rpn模块包含形状尺度感知、分类和回归三个网络分支，因此ssa-rpn模块的训练损失包括分类损失、回归损失和形状预测损失，公式如下：
[0120]
l
ssa-rpn
＝l
rpn_cls
l
rpn_reg
l
rpn_sa
ꢀꢀꢀ
(19)
[0121]
式中，l
ssa-rpn
表示ssa-rpn模块的训练损失，l
rpn_cls
、l
rpn_reg
、l
rpn_sa
分别表示ssa-rpn模块的分类损失、回归损失和形状预测损失；
[0122]
分类损失用于判断正、负样本预测的分类结果与真实结果的一致程度，区分前景和背景；回归损失用于计算目标真实标签和预测框之间的偏移值，形状自适应损失用于计算真实框和预测框之间边框比例的差值，三种损失的计算公式如下：
[0123][0124][0125][0126]
其中，pm表示第m个候选框预测为真实框的概率，表示第m个候选框的真实标签，
正样本时取1，负样本时取0；tm＝[t
x
,ty,tw,th]、分别表示第m个候选框的预测值和真实值，λ表示权衡系数，w
pre
、h
pre
分别为预测框的宽度和高度，w
gt
、h
gt
分别为真实框的宽度和高度，β为用于防止分母为零参数；
[0127]
式(21)中smooth
l1
函数定义为：
[0128][0129]
sl-head模块的训练损失包括块估计损失、分类损失和回归损失，公式如下：
[0130]
l
sl-head
＝l
cls
l
reg
l
blocking
ꢀꢀꢀ
(24)
[0131]
其中，l
sl-head
表示sl-head模块的训练损失，l
cls
、l
reg
分别表示分类损失和回归损失，函数同式(20)和(21)，l
blocking
表示块估计损失，函数同式(20)；
[0132]
训练时，在块估计步骤中，通过参数δ扩大候选区域范围后得到的2k个块中，在每一侧，将块中心线与真实框对应的边位置最近的块标记为正样本，其他块标记为负样本。同时为了减少训练中的模糊性，在每一侧都默认忽略了距离真实框对应的边第二近的块，即被忽略样本，因为它很难与正样本区分开；在微调回归步骤中，忽略了每一侧的负样本，而为了提高微调回归阶段的健壮性，将标记为正样本和被忽略样本的块一起进行训练。
[0133]
为了验证本发明方法的有效性，利用实验数据集进行测试，图6(a)～(c)为利用基线模型和ssa-rpn模块分别对圆形缺陷(cir)、条形缺陷(str)和未焊透(lpe)三种缺陷的测试结果对比图；基线模型采用cascade rcnn模型，cascade rcnn模型是在faster rcnn的基础上改进得到的，cascade rcnn模型采用常规的rpn模块，即在每个采样点生成9种不同尺度的锚框；从图中可知，基线模型能够检测圆形缺陷，但是对于条形和未焊透这两种缺陷不能正确分类，将条形缺陷预测为未熔合(lfu)缺陷，将未焊透缺陷预测为未熔合缺陷，因此基线模型对于形状相似度较大的焊接缺陷检测效果不理想。而本发明的ssa-rpn模块对于圆形、条形和未焊透这三种缺陷均能正确分类，而且分类得分均较高，结果表明本发明的ssa-rpn模块能够进行前景与背景的分类和目标定位。
[0134]
图7为利用基线模型(cascade rcnn)和sl-head模块检测未焊透缺陷的测试结果图，基线模型由一系列常规检测头组成的级联检测模型，每个检测头都基于不同iou阈值的正负样本训练得到，前一个检测头的输出作为后一个检测头的输入，并且越往后，检测头的阈值越大，常规检测头是将roi特征图经过一个1
×
3卷积操作和一个全连接层预测锚框中心点的偏移；从图中可知，基线模型将细长型的缺陷检测为多段，而本发明的sl-head模块能够完整检测细长型的缺陷，检测结果更加准确。
[0135]
图8为利用本发明的缺陷检测模型检测条形缺陷的测试结果图，表1为基线模型与本发明各个模块各项指标对比；
[0136]
表1各个模块与基线模型的实验对比结果(％)
[0137]
[0138][0139]
从上述测试结果可知，基线模型存在漏检现象，本发明的缺陷检测模型则是对cascade rcnn模型中的rpn模块和检测头进行了改进，提出了ssa-rpn和sl-head模块。从表1中可以看出，对比单独的模块，ssa-rpn模块对平均查准率和平均查全率的提升效果最好，比基线模型提高了9.87和2.15％％。ssa-rpn和sl-head模块组合时的平均查准率提升最大，比基线模型提高了10.05％，较大地提高了焊接缺陷的检测精度，同时，该方法也保证了对缺陷的查全率，减少了对缺陷的漏检。
[0140]
以上是本发明的实施方式，对于本技术领域的普通技术人员而讲，很容易想到很多改进和变形，这些改进和变形也在本发明的修改范围。本发明未述及之处适用于现有技术。