一种改进的基于深度学习的复杂纹理图像瑕疵检测方法与流程

1.本发明属于计算机视觉中的目标检测领域，涉及到一种改进的基于深度学习的复杂纹理图像瑕疵检测方法。


背景技术：

2.近年来，随着深度学习的迅猛发展，深度学习已逐渐成为主流的研究方法。在计算机视觉领域，基于深度学习的目标检测研究已经成为了一个重要的研究方向。尤其依赖于计算机硬件的不断升级与并行计算技术的迅猛发展，为深度神经网络模型的学习提供了更为便利的条件。
3.基于计算机视觉的物体表面瑕疵检测是工业界对产品把控的重要环节，目前主要依赖于熟练工人通过手工进行操作，人力成本高，对工人的经验要求也很高。若物体表面纹理复杂，例如不规则的纹理图案与其邻域的花纹十分相近，这就使得瑕疵特征不明显，检测难度增大。
4.目前主要的目标检测方法，基于神经网络的检测算法主要围绕着两阶段算法和一阶段算法，这两个系列展开：两阶段检测算法的第一阶段会从图像中选取候选区域，它的第二阶段会在候选区域对目标进行分类与定位；单阶段算法是基于对全局分类回归，并直接生成目标对象的位置和类别。这两种方法相比，单阶段算法的实时性更强，但检测精度有所下降。不管哪种方法，在检测复杂纹理图案上都容易与邻域花纹混淆，使得精度不够或者检测出错。


技术实现要素：

5.本发明针对现有技术的不足，提出了一种改进的基于深度学习的复杂纹理图像瑕疵检测方法，提升检测精度的同时可广泛应用于其他网络。
6.本发明解决精度问题所采取的提升精度的方案为：
7.步骤1：将待检测的可能包含复杂纹理的图片，输入至reconet50的网络中进行特征提取，得到候选区域。
8.步骤2：将得到的候选区域通过卷积得到相应的复杂纹理的瑕疵特征。
9.步骤3：将卷积后的特征图通过最大池化层来减少参数量，以便后续计算，同时确保复杂纹理特征不会因为多次卷积造成特征消失，保证其后续检测的精度。
10.步骤4：将经过layer1和layer2之后得到的特征图先通过1*1的卷积操作，然后按通道平均分成s个子集，定义为：xi,i∈{1,2,...,s}，每个特征都有相同大小的尺寸，但通道是输入的1/s。
11.步骤5：每个子特征都有相应的3*3的卷积核和involution kernel(li,duo,et al."involution:inverting the inherence of convolution for visual recognition."proceedings of the ieee/cvf conference on computer vision and pattern recognition.2021.)(在通道上共享kernel，可以使用大的空间从而通过spatial
维度的设计提升性能的同时保证了通过channel维度的设计维持效率)，分别定义为ki()和hi()，其输出为yi。子特征xi都和h
i-1
()相加，然后输入到ki()。因此yi可以写作：
[0012][0013]
将子特征中的第一个子特征先通过一个3*3的卷积，再将得到的结果经过一个involution卷积核，同时在两个卷积核的两端都加上残差连接，得到的结果为y1。将子特征中的第二个子特征和第一个输出相加，然后输入到3*3的卷积核中，再将得到的结果经过一个involution卷积核，同时在两个卷积核的两端都加上残差连接，得到的结果为y2。将子特征中的第三个子特征和第二个输出相加，然后输入到3*3的卷积核中，再将得到的结果经过一个involution卷积核，同时在两个卷积核的两端都加上残差连接，得到的结果为y3。将子特征中的第四个子特征和第三个输出相加，然后输入到3*3的卷积核中，再将得到的结果经过一个involution卷积核，同时在两个卷积核的两端都加上残差连接，得到的结果为y4。
[0014]
步骤6：将每一个子特征得到的输出进行拼接，之后通过一个1*1的卷积核将特征进行特征融合。
[0015]
步骤7：经过特征融合后的结果再通过一个se block来进一步提升精度，得到更具表征能力的feature map。
[0016]
步骤8：同样的，将步骤7中得到的结果作为layer4的输入，并经过3个bottleneck的处理得到feature map。
[0017]
步骤9：将步骤8中得到的特征图经过最大池化操作、全连接操作和softmax分类，最终输出复杂纹理的检测的结果。
[0018]
本发明提供的技术方案的有益效果是：通过对resnet50网络残差结构的部分改进，使其提取到的特征更丰富，更适合于具有复杂纹理特征的目标检测，通过加入involution模块使得其在优化精度的同时，克服了领域花纹在背景中的混淆，实现了在更大感受野的范围中对复杂纹理图像瑕疵的检测，在将提取的特征融合处理后，其表征能力大幅度提高，使网络提取的最终表示更丰富更完整，大大提高了检测的精度。
附图说明
[0019]
为了更清楚的展示本发明的网络结构以及训练过程，下面将对实施例中所需要的附图做以简单的介绍。
[0020]
图1为本发明对resnet50网络残差结构部分改进后的reconet50结构图。
[0021]
图2为resnet50网络结构与reconet50网络结构的对比图。
具体实施方式
[0022]
为了更具体的描述本发明，下面将结合附图以及具体实施方式对本发明的方案进行详细的说明。
[0023]
本发明提出了一种改进的基于深度学习的复杂纹理图像瑕疵检测方法，其网络结构如图1所示，在经过1*1卷积之后将通道分为4个部分分别用于3*3卷积和involution kernel来提取特征，获得感受野大小。
[0024]
整个网络结构如图2，reconet50部分所示。其简要步骤如下：一、读取输入图片，经
过卷积得到feature map f1。二、经过layer1的3个bottleneck结构之后，得到进一步的feature map f2。三、将f2经过layer2的4个bottleneck处理后得到的feature map为f3。四、将f3作为输入，经过6个bottleneck处理之后，得到feature map f4。五、将得到的f4经过3个bottleneck处理后得到feature map为f5。六、将得到的f5经过average pool、fc、bn和softmax输出1000类的概率值。
[0025]
实施例：
[0026]
一种改进的基于深度学习的复杂纹理图像瑕疵检测方法，包括如下步骤：
[0027]
步骤1：传入待检测图片，将其输入基于的reconet50的网络中，具体的：输入一张224*224像素3通道的图片，将其转化为224*224*3的矩阵。
[0028]
步骤2：待检测的图片通过7*7的卷积提取特征，具体的：将步骤1中得到的224*224*3的矩阵经过kernel_size＝7，in_channel＝3,out_channel＝64,stride＝2,padding＝3的卷积，bn和relu之后得到112*112*64的feature map。
[0029]
步骤3：将卷积后的feature map经过一个3*3的max pool层用于减少参数量，具体的：将步骤2得到的feature map经过kernel_size＝3,stride＝2的max pooling得到56*56*64的feature map。同时保留了上层feature map的特征信息，降低了参数量。接着再经过3个bottleneck的处理，得到56*56*256的feature map。
[0030]
步骤4：在经过layer1的3个bottleneck结构和layer2的4个bottleneck节后的处理之后得到feature map为28*28*512。
[0031]
步骤5：在layer3经过第一个1*1卷积之后，将输入划分为4个子集，分别为(x1,x2,x3,x4)，每个子特征的大小为28*28*128，将x1先经过3*3的卷积核得到14*14*128的输出feature map，再将输出的feature map经过involution kernel实现在空间上的转换，得到14*14*128的feature map为y1；将x2和y1相加，再经过3*3的卷积核得到14*14*128的输出feature map，再将输出的feature map经过involution kernel实现在空间上的转换，得到14*14*128的feature map为y2；将x3和y2相加，再经过3*3的卷积核得到14*14*128的输出feature map，再将输出的feature map经过involution kernel实现在空间上的转换，得到14*14*128的feature map为y3；将x4和y3相加，再经过3*3的卷积核得到14*14*128的输出feature map，再将输出的feature map经过involution kernel实现在空间上的转换，得到14*14*128的feature map为y4；最后将y1，y2，y3，y4四个部分进行拼接得到14*14*512的feature map，具体可见图1。
[0032]
步骤6：将拼接在一起的四个部分经过1*1的全连接层进行特征融合，再经过一个se block来进一步提高精度，得到输出14*14*1024的feature map。
[0033]
步骤7:将步骤6得到的结果作为layer4的输入，在经过3个bottleneck结构之后得到大小为7*7*2048的feature map。
[0034]
步骤8：将步骤7得到的feature map，经过最大池化操作、全连接操作和softmax分类之后，得到检测概率，并最终输出具有复杂纹理图像瑕疵的结果。
[0035]
综上，本发明将针对复杂纹理背景中目标的复杂性和不确定性，设计提出了一种新的网络模块，在模块中加入involution和convolution的残差结构来克服复杂纹理在不同背景中的混淆，在计算量增加很少的情况下，扩大感受野以提高全局性和鲁棒性，同时既减少了纹理背景的影响，又从多角度增强细节特征以提高目标的检出率。