一种基于深度学习的制导光纤表面缺陷检测与定位方法与流程

1.本发明属于深度学习技术领域，具体涉及一种基于深度学习的制导光纤表面缺陷检测与定位方法。


背景技术：

2.制导光纤是光纤制导导弹的信息传输通道，导弹在飞行过程中将拍摄获取的目标信息通过制导光纤传回地面操作人员，再由地面操控手对光纤制导导弹进行指令的传输，实现对导弹的控制。制导光纤在生产或者存放过程中，在光纤的表面可能会产生一些缺陷(比如划痕、凸起等)，这些缺陷会直接影响到光纤中传输信号的质量，进而影响导弹的制导精度，严重时可能导致传输系统崩溃。
3.制导光纤表面的缺陷检测对于光纤制导导弹来说是十分必要的。传统的检测方法大多是采用人工检测完成，其缺点是检测过程需要人工监督和修正，可能导致系统实时性和检测一致性有所下降。随着计算机技术的发展，基于深度学习的一些缺陷检测算法得到了更多的研究与发展。
4.基于深度学习的缺陷检测算法是通过设计网络模型在数据集上进行训练，使网络学习到缺陷的特征，然后实现网络对缺陷自动检测与定位。与传统的检测方法相比，基于深度学习的缺陷检测方法可以实现无接触检测判断，避免大多数人为因素的影响，达到快而准的检测效果。


技术实现要素：

5.本发明主要解决的问题是克服人工检测制导光纤表面缺陷的不足，提升检测的速度和精度。本发明提供一种基于深度学习的制导光纤表面缺陷检测的方法。本发明基于深度学习，先对ccd相机(charge coupled device camera)获取的制导光纤表面缺陷图像进行预处理，然后提出了一种缺陷分类算法—oresnet(optimized-resnet)，实现了制导光纤表面缺陷的分类，最后提出了一种缺陷检测算法—oyolov3(optimized-yolov3)，使用该算法完成对缺陷的检测与定位。
6.为了达到上述目的，本发明的技术方案为：
7.一种基于深度学习的制导光纤表面缺陷检测与定位方法，包括以下步骤：
8.步骤1：图像预处理；
9.制导光纤表面缺陷图像均是由ccd工业相机拍摄获取，对图像的预处理包括对图像像素大小的统一和图像数据扩增。图像的像素大小统一为380
×
380，数据扩增采用的是单样本数据扩增的方法，使用平移、翻转、添加噪声、增加对比度等方法实现对缺陷图像的数据扩增。
10.步骤2：制导光纤表面缺陷数据集的制作；
11.使用labelimg软件对所有缺陷图像进行人工标记，将数据集按6：2：2的比例分为训练集、验证集和测试集。完成制导光纤表面缺陷数据集的制作。
12.步骤3：oresnet缺陷分类算法的设计；
13.基于resnet分类网络，发明了一种缺陷分类算法—oresnet。oresnet算法是在对oresnet算法的改进优化，主要表现是对残差结构、最大池化层以及激活函数上的优化。
14.步骤4：oyolov3缺陷检测算法的设计；
15.基于one-stage检测算法中的yolov3检测算法，发明了一种缺陷检测与定位算法—oyolov3。算法的核心就是步骤2中的oresnet缺陷分类算法，选取oresnet作为oyolov3算法中的特征提取网络部分。
16.步骤5：在缺陷图像中对检测定位到的缺陷部分进行标记。
17.与现有技术相比，本发明的有益效果为：
18.一、便于实现对制导光纤表面的缺陷检测，检测速度快，检测精度高；
19.二、检测过程简单，节约人力和物力，稳定性高，提高了检测效率。
附图说明
20.为了易于说明，本发明由下述的具体实施及附图作以详细描述。
21.图1是本发明的流程图。
22.图2是本发明的具体流程图。
23.图3(a)是缺陷光纤图像原图。
24.图3(b)是对缺陷图像进行平移。
25.图3(c)是对缺陷图像进行翻转。
26.图3(d)是在缺陷图像中添加高斯噪声。
27.图3(e)是对缺陷图像增加对比度。
28.图3(f)是对缺陷图像进行旋转90
°
。
29.图4是oresidual的结构示意图。
30.图5是oresnet的结构示意图。
31.图6(a)是制导光纤图像中严重缺陷检测示意图。
32.图6(b)是制导光纤图像中严重缺陷和位缺陷检测示意图。
33.图6(c)是制导光纤图像中严重缺陷检测示意图。
34.图6(d)是制导光纤图像中微缺陷检测示意图。
35.图6(e)是制导光纤图像中微缺陷检测示意图。
36.图6(f)是制导光纤图像中微缺陷检测示意图。
37.图7是oresidual的结构示意图.
38.图8是k-means聚类算法中k的取值与平均交并比的关系曲线图
39.表1是oresnet与darknet53在缺陷数据集上的分类准确率对比。
40.表2是oyolov3和yolov3在缺陷数据集上的性能指标对比。
具体实施方式
41.为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中示出的具体实施例来描述本发明。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟
悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
42.在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
43.如图1、图2所示，本具体实施方式采用以下技术方案：包括如下步骤：
44.步骤1：图像预处理
45.首先是使用ccd工业相机拍摄获取制导光纤表面图像，再对获取的图像进行预处理，预处理包括对图像的像素大小统一和图像的数据扩增。
46.所有图像缺陷图像的像素统一大小位380
×
380。
47.数据扩增采用的是单样本数据扩增的方法，具体方法有图像平移(如图3(b))、图像翻转(如图3(c))、在图像中添加噪声(如图3(d))、增加图像对比度(如图3(e))、图像旋转90
°
(如图3(f))等方法实现对缺陷图像的数据扩增，让有限的数据产生更多的数据，增加训练样本的数量以及多样性，增加噪声数据，在一定程度上提升模型鲁棒性。
48.步骤2：制导光纤表面缺陷图像数据集的制作
49.使用labelimg软件对所有缺陷图像进行人工标记，将数据集按6：2：2的比例分为训练集、验证集和测试集。完成制导光纤表面缺陷数据集的制作。
50.步骤3：oresnet缺陷分类算法的设计
51.基于resnet分类网络，发明了一种缺陷分类算法—oresnet(如图3所示)，主要是在残差块结构上做了优化，oresnet算法中使用了一种新的残差块结构—oresidual(optimized-residual)。oresidual中采用了四种不同大小卷积核(包括1
×
1，3
×
3，5
×
5，7
×
7四种)的并行结构分支，它的结构如图4所示，图像输入后有两条分路，一方面经过一个3
×
3的卷积核，然后通过一个有四个大小不同卷积核的分支，将四个输出作为输入再通过一个大小3
×
3的卷积核。另一方面，图像输入后直接通过短接部分与另一分路连接，然后输出。由于制导光纤表面缺陷的大小各异，而不同大小的卷积核对输入图像进行卷积操作得到的特征图大小不同，因此可以实现对输入的特征图进行多个尺度的特征提取。这样就能捕获到图像中不同大小的缺陷特征，实现对制导光纤表面缺陷的准确分类。
52.网络中的最大池化层可以有效减少网络的参数量，但是它的原理是通过减小特征图像的像素来实现参数量的减少，但是像素的减小，必然会丢失特征图中的部分信息。因此oresnet采用了空洞卷积取代resnet网络中的最大池化层，空洞卷积是通过在卷积核之中的权重之间插入零来实现。假如一个3
×
3大小的卷积核，在权重之间加入一个空洞，那么卷积核大小就会变为7
×
7，但是在卷积过程中，只有9个不为0的权重进行卷积操作，因此在使用空洞卷积可以在不增加训练参数的情况下保留图像的部分有用信息，提高了网络的特征提取能力，进而提升网络的分类准确率。
53.oresnet中的激活函数使用了mish激活函数，在网络的训练过程中加快了网络的收敛速度，这是因为mish激活函数与relu激活函数相比，优点是mish消除了出现relu神经死亡现象的必要条件。而由于函数的上限是无界的，所以mish避免了饱和，它的下界也是有
利的，因为它会产生强烈的正则化效果。而且mish有一个更好的特性就是它是连续可微的。
54.本发明中的oresnet结构如图5所示。其中conv(7*7，64，s＝2)表示的是大小为7
×
7的卷积核，通道数为64，步长为2。conv(7*7，64，dialition＝2)表示的是大小为7
×
7，填充率为1的卷积核，通道数为64。oresidual
×
2，ch＝64表示的是使用两个oresidual结构，通道数为64，oresidual
×
2，ch＝128表示的是使用两个oresidual结构，通道数为128，oresidual
×
2，ch＝64表示的是使用两个oresidual结构，通道数为256，oresidual
×
2，ch＝64表示的是使用两个oresidual结构，通道数为512，global average pooling表示的是大小为1
×
1的全局平均池化层。
55.步骤4：oyolov3缺陷检测算法的设计
56.基于one-stage检测中的yolov3检测算法，发明了一种缺陷检测与定位算法—oyolov3，网络的结构如图7所示，其中虚线框部分是oresnet去掉输出的网络结构，52*52、26*26和13*13表示的是三种尺度大小的输出用于后边的网络的检测，convs表示的是三种不同尺度输出所对应的缺陷检测，oyolov3 detection表示最后实现的检测结果输出。
57.yolov3检测算法中的特征提取网络选用的是darknet53网络，而图7中oyolov3检测算法中的特征提取网络选用的则是上文所提出的oresnet网络，oyolov3中的主干特征提取网络使用的是oresnet网络，与darknet53相比，oresnet网络可以更好的实现对缺陷特征提取，在对制导光纤表面缺陷的分类准确率上有显著的提升，表1是二者在数据集上测试的准确率对比。
58.表1
59.netoresnetdarknet53accuracy0.96010.8910
60.oyolov3中的anchors大小和数量是利用k-means聚类算法在制导光纤表面缺陷数据集上聚类得出的，k-means聚类算法的具体步骤为：
61.1)选择一个有k个簇的初始分区；重复步骤2)和3)，直到集群成员稳定；
62.2)通过将每个数据点分配给最接近的簇来生成新分区集群中心；
63.3)计算新的聚类中心。
64.其中，k的值是通过对制导光纤表面缺陷数据集进行聚类分析得出的，聚类过程中簇的中心个数k和平均交并比(avg_iou)的关系如图8所示。平均交并比越高说明聚类效果越好，一般采用“手肘法”对k值进行选取，在图8中按手肘法我们选取平均交并比变化较大的位置所对应的k值，即k＝8。
65.因此oyolov3中的使用了8个anchors，大小分别位(36，36),(83，147),(133，98),(238，75),(107，254),(237，200),(269，322),(367，253)。
66.oyolov3与yolov3相比，在检测精度以及检测速度上均有所提升，其他一些性能指数上也有所改善。oyolov3与yolov3算法在制导光纤表面缺陷数据集上的性能指数对比如表2所示。
67.表2
[0068] f1precisionrecallmap@0.5map@0.5:0.95speed(ms)yolov30.910.8960.9300.97310.71248oyolov30.960.9490.9760.9860.82833
[0069]
步骤5：在缺陷图像中对检测定位到的缺陷部分进行标记
[0070]
本具体实施方法中的制导光纤表面缺陷种类有微缺陷和严重缺陷，使用oyolov3算法对制导光纤表面缺陷检测的部分效果示意图如图6(a)-图6(f)所示。
[0071]
本发明具体以下有益效果:
[0072]
本发明提出的oyolov3缺陷检测算法，在检测精度和检测速度上均有所提升，而且也提高了检测算法的鲁棒性。