基于YOLOv3及多尺度特征融合的棉布瑕疵检测方法与流程

基于yolov3及多尺度特征融合的棉布瑕疵检测方法
技术领域
1.本发明属于纺织品成分分析、材料分类技术领域，具体涉及一种基于yolov3及多尺度特征融合的棉布瑕疵检测方法。


背景技术：

2.在当前的纺织企业中，织物的检验仍以传统的人工视觉检验方式为主，检测速度一般在15-20m/min[1]，无法满足在线检测的要求. 纺织厂中的织物若出现瑕疵，将严重影响其经济收益.因此，以机器视觉和深度学习为依托的检测方法成为近几年研究的热点.一般基于传统的机器视觉处理方法大致可分为统计法(数学形态学法、直方图统计法、遗传算法、贝叶斯统计法)，模型法(总变差模型),光谱法(快速傅里叶变换、小波变换、gabor变换)，且由于一种算法很难取得理想的瑕疵轮廓，于是很多学者将多种算法融合应用.但这些传统算法过于依赖图像本身的浅层特征，图像的低对比度、光照不均等因素都会干扰检测结果，使得检测精度较低.近些年深度学习在目标检测方面发展迅猛，采用经过验证的两级管道，例如fast r-cnn、 fasterr-cnn、mask r-cnn等框架已成为一种流行范式.首先需生成一些候选框(proposal)，然后对它们进行类，能实现较好的检测效果，但由于步骤繁琐，检测速度较慢.另一些框架如ssd、yolo省去候选框的生成过程，输入整张图像后直接在输出层回归出目标位置和类别，从而得到较快的检测速度.吴桐等人基于yolo网络研究了一种数据集预处理的方法进行焊缝瑕疵的检测，以流水线作业的方式提升网络检测速度.由于锚框选取的好坏直接影响检测精度的高低，故本文在 yolov3网络的基础上进行改进，提出一种棉布瑕疵目标检测算法 fs-yolov3(four scales yolov3)，在保证速度的同时，从先验框的选取、尺度的选择、目标框滤除三个角度进行优化，进一步提高检测精度。


技术实现要素：

[0003]
本发明提出的基于yolov3网络以及多尺度特征融合的棉布瑕疵检测方法，设计了一个基于yolov3网络的瑕疵点检测模型，实现纺织品隐蔽瑕疵点的检测。首先对纺织品图像数据进行随机裁剪、旋转等预处理工作，增强模型的鲁棒性。然后用k-means 算法聚类锚框，得到逐渐接近真实框的参数。然后再利用darknet-53网络提取图像特征，并对特征进行特征融合多尺度分类预测，其中包括定位置信度评分、分类置信度评分、过滤预测框等操作，最终输出目标类别及预测的bbox 结果。
[0004]
本发明提出的基于yolo的瑕疵点检测网络包括如下步骤：
[0005]
s1：像预处理，其主要包括图像矩阵的归一化、标准化等操作。常用softmax函数作为归一化函数，常用min-max feature scaling或 standard score对数据进行标准化；
[0006]
s2：专利要求2所述的基于yolov3及多尺度特征融合的棉布瑕疵检测方法中的分割图像，对其输入的图像数据进行随机裁剪、旋转等预处理工作，目的是增强模型额鲁棒性。假设输出特征图的高与宽分别为h、w，相当于将图像划分为h
×
w个网络，图像的每个网格对应输出特征图平面上的一个表征点。在每个网格上都放上这些锚框，每个网格上每个
锚框都对应一个预测框。在过滤预测框阶段，设置分类置信度阈值为threshold1，定位置信度阈值threshold2.用红色框凸显先验框的选取、尺度的选择以及目标框的滤除部分；
[0007]
s3：专利要求3所述的基于yolov3及多尺度特征融合的棉布瑕疵检测方法中的k-means聚类锚框，利用锚点机制预测下次边界框以降低模型训练的复杂度。随着对样本特征的不断学习，根据真实框对初始候选框逐步修正，得到逐渐接近真实框的参数。为减少随机初始化对结果的影响，得到更好的iou得分，用k-means 算法取代k-means算法，将候选框和真实框的交并比(iou)作为位置相似性度量，计算公式如下：
[0008]
d(box，centre)＝1-iou(box，centre)
[0009]
其中box为目标的真实框，centre为样本聚类中心，iou表示目标真实框和聚类得到的锚框的交并比，随着iou的增大，函数值减小，聚类得到的锚框与真实框越接近，效果也越好。
[0010]
在预测阶段，对于输入的瑕疵图像，预测一个三维张量，包括对棉布瑕疵每个预测框的坐标信息x、y、w、h，可以根据
[0011]bx
＝σ(x) c
x
，
[0012]by
＝σ(y) cy，
[0013]
两式子将锚框的中心点偏移到与真实框一致，根据
[0014]bw
＝p
w ew，
[0015]bh
＝p
h eh，
[0016]
两式对预测框的宽度和高度做拉伸处理，使得预测框与真实框保持一致。
[0017]
s4：专利要求4所述的基于yolov3及多尺度特征融合的棉布瑕疵检测方法中的用darknet-53提取图像特征，初始卷积层用32个3
×
3的卷积核过滤416
×
416大小的棉布瑕疵图像；随后将之前卷积层的输出作为下一层的输入，并使用64个3
×
3的卷积核，用两个像素的步长对他们过滤波实现下采样操作。经过上述操作可以得到尺寸为208
×
208的特征图；执行包含1
×
，2
×
，8
×
，8
×
，4
×
残差块的五组网络，分别获得208
×
208，104
×
104，52
×
52，26
×
26，13
×
13分辨率的特征图。
[0018]
s5：专利要求5所述的基于yolov3及多尺度特征融合的棉布瑕疵检测方法中的定位置信度评分与分类置信度评分，在过滤预测框阶段，设置分类置信度阈值为threshold1，定位置信度阈值为threshold2.用红色框凸显先验框的选取、尺度的选择以及目标框的滤除部分；
[0019]
s6：专利要求6所述的基于yolov3及多尺度特征融合的棉布瑕疵检测方法中的将评分结果与阈值比较，将之前的分类置信度评分与定位置信度与初始化时设置的阈值进行比较，若均大于阈值则过滤预测框，否则舍弃bbox目标框；
[0020]
s7：专利要求7所述的基于yolov3及多尺度特征融合的棉布瑕疵检测方法中的引入softer-nms算法精确化边框，对于低对比度的样本图像，噪声往往会被当成目标，得分低的边框被强制去除，造成精度下降，故引入softer-nms算法，提高分类置信度边框的准确率。
[0021]
与现有的技术相比，本发明具有如下优点：在保证速度的同时，提高了检测的精度。
附图说明
[0022]
下面结合附图和具体实施方式对本技术作进一步详细的说明。
[0023]
图1为本发明涉及到的经典yolov3网络结构图；
[0024]
图2为本发明涉及到的目标检测流程图；图3为本发明提出的改进的yolov3网络结构图；
具体实施方式
[0025]
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
[0026]
在以下具体实施例的说明中，为了清楚展示本发明的结构及工作方式，将借助诸多方向性词语进行描述，但是应当将“前”、“后”、“左”、“右”、“外”、“内”、“向外”、“向内”、“轴向”、“径向”等词语理解为方便用语，而不应当理解为限定性词语。
[0027]
下面结合附图详细说明本发明的具体细节。
[0028]
图1是经典的yolov3流程图，使用了darknet-53的前面的52层 (没有全连接层)，yolo_v3这个网络是一个全卷积网络，大量使用残差的跳层连接，并且为了降低池化带来的梯度负面效果，直接摒弃了 pooling，用conv的stride来实现降采样。在这个网络结构中，使用的是步长为2的卷积来进行降采样。为了加强算法对小目标检测的精确度，yolov3中采用类似fpn的upsample和融合做法(最后融合了 3个scale，其他两个scale的大小分别是26
×
26和52
×
52)，在多个scale的feature map上做检测。在3条预测支路采用的也是全卷积的结构，其中最后一个卷积层的卷积核个数是255，是针对coco数据集的80类：3*(80 4 1)＝255，3表示一个grid cell包含3个boundingbox，4表示框的4个坐标信息，1表示objectness score。
[0029]
图2是目标检测流程图，其中详细描述了瑕疵目标检测的流程，按以下步骤进行：
[0030]
步骤1：输入图像并进行图像归一化；
[0031]
步骤2：图像划分为h
×
w个网格；
[0032]
步骤3：滑动窗口产生大量候选框；
[0033]
步骤4:用训练好的分类器分类；
[0034]
步骤5：筛选bbox，计算bbox与剩余边框的iou；
[0035]
步骤6：将iou值与阈值进行比较，若小于阈值则保留阈值的索引，否则舍弃bbox；
[0036]
步骤7：标记瑕疵轮廓。
[0037]
图3为本发明提出的改进的yolov3网络结构图，其中用 darknet-53提取图像特征，初始卷积层用32个3
×
3的卷积核过滤416
ꢀ×
416大小的棉布瑕疵图像；随后将之前卷积层的输出作为下一层的输入，并使用64个3
×
3的卷积核，用两个像素的步长对他们过滤波实现下采样操作。经过上述操作可以得到尺寸为208
×
208的特征图；执行包含1
×
，2
×
，8
×
，8
×
，4
×
残差块的五组网络，分别获得208
×ꢀ
208，104
×
104，52
×
52，26
×
26，13
×
13分辨率的特征图。
[0038]
以上所述仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本技术的保护范围。