一种基于深度可分离卷积YOLOv4模型的滤袋袋口位置检测方法与流程

一种基于深度可分离卷积yolov4模型的滤袋袋口位置检测方法
技术领域
1.本发明涉及计算机视觉领域，具体涉及图像检测与识别领域，特别是涉及一种基于深度可分离卷积yolov4模型的滤袋袋口位置检测方法。


背景技术：

2.近年来，我国国内经济发展迅速，在一定程度上提高了人们的生活水平和质量，并且工业水平相较于过去有了巨大的变化，然而在保证生产效率的同时，产品位置的定位不准确影响着许多工业制造厂商。滤袋袋口在滤袋智能生产过程当中占据着重要地位，但是由于滤袋具有柔性的特点，传统的目标检测方法很难实现并且检测精度不能满足工厂的生产要求。因此需要一种有效的方法用来自动定位滤袋袋口的精确位置，提高工厂流水线的自动化程度和生产效率。


技术实现要素：

3.针对现有技术的不足，本发明提出一种基于深度可分离卷积yolov4模型的滤袋袋口位置检测方法，具体技术方案如下：
4.一种基于深度可分离卷积yolov4模型的滤袋袋口位置检测方法，该方法具体包括如下步骤：
5.s1：通过摄像头采集传送带上的滤袋袋口图片；
6.s2：对s1所得到的所有图片进行数据增强，并对图像进行标注，构建滤袋袋口数据集；
7.s3：构建基于深度可分离卷积的yolov4目标检测模型，设置训练参数，采用所述s2构建的滤袋袋口数据集对基于深度可分离卷积的yolov4目标检测模型进行训练；
8.s4：将待检测的滤袋袋口图片输入训练后的基于深度可分离卷积的yolov4目标检测模型中，输出已经标注出检测框位置以及滤袋袋口类别的待检测的滤袋袋口图片。
9.进一步地，所述s2中的数据增强具体为：先对滤袋袋口图片进行锐化，再对图像进行随机旋转、亮度变化和镜像翻转，对图像进行扩充，然后对所有图像进行标注，得到滤袋袋口数据集。
10.进一步地，所述s3具体包括如下子步骤：
11.s3.1：构建基于深度可分离卷积的yolov4目标检测模型，所述基于深度可分离卷积的yolov4目标检测模型包括输入层、特征提取网络、瓶颈结构和预测层；所述特征提取网络采用mobilenetv3神经网络，并采用mobilenetv3神经网络中的深度可分离卷积作为yolov4中瓶颈结构当中的卷积；
12.s3.2：基于深度可分离卷积的yolov4目标检测模型用于检测滤袋袋口前，采用k
‑
means 聚类算法对先验框进行聚类，得到9个合适尺寸大小的先验框；
13.s3.3：将滤袋袋口数据集输入基于深度可分离卷积的yolov4目标检测模型中，特
征提取网络提取图片特征，获得不同尺度的特征图；
14.s3.4：将不同尺寸的特征图输入瓶颈结构中，对图片的特征进行反复提取，最终得到三个不同大小的特征图；
15.s3.5：通过s3.2得到的初始先验框尺寸，在三个不同大小的特征图上进行预测，将得到的预测结果进行非极大值抑制处理，筛选出和真实框交并比值最高的预测框，送入预测层对该预测框进行调整，通过反向传播更新目标检测模型的参数。
16.进一步地，所述s3.2具体通过如下子步骤来实现：
17.s3.2.1：先从滤袋袋口数据集当中随机选取n个真实框作为初始先验框，这里n等于9；s3.2.2：根据公式：d
mn
＝1
‑
iou(box
m
,anchor
n
)来计算未选中的先验框和初始先验框的距离d
mn
，当d
mn
最小的时候，所对应的第m个真实框属于第n个簇类，其中box
m
为第m个真实框，m∈m，m是为真实框的总数量；anchor
n
是为第n个先验框，n∈n；iou为二者的交集与并集之比，即
18.s3.2.3：对滤袋袋口数据集中的所有真实框进行聚类后，利用每个簇类当中的所包含的真实框的宽高的平均值更新初始先验框的宽高；
19.s3.2.4：重复s3.2.2和s3.2.3，直到n个初始先验框的宽高均不在发生变化，或者达到最大迭代次数，将最终的n个初始先验框尺寸作为滤袋袋口数据集的先验框尺寸。
20.进一步地，在s3中对目标检测模型进行训练时，从滤袋袋口数据集中随机选取4张图像，首先通过mosaic数据增强方法对其进行随机缩放和随机拼接混合，得到新的拼接图像后，采用拼接图像训练目标检测模型。
21.进一步地，在s3中对目标检测模型进行训练过程中，学习率采用余弦退火衰减策略，从而有效的防止模型陷入局部最小值。
22.进一步地，在s3中对目标检测模型进行训练过程中，采用标签平滑策略作为避免过拟合的一种方式，标签平滑的计算公式如下：
[0023][0024]
其中，为平滑处理之后的标签，y
k
为原始标签，k为类别数目，ε为标签平滑值。
[0025]
进一步地，在s3中对目标检测模型进行训练过程中，使用ciou损失函数：
[0026][0027][0028][0029][0030]
其中，iou表示交并比，a表示预测框，b表示物体真实框，b表示a的中心点，b
gt
表示b的中心点，ρ2表示预测框和真实框中心距离的平方，c2表示包含预测框和真实框最小外接长
方形对角线距离的平方；v是衡量宽高比一致性的参数，ω
gt
是真实框的宽度，h
gt
是真实框的高度，ω是预测框的宽度，h是预测框的高度，α是权重系数，
[0031]
本发明的有益效果如下：
[0032]
(1)本发明将yolov4目标检测模型的特征提取网络换成更适用于嵌入式设备的mobilenetv3神经网络，减小了模型的总参数量，提高了模型的计算速度。
[0033]
(2)本发明将yolov4目标检测模型的瓶颈结构当中的卷积替换为深度可分离卷积，进一步的减少yolov4模型的参数量。
[0034]
(3)本发明在yolov4目标检测模型的初始先验框的选择方案上，引入k
‑
means 聚类算法，将k
‑
means 聚类算法的输出结果作为基于深度可分离卷积的yolov4目标检测模型初始先验框的尺寸。
附图说明
[0035]
图1是深度可分离卷积的yolov4目标检测模型的流程图。
[0036]
图2是深度可分离卷积的yolov4目标检测模型的结构图。
[0037]
图3是滤袋袋口的检测结果图，其中，图(a)是带十字花纹圆开口，(b)是圆形突出开口，(c)是圆形破损开口，(d)是带横线圆开口，(e)是圆形凹陷开口，(f)是带绿色十字圆开口，(g)是白色椭圆开口，(h)是紫色椭圆开口。
具体实施方式
[0038]
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0039]
本发明的原理为：首先采集滤袋袋口图片，对图片进行数据增强，并对所有获得图片进行标注，划分成训练集、验证集和测试集。接着构建基于深度可分离卷积的yolov4目标检测模型，采用k
‑
means 聚类算法的输出结果作为基于深度可分离卷积的yolov4目标检测模型初始先验框的尺寸，并且将特征提取网络换成总参数量更小的mobilenetv3神经网络。最后在测试集上验证基于深度可分离卷积的yolov4目标检测模型的性能，验证测试集上滤袋袋口分类和滤袋袋口定位效果。
[0040]
作为其中一种实施方式，本发明的基于深度可分离卷积yolov4模型的滤袋袋口位置检测方法，如图1所示，包括如下步骤：
[0041]
s1：通过摄像头采集传送带上的滤袋袋口图片；
[0042]
s2：对s1所得到的所有图片进行数据增强，具体的数据增强方式为：先对滤袋袋口图片进行锐化，再对图像进行随机旋转、亮度变化和镜像翻转，对图像进行扩充，然后对所有图像进行标注，得到滤袋袋口数据集；再按照8：1：1分成训练集、验证集和测试集；
[0043]
s3：构建基于深度可分离卷积的yolov4目标检测模型，设置训练参数，采用所述s2构建的滤袋袋口数据集对基于深度可分离卷积的yolov4目标检测模型进行训练；s3具体包括如下的子步骤：
[0044]
s3.1：构建基于深度可分离卷积的yolov4目标检测模型，如图2所示，所述基于深度可分离卷积的yolov4目标检测模型包括输入层、特征提取网络、瓶颈结构和预测层；所述
特征提取网络采用mobilenetv3神经网络，并采用mobilenetv3神经网络中的深度可分离卷积作为yolov4中瓶颈结构当中的卷积，进一步的减少yolov4模型的参数量；
[0045]
采用mobilenetv3神经网络作为yolov4的特征提取网络，可以减小整体模型的计算量，能够显著提高模型运行速度。mobilenetv3综合了mobilenetv1当中的深度可分离卷积和mobilenetv2当中的逆残差结构，深度可分离卷积和普通卷积的参数对比如公式所示：d
k
是卷积核的大小，d
f
是输入特征图和输出特征图的尺寸，m是输入特征图的通道数，n是输出特征图的通道数，深度可分离卷积能够有效的减少参数量，而逆残差结构可以减少高维信息的丢失量；mobilenetv3引入轻量级注意力机制来调整每个通道的权重，采用h
‑
swish激活函数替代swish激活函数，减小计算量，提高模型性能，其中h
‑
swish激活函数的公式为
[0046]
s3.2：基于深度可分离卷积的yolov4目标检测模型在检测滤袋袋口时，采用k
‑
means 聚类算法对应先验框进行聚类，得到9个合适尺寸大小的先验框，具体为：
[0047]
s3.2.1：先从滤袋袋口数据集当中随机选取n个真实框作为初始先验框，这里n等于9；
[0048]
s3.2.2：根据公式：d
mn
＝1
‑
iou(box
m
,anchor
n
)来计算未选中的先验框和初始先验框的距离d
mn
，当d
mn
最小的时候，所对应的第m个真实框属于第n个簇类，其中box
m
为第m个真实框，m∈m，m是为真实框的总数量；anchor
n
是为第n个先验框，n∈n；iou为二者的交集与并集之比，即
[0049]
s3.2.3：对滤袋袋口数据集中的所有真实框进行聚类后，利用每个簇类当中的所包含的真实框的宽高的平均值更新初始先验框的宽高；
[0050]
s3.2.4：重复s3.2.2和s3.2.3，直到n个初始先验框的宽高均不在发生变化，或者达到最大迭代次数，将最终的n个初始先验框尺寸作为滤袋袋口数据集的先验框尺寸，如表1所示。
[0051]
表1锚框尺寸表
[0052][0053]
s3.3：将滤袋袋口数据集输入基于深度可分离卷积的yolov4目标检测模型中，特征提取网络提取图片特征，获得不同尺度的特征图；
[0054]
s3.4：将不同尺寸的特征图输入瓶颈结构中，对图片的特征进行反复提取，最终得到三个不同大小的特征图；
[0055]
s3.5：通过s3.2得到的初始先验框尺寸，在三个不同大小的特征图上进行预测，将得到的预测结果进行非极大值抑制处理，筛选出和真实框交并比值最高的预测框，送入预
测层对该预测框进行调整，通过反向传播更新目标检测模型的参数。
[0056]
s4：将待检测的滤袋袋口图片输入训练后的基于深度可分离卷积的yolov4目标检测模型中，输出已经标注出检测框位置以及滤袋袋口类别的待检测的滤袋袋口图片。
[0057]
为了有效地提高模型的鲁棒性，在s3中对目标检测模型进行训练时，从滤袋袋口数据集中随机选取4张图像，首先通过mosaic数据增强方法对其进行随机缩放和随机拼接混合，得到新的拼接图像后，采用拼接图像训练目标检测模型。
[0058]
为了提高模型的性能，在s3中对目标检测模型进行训练过程中：
[0059]
(1)学习率采用余弦退火衰减策略，从而有效的防止模型陷入局部最小值，上升期间和下降期间均采用余弦函数；
[0060]
(2)采用标签平滑策略可以有效避免过拟合，标签平滑的计算公式如下：
[0061][0062]
其中，为平滑处理之后的标签，y
k
为原始标签，k为类别数目，ε为标签平滑值。
[0063]
(3)使用ciou损失函数代替原来的损失函数：
[0064][0065][0066][0067][0068]
其中，iou表示交并比，ciou的全称为complete intersection over union，a表示预测框，b表示物体真实框，b表示a的中心点，b
gt
表示b的中心点，ρ2表示预测框和真实框中心距离的平方，c2表示包含预测框和真实框最小外接长方形对角线距离的平方；v是衡量宽高比一致性的参数，ω
gt
是真实框的宽度，h
gt
是真实框的高度，ω是预测框的宽度，h是预测框的高度，α是权重系数，
[0069]
图3给出了采用本发明的方法进行滤袋袋口检测的检测结果图，从图中可以看出，对于各种类型的滤袋袋口，本发明的方法都能够准确地检测出袋口位置。且原有yolo
‑
v4的参数量为244m，而本文模型的参数量为53.8m。
[0070]
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。