一种基于YOLOv5模型的在线检测装置

一种基于yolo v5模型的在线检测装置
技术领域
1.本发明涉及质量检测技术领域，具体涉及一种基于yolo v5模型的在线检测装置。


背景技术：

2.自2012年alexnet提出后，目标检测得到了快速、有效的发展，近年来取得了巨大的成功。其中极具代表性的是目标检测神器yolo系列，在2020年6月25日的yolo v5横空出世后，目前在检测技术上已经达到了巅峰。
3.目前许多企业在产品生产过程中，对产品的检测，主要是通过人工检测的方式来进行。由于工人无法长时间、高强度的持续对产品进行质量检测，而导致整体生产效率受到了较大的影响，产品的质量主要通过质检人员的抽检来保证，无法实现一件一检，从而可能会有不合格件成为漏网之鱼，最终影响整个产品的质量或企业形象。
4.因此本文提供了基于yolo v5模型设计的一种在线检测装置，该装置通过视觉设备及时采集产品图片，通过预训练的模型和参数，实现对产品的质量检测。生产过程中，采用该设备代替人工对产品进行质量检测，以达到节省人力、物力的目的，实现企业生产过程中的全自动化，达到实时检测的目的。


技术实现要素：

5.针对现有技术的不足，本发明公开了一种基于yolo v5模型的在线检测装置，采用该项目设备代替人工对产品进行质量检测，以达到节省人力、物力的目的，实现企业生产过程中的全自动化，达到实时检测的目的。
6.本发明通过以下技术方案予以实现：
7.本发明提供了一种基于yolo v5模型的在线检测装置，包括
8.主干网络backbone，使用focus结构进行切片操作，然后在 channel维度进行拼接，最后进行卷积操作；
9.特征提取及融合结构，用于不同特征尺度的融合，并将浅层特征传递给顶层；
10.预测机构，用于为利用之前的特征作出相关预测；
11.其中，所述主干网络backbone、特征提取及融合结构和预测机构联合构成yolo v5模型；
12.判断器，通过目标检测的结果中一组圆是否同心，进而判断产品是否合格。
13.更进一步的，所述yolo v5模型选用yolo v5s时focus结构默认 3*640*640的输入，复制四份后通过切片操作将这个四个图片切成了四个3*320*320的切片，最后使用concat从深度上连接这四个切片，输出为12*320*320。
14.更进一步的，所述focus结构再通过卷积核数为32的卷积层，生成32*320*320的输出，最后经过batch_borm和leaky_relu将结果输入到下一个卷积层。
15.更进一步的，所述yolo v5模型选用yolo v5m时，有48个卷积核，经过聚焦结构后输出为320
×
320
×
48的特征图。
16.更进一步的，所述主干网络backbone设有csp结构。
17.更进一步的，所述csp结构包括csp1_x结构和csp2_x结构，其中，所述csp1_x结构应用于backbone主干网络，所述csp2_x结构则应用于neck中。
18.更进一步的，所述特征提取及融合结构包括spp模块和fpn pan 模块。
19.更进一步的，所述spp模块用于实现不同特征尺度的融合；所述 fpn pan模块用于将浅层特征传递给顶层。
20.更进一步的，所述预测机构在损失函数头部输出端，通过引入中心点距离和宽高比两个参数后，形成了完全交并比损失函数。
21.更进一步的，所述损失函数采用yolo v5模型中的giou_loss做 bounding box的损失函数，具体如下：
[0022][0023]
其中，b为预测框的面积，b
gt
为真实框的面积，c为同时包含了预测框和真实框的最小框面积，giou loss用于iou loss对距离不敏感的问题。
[0024]
本发明的有益效果为：
[0025]
本发明通过视觉设备及时采集产品图片，通过预训练的模型和参数，实现对产品的质量检测。生产过程中，采用该设备代替人工对产品进行质量检测，以达到节省人力、物力的目的，实现企业生产过程中的全自动化，达到实时检测的目的。
附图说明
[0026]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0027]
图1是本发明实施例一阶段检测方案图；
[0028]
图2是本发明实施例两阶段检测方案图；
[0029]
图3是本发明实施例切片操作图；
[0030]
图4是本发明实施例csp结构图；
[0031]
图5是本发明实施例spp结构图；
[0032]
图6是本发明实施例fpn pan结构图；
[0033]
图7是本发明实施例yolov5s整体结构图；
[0034]
图8是本发明实施例判断器准则图；
[0035]
图9是本发明实施例处理过程图；
[0036]
图10是本发明实施例前处理过程图；
[0037]
图11是本发明实施例目标检测训练过程评价指标图；
[0038]
图12是本发明实施例目标检测效果图；
[0039]
图13是本发明实施例操作示意图；
[0040]
图14是本发明实施例结果范例图。
具体实施方式
[0041]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0042]
实施例1
[0043]
本实施例提供一种基于yolo v5模型的在线检测装置，包括
[0044]
主干网络backbone，使用focus结构进行切片操作，然后在 channel维度进行拼接，最后进行卷积操作；
[0045]
特征提取及融合结构，用于不同特征尺度的融合，并将浅层特征传递给顶层；
[0046]
预测机构，用于为利用之前的特征作出相关预测；
[0047]
其中，所述主干网络backbone、特征提取及融合结构和预测机构联合构成yolo v5模型；
[0048]
判断器，通过目标检测的结果中一组圆是否同心，进而判断产品是否合格。
[0049]
本实施例yolo v5最大的特点是快并准，其非常适用于移动端，其模型小，速度快。表1为yolo v5官方提供的性能指标：
[0050]
表1 yolo v5模型相关性能指标
[0051][0052][0053]
综合之下，本实施例优选的采用yolo v5s或者yolo v5m模型。这两个模型具有较快的运行速度，可以轻松达到实时检测；具备较小的参数量可以降低对计算机计算资源的要求；具有较好的检测精度(其中yolov5m将速度与精度保持了一个较好的平衡)。yolov5整体结构如表2所示。
[0054]
表2 yolov5模型各部分结构
[0055][0056]
实施例2
[0057]
在实施例1的基础上，本实施例进行优选操作，在优选的层面，本实施例主干网络backbone包括focus结构，本实施例focus结构中较为关键是切片操作。如图3所示，其类似于亚像素卷积的反向操作版本，简单来说把数据切分为4份，每份数据都是相当于2倍下采样得到的，然后在channel维度进行拼接，最后进行卷积操作。其最大好处是可以最大程度的减少信息损失而进行下采样操作。
[0058]
本实施例进行优选的实施时，yolo v5s默认3*640*640的输入，复制四份，然后通过切片操作将这个四个图片切成了四个3*320*320 的切片，接下来使用concat从深度上连接这四个切片，输出为 12*320*320，之后再通过卷积核数为32的卷积层，生成32*320*320 的输出，最后经过batch_borm和leaky_relu将结果输入到下一个卷积层。
[0059]
本实施例yolo v5中设计了两种csp结构，以yolo v5s网络为例， csp1_x结构应用于backbone主干网络，另一种csp2_x结构则应用于 neck中。网络结构如图4所示。
[0060]
在优选的层面，本实施例特征提取及融合结构由spp模块和 fpn pan模块组成，其中spp模块实现了不同特征尺度的融合，其结构如图5所示。
[0061]
本实施例fpn pan模块把浅层特征传递给顶层要经历几十甚至上百层，显然经过这么多层的传递，浅层信息(小目标)丢失比较厉害。这里的红色虚线就象征着resnet的几十甚至上百层。
[0062]
本实施例优选的实施时，自下而上的路径由不到10层组成，浅层特征经过fpn laterial connection连接到p2再经过bottom-up pathaugmentation连接到顶层，经过的层数不到10层，能较好地保留浅层的信息。这里的绿色虚线就象征着自下而上的路径的不到10层。如图 6所示。
[0063]
在优选的层面，本实施例yolo v5中采用其中的giou_loss做 bounding box的损失函数。
[0064][0065]
本实施例中，b为预测框的面积，b
gt
为真实框的面积。c为同时包含了预测框和真实框的最小框面积。giou loss可以解决上面iouloss对距离不敏感的问题。
[0066]
此外，在目标检测的后处理过程中，针对很多目标框的筛选，通常需要nms操作。yolov5的整体结构框架如图7所示。
[0067]
在优选的层面，本实施例判断器方案，对于该项目中判断一个产品是否合格的主要依据是判断一组圆(设计中应当同心是否同心)。其判断过程如图8所示。
[0068]
由图可见若r1-r2《＝ε(其中ε取1/50r2-1/100r2)则判断该产品合格。而r1和r2及两圆圆心的获取的具体途径是通过目标检测的结果。
[0069]
实施例3
[0070]
在具体实施层面，本实施例提供一种利用目标检测的位置检测的方法，包括数据标注预处理(前处理)、目标检测(处理中)、判断器 (后处理)三个过程。其仿真流程如图9所示。
[0071]
本实施例前处理过程包含了数据标注(使用labelimg打锚框)、数据预处理(将标签.xml格式转换为.txt格式并随机划分训练集和验证集)整体流程图如图10所示。
[0072]
本实施例目标检测(处理中)过程，处理过程中的过程主要就是使用yolo v5s模型
进行目标检测操作。其具体流程见图yolo v5s整体结构。其中，yolo v5s模型训练结果如图11所示。经目标检测后的可视化图片如图12所示。
[0073]
本实施例后处理过程，经目标检测后经如图13操作。
[0074]
本实施例获得类似如上图所示的锚框位置关系，则有如下关系式：
[0075]
o0点的坐标位置为：o0＝(x0，y0)＝(a0 1/2(c
0-a0)，b0 1/2(d
0-b0))
[0076]
o1点的坐标位置为：
[0077]
o1＝(x1，y1)＝(a1 1/2(c
1-a1)，b1 1/2(d
1-b1))
[0078]
o0与o1两点之间的距离为：
[0079]
若
[0080][0081]
即若两目标框的圆心距离小于较小框斜边长度的0.03倍(可根据实际精度需求更改参数)则判判为合格产品(accepted product)反之为不合格产品(unaccepted product)。其中，可视化结果范例如图 14所示。
[0082]
实施例4
[0083]
在应用层面，本实施例提供了两套方案分别为one stage和twostage。
[0084]
针对one stage则是直接通过目标检测的方法既识别目标同时判断产品是否合格(即合格属性即为产品的类别)。该方案流程图如图1所示。
[0085]
该方案即通过深度学习的方式让机器自我学习到一种判断产品是否合格的方式。
[0086]
本实施例针对two stage则是只是利用目标检测的位置检测功能，在确认目标位置后再增加一个判断器模块(人工定义的判断方法)以判断该产品是否合格。该方案流程图如图2所示。
[0087]
相比之下两阶段方法具有更好的灵活性和稳定性。其灵活性在于对于不同的工件其判别准则未必一致，我们可以根据工件的特性来修改判断器；其稳定性在于深度学习目标检测算法只检测目标位置的准确性大概率会比既检测目标位置又检测工件是否合格的准确性高。
[0088]
因此，实施例3为了得到较为稳定的结果选择采用two stage的模型即只是利用目标检测的位置检测功能，在确认目标位置后再增加一个判断器模块以判断该产品是否合格。其中目标检测模型选择采用 yolo v5s模型，以保证即使只有cpu作为计算资源的条件下仍能达到实时检测的效果。
[0089]
综上，本发明通过视觉设备及时采集产品图片，通过预训练的模型和参数，实现对产品的质量检测。生产过程中，采用该设备代替人工对产品进行质量检测，以达到节省人力、物力的目的，实现企业生产过程中的全自动化，达到实时检测的目的。
[0090]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。