基于改进Tiny-YOLOv4的交通标志检测方法

基于改进tiny-yolov4的交通标志检测方法
技术领域
1.本发明属于图像检测技术领域，具体涉及一种基于改进tiny-yolov4的交通标志检测方法。


背景技术：

2.交通标志检测系统是智能驾驶的一个重要组成部分，通过搭载在汽车上面的摄像头实时对交通道路场景进行拍摄，并将拍摄到的图片传入检测系统进行交通标志检测，为驾驶员提供有效的道路交通信息。提前预测前方的交通信息可以使驾驶员及时地做出判断，增加其反应时间，降低交通事故发生的机率。
3.交通标志检测方法主要分为传统检测方法和深度学习方法。传统检测方法需要人工设计特征，耗费时间长，检测精度不高，并且需要高质量的图像，很难达到实际应用场景的需求。基于深度学习的交通标志检测算法可以分为两类，基于候选区域的交通标志检测算法和基于回归的交通标志检测算法。基于候选区域的检测算法属于两阶段算法，其首先需要筛选出候选区域，然后提取候选区域的特征，最后进行分类和定位。基于回归的交通标志属于一阶段算法，省略了生成候选区域的步骤，直接使用卷积神经网络提取特征，完成对目标的分类和定位。这两类算法各有优缺点，两阶段算法检测和定位效果好，但是检测耗时长，一阶段算法检测速度快，可以达到多类别检测，但是检测精度相较于两阶段算法略差。
4.虽然深度学习广泛应用于交通标志检测领域，也取得了很多的成就。但是，至今没有兼顾交通标志检测精度高、检测速度快、模型内存容量小三方面要求的检测算法。所以要综合考虑检测精度、检测速度以及模型内存容量三方面的要求，尽量满足实际应用的需求，设计出一个检测精度高、检测速度快、模型内存容量小的交通标志检测算法。


技术实现要素：

5.本发明的目的在于，提供一种基于改进tiny-yolov4的交通标志检测方法，兼顾交通标志检测精度高、检测速度快、模型内存容量小三方面要求。
6.为实现上述目的，本发明提供了一种基于改进tiny-yolov4的交通标志检测方法，包括以下步骤：
7.s1、预处理图像信息，形成图像训练集、图像验证集以及图像测试集；
8.s2、改进tiny-yolov4的网络结构：
9.改进特征金字塔网络，改用尺度更大的预测特征层，并对其进行多尺度特征融合；
10.改进主干特征提取网络，引入跨阶段局部网络和空间金字塔池化，将主干特征提取网络的最后一层卷积层的卷积核大小由3
×
3大小改为1
×
1大小；
11.s3、使用k-means聚类算法对图像训练集和图像验证集进行聚类分析，生成更适合交通标志目标的anchor框；
12.s4、利用图像训练集和图像验证集，对改进后的tiny-yolov4目标检测网络进行训练；
13.s5、利用图像测试集，对训练后的改进tiny-yolov4模型进行测试，获取评价指标。
14.可选地，步骤s1中，将交通标志数据集以9：1的比例划分为训练集和验证集。
15.可选地，步骤s2包括：
16.s21、改进特征金字塔网络，改用尺度更大的52
×
52和104
×
104大小的预测特征层，并对其进行多尺度融合，从最深层次的特征图开始，依次将其上采样与上一层特征图进行特征融合，融合深层特征和浅层特征；
17.s22、改进主干特征提取网络，将原网络结构的第二层卷积改为跨阶段局部网络，在主干特征提取网络的最后一层卷积层的前面加入空间金字塔池化，同时将最后一层卷积层的卷积核大小由3
×
3大小改为1
×
1大小。
18.可选地，步骤s3中，使用k-means聚类算法生成更适合交通标志的anchor框。距离度量d(ture,pre)定义为：
19.d(true,pre)＝1-iou(ture,pre)
20.式中，iou(ture,pre)是真实边界框和计算所得anchor框(预测框)的交并比。iou越大说明计算出来的anchor框与真实边界框的重合程度越高。这样与真实框之间距离小的anchor框会被保留。
21.可选地，步骤s4中，对改进tiny-yolov4目标检测网络进行训练时，针对目标框的坐标回归损失采用了ciou损失。ciou综合考虑了边界框之间的重叠面积、中心点距离、长宽比以及尺度变化等因素，使得目标框的回归变得更加稳定，不会像iou和giou一样出现训练过程中发散等问题，ciou的公式可以表示为：
[0022][0023]
其中，ρ2(b,b
gt
)代表了预测框和真实框的中心点的欧式距离，b代表预测框，b
gt
代表真实框；c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离。而α和υ的公式如下：
[0024][0025][0026]
式中，w和h分别表示预测框的宽度和高度，w
gt
和h
gt
分别表示真实框的宽度和高度。ciou损失函数可以表示为：
[0027][0028]
可选地，步骤s5中，将训练集输入到训练好的检测网络中，获取评价指标，包括：改进tiny-yolov4检测模型的检测准确率、召回率、f1值、平均检测精度map、检测速度fps以及模型内存容量，其公式如下：
[0029]
[0030][0031][0032][0033]
其中，tp表示实际是正样本并且预测对了的样本数，fn表示实际是正样本但是预测错了的样本数，fp表示实际是负样本但是预测错了的样本数，tn表示实际是负样本并且预测对了的样本数。precision主要用来表示预测的结果是否准确，值越高说明目标的误检越少。recall主要用来表示目标是否预测的全面，值越高说明目标漏检的越少。ap表示以recall为横坐标，precision为纵坐标绘制的pr曲线下方区域面积，能够衡量模型在每个类别上性能的优劣。
[0034]
本发明与现有技术相比，具有以下优点及有益效果：
[0035]
本发明在特征金字塔网络中使用尺度更大的预测特征图，并将浅层特征与深层特征融合起来，增强了网络的特征表达能力，提高了小目标交通标志和密集交通标志的检测精度；同时加深主干特征提取网络，引入跨阶段局部网络和空间金字塔池化，增强网络的特征提取能力。相比较现有的交通标志检测算法，本发明可以在保证检测速度快和模型内存容量低的前提下提高检测精度，兼顾交通标志检测精度高、检测速度快、模型内存容量小三方面要求，满足实际应用的需求。
附图说明
[0036]
图1是基于改进tiny-yolov4的交通标志检测方法流程图。
[0037]
图2是跨阶段局部网络的结构图。
[0038]
图3是空间金字塔池化的结构图。
[0039]
图4是本发明基于改进tiny-yolov4的交通标志检测算法的网络结构图。
[0040]
图5(a)是改进前后的tiny-yolov4检测模型指示标志ap值的对比图。
[0041]
图5(b)是改进前后的tiny-yolov4检测模型禁止标志ap值的对比图。
[0042]
图5(c)是改进前后的tiny-yolov4检测模型警告标志ap值的对比图。
具体实施方式
[0043]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0044]
本发明公开了一种基于改进tiny-yolov4的交通标志检测方法，属于图像检测技术领域。该方法包括：获取交通标志数据集的图像信息；预处理图像信息，形成图像训练集、图像验证集以及图像测试集；改进tiny-yolov4的网络结构：改进特征金字塔网络，改用尺度更大的预测特征层，并对其进行多尺度特征融合；改进主干特征提取网络，引入跨阶段局部网络和空间金字塔池化，将主干特征提取网络的最后一层卷积层的卷积核大小由3
×
3大
小改为1
×
1大小；使用k-means聚类算法对图像训练集和图像验证集进行聚类分析，得到适合数据集的anchor框；利用图像训练集和图像验证集，对改进后的tiny-yolov4目标检测网络进行训练；利用图像测试集，对训练后的改进tiny-yolov4模型进行测试，获取评价指标。本发明中改进后的tiny-yolov4能够提高小目标交通标志的检测精度，并且改进后的tiny-yolov4算法的模型内存容量只有10.8mb，极大地减少了模型的参数量，改进算法的综合性能优于其他的交通标志检测算法，能更有效地执行交通标志检测任务。
[0045]
本发明实施例的基于改进tiny-yolov4的交通标志检测方法，如图1所示，包括以下步骤：
[0046]
s1、预处理图像信息，形成图像训练集、图像验证集以及图像测试集。
[0047]
本实施例使用cctsdb数据集，分为训练集15724张图片，测试集400张图片，主要检测三种交通标志，分别是指示标志、警告标志、禁止标志。将训练集以9：1的比例划分为训练集和验证集，最终形成图像训练集、图像验证集以及图像测试集。
[0048]
s2、设计基于改进tiny-yolov4的交通标志检测算法的网络结构，如图4所示，包括主干特征提取网络和特征金字塔网络两个部分。
[0049]
改进主干特征提取网络：如图2所示，将原网络的第二层darknetconv2d_bn_leaky层替换为跨阶段局部网络，即resblock_body模块，加深网络深度的同时不会增加太大的计算负担，增强了网络的特征提取能力，检测速度不会下降很多，模型参数量也不会增加很多。如图3所示，在主干特征提取网络的最后一层卷积前加入空间金字塔池化模块，扩大网络的感受野，融合局部特征和全局特征。为了平衡速度与精度，将网络的最后一层卷积层的卷积核大小由3
×
3改为1
×
1，减少计算量的同时也可以减少模型的参数量。
[0050]
改进特征金字塔网络：原网络的两个预测特征层对小目标检测和密集交通标志检测的效果不好，因此删除尺度为13
×
13和26
×
26的预测特征层，改用52
×
52和104
×
104更大尺度的预测特征层，提高小目标交通标志和密集交通标志的检测精度。为了使预测特征层既包含位置细节信息也包含高级语义信息，将深层特征图依次进行上采样，将其放大到和浅层特征图相同的尺寸后进行特征融合拼接，加强网络的检测能力。
[0051]
s3、在对改进tiny-yolov4的目标检测网络进行训练前，使用k-means聚类算法对图像训练集和验证集进行聚类分析，得到适合的anchor框尺寸。本实施例通过聚类分析得到了6个anchor框，104
×
104预测特征层对应的anchor框是(8，23)，(8，15)，(12，20)，52
×
52预测特征层对应的anchor框是(17，30)，(29，43)，(56，79)。
[0052]
s4、对改进tiny-yolov4目标检测网络进行训练时，针对目标框的坐标回归损失采用了ciou损失。ciou综合考虑了边界框之间的重叠面积、中心点距离、长宽比以及尺度变化等因素，使得目标框的回归变得更加稳定，不会像iou和giou一样出现训练过程中发散等问题。ciou损失函数可以表示为：
[0053][0054]
其中，ρ2(b,b
gt
)代表了预测框和真实框的中心点的欧式距离，b代表预测框，b
gt
代表真实框；c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离。而α和υ的公式如下：
[0055][0056][0057]
式中，w和h分别表示预测框的宽度和高度，w
gt
和h
gt
分别表示真实框的宽度和高度。
[0058]
在训练时，输入图片的大小为416
×
416，采用adam优化器，初始学习率为0.0001，训练150个epoch，批量大小为8，采用了动态学习率以及早停机制。
[0059]
s5、将训练集输入到上述训练好的检测网络中，获取评价指标，包括：改进tiny-yolov4检测模型的检测准确率、召回率、f1值、平均检测精度map、检测速度fps以及模型内存容量。
[0060]
测试实施例：
[0061]
使用precision、recall、f1、map、fps、模型内存容量六项指标在cctsdb数据集上测试本方法。将本方法与检测准确率高的cascaded r-cnn目标检测算法、模型内容容量小的strong tiny-yolov3目标检测算法、yolov4目标检测算法以及tiny-yolov4目标检测算法进行比较。
[0062]
表1本发明与四种优秀方法比较结果表
[0063][0064]
从表1可以看出，cascaded r-cnn模型在precision和f1上取得最优结果，但是该模型的检测速度最慢；yolov4模型在recall和map上取得最优结果，但是该模型的检测速度与改进tiny-yolov4相比太慢，并且改进tiny-yolov4模型的map与其相比只相差1.09％，差距并不大，而检测速度约是其的5倍，模型内存容量相比其减少了233.2mb；tiny-yolov4模型在fps上取得了最优结果，但是改进tiny-yolov4模型与其相比，fps相差不大，且模型内存容量相比其减少了11.8mb，map相比其增加了13.4％，在precision、recall、f1上的检测效果均比其好；strong tiny-yolov3模型在模型内存容量上取得最优结果，但是改进tiny-yolov4模型与其相比，模型内存容量相差不大，检测速度约是其的6倍，且模型的map值相比其也提升了3.23％。
[0065]
图5(a)是改进前后的tiny-yolov4检测模型指示标志ap值的对比图。图5(b)是改
进前后的tiny-yolov4检测模型禁止标志ap值的对比图。图5(c)是改进前后的tiny-yolov4检测模型警告标志ap值的对比图。改进后的检测算法的检测精度比原模型高13.4％，模型内存容量减少了11.8mb，检测速度达到了200fps。通过对比，改进后的tiny-yolov4算法相较于原算法来说，对小目标交通标志和密集交通标志的检测效果更好。
[0066]
虽然改进tiny-yolov4模型在单个指标上均未达到最优结果，但综合检测精度、检测速度以及模型内存容量三个方面评价，改进tiny-yolov4模型的效果要比其它检测模型的效果好。
[0067]
说明书中未阐述的部分均为现有技术或公知常识。本实施例仅用于说明该发明，而不用于限制本发明的范围，本领域技术人员对于本发明所做的等价置换等修改均认为是落入该发明权利要求书所保护范围内。
[0068]
本领域的技术人员容易理解，以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。