一种基于小目标特征增强的交通标志检测方法与流程

1.本发明涉及目标检测技术领域，尤其涉及一种基于小目标特征增强的交通标志检测方法。


背景技术：

2.随着人工智能技术的快速发展，智能驾驶行业也发展迅速，特别是深度学习的发展使得车辆在感知、定位等方面取得了巨大的成功。
3.交通标志包含重要的道路交通信息，属于车辆环境感知的重要一部分，交通标志的检测准确率是算法可以实际部署到车辆上一个重要的衡量指标。
4.在现有的检测方法中，重要分为两类。第一类是以faster-rcnn为代表的two-stage检测算法，该类算法将整个检测过程分为两部分，第一步是训练rpn网络，第二步是训练目标区域检测的网络。第二类是以ssd和yolo为代表的one-stage检测算法，该类检测算法直接通过主干网络给出类别和位置信息。two-stage算法虽然精度相较与one-stage算法高，但其速度达不到实时性的要求，而yolov5作为yolo系列的最新版本，在检测速度和精度上都有很好的表现，但由于交通标志数据集中小目标居多且正负样本失衡严重，造成yolov5在交通标志数据集tt100k上检测效果表现欠佳。


技术实现要素：

5.本发明目的就是为了弥补已有技术的缺陷，提供一种基于小目标特征增强的交通标志检测方法。
6.本发明是通过以下技术方案实现的：
7.一种基于小目标特征增强的交通标志检测方法，具体包括以下步骤：
8.构建交通标志数据集并进行数据增强；
9.优化构建anchor box的聚类算法；
10.优化网络结构增强交通标志细粒度特征；
11.优化网络结构增强交通标志通道特征；
12.针对正负样本失衡严重设计损失函数；
13.对改进后的交通标志检测算法进行效果评估。
14.所述的构建交通标志数据集并进行数据增强，具体内容如下：选取公开数据集tt100k作为研究对象，通过对数据集进行分析，包括数据集中目标尺寸以及每张图像中目标个数进行统计，得到数据集中正负样本失衡的特点；针对分析得到的数据集正负样本失衡严重问题，使用目标复制的方法进行数据增强。
15.所述的使用目标复制的方法进行数据增强，具体内容如下：
16.首先根据数据集的label文件裁剪数据集中所有尺寸小于50*50的目标；其次根据类别统计每类目标的数量，得到n1，n2，n3，......，n
45
，即每类目标的数量，以及被裁剪下的目标的总数n；进一步计算得到ni与n之间的差值mi，即mi＝n-ni，对所有的mi做归一化，即计
算m＝σmi，pi＝mi/m，每一个概率pi都占据(0，1)中的一段区间，在选择目标进行复制时，选取一个(0，1)之间的随机数r，r落在了哪个概率区间，即选择哪一类目标进行复制。
17.所述的优化构建anchor box的聚类算法，具体内容如下：首先yolo算法中的anchor box可以理解为多尺度的滑动窗口,即从训练集中所有的ground truth中找出的最长出现的几种box的形状和尺寸，将这个先验知识加入模型中，对预测对象的形状与尺寸进行约束，实现多尺度学习的目的。在本发明中针对数据集中所存在的目标尺寸小且大小较为集中的特点，优化anchor box的选择。
18.使用k-means 聚类算法对标注文件中的目标尺寸聚类，得到9个anchor box，其聚类距离公式为：
[0019][0020]
其中，s
center
表示当前该聚类中心的面积，s
box
表示当前待分类的框的面积。
[0021]
所述的优化网络结构增强交通标志细粒度特征，具体如下：通过引入bifpn结构替换网络结构中原有的panet结构，在进行不同尺寸特征图融合时，考虑不同尺寸特征包含的信息对最终结果的影响程度不同，引入的加权融合的方法去融合细粒度特征明显的底层特征图。
[0022]
所述的优化网络结构增强交通标志通道特征，具体如下：引入se结构，使网络更好的学习通道间的关联信息。首先是将该层尺寸为w*h*c的特征图输入进行压缩操作，即做一个全局平均池化，得到一个1*1*c的向量，接下来在对该向量进行激励操作，先在得到的1*1*c向量后接一个全连接层，再接一个激活函数层，然后再接一个全连接层，恢复输入的通道个数，最后再叠加一层激活函数层，最终输出一个1*1*c的向量，代表该层各通道的权重向量；最后对输入的特征图进行scale操作，即将上一步得到的1*1*c的权重向量与输入特征图进行通道权重相乘，得到该层的输出。
[0023]
所述的针对正负样本失衡严重设计损失函数，具体如下：所述的损失函数分为定位损失、置信度损失和分类损失；定位损失衡量了预测框和真实框之间的差异；置信度损失衡量了判断该预测框是否有目标的准确性；分类损失衡量了算法是否对图像中的目标正确分类。通过削弱负样本在计算置信度损失时的权重，使得大量的负样本对损失函数的影响减弱，最终实现网络更好的去学习正样本的特征。
[0024]
所述的定位损失的计算公式如下所示：
[0025][0026]
其中a代表真实的目标框，b代表的是预测的目标框，distance_2表示的是第i个网格的第j个预测框中心点与该预测框中目标真实框的中心点位置，distance_c表示这两个框所形成的最小包围框的对角线长度，wgt代表的是目标真实框的宽度，hgt代表的是真实框的高度，wp代表的是预测框的宽度，hp代表的是预测框的高度，s*s表示的是预测特征图的grid
(网格)数量，b表示的是每个网格预测的box个数，λ
iou
是定义的定位损失在整个损失函数中所占的权重，表示的是当前这个box预测为正样本。
[0027]
所述的分类损失的计算公式如下所示：
[0028][0029]
式中classes表示45种检测目标，λc代表分类损失在整个损失函数种所占的权重，和pi(c)代表第i个网格的第j个预测框中目标属于第c类的预测概率和真实概率。
[0030]
所述的置信度损失的计算公式如下所示：
[0031][0032]
其中ci是第i个网格的第j个预测框中推断存在正样本的置信度，是该预测框中真实存在正样本的置信度，p
ci
是在ci这个置信度值所属的那个置信度区间在上一个batch中的样本密度经过函数变换得到的。
[0033]
所述的对改进后的交通标志检测算法进行效果评估，具体如下：在所述的检测算法中，在评判目标检测模型效果时，主要分类四类：真正例(true positive,tp)即真实标签是正样本，预测标签也是正样本；假正例(false positive,fp)即真实标签是负样本，预测标签是正样本；真反例(true negative,tn)即真是标签是负样本，预测标签是负样本；假反例(false negative,fn)即真是标签是正样本，预测标签是负样本。
[0034]
表1 分类模型标签表
[0035][0036]
其中模型评价指标精确率precision计算方法如下：
[0037][0038]
召回率recall计算方法如下所示：
[0039][0040]
本发明的优点是：本发明提出的基于小目标特征增强的交通标志检测方法，针对小目标检测过程中呈现出的正负样本失衡严重问题，通过对yolov5s的网络结构、损失函数以及数据扩增技术的改进，最终的检测结果较原有的yolov5s算法提高了3％，能够使车辆在驾驶过程中更精准的感知周围标志，减少决策失误，降低事故发生频率。
附图说明
[0041]
图1是本发明基于小目标特征增强的交通标志检测算法整体流程图；
[0042]
图2是本发明一种基于小目标特征增强的交通标志检测算法的具体的网络结构
图；
[0043]
图3是本发明改进后的算法图像检测的结果示意图。
具体实施方式
[0044]
为使本发明实施例中的技术方案与细节更加清楚的表述，当然，所描述的实例知识本发明的一部分实施例，并不是全部实施例。下面将结合本发明实施例中的附图，对本发明的技术方案进行详细、完整的描述。
[0045]
如图1所示，本发明提出了一种基于小目标特征增强的交通标志检测算法，包括以下步骤：
[0046]
本发明通过以下技术方案实现，具体步骤如下：
[0047]
(1)构建交通标志数据集，并进行离线数据扩增。在构建交通标志数据集时，要注意数据集的多样性，以此增强模型的泛化能力。
[0048]
(2)优化构建anchor box的聚类算法，为了得到更合适的anchor box，通过优化聚类初始中心的选择以及聚类距离的计算，得到合适的anchor box。
[0049]
(3)优化网络结构增强交通标志细粒度特征，通过对数据集的分析得到小目标占比大的特点。而粗粒度特征包含了更多的细节信息，而高层的粗粒度特征包含的更多是目标的位置轮廓信息。显然，在目标检测这一领域中，提高小目标的检测效果更多的要依赖细粒度特征。本发明为了获得更多的细粒度特征，在底层特征图与高层特征图融合的过程中，使用bi-fpn的思想，进行特征图加权融合。
[0050]
(4)优化网络结构增强交通标志通道特征，颜色是交通标志的基本属性，经分析得到，数据集中的交通标志颜色主要有红色、黄色和蓝色。为了解决在卷积过程中的feature map的不同通道所占的比重不同问题，引入了通道注意力机制se(squeeze-and-excitation module)。
[0051]
(5)针对正负样本失衡严重设计损失函数，yolov5的损失函数主要包含三部分，分别是定位损失、置信度损失和分类损失。其中置信度损失中，由于存在大量的负样本，导致所有负样本的置信度损失累加之后对损失函数影响较大。本发明针对这一情况，在训练中采用动态加权的方法，以降低负样本的权重，减少负样本对损失函数的影响。
[0052]
(6)对改进后的交通标志检测算法进行效果评估，对算法优化之后的检测精度与召回进行计算。
[0053]
具体内容如下：
[0054]
(1)构建交通标志数据集并进行数据增强：
[0055]
采用公开数据集tt100k作为本研究的对象。通过对数据集进行分析，包括数据集中目标尺寸以及每张图像中目标个数进行统计，得到数据集中正负样本失衡的特点。针对分析得到的数据集正负样本失衡严重问题，使用目标复制的数据增强方法。首先根据数据集的label文件裁剪数据集中所有尺寸小于80*80的目标；其次根据类别统计每类目标的数量，得到n1，n2，n3，......，n
45
，即每类目标的数量，以及被裁剪下的目标的总数n；进一步计算得到ni与n之间的差值mi，即mi＝n-ni，对所有的mi做归一化，即计算m＝σmi，pi＝mi/m，每一个概率pi都占据(0，1)中的一段区间，在选择目标进行复制时，选取一个(0，1)之间的随机数r，r落在了哪个概率区间，即选择哪一类目标进行复制。
[0056]
(2)优化构建anchor box的聚类算法：
[0057]
为了使聚类得到的anchor box更好的拟合目标的真实框，使用k-means 聚类算法对标注文件中的目标尺寸聚类，得到9个anchor box，其聚类距离公式为：
[0058][0059]
其中，s
center
表示当前该聚类中心的面积，s
box
表示当前待分类的框的面积。
[0060]
(3)优化网络结构增强交通标志细粒度特征：
[0061]
引入bi-fpn模块，在对主干网络的三个不同尺寸特征图进行融合时，考虑到了不同尺寸特征图包含的信息对最终结果的影响程度不同，引入的加权融合的方法。
[0062]
(4)优化网络结构增强交通标志通道特征：
[0063]
为了使网络能够学习到通道之间的相关性，引入se结构。通过先对首先是将该层尺寸为w*h*c的特征图输入进行squeeze(压缩)操作，即做一个全局平均池化，得到一个1*1*c的向量，接下来在对该向量进行激励操作，先在得到的1*1*c向量后接一个fc(全连接)层，以减少通道个数从而降低计算量，再接一个激活函数层，增加非线性，然后再接一个fc层，恢复输入的通道个数，最后再叠加一层激活函数层，最终输出一个1*1*c的向量，代表该层各通道的权重向量。最后对输入的特征图进行scale操作，即将上一步得到的1*1*c的权重向量与输入特征图进行通道权重相乘，得到该层的输出。
[0064]
(5)针对正负样本失衡严重设计损失函数：
[0065]
损失函数主要有三部分，包括定位损失、置信度损失以及分类损失。
[0066]
定位损失的计算公式如下所示：
[0067][0068]
其中a代表真实的目标框，b代表的是预测的目标框。w
gt
代表的是目标真实框的宽度，h
gt
代表的是真实框的高度，w
p
代表的是预测框的宽度，h
p
代表的是预测框的高度。
[0069]
分类损失的计算公式如下所示：
[0070][0071]
置信度损失的计算公式如下所示：
[0072][0073]
其中ci是该anchor box预测的置信度，是该anchor box是否真的存在目标，p
ci
是在ci这个置信度值所属的那个置信度区间在上一个batch中的样本密度经过函数变换得到的。
[0074]
(6)对改进后的交通标志检测算法进行效果评估：
[0075]
在所述的检测算法中，其中模型评价指标精确率precision计算方法如下：
[0076][0077]
其中，如表2所示，tp表示真正例，fp表示假正例，tn表示真反例，fn表示假反例；
[0078]
表2 分类模型标签表
[0079][0080]
召回率recall计算方法如下所示：
[0081][0082]
图2是本发明的网络结构图：为了更好的学习图像的细粒度特征和通道特征，在原有的yolov5s的网络结构中添加了se模块并引入了bifpn的思想去做不同尺寸特征图加权融合。
[0083]
图3是使用本发明改进后的算法图像检测的结果，图像中有个类别为”w59”的标志被检测出来，且用框框出了目标，同时会在图中显示该目标被检测的概率值。