一种基于两阶段融合神经网络的交通标志检测方法

1.本发明属于目标检测领域，尤其是涉及一种基于两阶段融合神经网络的交通标志检测方法。


背景技术：

2.在自动驾驶领域，人们不仅希望在雨、雪、雾等多种气候环境下对交通标志等小目标实现准确识别，而且对实时性有很高的要求。
3.随着深度学习的不断发展，现有的很多目标检测网络已经在实际应用场景中取得了良好的表现。如公开号为cn112464910a的中国专利文献公开了一种基于yolo v4-tiny的交通标志识别方法，在yolo v4-tiny轻量型网络中引入了通道注意力和空间注意力机制，使得网络泛化能力更强、在交通标志检测中精度更高；公开号为cn112926501a的中国专利文献公开了一种基于yolov5网络结构的交通标志检测算法，在yolov5网络结构的基础上引入多层ghostbottleneck网络和和模块注意力机制，一定程度上缓解了传统交通标志检测算法在实际应用中的复杂背景之下的误检和漏检问题；公开号为cn113963329a的中国专利文献公开了一种基于双阶段卷积神经网络的数字类交通标志检测识别方法，对yolov3网络结构的预测结果重分类，整体网络结构简单，推理速度快。
4.除了针对网络结构的改进，现有技术从数据增强、后处理等方面也做出了一定改进。如公开号为cn114419584a的中国专利文献公开了一种改进的非极大值抑制yolov4交通标志识别定位方法，引入分数重置的思想，公开了综合考虑重叠度与置信度得分的函数，解决了检测区域中有多个检测目标重叠的问题；公开号为cn114332780a的中国专利文献公开了一种针对小目标的交通人车非目标检测方法，使用针对小目标的数据增强方法以及构造基于注意力机制的特征融合模块，基于yolov5检测网络实现对交通人车非目标的实时检测。
5.尽管以上技术在交通标志的检测效率和准确性上取得了一定的成果，快速而精确地检测交通标志仍是一项亟待解决的难题，提高其检测的检测精度和检测效率有显著意义。


技术实现要素：

6.本发明提供了一种基于两阶段融合神经网络的交通标志检测方法，对交通标志检测中存在的分辨率低、数据量少、信息少导致的定位不精确和检测置信度低等问题进行改进；模型的识别准确率、计算效率高，占用内存小，能够在输入图像分辨率不高的情况下取得较好的检测结果，有利于实际应用中的交通标志小目标检测。
7.一种基于两阶段融合神经网络的交通标志检测方法，包括以下步骤：
8.(1)获取交通标志数据集，在交通标志数据集上预训练yolov5卷积神经网络；
9.(2)将原始图像输入训练好的yolov5卷积神经网络中，获得第一阶段的预测框的坐标以及类别，并使用特定的后处理方法过滤掉重叠的预测框；
10.(3)将步骤(2)处理后的预测框对应的区域从原始图像中裁剪出来，同时保留裁剪图像中目标的位置和类别；
11.(4)设计第二阶段轻量化的分类模型，用于对裁剪出来的图像进行重新分类；
12.(5)将步骤(3)裁剪出来的图像输入到分类模型中，进行不少于100个epoch的迭代训练，直到分类模型收敛；
13.(6)在实际预测目标时，首先将待识别图像输入到训练好的yolov5卷积神经网络中获得预测位置和类别，然后对预测结果进行对应的后处理；将处理后保留的预测区域从原图上裁剪出来再送入训练好的分类模型中进行目标的重新分类；
14.最后将yolov5卷积神经网络中预测的第一阶段的分类结果与分类模型预测得到的第二阶段的重分类结果进行融合，得到最终的分类结果。
15.进一步地，步骤(1)中，交通标志数据集采用tt100k数据集，忽略其中实例数小于100的类别，使用剩下45个类别用于分类和训练。
16.步骤(2)中，yolov5卷积神经网络的主干网络首先使用focus模块对原始图像进行类似邻近下采样的切片操作，然后通过多个cspdarknet53网络结构进行特征提取，获得第一阶段的预测框的坐标以及类别。
17.使用特定的后处理方法过滤掉重叠的预测框具体过程为：
18.对于yolov5卷积神经网络预测的所有区域组成的集合，首先将它们按照面积大小排列；取其中面积最大的区域，对集合中剩下的所有区域，依次计算f；一旦有一个f的值大于设置阈值时，则将该面积最大的区域从集合中删除；重复上述步骤，直到整个集合都被遍历；f的计算公式如下：
[0019][0020]
其中，a、b代表集合中的区域的面积，a∩b代表a和b区域交集的面积。
[0021]
步骤(4)中，所述的分类模型使用mobilenetv2，包括使用倒残差块先对通道进行升维后进行卷积再降维，并使用线性瓶颈块代替非线性激活函数，减少网络参数。
[0022]
所述的分类模型中加入了注意力机制和上下文机制，用于提升小目标检测的效果。
[0023]
步骤(6)中，第二阶段预测结果输出需要和第一阶段类别预测结果有相同的形状，因此，通过全连接层调整输出的形状，使两个阶段分别预测两组类别相互对应的置信度张量，两组置信度通过多元线性回归方式融合，得到最终分类结果。
[0024]
多元线性回归方式如下：
[0025][0026]
其中，i代表第i个框，n取1或2，是第n阶段预测的各类别的置信度，p
if
是最终得到的各类别的置信度；wn、θn是待学习的系数，wn中元素取值范围是[0,1]，σ(
·
)是sigmoid激活函数；为求得最优解，最小化损失函数l(θ)：
[0027][0028]
其中，nb是一个batch中所含目标的数量，yi是真实结果；使用梯度下降法，不断迭代更新θn，直到l(θ)小于预设值。
[0029]
与现有技术相比，本发明具有以下有益效果：
[0030]
1、本发明的融合方法，将yolov5检测器的预测结果输入一个分类网络，产生分类结果，并对两个阶段的结果进行融合得到最终分类结果，模型轻量，检测准确率高，检测速度快。
[0031]
2、本发明在分类网络中加入注意力和上下文机制，对裁剪出来图像中的关键信息更加关注，并利用目标周围区域的信息更好地推断所需内容，提升检测准确率。
[0032]
3、本发明针对一阶段yolov5网络存在的误检问题，采用了特殊的后处理方式，有效减少目标误检。
附图说明
[0033]
图1为本发明一种基于两阶段融合神经网络的交通标志检测方法的流程图；
[0034]
图2为本发明的网络结构图；
[0035]
图3为本发明第二阶段加入注意力机制的分类网络结构图；
[0036]
图4为本发明第二阶段加入上下文机制网络结构图；
[0037]
图5为本发明中预测框重叠的示意图；
[0038]
图6为本发明使用特定后处理方法的效果图。
具体实施方式
[0039]
下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
[0040]
如图1所示，一种基于两阶段融合神经网络的交通标志检测方法，包括以下步骤：
[0041]
步骤1，下载tt100k交通标志数据集，对数据集进行清洗，删除其中标注不正确的图片以及实例数过少的类别，将清洗完后的数据集按一定比例分为训练集、测试集和验证集，送入yolov5模型进行不少于300轮的训练，并保存训练好的模型。
[0042]
步骤2，将图片输入训练好的yolov5模型中，得到第一阶段的预测结果和分类。
[0043]
如图2所示，yolov5模型主干网络首先使用focus模块对图片进行类似邻近下采样的切片操作，然后通过多个cspdarknet53网络结构进行特征提取。不同大小的下采样特征图自顶向下、自底向上进行参数融合，进一步提高特征提取的能力。该模型具有学习能力强、计算效率高、内存成本低等优点。
[0044]
步骤3，设计第二阶段的分类网络，在分类网络中加入注意力机制和上下文机制增强网络的特征提取能力。
[0045]
如图2所示，第二阶段的分类网络是mobilenetv2，包括使用倒残差块先对通道进行升维后进行卷积再降维，并使用线性瓶颈块代替非线性激活函数，减少网络参数。
[0046]
如图3所示，第二阶段的分类网络mobilenetv2中加入注意力机制，包括对特征图
的通道维度做最大值池化和平均池化后通过共享全连接层相加，得到通道注意力权重，将通道注意力权重与输入特征图相乘，得到通道注意力调整后的特征图；再对输入特征图的空间维度做最大值池化和平均池化后拼接，再经过卷积，生成空间注意力权重，空间注意力权重与通道注意力调整后的特征图按元素相乘，实现特征提取。
[0047]
如图4所示，第二阶段的分类网络mobilenetv2中加入上下文机制，包括多个卷积、池化操作放在一起组装成的网络模块，并加入空洞卷积，有效增大了感受野，能够获取目标周围的上下文信息。
[0048]
步骤4，将第一阶段的预测结果从原图上裁剪后进行特殊后处理，删除预测结果中同时包含多个目标的误检。
[0049]
如图5所示，大的预测框b包围小的预测框a和c时，需要删除b。特殊的后处理方法如下：对于yolov5的预测并在原图上裁剪得到的所有区域组成的集合，首先将它们按照面积大小排列。取其中面积最大的区域(记为b)，对集合中剩下的所有区域，依次计算f。一旦有一个f的值大于设置阈值时，则将b区域从集合中删除。重复上述步骤，直到整个集合都被遍历。f的计算方式为：
[0050][0051]
其中a、b代表集合中的区域的面积，a∩b代表a和b区域交集的面积。
[0052]
如图6所示，为本发明改进后处理方法在实际目标检测过程中的效果图，大的白色的误检框被删除。
[0053]
步骤5，经过后处理的图片统一大小后输入第二阶段分类网络，产生第二阶段的分类结果。
[0054]
步骤6，融合两个阶段的分类结果，得到最终分类结果。
[0055]
如图2所示，为了融合两个阶段模型的预测结果，第二阶段预测结果输出需要和第一阶段类别预测结果有相同的形状，因此，通过全连接层调整输出的形状，使两个阶段分别预测两组类别相互对应的置信度张量。
[0056]
两组置信度通过多元线性回归方式融合，得到最终分类结果。
[0057]
多元线性回归方式如下：
[0058][0059]
其中，i代表第i个框，n取1或2，是第n阶段预测的各类别的置信度，p
if
是最终得到的各类别的置信度。wn、θn是待学习的系数，wn中元素取值范围是[0,1]，σ(
·
)是sigmoid激活函数。为求得最优解，最小化损失函数l(θ)：
[0060][0061]
其中nb是一个batch中所含目标的数量，yi是真实结果。使用梯度下降法，不断迭代更新θn，直到l(θ)足够小。
[0062]
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。