一种基于LD-SSD网络的交通标志检测方法与流程

一种基于ld
‑
ssd网络的交通标志检测方法
技术领域
1.本发明涉及计算机视觉图像识别技术领域，具体而言涉及一种基于ld
‑
ssd网络的交通标志检测方法。


背景技术：

2.目标检测作为计算机视觉领域的基本热门问题之一，它在行人识别、面部检测、文本识别、交通标注与红绿灯检测，遥感目标识别等领域应用广泛。交通标志检测是自动驾驶辅助系统的重要组成部分，解决交通标志的检测问题对自动驾驶领域发展具有重要意义。在自动驾驶系统中，交通标志所处的天气环境会对驾驶系统做出的决策有很大影响，在复杂天气条件下，识别系统需要实时识别到正确的交通标志指示，以便有效地减少违规和交通事故发生。
3.传统的交通标志检测分为三个大的处理方向，即基于颜色特征、形状特征、方向梯度直方图特征的交通标志检测。基于颜色的交通标志检测算法通过对颜色阈值进行分割, 进而提取交通标志，但易受天气和光照条件的影响。基于形状特征的交通标志检测算法，例如霍夫变换法（hough）、相似性检测、距离变换匹配（dtm）等，虽然可以避免光照条件等的影响，但对于发生形变或遮 挡的交通标志而言，其识别精度会大大降低，此外，算法复杂度相对较高，无法满足智能交通系统实时性高的要求。基于方向梯度直方图特征的交通标志检测算法虽然减少光照条件的制约、提高了检测的精度，而且在一定程度上降低了算法的复杂性，但仍对智能交通系统高效识别存在一定制约。
4.由于传统方法的检测效果差、计算量大等，基于深度学习的交通标志检测算法的提出将交通标志检测领域推上新的高度，针对雾霾这一现象，2015年提出利用双边滤波进行图像去雾，接着利用canny边缘检测和计算边缘形状角度进行交通标志检测，最后通过模板匹配法进行识别，但这种方法计算量较大；2016年提出利用暗原色原理进行图像去雾，再通过msers来进行识别，这种方法在识别浓雾时效果很差，2019年提出采用低通滤波的方式进行去雨、去雪，再利用级联式卷积神经网络对标志进行检测，使用一种小波分解再融合技术来进行图像去雨、去雪，接着利用改进的yolov3来进行检测和识别，检测精度得到较大提高，但这种方法计算量较大，不满足实时性的要求。


技术实现要素：

5.本发明的目的在于提供一种基于ld
‑
ssd网络的交通标志检测方法，以解决现有技术中的问题。
6.为实现上述目的，本发明提供如下技术方案：一种基于ld
‑
ssd网络的交通标志检测方法，获取不同天气下分别包含有各个目标交通标志的图像作为样本图像，根据以下步骤a至步骤d，构建并训练交通标志识别网络，通过以下步骤e，应用交通标志识别网络，对待识别目标图像内所含的目标交通标志进行类型识别：
步骤a、分别针对各个样本图像，对样本图像进行预处理，获得各个目标交通标志分别在不同天气下的各个局部图像，随后进入步骤b；步骤b、构建用于对局部图像进行特征提取、并输出对应输出特征图的卷积处理模块，随后进入步骤c；步骤c、构建用于对相同目标交通标志所对应的各特征图进行反卷积融合、并输出该目标交通标志所对应融合特征图的的反卷积融合处理模块，随后进入步骤d；步骤d、分别针对各个样本图像中的各目标交通标志，以各个样本图像为输入，基于样本图像中各目标交通标志所对应局部图像的输出特征图，以输出特征图与对应融合特征图像相匹配为训练目标，以样本图像中所包含各目标交通标志在样本图像中的位置为输出，对交通标志识别待训练网络进行训练，获得用于识别各个局部图像中目标交通标志对应的交通标志类型的交通标志识别网络，随后进入步骤e；步骤e、针对待识别目标图像，以待识别目标图像为输入，并基于待识别目标交通标志所对应局部图像的特征图，通过特征图与各目标交通标志所对应融合特征图之间匹配，获得待识别目标图像中所包含各目标交通标志在待识别目标图像中的位置的输出，确定目标交通标志的交通标志类型。
7.进一步地，交通标志识别待训练网络还包括定位模块，对待识别目标图像中所含的各个目标交通标志进行定位。
8.进一步地，前述步骤a包括以下步骤：步骤a1、分别针对各个样本图像，按照预设尺寸统一各个样本图像的像素和尺寸，完成对样本图像的预处理，随后进入步骤a2；步骤a2、对各个完成预处理的样本图像进行分类，将样本图像分为晴天图像、雨天图像、雾天图像、雪天图像、沙尘暴天图像，利用基于样式的生成对抗网络分别将雨天图像、雾天图像、雪天图像、沙尘暴天图像进行图像增强，将雨天图像、雾天图像、雪天图像、以及沙尘暴天图像均转换为晴天图像，得到转换后的晴天图像，随后进入步骤a3；步骤a3、对各个样本图像中所含的交通标志利用真值框进行标定，获得不同交通标志的各个局部图像。
9.进一步地，前述交通标志识别待训练网络还包括轻量化注意力模块，步骤b中，构建卷积处理模块，具体包括以下步骤：步骤b1、基于resnet50网络，将resnet50网络的最大池化层和全连接层去除，并增加依次连接的4个卷积层，分别将每个卷积层中的普通残差块换成深度可分离残差块，所述深度可分离残差块依次包含1
×
1的卷积、3
×
3的卷积和relu函数、以及1
×
1的卷积；步骤b2、在每个残差块的末端添加轻量化注意力模块，所述轻量化注意力模块包括空间注意力模块和通道注意力模块，将增强数据集中所包含的数据信息作为待训练ld
‑
ssd网络的输入特征，按照通道维度将输入特征划分为预设数量个通道组，划分后的各个通道组分别经过空间注意力模块和通道注意力模块，获得各个通道组分别所对应的通道注意力矩阵和空间注意力矩阵；步骤b3、将各个通道组内部的通道注意力矩阵和空间注意力矩阵按照纵轴方式进行融合连接，实现不同通道组间的信息融合，进一步获得复杂天气图像对应的各个输出特征图。
10.进一步地，构建用于对融合特征图像与局部图像进行匹配的预测匹配模块，步骤c中获得各个局部图像所对应的融合特征图像包括以下步骤：步骤c1、选取分辨率分别为80
×
80、40
×
40、20
×
20、10
×
10、5
×
5、3
×
3、1
×
1的输出特征图，作为反卷积融合处理模块的输入；步骤c2、依次将反卷积融合处理模块中分辨率为1
×
1的深层特征图进行反卷积，卷积模块中的分辨率为3
×
3的浅层特征图进行卷积，获得相同分辨率和通道数的两个特征图，随后将两者对应元素相乘，得到特征融合后的新的分辨率为3
×
3融合特征图像，然后将该融合特征图像作为下一级反卷积融合处理模块中的深层特征图，再与下一级卷积模块中的浅层特征图按照相同的方式进行融合，最终得到分辨率依次为80
×
80、40
×
40、20
×
20、10
×
10、5
×
5、3
×
3的融合特征图像，将各个融合特征图像输入到待训练ld
‑
ssd网络的预测模块中。
11.进一步地，交通标志识别待训练网络还包括非极大值抑制模块，步骤d分别针对各个样本图像中的各目标交通标志，执行以下步骤：步骤d1、使用3
×
3的dw卷积以及批量归一化和1
×
1的pw卷积作为网络骨干道，在残差旁路使用1
×
1卷积作为网络分支道，将网络骨干道和网络分支道分别对局部图像进行处理后进行通道间加法，获得并更新融合特征图像，将更新后的融合特征图像输入到分类模块中得到该融合特征图像内不同类别的交通标志分别所对应的置信度值；步骤d2、结合步骤a中对交通标志进行标定的真值框，为融合特征图像中的各个局部图像分别设置预设数量的先验框，分别针对各个先验框和预设真值框，计算先验框与预设真值框中相同标定位置的相对iou值，将具有最大iou值或值iou值大于预设阈值的先验框作为正样本，根据正样本按照预设比例进行抽样，获得负样本，去除置信度小于预设置信度阈值的先验框；步骤d3、使用3
×
3卷积和批量归一化对更新后的融合特征图像中所对应的正样本先验框进行二次处理，然后输入到定位模块中，得到该融合特征图像内各个目标交通标志位置的相对偏移量，即[f，f，n
×
(c 1)，[f，f，n
×
4]]，其中f表示输出融合特征图像的尺寸，c表示交通标志分类的类别数，n表示该层融合特征图像进行先验标定后所含正样本先验框的数量，4表示正样本先验框的相对位置，获得各个正样本先验框分别所对应的交通标志的相对位置；步骤d4、基于各个正样本先验框中各交通标志类别的置信度值，将各个正样本先验框输入至非极大值抑制模块，对正样本先验框中包含的交通标志的相对位置进行修正。
[0012]
进一步地，前述步骤d4中对交通标志的相对位置进行修正，分别针对各个交通标志类别，对该交通标志类别下的正样本先验框中所对应的各个置信度值进行降序排列，筛选出各交通标志类别中置信度值最高的正样本先验框，随后依次遍历所有正样本先验框，计算该正样本先验框与置信度值最高的正样本先验框的iou值，当iou值大于预设阈值时，删除该正样本先验框，筛选出各个交通标志类别所对应的置信度最高的正样本先验框，即得到该局部图像中所含的交通标志类型以及交通标志的定位。
[0013]
进一步地，前述步骤e中通过减小分类和定位的损失函数，实现分类置信度的提高和定位准确度的增强，ld
‑
ssd网络的损失函数为：
其中，n为先验框的正样本数量，为分类的置信度损失函数，为定位的损失函数；失函数；失函数；其中，celoss为交叉熵损失函数；pt为属于正样本的概率；为平衡因子，用来平衡正负样本的比例不均；为调制系数，调节简单样本权重降低的速率，使得模型在训练时更专注于难分类的样本，=2；，表示第i个正样本先验框与第j个真值框是否匹配，p表示第p个交通标志类别；表示第i个正样本先验框属于第p个交通标志类别的置信度值，即第i个框属于第p个类别的概率，pos为所有正样本先验框组成的集合，neg为所有负样本先验框组成的集合；其中，表示预测框和真值框的惩罚项，表示欧氏距离，分别表示预测框和真值框的中心点，c表示预测框和真值框的最小外界矩形框的对角线距离，iou为预测框与真值框中相同标定位置的相对交并比值。
[0014]
本发明所述一种基于ld
‑
ssd网络的复杂天气下交通标志检测方法，采用以上技术方案与现有技术相比，具有以下技术效果：本发明主要用于辅助车辆自动驾驶识别系统进行识别，由于该领域的交通标志检测算法的应用平台主要是车载导航等硬件资源有限的嵌入式设备，因此对算法的实时性和稳定性有着较高要求，本发明提出的ld
‑
ssd交通标志检测模型针对这个问题，在保证检测精度较高的同时，对模型进行轻量化处理，使模型可以部署在资源有限的嵌入式设备上，同时还提高了模型的实时性，最终实现快速准确地识别复杂天气条件下的交通标志，有效减少交通事故发生；根据本发明提出的交通标志检测方法，不仅仅可以在能见度高的晴天状态下实现很高的识别精度，在能见度较低的复杂天气状态下同样可以保证较高的识别速度和精度；其次，根据本发明提供的网络结构，在现有残差网络的基础上，将普通残差模块换成深度可分离的残差快，并在每个残差块末端加入了轻量化注意力模块，在加深网络深度的同时减小网络参数量，有效地提高了复杂天气条件下的交通标志检测的精度和速度。
附图说明
[0015]
图1为本发明示例性实施例的一种交通标志检测方法的流程图；图2为本发明示例性实施例的交通标志识别待训练网络的结构示意图；图3为本发明交通标志识别待训练网络中深度可分离卷积残差块的结构示意图；图4为本发明交通标志识别待训练网络中轻量化注意力模块的结构示意图；图5为本发明交通标志识别待训练网络中预测匹配模块的结构示意图；图6为本发明提供的方法与其它方法平均精度均值对比图。
具体实施方式
[0016]
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
[0017]
在本发明中参照附图来描述本发明的各方面，附图中示出了许多说明性实施例。本发明的实施例不局限于附图所示。应当理解，本发明通过上面介绍的多种构思和实施例，以及下面详细描述的构思和实施方式中的任意一种来实现，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
[0018]
结合图1本发明示例性实施例的流程示意，本发明基于resnet50网络提出一种基于ld
‑
ssd网络的复杂天气下交通标志检测方法，采用深度可分离卷积残差块替代一般卷积残差块，同时在残差块中添加轻量化注意力模块，在提高识别精度的同时实现了网络的轻量化，有利于辅助车辆自动驾驶识别系统快速准确地识别各种复杂天气条件下的交通标志，获取不同天气下分别包含有各个目标交通标志的图像作为样本图像，根据以下步骤a至步骤d，构建并训练交通标志识别网络，通过以下步骤e，应用交通标志识别网络，对待识别目标图像内所含的目标交通标志进行类型识别：步骤a、分别针对各个样本图像，对样本图像进行预处理，获得各个目标交通标志分别在不同天气下的各个局部图像，随后进入步骤b；步骤b、构建用于对局部图像进行特征提取、并输出对应输出特征图的卷积处理模块，随后进入步骤c；步骤c、构建用于对相同目标交通标志所对应的各特征图进行反卷积融合、并输出该目标交通标志所对应融合特征图的的反卷积融合处理模块，随后进入步骤d；步骤d、分别针对各个样本图像中的各目标交通标志，以各个样本图像为输入，基于样本图像中各目标交通标志所对应局部图像的输出特征图，以输出特征图与对应融合特征图像相匹配为训练目标，以样本图像中所包含各目标交通标志在样本图像中的位置为输出，对交通标志识别待训练网络进行训练，获得用于识别各个局部图像中目标交通标志对应的交通标志类型的交通标志识别网络，随后进入步骤e；步骤e、针对待识别目标图像，以待识别目标图像为输入，并基于待识别目标交通标志所对应局部图像的特征图，通过特征图与各目标交通标志所对应融合特征图之间匹配，获得待识别目标图像中所包含各目标交通标志在待识别目标图像中的位置的输出，确定目标交通标志的交通标志类型。
实施例
[0019]
参照图2，利用步骤a中过程，分别针对各个样本图像，对样本图像进行预处理，获得各个目标交通标志分别在不同天气下的各个局部图像，具体包括以下步骤：步骤a1、分别针对各个样本图像，按照预设尺寸统一各个样本图像的像素和尺寸，通过 opencv 库中的 resize 函数把任意尺寸复杂天气下的交通标志图像统一大小至 320
×
320 像素，统一设置为 jpg 格式，完成对样本图像的预处理，随后进入步骤a2；步骤a2、对各个完成预处理的样本图像进行分类，将样本图像分为晴天图像、雨天图像、雾天图像、雪天图像、沙尘暴天图像，利用基于样式的生成对抗网络分别将雨天图像、雾天图像、雪天图像、沙尘暴天图像进行图像增强，将雨天图像、雾天图像、雪天图像、以及沙尘暴天图像均转换为晴天图像，得到转换后的晴天图像，随后进入步骤a3；步骤a3、对各个样本图像中所含的交通标志利用真值框进行标定，获得不同交通标志的各个局部图像。
[0020]
利用步骤b中过程，构建用于对局部图像进行特征提取、并输出对应输出特征图的卷积处理模块，具体包括以下步骤：将resnet50网络的最大池化层和全连接层去除，并增加依次连接的4个卷积层，其中4个卷积层的卷积核分别为2，2，3，3，步长分别为2，2，1，1，通道数均为1024，padding填充均为0，如图3所示，将每个卷积层中的普通残差块换成深度可分离残差块，在每个残差块的末端添加轻量化注意力模块，将输入特征图按照通道维度划分为g组，分别对每个组内的特征进行空间和通道上的信息提取，其中，通道注意力模块使用改进的senet，用一个感受野为3的一维卷积代替senet中原来的两个全连接层，空间注意力模块是先在通道维度上进行avgpool后，再进行两次3
×
3的空洞卷积，最后使用1
×
1的卷积得到空间注意力的矩阵，接着将各组内部的空间注意力和通道注意力两种矩阵信息按纵轴方式进行融合连接，最后使用channel shuffle操作对各组的通道进行重新排列，从而实现不同组间的信息融合，通过这种分解过程来减少网络的参数量和计算量，同时保证较高的识别精度。
[0021]
利用步骤c中过程，构建用于对融合特征图像与局部图像进行匹配的预测匹配模块，步骤c中将卷积模块中的浅层特征与反卷积融合模块中的深层特征进行特征融合，获得各个局部图像所对应的融合特征图像包括以下步骤：步骤c1、参照图4，通过轻量化骨干模块处理后选取7个特征图，选取分辨率分别为80
×
80、40
×
40、20
×
20、10
×
10、5
×
5、3
×
3、1
×
1的输出特征图，经过前向传播后得到的7张输出特征图，尺寸分别为(80，80，64)、(40，40，1024)、（20,20，2048）、（10，10，1024）、（5，5，1024）、（3，3，1024）、（1，1，1024），作为反卷积融合处理模块的输入；步骤c2、将深层特征图（f，f，c）经过反卷积操作、3
×3×
1024操作和bn操作，其中c、d为通道维数，padding为1，反卷积的卷积核大小分别为3，1，2，2，2，2，得到（2
×
f，2
×
f，c）特征图，将浅层特征图（f，f，d）进行两次3
×3×
c的卷积后得到（2
×
f，2
×
f，c）的特征图，将两者对应元素相乘，即特征融合，得到（2
×
f，2
×
f，c）的新融合特征图，然后将融合后的新特征作为下一级反卷积融合模块中的深层特征图，再与下一级卷积模块中的浅层特征图按照上述相同的方式融合，最终得到6张融合特征图80
×
80、40
×
40、20
×
20、10
×
10、5
×
5、3
×
3，将各个融合特征图像输入到待训练ld
‑
ssd网络的预测模块中；参照图5，在预测模块中，对6个特征图均采用两种方式进行卷积处理，然后分别进
行分类和定位操作，其中，一种是使用3
×
3的dw卷积以及批量归一化和1
×
1的pw卷积作为网络骨干道，接着在残差旁路使用1
×
1卷积作为网络分支道，将网络骨干道和网络分支道分别处理后所得的特征图进行通道间加法，最后将得到的新特征图输入到分类模块中得到该特征图内属于不同类别的置信度值。另一种是使用3
×
3卷积和批量归一化对特征图进行处理，然后输入到定位模块中，得到该特征图内位置的相对偏移量，即[f，f，n
×
(c 1) ，[f，f，n
×
4]]，其中f表示输出特征图的尺寸，c表示分类的类别数，n表示该层特征图所含先验框的数量，4表示先验框的相对位置。
[0022]
交通标志识别待训练网络包括卷积处理模块、反卷积融合处理模块、定位模块、轻量化注意力模块、分类模块、非极大值抑制模块、以及预测匹配模块，利用步骤d中过程，对各个样本图像中的各目标交通标志进行定位，包括以下步骤：步骤d1、使用3
×
3的dw卷积以及批量归一化和1
×
1的pw卷积作为网络骨干道，在残差旁路使用1
×
1卷积作为网络分支道，将网络骨干道和网络分支道分别对局部图像进行处理后进行通道间加法，获得并更新融合特征图像，将更新后的融合特征图像输入到分类模块中得到该融合特征图像内不同类别的交通标志分别所对应的置信度值；步骤d2、结合步骤a中对交通标志进行标定的真值框，为融合特征图像中的各个局部图像分别设置预设数量的先验框，为6张特征图分别设置不同数量先验框，分别为4、6、6、6、4、4，先验框的总数为80
×
80
×
4 40
×
40
×
6 20
×
20
×
6 10
×
10
×
6 5
×5×
4 3
×3×
4，总共38336个，分别针对各个先验框和预设真值框，计算先验框与预设真值框中相同标定位置的相对iou值，将具有最大iou值或值iou值大于预设阈值的先验框作为正样本，此处预设阈值为0.5，过滤掉属于背景的先验框，同时，根据正样本按照预设比例进行抽样，获得负样本，去除置信度小于预设置信度阈值的先验框；步骤d3、使用3
×
3卷积和批量归一化对更新后的融合特征图像中所对应的正样本先验框进行二次处理，然后输入到定位模块中，得到该融合特征图像内各个目标交通标志位置的相对偏移量，即[f，f，n
×
(c 1)，[f，f，n
×
4]]，其中f表示输出融合特征图像的尺寸，c表示交通标志分类的类别数，n表示该层融合特征图像进行先验标定后所含正样本先验框的数量，4表示正样本先验框的相对位置，获得各个正样本先验框分别所对应的交通标志的相对位置；步骤d4、对先验框进行非极大值抑制，分类模块处理后得到先验框以及该先验框中属于各个类别的置信度值，按照各个类别的置信度值进行降序排序，选择其中置信度最高先验框，然后遍历剩下的先验框，如果发现和当前置信度最高的先验框的重叠面积(iou)大于一定阈值，则将该先验框删除，接着从未处理的先验框中继续选一个置信度最高的先验框，重复上述操作，直至找到所有位置准确的先验框为止。
[0023]
通过不断减小分类和定位的损失函数，来实现分类置信度的提高和定位准确度的增强，ld
‑
ssd特征提取网络的总的损失函数为：其中，n为先验框的正样本数量，为分类的置信度损失函数，为定位的损失函数；
其中，celoss为交叉熵损失函数；pt为属于正样本的概率；为平衡因子，用来平衡正负样本的比例不均；为调制系数，调节简单样本权重降低的速率，使得模型在训练时更专注于难分类的样本，=2；，表示第i个正样本先验框与第j个真值框是否匹配，p表示第p个交通标志类别；表示第i个正样本先验框属于第p个交通标志类别的置信度值，即第i个框属于第p个类别的概率，pos为所有正样本先验框组成的集合，neg为所有负样本先验框组成的集合；其中，表示预测框和真值框的惩罚项，表示欧氏距离，分别表示预测框和真值框的中心点，c表示预测框和真值框的最小外界矩形框的对角线距离，iou为预测框与真值框中相同标定位置的相对交并比值。
[0024]
使用复杂条件下的交通标志数据集tsiicw的训练集对ld
‑
ssd特征提取网络进行预训练。
[0025]
数据集：使用复杂条件下的交通标志数据集，共13500张图像，使用其中10800张图像作为训练集对ld
‑
ssd网络进行训练，使用剩下的2700张图像作为测试集对网络的检测结果进行测试。
[0026]
实验参数：batch设为16，momentum设为0.9，学习率采用指数衰减方法，初始学习率设为0.01，衰减系数设为0.9。
[0027]
实验环境：显卡：nvidia geforce rtx 2080 ti，处理器：intel core i7
‑
9700k，主板：微星mag z390 tomahawk。
[0028]
实验结果：为客观评价检测效果，本实验采用平均精度均值（map）来评估检测的效果，图6中可以看出，本发明检测精度高出了检测较好的efficientnet方法2.92个百分点，并且网络尺寸比yolo方法高出36.5m，在保证较高的检测精度的同时实现快速的检测，相比于传统的ssd方法，对置信度阈值相同的情况下，本发明对有着更高的召回率（recall）与精度（precision）。
[0029]
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。