基于深度学习的交通标志检测与识别方法及系统

1.本发明涉及目标检测技术领域，尤其是指一种基于深度学习的交通标志检测与识别方法及系统。


背景技术：

2.随着人工智能技术的飞速发展，无人驾驶、辅助驾驶等智能驾驶技术已经成为当前研究和应用的热点。交通标志检测是智能驾驶中交通场景理解的重要内容,通过提供驾驶员当前准确有效的交通标志信息可以提高驾驶时的安全性、舒适性。而提供错误的交通标志信息会导致交通事故、甚至人员伤亡。因此交通标志检测在先进的驾驶辅助系统(adas)和自动化驾驶中都发挥着关键作用。
3.传统交通标志识别方法通常基于人工提取特征，例如颜色特征、形状特征、哈尔(haar)特征，局部二值模式(lbp)特征以及方向梯度直方图(hog)特征等。基于颜色特征的交通检测方法对最常用的交通标志颜色(红色、黄色、蓝色)进行分割，将rgb图像转换为其他颜色空间，以减少光照敏感度，增强目标色调，从而提取感兴趣的区域(rols)。由于在自然场景中光照条件、天气状况的变化，以及在背景中可能出现与交通标志同一颜色的物体，基于颜色特征的交通标志检测方法并不可靠。基于形状特征的方法检测出交通标志特定的形状(正方形、圆形或三角形)，以识别具体的交通标志类别。haar特征，lbp特征配合自适应增强分类器(adaboost)，hog特征配合支持向量机(svm)来检测交通标志。然而这些人工提取的特征对光照、局部遮挡、复杂的背景、角度等因素敏感，无法有效应对复杂多变的自然场景。
4.目前，随着深度学习技术的快速发展，目标检测领域取得了显著的进步，交通标志检测也不例外。基于深度学习的交通标志检测方法利用卷积神经网络(cnn)提取特征，serna等提出了一个基于符号和文本的交通标志检测框架，并将德国交通标志检测数据集(gtsdb)扩展到8大类。tian等提出了一个基于循环注意力机制多尺度分析的交通标志检测框架。zhu等提出了交通标志检测的挑战性数据集tt100k，并训练了一个的端到端卷积神经网络来同时检测和分类交通标志。li等提出了一个新的感知生成对抗网络，该网络通过生成小物体的超分辨率表示以缩小大物体与小物体的表示差异，从而提升小交通标志检测性能。liu等提出一个新的交通标志检测网络tsingnet，该网络学习丰富的上下文特征，以有效地检测被遮挡的交通标志。shen等提出了一个多尺度注意力金字塔框架，通过聚合不同尺度的特征来增强特征表示以提升小目标检测性能。上述研究成果表明，基于深度学习的交通标志检测方法取得较大的改进，相较于其他方法呈现出一定的优越性。但是上述的深度学习方法在交通标志检测上效果不好，其主要原因是：1)与常规的目标检测不同，交通标志在图像中占比小，缺乏充足的外观信息学习特征，小目标难以被检测；2)交通标志类别多，且在真实世界中遵循长尾分布(只有少部分类别有充足的样本，大部分类别样本匮乏)，其样本不均衡导致分类器更倾向于预测样本充足的类别(头部类别)，难以检测样本匮乏的类别(尾部类别)。


技术实现要素：

5.为此，本发明所要解决的技术问题在于克服现有技术存在的问题，提出一种基于深度学习的交通标志检测与识别方法及系统，结合自适应空间注意力特征融合模型和层级分组归一化指数函数，总体上提高了对于小交通标志以及样本匮乏的交通标志类别的检测准确率。
6.为解决上述技术问题，本发明提供一种基于深度学习的交通标志检测与识别方法，包括以下步骤：
7.获取交通标志数据集并对所述交通标志数据集进行预处理，获得交通标志图像，提取所述交通标志图像的特征；
8.将所述交通标志图像的特征输入至自适应空间注意力特征融合模型，利用自适应空间注意力特征融合模型提取多尺度特征，并将多尺度特征进行融合生成相应尺度的融合特征；
9.将所述融合特征输入至层级分组归一化指数函数检测头，获得初步的预测结果，对初步的所述预测结果进行目标框筛选，得到最终的检测结果。
10.在本发明的一个实施例中，对所述交通标志数据集进行预处理，包括：
11.对所述交通标志数据集进行标注,每一个交通标志类别对应一个类别id，并将数据集的json标签格式转换成txt标签格式,每个图像对应一个txt文件。
12.在本发明的一个实施例中，提取所述交通标志图像的特征，包括：
13.将所述交通标志图像制作为标准尺寸，并将其输入至yolov5目标检测网络中，利用骨干网络cspdarknet-53提取图像特征，生成不同尺度的特征图。
14.在本发明的一个实施例中，利用自适应空间注意力特征融合模型提取多尺度特征，并将多尺度特征进行融合生成相应尺度的融合特征，包括：
15.将所述交通标志图像不同尺度的特征进行升采样或者降采样操作，得到每个尺度对应的输入特征，将每个尺度的输入特征经过池化操作生成池化特征，对所述池化特征进行卷积操作并拼接，获得拼接特征；
16.对所述拼接特征进行卷积操作，得到相应的空间注意力特征图，将同一尺度的空间注意力特征图经过通道维度归一化指数函数得到相应的权重矩阵，并将同一尺度的权重矩阵与相应的输入特征对应元素相乘进行融合，得到融合特征。
17.在本发明的一个实施例中，将所述融合特征输入至层级分组归一化指数函数检测头，获得初步的预测结果，包括：
18.将不同尺度的融合特征输入至层级分组归一化指数函数检测头，其中第一层级有一组g
11.，第二层级有三组{g
12.，g
22.，g
32.}，第三层级有六组{g
13.，g
23.，g
33.，g
43.，g
53.，g
63.}，通过对样本相对均衡的组应用归一化指数函数得到预测结果。
19.6.根据权利要求5所述的基于深度学习的交通标志检测与识别方法，其特征在于：某一类别的预测概率的计算公式如下：
[0020][0021]
[0022]
其中，代表网络对于第k层级第j类别的输出，g
n[k]
代表第k层级第n组，代表第k层级第j类别的预测概率，pj代表第j类别的最终概率。
[0023]
此外，本发明还提供一种基于深度学习的交通标志检测与识别系统，包括：
[0024]
数据获取模块，所述数据获取模块用于获取交通标志数据集并对所述交通标志数据集进行预处理，获得交通标志图像，提取所述交通标志图像的特征；
[0025]
特征融合模块，所述特征融合模块用于将所述交通标志数据集的特征输入至自适应空间注意力特征融合模型，利用自适应空间注意力特征融合模型提取多尺度特征，并将多尺度特征进行融合生成相应尺度的融合特征；
[0026]
分类检测模块，所述分类检测模块用于将所述融合特征输入至层级分组归一化指数函数检测头，获得初步的预测结果，对初步的所述预测结果进行目标框筛选，得到最终的检测结果。
[0027]
在本发明的一个实施例中，所述数据获取模块包括：
[0028]
数据预处理子模块，所述数据预处理子模块用于对所述交通标志数据集进行标注,每一个交通标志类别对应一个类别id，并将数据集的json标签格式转换成txt标签格式,每个图像对应一个txt文件。
[0029]
在本发明的一个实施例中，所述特征融合模块包括：
[0030]
多尺度特征拼接子模块，所述多尺度特征拼接子模块用于将所述交通标志图像不同尺度的特征进行升采样或者降采样操作，得到每个尺度对应的输入特征，将每个尺度的输入特征经过池化操作生成池化特征，对所述池化特征进行卷积操作并拼接，获得拼接特征；
[0031]
多尺度特征融合子模块，所述多尺度特征融合子模块用于对所述拼接特征进行卷积操作，得到相应的空间注意力特征图，将同一尺度的空间注意力特征图经过通道维度归一化指数函数得到相应的权重矩阵，并将同一尺度的权重矩阵与相应的输入特征对应元素相乘进行融合，得到融合特征。
[0032]
在本发明的一个实施例中，所述分类检测模块包括：
[0033]
初步预测子模块，所述初步预测子模块用于将不同尺度的融合特征输入至层级分组归一化指数函数检测头，其中第一层级有一组g
11.，第二层级有三组{g
12.，g
22.，g
32.}，第三层级有六组{g
13.，g
23.，g
33.，g
43.，g
53.，g
63.}，通过对样本相对均衡的组应用归一化指数函数得到预测结果。
[0034]
本发明的上述技术方案相比现有技术具有以下优点：
[0035]
本发明突破现有交通标志检测方法只能检测部分交通标志类别的限制，针对交通标志在图像中占比小的问题，提出自适应空间注意力特征融合模型，该模型在特征融合过程中加强重要区域的特征并抑制非重要区域的特征，从而得到一个更精细化的特征，并缩小不同尺度特征之间的语义差距；并且针对交通标志长尾分布问题，提出层级分组归一化指数函数，通过构建标签树将交通标志类别分组，得到若干样本相对均衡的组并应用归一化指数函数得到最后预测结果，总体上提高了对于小交通标志以及样本匮乏的交通标志类别的检测准确率。
附图说明
[0036]
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
[0037]
图1为本发明一种基于深度学习的交通标志检测方法的流程图。
[0038]
图2为本发明实施例公开的一种基于深度学习的交通标志检测方法的具体实施方式流程图。
[0039]
图3为本发明实施例提供的交通标志检测模型总体结构图。
[0040]
图4为本发明实施例使用的骨干网络cspdarknet-53模块结构图。
[0041]
图5为本发明实施例提供的自适应空间注意力特征融合模型结构图。
[0042]
图6为本发明实施例提供的层级分组归一化指数函数检测头结构图。
[0043]
图7为本发明实施例的交通标志检测与识别结果示意图。
具体实施方式
[0044]
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
[0045]
实施例一
[0046]
请参阅图1所示，本实施例提供一种基于深度学习的交通标志检测与识别方法，包括以下步骤：
[0047]
s100：获取交通标志数据集并对所述交通标志数据集进行预处理，获得交通标志图像，提取所述交通标志图像的特征；
[0048]
s200：将所述交通标志数据集的特征输入至自适应空间注意力特征融合模型，利用自适应空间注意力特征融合模型提取多尺度特征，并将多尺度特征进行融合生成相应尺度的融合特征；
[0049]
s300：将所述融合特征输入至层级分组归一化指数函数检测头，获得初步的预测结果，对初步的所述预测结果进行目标框筛选，得到最终的检测结果。
[0050]
在本发明公开的一种基于深度学习的交通标志检测与识别方法中，对于上述实施方式s100，对所述交通标志数据集进行预处理包括对所述交通标志数据集进行标注,每一个交通标志类别对应一个类别id，并将数据集的json标签格式转换成txt标签格式,每个图像对应一个txt文件，txt标签格式为:[类别id,目标框中心点相对横坐标x,目标框中心点相对纵坐标y,目标框相对宽度w,目标框相对高度h]，其计算公式如下：
[0051]
x＝目标框中心横坐标/图像总宽度；
[0052]
y＝目标框中心纵坐标/图像总高度；
[0053]
w＝目标框宽度/图像总宽度；
[0054]
h＝目标框高度/图像总高度。
[0055]
在本发明公开的一种基于深度学习的交通标志检测与识别方法中，对于上述实施方式s100，提取所述交通标志图像的特征包括将所述交通标志图像制作为标准尺寸，并将其输入至yolov5目标检测网络中，利用骨干网络cspdarknet-53提取图像特征，生成特征图。作为示例地，首先利用骨干网络cspdarknet-53提取图像特征，生成{c1,c2,c3,c4,c5}五个特征图，分辨率分别为640
×
640、320
×
320、160
×
160、80
×
80和40
×
40像素，其中{c3,c4,
c5}将被输入至自适应空间注意力特征融合模型。
[0056]
在本发明公开的一种基于深度学习的交通标志检测与识别方法中，对于上述实施方式s200，自适应空间注意力特征融合模型将输入的{c3,c4,c5}特征融合，具体为每一{c3,c4,c5}特征通过升采样或者降采样生成三个尺度分别为160
×
160、80
×
80和40
×
40像素的特征，得到每个尺度的输入特征{c3,c3→4,c3→5,c4,c4→3,c4→5,c5,c5→3,c5→4}。各个输入特征经过池化操作生成c
pool
，随后分别对c
pool
进行3
×
3,5
×
5,和7
×
7卷积操作并拼接，再对拼接后的特征进行1
×
1卷积操作，得到相应的空间注意力特征图m(c)，同一尺度的空间注意力特征图经过通道维度归一化指数函数后得到相应的权重矩阵ms(c)，最后同一尺度权重矩阵与相应的输入特征对应元素相乘并融合得到最后的融合矩阵f并输入至层级分组归一化指数函数检测头。
[0057]
上述过程可由如下公式表达：
[0058]
m(c)＝f1×1(f3×3(c
pool
) f5×5(c
pool
) f7×7(c
pool
))
[0059][0060][0061]
其中，m(c)代表网络对于输入特征c输出的注意力特征图，c
pool
代表对应输入特征c的池化特征，fn×n代表卷积核为n
×
n的卷积操作，fk代表第k层级的融合特征，si(
·
)代表沿着特征通道方向的归一化指数函数。
[0062]
在本发明公开的一种基于深度学习的交通标志检测与识别方法中，对于上述实施方式s300，将所述融合特征输入至层级分组归一化指数函数检测头，获得初步的预测结果包括：将不同尺度的融合特征输入至层级分组归一化指数函数检测头，其中第一层级有一组g
11.，第二层级有三组{g
12.，g
22.，g
32.}，第三层级有六组{g
13.，g
23.，g
33.，g
43.，g
53.，g
63.}，通过对样本相对均衡的组应用归一化指数函数得到预测结果，某一类别的最终预测概率等于该节点到根节点的所有条件概率之积，某一类别的预测概率的计算公式如下：
[0063][0064][0065]
其中，代表网络对于第k层级第j类别的输出，g
n[k]
代表第k层级第n组，代表第k层级第j类别的预测概率，pj代表第j类别的最终概率。
[0066]
在本发明公开的一种基于深度学习的交通标志检测与识别方法中，对于上述实施方式s300，对初步的所述预测结果进行目标框筛选所采用的处理操作包括但不限于nms、soft-nms、adaptive-nms等能够筛选目标框的后处理算法。
[0067]
在本发明公开的一种基于深度学习的交通标志检测与识别方法中，本发明突破现有交通标志检测方法只能检测部分交通标志类别的限制，针对交通标志在图像中占比小的问题，提出自适应空间注意力特征融合模型，该模型在特征融合过程中加强重要区域的特
征并抑制非重要区域的特征，从而得到一个更精细化的特征，并缩小不同尺度特征之间的语义差距；并且针对交通标志长尾分布问题，提出层级分组归一化指数函数，通过构建标签树将交通标志类别分组，得到若干样本相对均衡的组并应用归一化指数函数得到最后预测结果，总体上提高了对于小交通标志以及样本匮乏的交通标志类别的检测准确率。
[0068]
为了更加清楚地了解本发明的技术方案及其效果，下面结合一个具体的实施例进行详细说明。
[0069]
本实施例所选择的操作系统为ubuntu 18.04，yolov5网络模型的深度学习框架为pytorch搭配cuda 10.1版本,硬件环境为intel(r) xeon(r) cpu e5-2690 v3@2.60ghz处理器，nvidia geforce gtx 2080ti显卡，在训练阶段，模型的权重衰减(weight decay)为0.0005，批次大小(batch size)为4。
[0070]
本实施例的检测方法流程图如图2所示，本实施例的检测模型总体结构图如图3所示，具体包括：
[0071]
1)对tt100k交通标志数据集进行预处理：
[0072]
对tt100k交通标志数据集预处理包括:对tt100k交通标志数据集进行标注，并将交通标志数据集按照8：2的比例随机划分为训练集和测试集，数据集中共有10000张图像，因此共有8000张图像用来训练，2000张图像用来测试。每一个交通标志类别对应一个类别id，共有162种交通标志类别,并对数据集的json标签格式转换成yolov5所需的txt标签格式,每个图像对应一个txt文件，txt格式为:[类别id,目标框中心点相对横坐标x,目标框中心点相对纵坐标y,目标框相对宽度w,目标框相对高度h]，在本实施例中，图像总高度和总宽度为2048像素，标注数据计算公式如下：
[0073]
x＝目标框中心横坐标/2048；
[0074]
y＝目标框中心纵坐标/2048；
[0075]
w＝目标框宽度/2048；
[0076]
h＝目标框高度/2048。
[0077]
2)重新调整大小：
[0078]
由于不同的图像长宽各不相同，因此需要将图像统一缩放至一个标准尺寸，再送入yolov5目标检测网络中，在本实施例中，图像将被重新调整为1024
×
1024像素，随后被输入至骨干网络。
[0079]
3)骨干网络cspdarknet-53提取特征：
[0080]
骨干网络cspdarknet-53结构图如图4所示。
[0081]
4)利用自适应空间注意力特征融合模型融合特征：
[0082]
自适应空间注意力特征融合模型将输入的{c3,c4,c5}特征融合，具体为每一{c3,c4,c5}特征通过升采样或者降采样生成三个尺度分别为160
×
160、80
×
80和40
×
40像素的特征，得到每个尺度的输入特征{c3,c3→4,c3→5,c4,c4→3,c4→5,c5,c5→3,c5→4}。各个输入特征经过池化操作生成c
pool
，随后分别对c
pool
进行3
×
3,5
×
5,和7
×
7卷积操作并拼接，再对拼接后的特征进行1
×
1卷积操作，得到相应的空间注意力特征图m(c)，同一尺度的空间注意力特征图经过通道维度归一化指数函数后得到相应的权重矩阵ms(c)，最后同一尺度权重矩阵与相应的输入特征对应元素相乘并融合得到最后的融合矩阵f并输入至层级分组归一化指数函数检测头。其中自适应空间注意力特征融合模型结构图如图5所示。
[0083]
5)将融合特征输入至层级分组归一化指数函数检测头：
[0084]
将不同尺度的融合特征输入至层级分组归一化指数函数检测头，其中第一层级有一组g
11.，第二层级有三组{g
12.，g
22.，g
32.}，第三层级有六组{g
13.，g
23.，g
33.，g
43.，g
53.，g
63.}，通过对样本相对均衡的组应用归一化指数函数得到预测结果，某一类别的最终预测概率等于该节点到根节点的所有条件概率之积，其中层级分组归一化指数函数检测头结构图如图6所示。
[0085]
6)对初步的预测结果进行后处理操作，得到最终预测结果：
[0086]
7)本实施例所采用的后处理操作为非极大抑制操作，最终检测与识别结果示意图如图7所示。
[0087]
实施例二
[0088]
下面对本发明实施例二公开的一种基于深度学习的交通标志检测与识别系统进行介绍，下文描述的一种基于深度学习的交通标志检测与识别系统与上文描述的一种基于深度学习的交通标志检测与识别方法可相互对应参照。
[0089]
本发明实施例二公开了一种基于深度学习的交通标志检测与识别系统，包括：
[0090]
数据获取模块，所述数据获取模块用于获取交通标志数据集并对所述交通标志数据集进行预处理，获得交通标志图像，提取所述交通标志图像的特征；
[0091]
特征融合模块，所述特征融合模块用于将所述交通标志数据集的特征输入至自适应空间注意力特征融合模型，利用自适应空间注意力特征融合模型提取多尺度特征，并将多尺度特征进行融合生成相应尺度的融合特征；
[0092]
分类检测模块，所述分类检测模块用于将所述融合特征输入至层级分组归一化指数函数检测头，获得初步的预测结果，对初步的所述预测结果进行目标框筛选，得到最终的检测结果。
[0093]
在本发明公开的一种基于深度学习的交通标志检测与识别系统中，所述数据获取模块包括：
[0094]
数据预处理子模块，所述数据预处理子模块用于对所述交通标志数据集进行标注,每一个交通标志类别对应一个类别id，并将数据集的json标签格式转换成txt标签格式,每个图像对应一个txt文件。
[0095]
在本发明公开的一种基于深度学习的交通标志检测与识别系统中，所述特征融合模块包括：
[0096]
多尺度特征拼接子模块，所述多尺度特征拼接子模块用于将所述交通标志图像不同尺度的特征进行升采样或者降采样操作，得到每个尺度对应的输入特征，将每个尺度的输入特征经过池化操作生成池化特征，该池化特征参数量显著减少同时保留关键信息，对所述池化特征进行卷积操作并拼接，获得拼接特征；
[0097]
多尺度特征融合子模块，所述多尺度特征融合子模块用于对所述拼接特征进行卷积操作，得到相应的空间注意力特征图，将同一尺度的空间注意力特征图经过通道维度归一化指数函数得到相应的权重矩阵，并将同一尺度的权重矩阵与相应的输入特征对应元素相乘进行融合，得到融合特征。
[0098]
在本发明公开的一种基于深度学习的交通标志检测与识别系统中，所述分类检测模块包括：
[0099]
初步预测子模块，所述初步预测子模块用于将不同尺度的融合特征输入至层级分组归一化指数函数检测头，其中第一层级有一组g
11.，第二层级有三组{g
12.，g
22.，g
32.}，第三层级有六组{g
13.，g
23.，g
33.，g
43.，g
53.，g
63.}，通过对样本相对均衡的组应用归一化指数函数得到预测结果。
[0100]
本实施例的基于深度学习的交通标志检测与识别系统用于实现前述的基于深度学习的交通标志检测与识别方法，因此该系统的具体实施方式可见前文中的基于深度学习的交通标志检测与识别方法的实施例部分，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
[0101]
另外，由于本实施例的基于深度学习的交通标志检测与识别系统用于实现前述的基于深度学习的交通标志检测与识别方法，因此其作用与上述方法的作用相对应，这里不再赘述。
[0102]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0103]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0104]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0105]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0106]
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。