一种基于自注意力机制的交通标志识别方法

1.本发明属于计算机视觉领域，尤其涉及一种基于自注意力机制的交通标志识别方法。


背景技术：

2.交通标志识别具有直接的现实世界应用，例如驾驶员辅助和安全、城市场景理解、自动驾驶，甚至是标志监控用于维护。对于驾驶员辅助和安全来说，驾驶员辅助和安全系统的开发旨在增强车辆系统的安全性和更好的驾驶。这些系统可以包括道路传感器、车载导航服务、电子信息标志、交通管理和监控等。通过提供警告驾驶员潜在危险的技术，安全功能可以避免事故，或通过实施安全措施和控制车辆来避免碰撞。它们的主要困难是对真实户外场景中的车辆环境的感知。因此，交通标志识别对驾驶员辅助和安全系统起着关键作用。交通标志通常根据其形状和颜色分为各种类别，例如、红边三角形危险标志、红边圆形限速标志和蓝色圆形强制标志。但在实践中，交通标志的各种情况复杂，这使得这些系统的检测和识别任务困难重重。


技术实现要素：

3.本发明的技术目的是提供一种基于自注意力机制的交通标志识别方法，以解决现有技术中对交通标志检测效率低、难度高的技术问题。
4.为解决上述问题，本发明的技术方案为：
5.一种基于自注意力机制的交通标志识别方法，包括如下步骤：
6.s1：获取待识别交通标志的视频输入流，并输入至预先构建的基于自注意力机制的交通识别模型进行识别；
7.s2:基于预先设置的种类的目标对视频输入流进行框选，得到交通标志的位置以及相对应的类别信息；
8.其中，交通识别模型包括特征提取层、特征融合层和多尺度检测回归层；特征提取层依次连接的四层，用于对视频输入流的每一帧图像进行分割、展平、映射、编码操作，并提取特征图；特征融合层用于对特征提取层进行上采样，对特征图进行特征融合并划分出不同的尺度；多尺度检测回归层用于对不同尺度的特征图进行检测和种类识别。
9.进一步优选地，在步骤s1之前需要构建交通识别模型，包括如下步骤
10.a1：获取交通标志图像并进行分类并标注，得到数据集；
11.a2：对数据集进行数据增强；
12.a3：构建预识别模型，并将增强后的数据集放入预识别模型进行参数训练更新直至收敛，得到交通识别模型。
13.其中，步骤a1具体为获取交通标志图像，并进行分类以及标注交通标志的位置，将交通标志图像按训练集和验证集分类、整理存放，并将标注位置信息以及相对应的交通标志种类存入相对应的csv文件中，训练集和验证集组成数据集,每张交通标志图像对应一标
签，标签内记载相对应的交通标志种类。
14.进一步优选地，步骤a1与步骤a2之间还包括如下步骤：
15.读取数据集中的每个图片相对应的标注位置信息；
16.基于标注位置信息，通过k-means聚类算法对获得6种不同的检测框，并赋值给预识别模型的检测层。
17.其中，步骤a2具体包括如下步骤：
18.a21：对数据集中的交通标志图像进行数据增强，使用马赛克增强技术，对数据集进行扩充；
19.a22：对数据增强后的数据集进行统计，统计不同种类交通标志所对应交通标志图像的数量，对于交通标志种类数量较少的交通标志图像进行再次数据增强。
20.其中，在步骤a21具体包括如下步骤
21.a211：从数据集中随机选取四张交通标志图像；
22.a212：分别对四张交通标志图像进行左右翻转，大小缩放，明亮度、饱和度和色调改变；
23.a213：对四张交通标志图像依次摆放于四个角；
24.a214：利用矩阵的方式对四张交通标志图像进行截取，然后拼接，得到交通标志合成图像，交通标志合成图像中带有标注位置信息和相对应的交通标志种类，交通标志合成图像和交通标志图像构成数据增强后的数据集；
25.a215：重复步骤a211至a214，直至扩增到预设的数量阈值。
26.其中，在步骤a22具体包括如下步骤
27.a221：读取数据增强后的数据集的标签，获取标签内记载的交通标志种类，并对交通标志种类进行统计，从数据集找出交通标志种类数量较少的图像；
28.a222：对于交通标志种类数量少的图像中，随机取出不同交通标志种类的两张图像进行剪切、拼接得到一张交通标志
29.a223：重复步骤a221和a222，直至各交通标志种类相对应的图像数量相接近。
30.具体地，获取待识别交通标志的视频输入流，并按时间进行帧截取，得到每一帧相对应的图像数据并输入交通识别模型进行识别。
31.进一步优选地，还包括步骤s3，若没有检测到交通标志则丢弃这一帧图像数据，否则输出并保存框有交通标志位置的图像数据以及类别信息。
32.本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：
33.本发明将自注意力机制用于交通标志检测，对车载摄像头获取到的数据进行全局特征提取，相比于传统的图像处理，传统的图像处理易收到光照、色彩变化的影响，自注意力机制鲁棒性更好、精度更高。
附图说明
34.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
35.图1为本发明的一种基于自注意力机制的交通标志识别方法的流程图；
36.图2为本发明的准备、构建以及识别的完整流程图；
37.图3为本发明的交通识别模型的结构图。
具体实施方式
38.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
39.为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
40.以下结合附图和具体实施例对本发明提出的一种基于自注意力机制的交通标志识别方法作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。
41.实施例
42.参看图1和图2，本实施例提供一种基于自注意力机制的交通标志识别方法，首先需要构建应用于该方法以进行识别的交通识别模型。构建模型的步骤具体如下，首先在步骤a1中，使用相机或网络获取交通标志图像，接着对得到交通标志图像进行标注出交通标志的位置并分类。然后将交通标志图像按训练集和验证集进行整理存放，并将标注位置信息以及相对应的交通标志种类存入相对应的csv文件中。上述训练集和验证集组成数据集,每张交通标志图像对应一标签，标签内记载相对应的交通标志种类。
43.较优地，在步骤a1后还会读取数据集中的每个图片相对应的标签获取标注位置信息，即步骤a1中标注的位置。对标签内标注位置信息进行提取，使用k-means聚类算法对获得6种不同的检测框，k-means算法第一步在所有的标签随机选6个位置标签作为簇的中心，第二步计算每个标签离每个簇中心的距离，第三步计算每个标签距离最近的簇中心，并分配到离它最近的簇中，第四步根据每个簇中的为指标重新计算簇中心，这里默认使用的是计算中值，第五步重复第三步和第四步直到每个簇中元素不再发生变化，获得6种不同的检测框后赋值给后续使用的预识别模型的检测层，其中，检测层为预识别模型的最后一层。
44.接着，在步骤a2中，对步骤a1得到的数据集进行数据增强。数据增强可分为两步，第一步对数据集中的交通标志图像使用马赛克增强技术，从而对数据集进行扩充，减少数据集长短尾现象。具体为从数据集中随机选取四张交通标志图像。分别对四张交通标志图像进行左右翻转，大小缩放，明亮度、饱和度和色调改变等一系列的操作。操作完成后把四张交通标志图像依次摆放于四个角，比如第一张图片放在左上角，第二张图片放在左下角，第三张图片放在右上角，第四张图片放在右下角。然后利用矩阵的方式对四张交通标志图像进行截取，然后拼接，得到交通标志合成图像。交通标志合成图像中带有标注位置信息和相对应的带交通标志种类的标签，交通标志合成图像和交通标志图像构成数据增强后的数据集。最后重复上述步骤，直至扩增到预设的数量阈值。
45.在上述数据增强结束后，进入下一步数据增加步骤，具体为获取增强后的数据集
中每张图片的标签，获取标签内记载的交通标志种类，使用累加器对交通标志种类进行统计。基于此画出含有每种类别的直方图，寻找出数量不均衡的几种交通标志种类，即数量过少的。然后对于数量不均衡的几种交通标志种类进行图像随机组合，比如将两种类别的交通标志剪切拼接在一张图片上，来丰富数据集，避免数据集不均衡的现象。最后重复上述步骤，直至各交通标志种类相对应的图像数量相接近。
46.参看图3，然后在步骤a3中，构建预识别模型，并将增强后的数据集放入预识别模型进行参数训练更新直至收敛，得到训练好的交通识别模型。其中，交通识别模型可分为特征提取层、特征融合层和多尺度检测回归层，其中，特征提取层是用于对图片提取特征，特征融合层是将不同尺度的特征融合在一起，多尺度检测回归层就是输出目标种类、目标的坐标。对于特征提取层为搭建四层基于自注意力机制(一种对图像的处理方式)的特征提取层用于特征提取，对比于卷积机制，自注意力机制使用自身进行线性映射，减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性，特征提取部分首先对输入图片进行分割，分割后的图片分成了n
×
n的图片区块，接着将每个图片区块进行展平处理，然后将展平后的图片区块映射到高维空间中，同时加入每个图片区块的位置编码，最后进行编码操作，提取出含有丰富语义的特征图。特征融合层对于特征提取层进行上采样，进行特征融合和划分出不同的尺度。最后将上述特征融合层的输出共享给两个检测头，两个检测头使用上述6个检测框对不同尺度的特征图进行检测与种类识别。
47.上述构建模型完成后，在步骤s1中，接收利用摄像头采集的视频流数据并进行按时间帧截取，并将一段时间序列的数据记录保存到计算机存储中进行输入，相当于每个输入数据即每一帧的图像数据。然后在步骤s2中，对于上述的图像数据，使用训练好的交通识别模型进行交通标志的检测以及交通标志位置的回归。如没有检测到交通标志则丢弃这一帧的数据，否则输出检测结果和保存带有绘制检测目标的图片。最后，若没有检测到交通标志则丢弃这一帧图像数据，否则输出并保存框有交通标志位置的图像数据以及类别信息。
48.上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。