车道指引标牌识别方法、装置、服务器及存储介质与流程

1.本技术涉及智能交通技术领域，具体涉及一种车道指引标牌识别方法、装置、服务器及存储介质。


背景技术：

2.汽车的飞速发展，为人们日常生活的出行提供了便利，但也带来了各种问题，如交通拥堵、交通事故频频发生。驾驶员能够实时、准确地获取到道路信息，可以有效地帮助驾驶员作出危险预测，提高驾驶的安全性。因此，交通标志识别得到了广泛的关注。
3.其中，车道指引标牌交通标志的一种表现形式，车道指引标牌一般包含多个车道指示的箭头。针对车道指引标牌的识别，现有的识别方法是，基于计算机视觉中的检测和分类任务来实现。即先从车道指引标牌的图像中检测出每个车道箭头，再分别针对每个箭头进行分类。
4.但是，现有的识别算法需要针对每个车道箭头分别单独检测，容易出现漏检的问题；当出现其中一个车道箭头漏检时，将会导致所识别的整个车道指引标牌的标志序列。
5.可见，现有基于计算机视觉中检测和分类任务的识别算法，对车道指引标牌的识别精度较低。


技术实现要素：

6.本技术实施例提供一种车道指引标牌识别方法、装置、服务器及存储介质，无需单独检测每个车道箭头，避免了车道箭头漏检的问题，在一定程度上提高了车道指引标牌的识别精度。
7.第一方面，本技术提供一种车道指引标牌识别方法，所述车道指引标牌识别方法包括：
8.获取车道指引标牌的状态图像；
9.根据预设的第一网络模型对所述状态图像进行标牌区域检测处理，得到所述车道指引标牌的区域图像；
10.根据预设的第二网络模型对所述区域图像的字符依序进行光学字符识别，得到所述车道指引标牌的箭头信息。
11.在本技术一些实施例中，所述第二网络模型包括卷积神经网络和循环神经网络，所述根据预设的第二网络模型对所述区域图像的字符依序识别，得到所述车道指引标牌的箭头信息包括：
12.根据所述卷积神经网络对所述区域图像进行特征提取处理，得到所述区域图像的特征序列信息；
13.根据所述循环神经网络和所述特征序列信息进行光学字符序列化识别，得到所述箭头信息。
14.在本技术一些实施例中，所述根据预设的第二网络模型对所述区域图像的字符依
序识别，得到所述车道指引标牌的箭头信息之前，所述方法还包括：
15.获取第一样本图像，其中，所述第一样本图像中包含第一样本标牌，所述第一样本图像标注了所述第一样本标牌的实际箭头序列信息；
16.根据预设的识别网络模型对所述第一样本图像进行特征提取处理，得到所述第一样本图像的第一图像特征；
17.根据所述识别网络模型和所述第一图像特征进行识别处理，得到所述第一样本标牌的箭头序列预测信息；
18.根据所述箭头序列预测信息和所述实际箭头序列信息，更新所述识别网络模型的模型参数，直至所述识别网络模型收敛时，将所述识别网络模型作为所述第二网络模型。
19.在本技术一些实施例中，所述获取第一样本图像，包括：
20.获取所述第一样本标牌的原始图像；
21.对所述原始图像进行箭头提取处理，得到所述第一样本标牌的多个样本箭头图像；
22.对所述多个样本箭头图像进行随机组合处理，得到所述第一样本标牌的扩增图像；
23.将所述原始图像和所述扩增图像分别作为所述第一样本图像。
24.在本技术一些实施例中，所述根据预设的第一网络模型对所述状态图像进行标牌区域检测处理，得到所述车道指引标牌的区域图像之前，所述方法还包括：
25.获取第二样本图像，其中，所述第二样本图像中包含第二样本标牌，所述第二样本图像标注了所述第二样本标牌的实际区域信息；
26.根据预设的检测网络对所述第二样本图像进行特征提取处理，得到所述第二样本图像的第二图像特征；
27.根据所述检测网络和所述第二图像特征进行预测处理，得到所述第二样本标牌的区域预测信息；
28.根据所述区域预测信息和所述实际区域信息，更新所述检测网络的模型参数，直至所述检测网络收敛时，将所述检测网络作为所述第一网络模型。
29.在本技术一些实施例中，所述方法还包括：
30.获取所述车道指引标牌的位置信息；
31.根据所述箭头信息和所述位置信息，生成道路指示地图。
32.在本技术一些实施例中，所述获取车道指引标牌的状态图像，包括：
33.获取所述车道指引标牌的视频；
34.将所述视频解析为多帧图像；
35.将所述多帧图像中的每一帧图像作为所述状态图像。
36.在本技术一些实施例中，所述第一网络模型是centernet网络。
37.另一方面，本技术提供一种车道指引标牌识别装置，所述车道指引标牌识别装置包括：
38.获取单元，用于获取车道指引标牌的状态图像；
39.检测单元，用于根据预设的第一网络模型对所述状态图像进行标牌区域检测处理，得到所述车道指引标牌的区域图像；
40.识别单元，用于根据预设的第二网络模型对所述区域图像的字符依序进行光学字符识别，得到所述车道指引标牌的箭头信息。
41.在本技术一些实施例中，所述第二网络模型包括卷积神经网络和循环神经网络，所述识别单元具体用于：
42.根据所述卷积神经网络对所述区域图像进行特征提取处理，得到所述区域图像的特征序列信息；
43.根据所述循环神经网络和所述特征序列信息进行光学字符序列化识别，得到所述箭头信息。
44.在本技术一些实施例中，所述车道指引标牌识别装置还包括第一训练单元，在所述根据预设的第二网络模型对所述区域图像的字符依序识别，得到所述车道指引标牌的箭头信息步骤之前，所述第一训练单元具体用于：
45.获取第一样本图像，其中，所述第一样本图像中包含第一样本标牌，所述第一样本图像标注了所述第一样本标牌的实际箭头序列信息；
46.根据预设的识别网络模型对所述第一样本图像进行特征提取处理，得到所述第一样本图像的第一图像特征；
47.根据所述识别网络模型和所述第一图像特征进行识别处理，得到所述第一样本标牌的箭头序列预测信息；
48.根据所述箭头序列预测信息和所述实际箭头序列信息，更新所述识别网络模型的模型参数，直至所述识别网络模型收敛时，将所述识别网络模型作为所述第二网络模型。
49.在本技术一些实施例中，所述第一训练单元具体用于：
50.获取所述第一样本标牌的原始图像；
51.对所述原始图像进行箭头提取处理，得到所述第一样本标牌的多个样本箭头图像；
52.对所述多个样本箭头图像进行随机组合处理，得到所述第一样本标牌的扩增图像；
53.将所述原始图像和所述扩增图像分别作为所述第一样本图像。
54.在本技术一些实施例中，所述车道指引标牌识别装置还包括第二训练单元，在所述根据预设的第一网络模型对所述状态图像进行标牌区域检测处理，得到所述车道指引标牌的区域图像步骤之前，所述第二训练单元具体用于：
55.获取第二样本图像，其中，所述第二样本图像中包含第二样本标牌，所述第二样本图像标注了所述第二样本标牌的实际区域信息；
56.根据预设的检测网络对所述第二样本图像进行特征提取处理，得到所述第二样本图像的第二图像特征；
57.根据所述检测网络和所述第二图像特征进行预测处理，得到所述第二样本标牌的区域预测信息；
58.根据所述区域预测信息和所述实际区域信息，更新所述检测网络的模型参数，直至所述检测网络收敛时，将所述检测网络作为所述第一网络模型。
59.在本技术一些实施例中，所述车道指引标牌识别装置还包括生成单元，所述生成单元具体用于：
60.获取所述车道指引标牌的位置信息；
61.根据所述箭头信息和所述位置信息，生成道路指示地图。
62.在本技术一些实施例中，所述获取单元具体用于：
63.获取所述车道指引标牌的视频；
64.将所述视频解析为多帧图像；
65.将所述多帧图像中的每一帧图像作为所述状态图像。
66.在本技术一些实施例中，所述识别单元具体用于：
67.根据centernet网络对所述区域图像的字符依序进行光学字符识别，得到所述车道指引标牌的箭头信息。
68.另一方面，本技术还提供一种服务器，所述服务器包括：
69.一个或多个处理器；
70.存储器；以及
71.一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现第一方面中任一项所述的车道指引标牌识别方法。
72.另一方面，本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行第一方面任一项所述的车道指引标牌识别方法中的步骤。
73.本技术实施例在现有基于计算机视觉中检测和分类任务的识别算法，对车道指引标牌的识别精度较低的情况下，通过先从图像中检测并提取出车道指引标牌，再对车道指引标牌的字符依序进行光学字符识别，可以序列化地输出车道指引标牌的箭头信息；由于无需单独检测每个车道箭头，避免了传统计算机视觉检测和分类中容易出现漏检箭头的问题，从而避免整个车道指引标牌的箭头识别序列出现错误，在一定程度上提高了车道指引标牌的识别精度。
附图说明
74.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
75.图1是本技术实施例提供的车道指引标牌识别系统的场景示意图；
76.图2是本技术实施例中提供的车道指引标牌识别方法的一个实施例流程示意图；
77.图3是本技术实施例中车道指引标牌的一种示意图；
78.图4是本技术实施例中车道指引标牌的又一种示意图；
79.图5是本技术实施例中步骤203的一个实施例流程示意图；
80.图6是本技术实施例中第二网络模型训练过程的一个实施例流程示意图；
81.图7是本技术实施例中第一网络模型训练过程的一个实施例流程示意图；
82.图8是本技术实施例中提供的车道指引标牌识别装置的一个实施例结构示意图；
83.图9是本技术实施例中提供的服务器的一个实施例结构示意图。
具体实施方式
84.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
85.在本技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
86.在本技术中，“示例性”一词用来表示“用作例子、例证或说明”。本技术中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本技术，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本技术。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本技术的描述变得晦涩。因此，本技术并非旨在限于所示的实施例，而是与符合本技术所公开的原理和特征的最广范围相一致。
87.下面首先对本技术实施例中涉及到的一些基本概念进行介绍：
88.计算机视觉技术(computer vision,cv)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(optical character recognition，ocr)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
89.目标检测：目标检测是计算机视觉技术中常用的一项重要处理任务。目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力。尤其是在复杂场景中，需要对多个目标进行实时处理时，目标自动提取和识别就显得特别重要。其中，在本技术实施例中，目标具体是指车道指引标牌。
90.本技术实施例提供一种车道指引标牌识别方法、装置、服务器及存储介质，以下分别进行详细说明。
91.参见图1，图1是本技术实施例所提供的车道指引标牌识别系统的场景示意图。其中，该车道指引标牌识别系统可以包括服务器100，服务器100中集成有车道指引标牌识别装置。例如，该服务器可以获取车道指引标牌的状态图像；根据预设的第一网络模型对所述
状态图像进行标牌区域检测处理，得到所述车道指引标牌的区域图像；根据预设的第二网络模型对所述区域图像的字符依序进行光学字符识别，得到所述车道指引标牌的箭头信息。
92.本技术实施例中，该服务器100可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本技术实施例中所描述的服务器100，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(cloud computing)的大量计算机或网络服务器构成。
93.另外，如图1所示，该车道指引标牌识别系统还可以包括存储器200，用于存储数据，如存储图像数据、视频数据。
94.需要说明的是，图1所示的车道指引标牌识别系统的场景示意图仅仅是一个示例，本技术实施例描述的车道指引标牌识别系统以及场景是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域普通技术人员可知，随着车道指引标牌识别系统的演变和新业务场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
95.首先，本技术实施例中提供一种车道指引标牌识别方法，该车道指引标牌识别方法的执行主体为车道指引标牌识别装置，该车道指引标牌识别方法包括：获取车道指引标牌的状态图像；根据预设的第一网络模型对所述状态图像进行标牌区域检测处理，得到所述车道指引标牌的区域图像；根据预设的第二网络模型对所述区域图像的字符依序进行光学字符识别，得到所述车道指引标牌的箭头信息。
96.如图2所示，为本技术实施例中车道指引标牌识别方法的一个实施例流程示意图，该车道指引标牌识别方法包括：
97.201、获取车道指引标牌的状态图像。
98.交通标志，用文字或符号传递引导、限制、警告或指示信息的道路设施。又称道路标志、道路交通标志，交通标志指引标牌是以标牌的展现交通标志的方式，车道指引标牌是交通标志指引标牌中的一种，主要是针对车道指引的标牌。
99.如图3所示，图3是本技术实施例中车道指引标牌的一种示意图。车道指引标牌中包含了多条车道的行驶方向箭头，本技术实施例的目的在于依次识别出车道指引标牌中的每个行驶方向箭头。本文中，车道的行驶方向箭头亦简称为“车道箭头”、或“箭头”。其中，状态图像是指包含车道指引标牌的图像。
100.具体地，在实际应用中，应用本技术实施例提供的车道指引标牌识别装置，在硬件上可直接包括摄像头(该摄像头主要用于采集车道指引标牌的图像)，并在本地存储该摄像头拍摄得到的图像，可在车道指引标牌识别装置内部直接读取；或者，获取车道指引标牌的也可与该摄像头建立网络连接，并根据该网络连接从该摄像头在线获取该摄像头得到的图像；或者，获取车道指引标牌的也可从存储有该摄像头拍摄得到的图像的相关存储介质，读取出该摄像头拍摄得到的图像，具体获取方式在此不做限定。
101.其中，摄像头可根据预设的拍摄方式拍摄图像，例如可设置拍摄高度、拍摄方向或者拍摄距离，其具体拍摄方式可根据摄像头本身进行调节，具体在此不做限定。摄像头拍摄得到的多帧图像，可通过时间线组成视频。
102.在一个具体实施例中，获取车道指引标牌的状态图像的方式可以是通过在道路上
行驶的车辆上的摄像头拍摄车道指引标牌的图像，以作为车道指引标牌的状态图像。
103.在具体实施时，通过在道路上行驶的车辆上的摄像头拍摄道路视频。此时，可以将所拍摄的视频解析为单独的一帧帧图像，以分别检测出在一段道路上的多个车道指引标牌的箭头信息。此时步骤201中所述获取车道指引标牌的状态图像，具体可以包括：获取所述车道指引标牌的视频；将所述视频解析为多帧图像；将所述多帧图像中的每一帧图像作为所述状态图像。通过采集视频的方式，可以提高车道指引标牌的状态图像的获取效率，从而在一定程度上提高对道路的交通标牌的识别速度；驾驶员能够实时、准确地获取到道路信息，可以有效地帮助驾驶员作出危险预测，提高驾驶的安全性。
104.202、根据预设的第一网络模型对所述状态图像进行标牌区域检测处理，得到所述车道指引标牌的区域图像。
105.其中，区域图像是指将车道指引标牌所在的图像区域，从状态图像中截取后所得到的图像。
106.其中，第一网络模型可以是由可用于检测任务的开源网络模型基于训练数据集训练得到，用于检测任务的开源网络模型可以是yolo网络、ssd网络等。其中训练数据集是标注了车道指引标牌的位置区域的样本图像。第一网络模型的训练过程后文将详细介绍，在此不再赘述。
107.由于拍摄条件受限，存在车道指引标牌在状态图像中的位置不唯一，车道指引标牌在状态图像中的占比相对较小等情况，为了保证能正常识别车道指引标牌上的箭头信息，先通过预设的第一网络模型检测出车道指引标牌，从而保证后续可以根据区域图像精准地进行字符光学识别，得到车道指引标牌的箭头信息。
108.如图4所示，在一个具体实施例中，通过在道路上行驶的车辆上的摄像头拍摄车道指引标牌的图像，但由于车道指引标牌在图像中的占比较小，无法正常进行字符光学识别。此时，可以通过计算机视觉中的检测任务，先检测出车道指引标牌，并抠取出车道指引标牌。
109.203、根据预设的第二网络模型对所述区域图像的字符依序进行光学字符识别，得到所述车道指引标牌的箭头信息。
110.其中，箭头信息是指车道指引标牌上，各个车道的行驶方向箭头的具体指向。
111.第二网络模型可以是由可用于进行光学字符识别的开源网络模型基于训练数据集训练得到，用于进行光学字符识别的开源网络模型可以是attention ocr网络等。其中训练数据集是标注了车道指引标牌的箭头序列信息的样本图像。第二网络模型的训练过程后文将详细介绍，在此不再赘述。
112.其中，箭头序列信息是指车道指引标牌上，按照一定顺序排列(如从左往右、或从右往左)的各个车道的行驶方向箭头的具体指向。比如，第一样本标牌如图4所示，从右至左对应的箭头依次“右转”、“直行”、“直行”、“直行”、“左转掉头”。箭头序列信息是“右转”、“直行”、“直行”、“直行”、“左转掉头”。
113.本技术实施例现有基于计算机视觉中检测和分类任务的识别算法，对车道指引标牌的识别精度较低的情况下，通过先从图像中检测并提取出车道指引标牌，再对车道指引标牌的字符依序进行光学字符识别，可以序列化地输出车道指引标牌的箭头信息；由于无需单独检测每个车道箭头，避免了传统计算机视觉检测和分类中容易出现漏检箭头的问
题，从而避免整个车道指引标牌的箭头识别序列出现错误，在一定程度上提高了车道指引标牌的识别精度。
114.在本技术一些实施例中，第二网络模型可以包括卷积神经网络和循环神经网络，如图5所示，所述步骤203中根据预设的第二网络模型对所述区域图像的字符依序进行光学字符识别，得到所述车道指引标牌的箭头信息，可以进一步包括：
115.501、根据所述卷积神经网络对所述区域图像进行特征提取处理，得到所述区域图像的特征序列信息。
116.其中，目标图像特征是指对区域图像进行特征提取处理后，所得到的图像空间特征。特征序列信息是指按照一定位置关系进行排序后的目标图像特征。
117.在一个具体实施例中，第二网络模型可以包括卷积神经网络(convolutional neural networks，cnn)、循环神经网络(recurrent neural network，rnn)。循环神经网络可以是如长短期记忆网络(long short-term memory，lstm)，深层循环神经网络(deeprnn)等。
118.其中，卷积神经网络，用于输出区域图像的目标图像特征，为后续循环神经网络提供特征序列信息，以保证能正常预测车道指引标牌的箭头信息。卷积神经网络以区域图像为输入，区域图像通过卷积神经网络将被进行卷积、池化等操作，从而实现特征提取，并以区域图像的特征序列信息为输出。具体地，卷积神经网络具体可以包括卷积层、池化层，区域图像经过卷积层被进行卷积操作、经过池化层被进行池化操作。卷积层的卷积核大小、步长和填充等可以根据具体应用场景所需的特征图尺寸进行设定，比如区域图像输入卷积核大小、步长、填充分别设定为：5
×
5、1、无填充的卷积层后，将输出12
×
12的空间特征图。12
×
12的空间特征图通过池化层进行特征选择和信息过滤，最终输出区域图像的特征图，即特征序列信息。
119.502、根据所述循环神经网络和所述特征序列信息进行光学字符序列化识别，得到所述箭头信息。
120.其中，循环神经网络，用于输出车道指引标牌的箭头信息。循环神经网络以特征序列信息为输入，在特征序列信息的演进方向进行递归，以实现对区域图像中的字符进行光学字符识别，最终依序输出车道指引标牌的箭头信息。
121.具体地，将特征序列信息依序输入循环神经网络，以调用循环神经网络在特征序列信息的演进方向进行递归，实现对区域图像中字符进行光学字符序列化识别，并输出车道指引标牌的箭头信息。
122.利用循环神经网络对于上下文的理解能力，通过卷积神经网络提取区域图像的特征序列信息，作为循环神经网络的输入，进行车道指引标牌的序列化识别；一方面，由于循环神经网络可以结合车道指引标牌左右序列的信息进行箭头信息预测，有效地提高了序列识别的箭头信息的准确性。另一方面，由于无需针对单个箭头进行检测框标注，循环神经网络也可以序列化地识别车道指引标牌的各箭头，避免了需再次使用检测器逐个箭头检测的问题，减少了数据处理流程上的冗余。
123.如图6所示，在本技术一些实施例中，所述第二网络模型可以通过以下步骤训练得到：
124.601、获取第一样本图像。
125.其中，第一样本图像中包含第一样本标牌。第一样本图像标注了第一样本标牌的实际箭头序列信息，第一样本标牌是指用作样本的车道指引标牌。实际箭头序列信息是指标注得到的、第一样本标牌的箭头序列信息。比如，第一样本标牌如图4中所示，从左至右对应的箭头“左转掉头”、“直行”、“直行”、“直行”、“右转”分别用符号“i16”、“i13”、、“i13”、“i13”、“i10”表示。第一样本标牌的实际箭头序列信息即为：“i16”、“i13”、、“i13”、“i13”、“i10”。
126.第一样本图像的具体获取过程可以参照状态图像获取的说明及举例，在此不再赘述。
127.进一步地，第一样本图像可以是经过裁剪后、只包含第一样本标牌的图像。
128.602、根据预设的识别网络模型对所述第二样本图像进行特征提取处理，得到所述第一样本图像的第一图像特征。
129.第一图像特征是指对第一样本图像进行特征提取处理后，所得到的图像空间特征。其中，第一图像特征是序列化的空间特征信息。
130.对应地，预设的识别网络模型的网络结构，与上述步骤501中所提及的第二网络模型的网络结构对应相同。预设的识别网络模型的具体网络结构和功能可以参照以上步骤501至502中的说明，在此不再赘述。不同的是，预设的识别网络模型是训练前的，第二网络模型是训练后的。
131.具体地，将第一样本图像输入识别网络模型中，识别网络模型中的卷积神经网络将对第一图像特征进行卷积和池化等操作，以提取出第一样本图像的序列化空间特征信息，即得到第一图像特征。
132.603、根据所述识别网络模型和所述第一图像特征进行识别处理，得到所述第一样本标牌的箭头序列预测信息。
133.其中，箭头序列预测信息是指预测得到的、第一样本标牌的箭头序列信息。
134.具体地，卷积神经网络输出的第一图像特征将作为识别网络模型中的循环神经网络的序列数据，输入至循环神经网络中。随后，循环神经网络在第一图像特征的演进方向进行递归，以实现对第一样本图像中的字符进行光学字符识别，最终依序输出第一样本标牌的箭头序列预测信息。
135.604、根据所述箭头序列预测信息和所述实际箭头序列信息，更新所述识别网络模型的模型参数，直至所述识别网络模型收敛时，将所述识别网络模型作为所述第二网络模型。
136.首先，根据箭头序列预测信息、实际箭头序列信息以及预设的损失函数(如，交叉熵损失函数cross entropy loss)，可以确定识别网络模型的训练损失值。然后，根据识别网络模型的训练损失值反向传播，更新识别网络模型的模型参数，以使得识别网络模型在箭头信息的识别上拥有更优的性能。
137.直至识别网络模型收敛时(比如，识别网络模型的训练迭代次数达到预设次数时、或者模型训练的目标函数最优时)，将识别网络模型作为第二网络模型。此时，第二网络模型可用于对车道指引标牌进行箭头信息识别。
138.在一个具体实施例中，第二网络模型是由attention ocr网络训练得到，在实际识别车道指引标牌时，当第一网络模型检测出车道指引标牌的区域图像后，训练后的
attention ocr网络提取出区域图像的特征序列信息，并基于特征序列信息进行递归，实现对区域图像中的字符进行光学字符识别，最终依序输出车道指引标牌中的箭头信息。
139.循环卷积网络对于要识别的字符类别数很少的场景非常实用，由于循环卷积网络不需要单独针对每个箭头进行检测，可以直接输入图像进行箭头识别；因此，在训练过程中则不需要文本框的标注，使得训练数据的收集很方便；可以进行端到端训练，训练过程更加简单和通用。同时，也不要求识别字符必须单行排列，双行排列、多行排列都可以识别。
140.由于光学字符识别(ocr)需要较大数量的训练数据以防止模型过拟合。因此，在本技术一些实施例中，还对训练数据进行了扩充。例如，可以对第一样本图像进行旋转、随机裁剪、随机调整对比度、亮度、色度和饱和度。还可以进一步通过对采集到的各种箭头人工合成车道指引标牌，来实现对训练数据的扩充。
141.进一步地，此时，步骤601中所述获取第一样本图像，具体可以包括：获取所述第一样本标牌的原始图像；对所述原始图像进行箭头提取处理，得到所述第一样本标牌的多个样本箭头图像；对所述多个样本箭头图像进行随机组合处理，得到所述第一样本标牌的扩增图像；将所述原始图像和所述扩增图像分别作为所述第一样本图像。
142.其中，原始图像是指通过摄像头拍摄得到的第一样本标牌的图像。样本箭头图像是指从原始图像中抠取出的箭头区域的图像。扩增图像是指扩增得到的第一样本标牌的图像。
143.在一个具体实施例中，将原始图像中每个箭头通过人工抠取出来，再将一定数量箭头随机组合成一个新的第一样本标牌，从而得到第一样本标牌的扩增图像。其中，每个原始图像、每个扩增图像都可以单独作为一个第一样本图像，用于训练预设的识别网络模型。
144.如图7所示，在本技术一些实施例中，所述第一网络模型可以通过以下步骤训练得到：
145.701、获取第二样本图像。
146.其中，第二样本图像中包含第二样本标牌，第二样本图像标注了第二样本标牌的实际区域信息。
147.第二样本标牌是指用作样本的车道指引标牌。其中，第二样本标牌和第一样本标牌可以是相同的车道指引标牌。对应地，第一样本图像可以是由第二样本图像裁剪后得到。
148.实际区域信息是指标注得到的、第二样本标牌的检测框。
149.702、根据预设的检测网络对所述第二样本图像进行特征提取处理，得到所述第二样本图像的第二图像特征。
150.第二图像特征是指对第二样本图像进行特征提取处理后，所得到的图像空间特征。
151.具体地，将第二样本图像输入预设的检测网络中，检测网络将对第一图像特征进行卷积和池化等操作，以提取出第二样本图像的空间特征信息，即得到第二图像特征。
152.703、根据所述检测网络和所述第二图像特征进行预测处理，得到所述第二样本标牌的区域预测信息。
153.其中，区域预测信息是指检测网络预测得到的、第二样本标牌的检测框。
154.随后，检测网络将根据第二图像特征进行分类回归预测处理，最终输出第二样本标牌的区域预测信息。
155.704、根据所述区域预测信息和所述实际区域信息，更新所述检测网络的模型参数，直至所述检测网络收敛时，将所述检测网络作为所述第一网络模型。
156.首先，根据区域预测信息、实际区域信息以及预设的损失函数(如，交叉熵损失函数focal loss)，可以确定检测网络的训练损失值。然后，根据检测网络的训练损失值反向传播，更新检测网络的模型参数，以使得检测网络在车道指引标牌的检测上拥有更优的性能。
157.直至检测网络收敛时(比如，检测网络的训练迭代次数达到预设次数时、或者模型训练的目标函数最优时)，将检测网络作为第一网络模型。此时，第一网络模型可用于检测车道指引标牌。
158.进一步地，本技术实施例中的第一网络模型由开源的centernet网络训练得到。centernet网络，即基于中心点的检测网络，是一个端到端的独特的，简单而快速的目标检器。
159.如果预测的边界框与实际的边界框有较高的iou(intersection over union，重叠域)，则中心关键点预测出相同类别的概率要高，反之亦然。centernet网络通过检测每个目标物看作是一个三个关键点，而不是一对关键点。centernet网络通过增加一个关键点来探索proposal中间区域(近似几何中心)的信息，这样做同时提高了准确率及召回率。
160.在某些情况下，状态图像中的车道指引标牌可能存在多个，并且存在重叠的情况。鉴于此，本技术一些实施例中由开源的centernet网络训练得到第一网络模型，以提高车道指引标牌的区域图像的检测精度。通过centernet网络，在进行推理时，当通过一组关键点产生了一个边界框，会继续观察是否具有同类别的一个关键点落入区域的中心，即使用三个点表示目标；也即可以检测出重叠的车道指引标牌，更精确地定位每个车道指引标牌。
161.使用centernet作为车道指引标牌定位的检测器，由于centernet中的anchor-free的特质，使得它密集地预测目标位置，对车道指引标牌中的小目标检测有明显的优势。
162.为了驾驶员能够实时、准确地获取到道路信息，可以有效地帮助驾驶员作出危险预测，提高驾驶的安全性。本技术实施例的车道指引标牌识别方法还可以在车辆抵达车道指引标牌的箭头对应标记路段时，还可以及时输出每个车道的箭头信息，以提醒驾驶员按照对应的车道指引行驶。
163.在本技术一些实施例中，步骤201中在获取状态图像的同时，获取车道指引标牌的位置信息；并将车道指引标牌的位置信息、以及箭头信息关联存储。当车辆行驶至对应路段时，输出该路段的车道指引标牌的箭头信息。其中，输出路段的车道指引标牌的箭头信息的方式有多种，例如，以语音方式输出、以道路地图形式输出等等。
164.当需以道路地图形式输出时，在确定车道指引标牌的箭头信息之后，还需要生成道路指示地图。即在一些实施例中，本技术实施例提供的车道指引标牌识别方法还包括：获取所述车道指引标牌的位置信息；根据所述箭头信息和所述位置信息，生成道路指示地图。其中，道路指示地图是指整合了道路、车道指引标牌等指示信息的地图。
165.为了更好实施本技术实施例中车道指引标牌识别方法，在车道指引标牌识别方法基础之上，本技术实施例中还提供一种车道指引标牌识别装置，如图8所示，所述车道指引标牌识别装置800包括：
166.获取单元801，用于获取车道指引标牌的状态图像；
167.检测单元802，用于根据预设的第一网络模型对所述状态图像进行标牌区域检测处理，得到所述车道指引标牌的区域图像；
168.识别单元803，用于根据预设的第二网络模型对所述区域图像的字符依序进行光学字符识别，得到所述车道指引标牌的箭头信息。
169.在本技术一些实施例中，所述第二网络模型包括卷积神经网络和循环神经网络，所述识别单元803具体用于：
170.根据所述卷积神经网络对所述区域图像进行特征提取处理，得到所述区域图像的特征序列信息；
171.根据所述循环神经网络和所述特征序列信息进行光学字符序列化识别，得到所述箭头信息。
172.在本技术一些实施例中，所述车道指引标牌识别装置800还包括第一训练单元(图中未示出)，在所述根据预设的第二网络模型对所述区域图像的字符依序识别，得到所述车道指引标牌的箭头信息步骤之前，所述第一训练单元具体用于：
173.获取第一样本图像，其中，所述第一样本图像中包含第一样本标牌，所述第一样本图像标注了所述第一样本标牌的实际箭头序列信息；
174.根据预设的识别网络模型对所述第一样本图像进行特征提取处理，得到所述第一样本图像的第一图像特征；
175.根据所述识别网络模型和所述第一图像特征进行识别处理，得到所述第一样本标牌的箭头序列预测信息；
176.根据所述箭头序列预测信息和所述实际箭头序列信息，更新所述识别网络模型的模型参数，直至所述识别网络模型收敛时，将所述识别网络模型作为所述第二网络模型。
177.在本技术一些实施例中，所述第一训练单元具体用于：
178.获取所述第一样本标牌的原始图像；
179.对所述原始图像进行箭头提取处理，得到所述第一样本标牌的多个样本箭头图像；
180.对所述多个样本箭头图像进行随机组合处理，得到所述第一样本标牌的扩增图像；
181.将所述原始图像和所述扩增图像分别作为所述第一样本图像。
182.在本技术一些实施例中，所述车道指引标牌识别装置800还包括第二训练单元(图中未示出)，在所述根据预设的第一网络模型对所述状态图像进行标牌区域检测处理，得到所述车道指引标牌的区域图像步骤之前，所述第二训练单元具体用于：
183.获取第二样本图像，其中，所述第二样本图像中包含第二样本标牌，所述第二样本图像标注了所述第二样本标牌的实际区域信息；
184.根据预设的检测网络对所述第二样本图像进行特征提取处理，得到所述第二样本图像的第二图像特征；
185.根据所述检测网络和所述第二图像特征进行预测处理，得到所述第二样本标牌的区域预测信息；
186.根据所述区域预测信息和所述实际区域信息，更新所述检测网络的模型参数，直至所述检测网络收敛时，将所述检测网络作为所述第一网络模型。
187.在本技术一些实施例中，所述车道指引标牌识别装置800还包括生成单元(图中未示出)，所述生成单元具体用于：
188.获取所述车道指引标牌的位置信息；
189.根据所述箭头信息和所述位置信息，生成道路指示地图。
190.在本技术一些实施例中，所述获取单元801具体用于：
191.获取所述车道指引标牌的视频；
192.将所述视频解析为多帧图像；
193.将所述多帧图像中的每一帧图像作为所述状态图像。
194.在本技术一些实施例中，所述识别单元803具体用于：
195.根据centernet网络对所述区域图像的字符依序进行光学字符识别，得到所述车道指引标牌的箭头信息。
196.本技术实施例通过先从图像中检测并提取出车道指引标牌，再对车道指引标牌的字符依序进行光学字符识别，可以序列化地输出车道指引标牌的箭头信息；由于无需单独检测每个车道箭头，避免了传统计算机视觉检测和分类中容易出现漏检箭头的问题，从而避免整个车道指引标牌的箭头识别序列出现错误，在一定程度上提高了车道指引标牌的识别精度。
197.本技术实施例还提供一种服务器，其集成了本技术实施例所提供的任一种车道指引标牌识别装置，所述服务器包括：
198.一个或多个处理器；
199.存储器；以及
200.一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行上述车道指引标牌识别方法实施例中任一实施例中所述的车道指引标牌识别方法中的步骤。
201.本技术实施例还提供一种服务器，其集成了本技术实施例所提供的任一种车道指引标牌识别装置。如图9所示，其示出了本技术实施例所涉及的服务器的结构示意图，具体来讲：
202.该服务器可以包括一个或者一个以上处理核心的处理器901、一个或一个以上计算机可读存储介质的存储器902、电源903和输入单元904等部件。本领域技术人员可以理解，图9中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
203.处理器901是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器902内的软件程序和/或模块，以及调用存储在存储器902内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器901可包括一个或多个处理核心；处理器901可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，优选的，处理器901可集成应用处理器和调制解调处理器，其中，
应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器901中。
204.存储器902可用于存储软件程序以及模块，处理器901通过运行存储在存储器902的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器902可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器902还可以包括存储器控制器，以提供处理器901对存储器902的访问。
205.服务器还包括给各个部件供电的电源903，优选的，电源903可以通过电源管理系统与处理器901逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源903还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
206.该服务器还可包括输入单元904，该输入单元904可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
207.尽管未示出，服务器还可以包括显示单元等，在此不再赘述。具体在本实施例中，服务器中的处理器901会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器902中，并由处理器901来运行存储在存储器902中的应用程序，从而实现各种功能，如下：
208.获取车道指引标牌的状态图像；
209.根据预设的第一网络模型对所述状态图像进行标牌区域检测处理，得到所述车道指引标牌的区域图像；
210.根据预设的第二网络模型对所述区域图像的字符依序进行光学字符识别，得到所述车道指引标牌的箭头信息。
211.本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
212.为此，本技术实施例提供一种计算机可读存储介质，该存储介质可以包括：只读存储器(rom，read only memory)、随机存取记忆体(ram，random access memory)、磁盘或光盘等。其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行本技术实施例所提供的任一种车道指引标牌识别方法中的步骤。例如，所述计算机程序被处理器进行加载可以执行如下步骤：
213.获取车道指引标牌的状态图像；
214.根据预设的第一网络模型对所述状态图像进行标牌区域检测处理，得到所述车道指引标牌的区域图像；
215.根据预设的第二网络模型对所述区域图像的字符依序进行光学字符识别，得到所述车道指引标牌的箭头信息。
216.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部
分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
217.具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。
218.以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
219.以上对本技术实施例所提供的一种车道指引标牌识别方法、装置、服务器及存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。