道路标牌信息识别方法、装置、计算机设备和存储介质与流程

1.本技术涉及计算机技术领域，特别是涉及一种道路标牌信息识别方法、装置、计算机设备和存储介质。


背景技术：

2.随着计算机技术的快速发展，出现了计算机视觉技术。计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取
‘
信息’的人工智能系统。而计算机视觉技术可以用在自动驾驶等领域，例如进行通过计算机视觉技术来实现高精度地图要素采集及更新。
3.然而，在进行高精度地图要素采集及更新时，不同种类的道路标牌大小不一、图案差异大，单一的计算机视觉模型难以达到足够的精度要求。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够提高道路标牌信息识别精度的道路标牌信息识别方法、装置、计算机设备和存储介质。
5.一种道路标牌信息识别方法，所述方法包括：
6.获取待识别道路标牌图像；
7.通过预设分类模型提取所述待识别道路标牌图像对应的分类结果以及所述分类结果对应的图像特征；
8.将所述图像特征输入到分类结果对应的预设信息识别模型进行信息识别，获取所述待识别道路标牌图像对应的道路标牌信息识别结果。
9.在其中一个实施例中，所述通过预设分类模型提取所述待识别道路标牌图像对应的分类结果以及所述分类结果对应的图像特征之前，还包括：
10.获取模型训练数据，所述模型训练数据包括分类模型训练数据以及各分类类别的标牌信息识别模型训练数据；
11.通过所述分类模型训练数据对初始神经网络模型进行训练，获取预设分类模型，通过所述各分类类别的标牌信息识别模型训练数据对初始神经网络模型进行训练，获取各分类类别对应的预设信息识别模型。
12.在其中一个实施例中，所述通过所述分类模型训练数据对初始神经网络模型进行训练，获取预设分类模型包括：
13.根据所述分类模型训练数据对初始神经网络模型进行训练，获取teacher模型；
14.通过知识蒸馏修改所述teacher模型中的softmax函数；
15.根据修改softmax函数后的teacher模型，获取student模型，将所述student模型作为预设分类模型。
16.在其中一个实施例中，所述预设信息识别模型包括预设第一识别模型、预设第二识别模型以及预设第三识别模型；
17.当所述分类结果包括第一类型时，将所述第一类型对应的图像特征输入至预设第一识别模型，通过所述预设第一识别模型对图像特征中的信息进行识别，获取所述待识别道路标牌图像对应的第一类道路标牌信息识别结果，所述第一类型包括禁令、警告或指示；
18.当所述分类结果包括第二类型时，将所述第二类型对应的图像特征输入至预设第二识别模型，通过所述预设第二识别模型对图像特征中的信息进行识别，获取所述待识别道路标牌图像对应的第二类道路标牌信息识别结果，所述第二类型包括交通牌；
19.当所述分类结果包括第三类型时，将所述第三类型对应的图像特征输入至预设第三识别模型，通过所述预设第三识别模型对图像特征中的信息进行识别，获取所述待识别道路标牌图像对应的第三类道路标牌信息识别结果，所述第三类型包括信号灯；
20.归集已获取的道路标牌信息识别结果，得到所述待识别道路标牌图像对应的道路标牌信息识别结果。
21.在其中一个实施例中，所述当所述分类结果包括第一类型时，将所述第一类型对应的图像特征输入至预设第一识别模型，通过所述预设第一识别模型对图像特征中的信息进行识别，获取所述待识别道路标牌图像对应的第一类道路标牌信息识别结果包括：
22.当所述分类结果包括第一类型时，通过所述预设第一识别模型对图像特征中的信息进行识别，获取细分类类别信息；
23.通过预设ocr文字识别模型识别所述图像特征中的数字信息；
24.根据所述细分类类别信息以及所述数字信息，获取所述待识别道路标牌图像对应的道路标牌信息识别结果。
25.在其中一个实施例中，所述当所述分类结果包括第二类型时，将所述第二类型对应的图像特征输入至预设第二识别模型，通过所述预设第二识别模型对图像特征中的信息进行识别，获取所述待识别道路标牌图像对应的第二类道路标牌信息识别结果包括：
26.当所述分类结果包括第二类型时，通过所述预设第二识别模型对图像特征中的信息进行识别，获取交通牌类别信息；
27.通过预设ocr文字识别模型识别所述图像特征中的文字信息；
28.根据所述交通牌类别信息以及所述文字信息，获取所述待识别道路标牌图像对应的道路标牌信息识别结果。
29.在其中一个实施例中，所述获取待识别道路标牌图像之前，还包括：
30.构建道路标牌图像识别池，所述预设分类模型用于对所述道路标牌图像识别池内的待识别道路标牌图像进行批量处理；
31.所述获取待识别道路标牌图像包括：
32.通过所述道路标牌图像识别池获取待识别道路标牌图像。
33.一种道路标牌信息识别装置，所述装置包括：
34.信息获取模块，用于获取待识别道路标牌图像；
35.分类识别模块，用于通过预设分类模型提取所述待识别道路标牌图像对应的分类结果以及所述分类结果对应的图像特征；
36.信息识别模块，用于将所述图像特征输入到分类结果对应的预设信息识别模型进
行信息识别，获取所述待识别道路标牌图像对应的道路标牌信息识别结果。
37.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
38.获取待识别道路标牌图像；
39.通过预设分类模型提取所述待识别道路标牌图像对应的分类结果以及所述分类结果对应的图像特征；
40.将所述图像特征输入到分类结果对应的预设信息识别模型进行信息识别，获取所述待识别道路标牌图像对应的道路标牌信息识别结果。
41.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
42.获取待识别道路标牌图像；
43.通过预设分类模型提取所述待识别道路标牌图像对应的分类结果以及所述分类结果对应的图像特征；
44.将所述图像特征输入到分类结果对应的预设信息识别模型进行信息识别，获取所述待识别道路标牌图像对应的道路标牌信息识别结果。
45.上述道路标牌信息识别方法、装置、计算机设备和存储介质，通过获取待识别道路标牌图像；通过预设分类模型提取待识别道路标牌图像对应的分类结果以及分类结果对应的图像特征；将图像特征输入到分类结果对应的预设信息识别模型进行信息识别，获取待识别道路标牌图像对应的道路标牌信息识别结果。本技术通过多重的神经网络模型，先通过预设分类模型进行分类以及特征提取，而后根据分类结果来选择对应的预设信息识别模型，再通过预设信息识别模型进行信息识别，从而能够有效实现对道路标牌信息的识别，同时保证识别的精度。
附图说明
46.图1为一个实施例中道路标牌信息识别方法的应用环境图；
47.图2为一个实施例中道路标牌信息识别方法的流程示意图；
48.图3为一个实施例中模型训练步骤的流程示意图；
49.图4为一个实施例中进行知识蒸馏处理步骤的流程示意图；
50.图5为一个实施例中构建道路标牌图像识别池步骤的流程示意图；
51.图6为一个实施例中道路标牌信息识别装置的结构框图；
52.图7为一个实施例中计算机设备的内部结构图。
具体实施方式
53.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
54.本技术提供的道路标牌信息识别方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102可以向服务器104发送待识别道路标牌图像，以通过服务器104来进行道路标牌信息识别，服务器104获取待识别道路标牌图像；
通过预设分类模型提取待识别道路标牌图像对应的图像特征以及分类结果；将图像特征输入到分类结果对应的预设信息识别模型，通过预设信息识别模型对图像特征中的信息进行识别，获取待识别道路标牌图像对应的道路标牌信息识别结果。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
55.在一个实施例中，如图2所示，提供了一种道路标牌信息识别方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
56.步骤201，获取待识别道路标牌图像。
57.其中，待识别道路标牌图像是指本技术的道路标牌信息识别方法所识别的目标图像，本技术的道路标牌信息识别方法即为对待识别道路标牌图像内所包含的信息进行识别，确定图像中包含的道路标牌类型，以及道路标牌在图像中的位置等。
58.具体地，当需要进行道路标牌信息时，终端102可以通过网络，将采集的道路标牌图像发送至服务器104，由服务器104开始道路标牌图像的识别进程。在其中一个实施例中，本技术的道路标牌信息识别方法具体应用于一种自动驾驶技术，作为采集高精度地图信息的辅助方法，用于采集高精度的道路标牌信息。作为自动驾驶技术的基础设施，高精度地图的采集和更新有着重要的战略意义。在进行高精度地图信息补充时，可以将采集到的包含道路标牌的图像提交至服务器104，由服务器104开始相应的道路标牌信息识别。
59.步骤203，通过预设分类模型提取待识别道路标牌图像对应的分类结果以及分类结果对应的图像特征。
60.其中，预设分类模型是指用于对待识别道路标牌图像内的标牌类型进行识别所用的模型，可以根据现有分类模型的训练方法训练获得，具体地，可以预先对所需识别的上百类道路标牌信息进行归类，而后进行相应的道路标牌信息识别。例如，在其中一个实施例中，可以将待识别道路标牌图像分为禁令、警告、指示、交通牌、以及交通信号灯等类型。如果直接用检测模型训练所有种类的道路要素，则要素过多，模型性能难以保证。而按照上述分为几大类之后，降低了问题难度，可以保证较高的精度。这几类道路要素之间差别较大，处理方式也不相同。而待识别道路标牌图像对应的图像特征则是指用于确定待识别道路标牌图像中内所包含信息所用的特征部分图像。
61.具体地，在得到待识别标牌图像后，可以通过预设分类模型识别出待识别道路标牌图像所包含的道路标牌的类型，同时提取出图像内包含的图像特征。特别的，对于一张待识别道路标牌图像包含多种待识别道路标牌的情况，可以将原图像进行相应分割后，再进行特征提取以及分类识别。例如原图像a包含a标牌以及b标牌，此时可以通过预设分类模型将原图像a拆分为aa以及ab两部分图像后再进行图像特征提取以及标牌信息分类。在其中一个实施例中，图像分割过程具体包括，先通过预设分类模型定位原图像a中标牌的图像区域，而后通过基于图像区域的图像分割方法来对原图像进行分割。在另一个实施例中，预设分类模型可以直接通过边缘分割的方法来先对原图像进行分割处理，而后再进行分类识别。
62.步骤205，将图像特征输入到分类结果对应的预设信息识别模型进行信息识别，获取待识别道路标牌图像对应的道路标牌信息识别结果。
63.其中，预设信息识别模型是指用于根据图像特征，来对待识别道路标牌图像内标
牌的具体信息进行识别所用到的模型。不同类型的道路标牌对应了不同的预设信息识别模型，根据标牌的类型来进行进一步地信息识别，可以有效保证道路标牌信息识别的精度。
64.具体地，本技术的道路标牌信息中，不同类型的待识别道路标牌图像对应不同的道路标牌类型，例如，对于禁令、警告以及指示等类型的道路标牌，其标牌内一般包含有数字信息，通过确定道路标牌的类型以及标牌上标注的数字信息，就可以很清晰地了解道路标牌所表达的完整意思。而对于交通牌类型的道路标牌，其标牌内一般包含有文字信息，通过确定道路标牌的类型以及标牌上标注的文字信息，就可以很清晰地了解道路标牌所表达的完整意思。而对于交通信号灯，可以直接根据图像特征确定交通信号灯的类型。
65.上述道路标牌信息识别方法，通过获取待识别道路标牌图像；通过预设分类模型提取待识别道路标牌图像对应的分类结果以及分类结果对应的图像特征；将图像特征输入到分类结果对应的预设信息识别模型进行信息识别，获取待识别道路标牌图像对应的道路标牌信息识别结果。本技术通过多重的神经网络模型，先通过预设分类模型进行分类以及特征提取，而后根据分类结果来选择对应的预设信息识别模型，再通过预设信息识别模型进行信息识别，从而能够有效实现对道路标牌信息的识别，同时保证识别的精度。
66.在一个实施例中，如图3所示，步骤203之前，还包括：
67.步骤302，获取模型训练数据，模型训练数据包括分类模型训练数据以及各分类类别的标牌信息识别模型训练数据；
68.步骤304，通过分类模型训练数据对初始神经网络模型进行训练，获取预设分类模型，通过各分类类别的标牌信息识别模型训练数据对初始神经网络模型进行训练，获取各分类类别对应的预设信息识别模型。
69.其中，模型训练数据具体可以基于历史的道路标牌图像信息获取，可以基于模型训练数据来完成对预设分类模型以及预设信息识别模型的训练。
70.具体地，本技术中的道路标牌信息识别方法具体可以通过多个神经网络模型分级来进行道路标牌信息的识别。其中，用于分类的预设分类模型具体可以为基于bp神经网络或感知器神经网络构建的分类模型。而用于信息识别的预设信息识别模型则具体可以为基于rbf(radial basis function，径向基)神经网络的图像信息识别模型，此外在预设信息识别模型中还可以加在ocr功能，用于识别标牌内的文字或者数字信息。在通过预设分类模型提取待识别道路标牌图像对应的图像特征以及分类结果前，需要先对预设分类模型以及预设信息识别模型分别进行训练，以保证其可用性。此时，可以通过将历史的道路标牌图像作为模型训练数据，而后通过有监督训练或者无监督训练来对初始的神经网络模型进行训练，获得相应的预设分类模型以及各种类型的预设信息识别模型。即，可以通过分类模型训练数据对初始神经网络模型进行训练，获取预设分类模型，通过各分类类别的标牌信息识别模型训练数据对初始神经网络模型进行训练，获取各分类类别对应的预设信息识别模型本实施例中，通过模型训练数据来完成预设分类模型以及预设信息识别模型的训练，可以有效保证模型识别的准确率。
71.在其中一个实施例中，如图4所示，步骤304包括：
72.步骤401，根据分类模型训练数据对初始神经网络模型进行训练，获取teacher模型。
73.步骤403，通过知识蒸馏修改teacher模型中的softmax函数。
74.步骤405，根据修改softmax函数后的teacher模型，获取student模型，将student模型作为预设分类模型。
75.其中，知识蒸馏(knowledge distillation)是指通过引入与教师网络(teacher network：复杂、但推理性能优越)相关的软目标(soft-target)作为total loss的一部分，以诱导学生网络(student network：精简、低复杂度)的训练，实现知识迁移(knowledge transfer)。从而在精简神经网络的基础上，保证模型识别的准确率。
76.具体地，为了保证处理复杂多样的道路要素信息，道路标牌信息的识别过程需要使用多个不同的神经网络模型，而每个模型包含上万神经网络参数，并且模型和模型之间需要各种接口来处理输入的图片流，所以需要对每个模型进行压缩，并改进处理流。此时可以通过知识蒸馏来对单个神经网络模型进行压缩，知识蒸馏就是将原始我们在系统中使用的训练模型作为teacher模型，训练得到相对精简的student模型。可以通过分类模型训练数据对初始神经网络模型进行训练，获取teacher模型。在另一个具体实施例中，在训练各分类类别对应的预设信息识别模型时，也可以采用本实施例中的知识蒸馏方法来对预设信息识别模型进行知识蒸馏，以进行模型压缩。在本技术中，通过知识蒸馏修改了原有神经网络模型中的softmax函数，加入了温度变量t得到改变之后的softmax函数，原始的softmax函数以及修改后的softmax函数具体可以参照如下公式:
[0077][0078][0079]
公式中，当模型的输入数据总共为j条时，t代表温度变量，qi第i条数据对应的模型输出的概率丰度，zi代表第i条数据下模型的输出结果，exp(zi)则是输出结果的指数，∑jexp(zj)则是所有输出结果的指数和。通过温度变量t可以修改的原始的softmax函数。
[0080]
此时通过将温度t提高，将原有模型训练学习到的知识提取出来，像“蒸馏”一样提取到我们需要的信息。该方法得到的student模型可以替换原有teacher模型，精简这个系统。在另一个实施例中，也使用tensorrt的方法来代替知识蒸馏，同样可以实现精简模型的目的。本实施例中，通过知识蒸馏压缩了方法中所用到的神经网络模型，大大缩减了检测所需要的时间。通过实验对比发现，通过对模型的知识蒸馏优化工作可以将整个方法的检测速度提升一倍，精度仅损失0.1％。
[0081]
在其中一个实施例中，分类结果包括禁令、警告、指示、交通牌以及交通信号灯，预设信息识别模型包括预设第一识别模型、预设第二识别模型以及预设第三识别模型；
[0082]
步骤205包括：
[0083]
当分类结果包括第一类型时，将第一类型对应的图像特征输入至预设第一识别模型，通过预设第一识别模型对图像特征中的信息进行识别，获取待识别道路标牌图像对应的第一类道路标牌信息识别结果，第一类型包括禁令、警告或指示；
[0084]
当分类结果包括第二类型时，将第二类型对应的图像特征输入至预设第二识别模型，通过预设第二识别模型对图像特征中的信息进行识别，获取待识别道路标牌图像对应的第二类道路标牌信息识别结果，第二类型包括交通牌；
[0085]
当分类结果包括第三类型时，将第三类型对应的图像特征输入至预设第三识别模
型，通过预设第三识别模型对图像特征中的信息进行识别，获取待识别道路标牌图像对应的第三类道路标牌信息识别结果，第三类型包括信号灯；
[0086]
归集已获取的道路标牌信息识别结果，得到待识别道路标牌图像对应的道路标牌信息识别结果。
[0087]
其中，禁令是指白底红色外圈的标志，包括禁止鸣笛、禁止右拐、限高限宽等。警告是指黄底黑色图案的标志，包括y型交叉，连续弯路、两侧变窄等。指示是指蓝底白色图案的标志，包括直行、向左/右转弯、单行路等。交通牌是指主要包括指路牌、车道牌、公交信息牌等矩形较大的蓝底白字牌。以上类别加上摄像头和交通信号灯可以基本涵盖构建高精度地图所需要的要素类别。训练检测模型处理六大类的道路要素。此外，需要识别的目标可以还包括摄像头，此时，当预设分类模型识别出图像内的信息为摄像头，可以直接输出摄像头的识别结果，而不进行后续的预设信息识别模型的识别处理。由于不同种类的交通标志大小不一、图案差异大，单一的计算机视觉模型难以达到足够的精度要求，所以，使用多个模型分级提取有用信息是解决这一问题的必要方案。
[0088]
具体地，禁令、警告以及指示都为图案型标识，一般可以附带数字进行标识，因此，可以将这三类标牌信息视为同一类来进行处理。通过预设第一识别模型对图像特征中的信息进行识别，获取待识别道路标牌图像对应的道路标牌信息识别结果。而交通牌则一般包含有特定的文字信息，因此可以通过预设第二识别模型来对这类交通牌上的内容进行识别。而信号灯一般不包含文字信息或者数字信息，可以直接通过预设第二识别模型基于图像特征，确定信号灯所对应的信息。在分别各类型的预设信息识别模型进行信息识别后，可以根据已得到的信息识别结果，归集得到最后的完整结果。通过归集不同结果，可以保证图像在包含多种类型的道路标牌信息时，也可以进行完整的识别。本实施例中，通过不同类别的识别模型，来对分类后的道路标牌信息的特征信息进行识别，可以提高识别过程中的识别精度。
[0089]
在其中一个实施例中，当分类结果包括第一类型时，将第一类型对应的图像特征输入至预设第一识别模型，通过预设第一识别模型对图像特征中的信息进行识别，获取待识别道路标牌图像对应的第一类道路标牌信息识别结果包括：
[0090]
当分类结果包括第一类型时，通过预设第一识别模型对图像特征中的信息进行识别，获取细分类类别信息。
[0091]
通过预设ocr文字识别模型识别图像特征中的数字信息。
[0092]
根据细分类类别信息以及数字信息，获取待识别道路标牌图像对应的道路标牌信息识别结果。
[0093]
具体地，当分类结果为禁令、警告或指示时。可以先通过预设第一识别模型对图像特征中的信息进行细分类识别，确定待识别道路标牌图像具体属于哪种禁令，哪种警告或者哪种指示，即细分类类别信息，同时确定图像中数字的位置信息。而后通过预设ocr文字识别模型识别图像特征中的数字信息，结合细分类类别信息以及数字信息，确定待识别道路标牌图像对应的道路标牌信息识别结果。本实施例中，通过获取细分类信息以及数字信息，可以更有效地对道路标牌内所包含信息的信息类型进行识别，提高识别的准确率。
[0094]
在其中一个实施例中，当分类结果包括第二类型时，将第二类型对应的图像特征输入至预设第二识别模型，通过预设第二识别模型对图像特征中的信息进行识别，获取待
识别道路标牌图像对应的第二类道路标牌信息识别结果包括：
[0095]
当分类结果包括第二类型时，通过预设第二识别模型对图像特征中的信息进行识别，获取交通牌类别信息；
[0096]
通过预设ocr文字识别模型识别图像特征中的文字信息；
[0097]
根据交通牌类别信息以及文字信息，获取待识别道路标牌图像对应的道路标牌信息识别结果。
[0098]
具体地，当分类结果为交通牌时。可以先通过预设第二识别模型对图像特征中的信息进行细分类识别，确定待识别道路标牌图像具体属于哪种交通牌，同时确定图像中文字的位置信息。而后通过预设ocr文字识别模型识别图像特征中的文字信息，结合交通牌的类别信息以及文字信息，确定待识别道路标牌图像对应的道路标牌信息识别结果。本实施例中，通过获取交通牌类型信息以及文字信息，可以更有效地对道路标牌内所包含信息的信息类型进行识别，提高识别的准确率。
[0099]
在其中一个实施例中，如图5所示，步骤201之前，还包括：
[0100]
步骤502，构建道路标牌图像识别池，预设分类模型用于对道路标牌图像识别池内的待识别道路标牌图像进行批量处理。
[0101]
步骤201包括：
[0102]
步骤504，通过道路标牌图像识别池获取待识别道路标牌图像。
[0103]
具体地，还可以通过对整体处理流程的优化来提高识别过程的识别效率，具体地，可以在分类之前道路标牌图像识别池，通过识别池批量接收道路标牌图像。将进入每个处理流的图片流导入池里，然后池子满了之后一起将图片输入下一个模型。例如设置池的大小为25张，当池满后，会将25张图一次性导入模型，这样只调用模型一次，可以大大节省调用时间。在其中一个实施例中，还可以建立在每一个阶段之间建立“池”。输入系统的图片在经过大类检测模型之后分别进入不同的处理流，之后流入不同的模型，但是每张图片流到模型接口的时候就要对模型进行一次调用，这样的调用频率很高，会造成时间的浪费。在另一个实施例中，还可以将待识别道路标牌图像对应图片流的处理保持在gpu(graphics processing unit，图形处理器)上运行，从一开始的读入到裁剪变形等操作都避免将图片从gpu拷贝至cpu(central processing unit，中央处理器)。由于gpu在图像处理方面具有极大优势，这一改进能够大大提高计算速度。同时由于gpu上的运算速度极快，1张和25张的处理速度差别极小，这样的设计在总时间上可以大大节约整体耗时。在方法的模型接口之间建立了多个“池”，经过实验测试可以节省至少20％的时间。本实施例中，通过引入构建道路标牌图像识别池来进行整体的识别处理，可以有效提高识别处理的效率。
[0104]
应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0105]
在一个实施例中，如图6所示，提供了一种道路标牌信息识别装置，包括：
[0106]
信息获取模块601，用于获取待识别道路标牌图像。
[0107]
分类识别模块603，，用于通过预设分类模型提取待识别道路标牌图像对应的分类结果以及分类结果对应的图像特征。
[0108]
信息识别模块605，用于将图像特征输入到分类结果对应的预设信息识别模型进行信息识别，获取待识别道路标牌图像对应的道路标牌信息识别结果。
[0109]
在其中一个实施例中，还包括模型训练模块，用于：获取模型训练数据，模型训练数据包括分类模型训练数据以及各分类类别的标牌信息识别模型训练数据；通过分类模型训练数据对初始神经网络模型进行训练，获取预设分类模型，通过各分类类别的标牌信息识别模型训练数据对初始神经网络模型进行训练，获取各分类类别对应的预设信息识别模型。
[0110]
在其中一个实施例中，模型训练模块还用于：根据分类模型训练数据对初始神经网络模型进行训练，获取teacher模型；通过知识蒸馏修改teacher模型中的softmax函数；根据修改softmax函数后的teacher模型，获取student模型，将student模型作为预设分类模型。
[0111]
在其中一个实施例中，预设信息识别模型包括预设第一识别模型、预设第二识别模型以及预设第三识别模型；信息识别模块605具体用于：当分类结果包括第一类型时，将第一类型对应的图像特征输入至预设第一识别模型，通过预设第一识别模型对图像特征中的信息进行识别，获取待识别道路标牌图像对应的第一类道路标牌信息识别结果，第一类型包括禁令、警告或指示；当分类结果包括第二类型时，将第二类型对应的图像特征输入至预设第二识别模型，通过预设第二识别模型对图像特征中的信息进行识别，获取待识别道路标牌图像对应的第二类道路标牌信息识别结果，第二类型包括交通牌；当分类结果包括第三类型时，将第三类型对应的图像特征输入至预设第三识别模型，通过预设第三识别模型对图像特征中的信息进行识别，获取待识别道路标牌图像对应的第三类道路标牌信息识别结果，第三类型包括信号灯；归集已获取的道路标牌信息识别结果，得到待识别道路标牌图像对应的道路标牌信息识别结果。
[0112]
在其中一个实施例中，信息识别模块605具体用于：当分类结果包括第一类型时，通过预设第一识别模型对图像特征中的信息进行识别，获取细分类类别信息；通过预设ocr文字识别模型识别图像特征中的数字信息；根据细分类类别信息以及数字信息，获取待识别道路标牌图像对应的道路标牌信息识别结果。
[0113]
在其中一个实施例中，信息识别模块605具体用于：当分类结果包括第二类型时，通过预设第二识别模型对图像特征中的信息进行识别，获取交通牌类别信息；通过预设ocr文字识别模型识别图像特征中的文字信息；根据交通牌类别信息以及文字信息，获取待识别道路标牌图像对应的道路标牌信息识别结果。
[0114]
在其中一个实施例中，还包括处理池构建模块，用于：构建道路标牌图像识别池，预设分类模型用于对道路标牌图像识别池内的待识别道路标牌图像进行批量处理；信息获取模块601具体用于：通过道路标牌图像识别池获取待识别道路标牌图像。
[0115]
关于道路标牌信息识别装置的具体限定可以参见上文中对于道路标牌信息识别方法的限定，在此不再赘述。上述道路标牌信息识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上
各个模块对应的操作。
[0116]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储道路标牌信息识别数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种道路标牌信息识别方法。
[0117]
本领域技术人员可以理解，图7中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0118]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
[0119]
获取待识别道路标牌图像；
[0120]
通过预设分类模型提取待识别道路标牌图像对应的分类结果以及分类结果对应的图像特征；
[0121]
将图像特征输入到分类结果对应的预设信息识别模型进行信息识别，获取待识别道路标牌图像对应的道路标牌信息识别结果。
[0122]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取模型训练数据，模型训练数据包括分类模型训练数据以及各分类类别的标牌信息识别模型训练数据；通过分类模型训练数据对初始神经网络模型进行训练，获取预设分类模型，通过各分类类别的标牌信息识别模型训练数据对初始神经网络模型进行训练，获取各分类类别对应的预设信息识别模型。
[0123]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据分类模型训练数据对初始神经网络模型进行训练，获取teacher模型；通过知识蒸馏修改teacher模型中的softmax函数；根据修改softmax函数后的teacher模型，获取student模型，将student模型作为预设分类模型。
[0124]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：当分类结果包括第一类型时，将第一类型对应的图像特征输入至预设第一识别模型，通过预设第一识别模型对图像特征中的信息进行识别，获取待识别道路标牌图像对应的第一类道路标牌信息识别结果，第一类型包括禁令、警告或指示；当分类结果包括第二类型时，将第二类型对应的图像特征输入至预设第二识别模型，通过预设第二识别模型对图像特征中的信息进行识别，获取待识别道路标牌图像对应的第二类道路标牌信息识别结果，第二类型包括交通牌；当分类结果包括第三类型时，将第三类型对应的图像特征输入至预设第三识别模型，通过预设第三识别模型对图像特征中的信息进行识别，获取待识别道路标牌图像对应的第三类道路标牌信息识别结果，第三类型包括信号灯；归集已获取的道路标牌信息识别结果，得到待识别道路标牌图像对应的道路标牌信息识别结果。
[0125]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：当分类结果包括第一类型时，通过预设第一识别模型对图像特征中的信息进行识别，获取细分类类别信息；通
过预设ocr文字识别模型识别图像特征中的数字信息；根据细分类类别信息以及数字信息，获取待识别道路标牌图像对应的道路标牌信息识别结果。
[0126]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：当分类结果包括第二类型时，通过预设第二识别模型对图像特征中的信息进行识别，获取交通牌类别信息；通过预设ocr文字识别模型识别图像特征中的文字信息；根据交通牌类别信息以及文字信息，获取待识别道路标牌图像对应的道路标牌信息识别结果。
[0127]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：构建道路标牌图像识别池，预设分类模型用于对道路标牌图像识别池内的待识别道路标牌图像进行批量处理。
[0128]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0129]
获取待识别道路标牌图像；
[0130]
通过预设分类模型提取待识别道路标牌图像对应的分类结果以及分类结果对应的图像特征；
[0131]
将图像特征输入到分类结果对应的预设信息识别模型进行信息识别，获取待识别道路标牌图像对应的道路标牌信息识别结果。
[0132]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取模型训练数据，模型训练数据包括分类模型训练数据以及各分类类别的标牌信息识别模型训练数据；通过分类模型训练数据对初始神经网络模型进行训练，获取预设分类模型，通过各分类类别的标牌信息识别模型训练数据对初始神经网络模型进行训练，获取各分类类别对应的预设信息识别模型。
[0133]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据分类模型训练数据对初始神经网络模型进行训练，获取teacher模型；通过知识蒸馏修改teacher模型中的softmax函数；根据修改softmax函数后的teacher模型，获取student模型，将student模型作为预设分类模型。
[0134]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当分类结果包括第一类型时，将第一类型对应的图像特征输入至预设第一识别模型，通过预设第一识别模型对图像特征中的信息进行识别，获取待识别道路标牌图像对应的第一类道路标牌信息识别结果，第一类型包括禁令、警告或指示；当分类结果包括第二类型时，将第二类型对应的图像特征输入至预设第二识别模型，通过预设第二识别模型对图像特征中的信息进行识别，获取待识别道路标牌图像对应的第二类道路标牌信息识别结果，第二类型包括交通牌；当分类结果包括第三类型时，将第三类型对应的图像特征输入至预设第三识别模型，通过预设第三识别模型对图像特征中的信息进行识别，获取待识别道路标牌图像对应的第三类道路标牌信息识别结果，第三类型包括信号灯；归集已获取的道路标牌信息识别结果，得到待识别道路标牌图像对应的道路标牌信息识别结果。
[0135]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当分类结果包括第一类型时，通过预设第一识别模型对图像特征中的信息进行识别，获取细分类类别信息；通过预设ocr文字识别模型识别图像特征中的数字信息；根据细分类类别信息以及数字信息，获取待识别道路标牌图像对应的道路标牌信息识别结果。
[0136]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当分类结果包括第二类型时，通过预设第二识别模型对图像特征中的信息进行识别，获取交通牌类别信息；通过预设ocr文字识别模型识别图像特征中的文字信息；根据交通牌类别信息以及文字信息，获取待识别道路标牌图像对应的道路标牌信息识别结果。
[0137]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：构建道路标牌图像识别池，预设分类模型用于对道路标牌图像识别池内的待识别道路标牌图像进行批量处理。
[0138]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-onlymemory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(randomaccessmemory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(staticrandomaccessmemory，sram)或动态随机存取存储器(dynamicrandomaccessmemory，dram)等。
[0139]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0140]
以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。