基于动态网络结构的通用交通标志识别方法和系统与流程

1.本发明涉及目标识别技术领域，尤其涉及一种基于动态网络结构的通用交通标志识别方法和系统。


背景技术：

2.道路交通标志和标线时引导道路使用者有秩序使用道路，以促进道路行车安全，而在驾驶辅助系统中对交通标志的识别则可以不间断的为整车控制提供相应的帮助。比如禁止类标志可以帮助系统提前进行危险预判；警告类标志可以帮助系统提前进行在某些情况下进行提前避障处理；指示类标志可以帮助系统进行控制预处理，以确保行车遵循道路指示。故对于交通标志的正确识别及精准应用可以为驾驶辅助系统甚至自动驾驶提供更加完美的助攻。
3.然而，受限于车载终端的硬件成本、体积、环境等因素，自动驾驶或辅助驾驶场景下，汽车本地的硬件资源捉襟见肘，能够分配至交通标志识别任务的计算资源通常较为有限。
4.对于限速标志而言，计算资源的问题尤为突出，即由于限速类型和数值的多样性，现有的基于神经网络的汽车本地实时识别方法存在着计算资源需求高、识别速度慢的缺陷。
5.因此，如何提供一种高效、快速的交通标志识别方法和系统，成为了业内亟需解决的技术问题。


技术实现要素：

6.本发明提供一种基于动态网络结构的通用交通标志识别方法和系统，用以解决现有技术中计算资源需求高、识别速度慢的缺陷，实现高效、快速的交通标志识别。
7.本发明提供一种基于动态网络结构的通用交通标志识别方法，其特征在于，应用于车载终端，包括：
8.基于车载图像采集设备获取道路图像；
9.将所述道路图像输入识别网络的特征提取层，得到特征提取结果；
10.将所述特征提取结果输入识别网络的解码器层，得到交通标志识别结果；
11.所述识别网络是由包括特征提取层、解码器层强化训练分支以及解码器层标志识别分支的初始网络，经样本、标签以及损失函数训练后，排除所述解码器层强化训练分支后得到的。
12.根据本发明提供的一种基于动态网络结构的通用交通标志识别方法，所述解码器层强化训练分支为解码器层多标志区域分支；所述解码器层多标志区域分支能够根据所述特征提取结果得到设定的多标志区域，所述多标志区域与至少两个交通标志所在区域的交集为非空集合。
13.根据本发明提供的一种基于动态网络结构的通用交通标志识别方法，所述多标志
区域包括平行像素；
14.所述平行像素是指：
15.交通标志中心点连线上的像素；和/或
16.设定数量的交通标志中心点连线的相邻平行线段上的像素。
17.根据本发明提供的一种基于动态网络结构的通用交通标志识别方法，所述标签包括多标志区域二值图；所述多标志区域二值图包括分别置为不同二进制值的多标志区域像素点和非多标志区域像素点。
18.根据本发明提供的一种基于动态网络结构的通用交通标志识别方法，所述损失函数包括强化分支项；所述强化分支项能够量化解码器层强化训练分支输出的多标志区域与所述标签中多标志区域二值图的差。
19.根据本发明提供的一种基于动态网络结构的通用交通标志识别方法，所述将所述特征提取结果输入识别网络的解码器层，得到交通标志识别结果的步骤包括：
20.将所述特征提取结果输入识别网络的解码器层，分别通过所述解码器层标志识别分支的标志位置子分支、标志大小子分支、标志位置偏移量子分支，得到标志位置结果、标志大小子结果、标志位置偏移量子结果。
21.本发明还提供一种基于动态网络结构的通用交通标志识别系统，部署于车载终端，包括：
22.获取模块，用于基于车载图像采集设备获取道路图像；
23.特征提取模块，用于将所述道路图像输入识别网络的特征提取层，得到特征提取结果；
24.解码器模块，用于将所述特征提取结果输入识别网络的解码器层，得到交通标志识别结果；
25.所述识别网络是由包括特征提取层、解码器层强化训练分支以及解码器层标志识别分支的初始网络，经样本、标签以及损失函数训练后，排除所述解码器层强化训练分支后得到的。
26.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于动态网络结构的通用交通标志识别方法的步骤。
27.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于动态网络结构的通用交通标志识别方法的步骤。
28.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于动态网络结构的通用交通标志识别方法的步骤。
29.本发明提供的基于动态网络结构的通用交通标志识别方法和系统，通过在训练过程中添加解码器层强化训练分支，获取更多的监督信息，从而使得识别网络的交通标志识别准确率得以提升；同时，通过在推理过程中排除解码器层强化训练分支，能够在保留识别准确率提升的基础上，不增加网络的计算资源需求，即在训练过程和推理过程中采用动态的网络结构，实现高效、快速的交通标志识别。
附图说明
30.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
31.图1是本发明提供的基于动态网络结构的通用交通标志识别方法的流程示意图；
32.图2是本发明实施例提供的初始网络的结构示意图；
33.图3是本发明实施例提供的识别网络的结构示意图；
34.图4是本发明提供的基于类别映射的交通标志识别系统的结构示意图；
35.图5是本发明提供的电子设备的结构示意图。
36.附图标记：
37.1：获取模块；
ꢀꢀꢀꢀꢀꢀꢀ
2：特征提取模块；
ꢀꢀꢀꢀ
3：解码器模块；
38.510：处理器；
ꢀꢀꢀꢀꢀꢀꢀ
520：通信接口；
ꢀꢀꢀꢀꢀꢀ
530：存储器；
39.540：通信总线。
具体实施方式
40.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.下面结合图1-图3描述本发明的基于动态网络结构的通用交通标志识别方法.
42.如图1所示，本发明实施例提供一种基于动态网络结构的通用交通标志识别方法，应用于车载终端，包括：
43.步骤102，基于车载图像采集设备获取道路图像；
44.步骤104，将所述道路图像输入识别网络的特征提取层，得到特征提取结果；
45.步骤106，将所述特征提取结果输入识别网络的解码器层，得到交通标志识别结果；
46.所述识别网络是由包括特征提取层、解码器层强化训练分支以及解码器层标志识别分支的初始网络，经样本、标签以及损失函数训练后，排除所述解码器层强化训练分支后得到的。
47.本实施例中，所述初始网络包括特征提取层、解码器层强化训练分支以及解码器层标志识别分支，通过道路图像样本、标签以及损失函数训练所述初始网络后，得到训练后的初始网络；
48.所述标签包括所述道路图像样本中交通标志真值和强化训练分支的输出真值；
49.所述损失函数包括交通标志项和强化分支项；所述交通标志项能够量化通过解码器层标志识别分支得到的所述交通标志识别结果与交通标志真值的差；所述强化分支项能够量化通过解码器层强化训练分支得到的结果与真值的差，优选为交叉熵函数项。
50.将训练后的初始网络中解码器层强化训练分支删去后，得到步骤102、104以及106中使用的，包括特征提取层和解码器层的识别网络。
51.本实施例中，所述解码器层强化训练分支的引入，能够使得识别网络根据更多的监督信息进行训练，从而提升识别网络的识别准确率，同时，由于推理过程中删去了解码器层强化训练分支，使得模型推理的耗时和计算量不会增加。
52.所述强化训练分支可以根据不同的应用场景灵活设置，例如针对地面交通标志，由于其位置与车道线相关性较强，可以引入地面交通标志与车道线相对位置关系的强化训练分支；针对封闭快速路场景，由于多交通标志同时出现，且通常具有水平/垂直方向上的共线特性，可以引入相邻交通标志位置关系的强化训练分支。
53.根据上述实施例，在本实施例中：
54.所述解码器层强化训练分支为解码器层多标志区域分支；所述解码器层多标志区域分支能够根据所述特征提取结果得到设定的多标志区域，所述多标志区域与至少两个交通标志所在区域的交集为非空集合。
55.所述多标志区域包括平行像素；
56.所述平行像素是指：
57.交通标志中心点连线上的像素；和/或
58.设定数量的交通标志中心点连线的相邻平行线段上的像素。
59.所述标签包括多标志区域二值图；所述多标志区域二值图包括分别置为不同二进制值的多标志区域像素点和非多标志区域像素点。
60.所述损失函数包括强化分支项；所述强化分支项能够量化解码器层强化训练分支输出的多标志区域与所述标签中多标志区域二值图的差。
61.本实施例针对同一道路图像中存在至少两个交通标志的应用场景设置了多标志区域分支作为强化训练分支。所述多标志区域是指与任一交通标志所在区域存在重叠的设定区域，在本实施例中选用相邻交通标志的中心点连线所在区域。
62.考虑到交通标志位置放置有一定的规律性，即同一道路图像中存在至少两个交通标志的应用场景，多个交通标志通常都横向并排或纵向并排放置，且交通标志的位置常见于路面上方或路面边缘，因此网络训练时添加了多标志区域预测，加强了交通标志的监督信息，有利于提升交通标志检测效果
63.本实施例能够提升交通标志识别的准确性。并且，本实施例方法在实现效果提升的同时降低模型部署时的耗时和计算量。本实施例在模型推理时缩减了网络结构，有利于模型部署的提速。
64.根据上述任一实施例，在本实施例中：
65.所述将所述特征提取结果输入识别网络的解码器层，得到交通标志识别结果的步骤包括：
66.将所述特征提取结果输入识别网络的解码器层，分别通过所述解码器层标志识别分支的标志位置子分支、标志大小子分支、标志位置偏移量子分支，得到标志位置结果、标志大小子结果、标志位置偏移量子结果。
67.本实施例提供了更为具体的识别网络结构。值得说明的是，虽然标志位置子分支、标志大小子分支、标志位置偏移量子分支的命名中采用了“子分支”的描述，但该描述并不能够理解为对本发明保护范围的限制，标志位置子分支、标志大小子分支、标志位置偏移量子分支既可以是与强化训练分支平权的解码器层分支，也可以是标志识别分支中针对不同
任务形成的子网络。
68.在一个优选的实施方式中，如图2所示，初始网络由标志位置子分支、标志大小子分支、标志位置偏移量子分支以及强化训练分支组成。如图3所示，识别网络由由标志位置子分支、标志大小子分支、标志位置偏移量子分支组成。
69.下面对本发明提供的基于动态网络结构的通用交通标志识别装置进行描述，下文描述的基于动态网络结构的通用交通标志识别装置与上文描述的基于动态网络结构的通用交通标志识别方法可相互对应参照。
70.本发明实施例还提供一种基于动态网络结构的通用交通标志识别系统，部署于车载终端，包括：
71.获取模块1，用于基于车载图像采集设备获取道路图像；
72.特征提取模块2，用于将所述道路图像输入识别网络的特征提取层，得到特征提取结果；
73.解码器模块3，用于将所述特征提取结果输入识别网络的解码器层，得到交通标志识别结果；
74.所述识别网络是由包括特征提取层、解码器层强化训练分支以及解码器层标志识别分支的初始网络，经样本、标签以及损失函数训练后，排除所述解码器层强化训练分支后得到的。
75.进一步地，所述解码器层强化训练分支为解码器层多标志区域分支；所述解码器层多标志区域分支能够根据所述特征提取结果得到设定的多标志区域，所述多标志区域与至少两个交通标志所在区域的交集为非空集合。
76.所述多标志区域包括平行像素；
77.所述平行像素是指：
78.交通标志中心点连线上的像素；和/或
79.设定数量的交通标志中心点连线的相邻平行线段上的像素。
80.所述标签包括多标志区域二值图；所述多标志区域二值图包括分别置为不同二进制值的多标志区域像素点和非多标志区域像素点。
81.所述损失函数包括强化分支项；所述强化分支项能够量化解码器层强化训练分支输出的多标志区域与所述标签中多标志区域二值图的差。
82.所述解码器模块3包括：
83.解码单元，用于将所述特征提取结果输入识别网络的解码器层，分别通过所述解码器层标志识别分支的标志位置子分支、标志大小子分支、标志位置偏移量子分支，得到标志位置结果、标志大小子结果、标志位置偏移量子结果。
84.图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(communications interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行基于动态网络结构的通用交通标志识别方法，该方法包括：基于车载图像采集设备获取道路图像；将所述道路图像输入识别网络的特征提取层，得到特征提取结果；将所述特征提取结果输入识别网络的解码器层，得到交通标志识别结果；所述识别网络是由包括特征提取层、解码器层强化训练分支以及解
码器层标志识别分支的初始网络，经样本、标签以及损失函数训练后，排除所述解码器层强化训练分支后得到的。
85.此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
86.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于动态网络结构的通用交通标志识别方法，该方法包括：基于车载图像采集设备获取道路图像；将所述道路图像输入识别网络的特征提取层，得到特征提取结果；将所述特征提取结果输入识别网络的解码器层，得到交通标志识别结果；所述识别网络是由包括特征提取层、解码器层强化训练分支以及解码器层标志识别分支的初始网络，经样本、标签以及损失函数训练后，排除所述解码器层强化训练分支后得到的。
87.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于动态网络结构的通用交通标志识别方法，该方法包括：基于车载图像采集设备获取道路图像；将所述道路图像输入识别网络的特征提取层，得到特征提取结果；将所述特征提取结果输入识别网络的解码器层，得到交通标志识别结果；所述识别网络是由包括特征提取层、解码器层强化训练分支以及解码器层标志识别分支的初始网络，经样本、标签以及损失函数训练后，排除所述解码器层强化训练分支后得到的。
88.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
89.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
90.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；
而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。