一种基于双分支语义分割网络的道路要素检测方法及装置与流程

1.本发明涉及图像处理技术领域，具体涉及一种基于双分支语义分割网络的道路要素检测方法及装置。


背景技术：

2.在制作高精度地图时，首先需要感知道路上的各种交通标识以及其他物体等，例如，车道线、护栏等，目前，在车端为了实时的精细化感知周围环境，大多采用双分支结构的语义分割网络，例如bisenet，但其细节分支采用普通的卷积结构，感受野受到限制，语义分支缺乏残差结构，有可能造成梯度消失，训练效果不佳的问题。


技术实现要素：

3.本发明针对现有技术中存在的技术问题，提供一种基于双分支语义分割网络的道路要素检测方法及装置，在细节分支上采用空洞卷积，增大了网络的感受野，在语义分支上，加入一种改进型的残差块，同时，优化损失函数，使得感知结果较之前的结构有明显增强。
4.本发明解决上述技术问题的技术方案如下：
5.第一方面，本发明提供一种基于双分支语义分割网络的道路要素检测方法，包括以下步骤：
6.s1，获取车端采集的道路交通要素图像数据；
7.s2，将所述图像数据输入语义分割网络的两个分支中，进行特征提取；所述语义分割网络的两个分支分别为空间分支和语义分支；所述空间分支用于保留图像数据的浅层空间信息；所述语义分支用于提取图像数据的深层语义信息；
8.s3，将所述语义分割网络的两个分支的输出进行融合得到所述图像数据的特征图。
9.进一步的，所述空间分支为基于空洞卷积d-conv构建的网络结构。
10.进一步的，所述空间分支包括级联的1个普通卷积核和5个空洞卷积核。
11.进一步的，所述语义分支为基于新型残差块n-res block构建的网络结构，所述新型残差块包括一个3
×
3卷积层、与所述3
×
3卷积层平行的1
×
1卷积分支和恒等映射分支，所述3
×
3卷积层、1
×
1卷积分支以及恒等映射分支的输入均为上层网络输出，所述3
×
3卷积层、1
×
1卷积分支以及恒等映射分支的输出叠加融合后作为新型残差块的输出。
12.进一步的，所述语义分支包括12个步长为1的新型残差块，每两个新型残差块之间设置有1个步长为2的空洞卷积块，最后1个新型残差块后连接1个步长为1的普通卷积核。
13.进一步的，所述的将所述改进型语义分割网络的两个分支的输出进行融合得到所述图像数据的特征图，包括：
14.对空间分支的输出进行下采样，对语义分支的输出进行上采样，保证空间分支和语义分支输出的尺寸和通道保持一致，然后进行相加，得到所述图像数据的特征图。
15.进一步的，所述语义分割网络的训练过程中，采用ohem_loss函数计算语义分割网络的输出值与真值之间的损失值，各样本的损失值进行排序，将损失值排名靠前的指定比例的样本定义为简单样本，不计入损失，以平衡正负样本比例。
16.第二方面，本发明提供一种基于双分支语义分割网络的道路要素检测装置，包括：
17.图像数据采集模块，获取车端采集的道路交通要素图像数据；
18.特征提取模块，将所述图像数据输入语义分割网络的两个分支中，进行特征提取；所述语义分割网络的两个分支分别为空间分支和语义分支；所述空间分支用于保留图像数据的浅层空间信息；所述语义分支用于提取图像数据的深层语义信息；
19.特征融合模块，将所述语义分割网络的两个分支的输出进行融合得到所述图像数据的特征图。
20.第三方面，本发明提供一种电子设备，包括：
21.存储器，用于存储计算机软件程序；
22.处理器，用于读取并执行所述计算机软件程序，进而实现本发明第一方面所述的一种基于双分支语义分割网络的道路要素检测方法。
23.第四方面，本发明提供一种非暂态计算机可读存储介质，所述存储介质中存储有用于实现本发明第一方面所述的一种基于双分支语义分割网络的道路要素检测方法的计算机软件程序。
24.本发明的有益效果是：解决了现有网络感知野受限，提取深层语义能力不强的问题，使用改进后的语义分割网络，可有效增强模型的感知能力。
附图说明
25.图1为本发明实施例提供的基于双分支语义分割网络的道路要素检测方法流程示意图；
26.图2为本发明实施例提供的双分支语义分割网络结构示意图；
27.图3为本发明实施例提供的n-res block结构示意图；
28.图4为本发明实施例提供的基于双分支语义分割网络的道路要素检测装置结构示意图。
29.图5为本发明提供的一种电子设备结构示意图；
30.图6为本发明提供的一种计算机可读存储介质结构示意图。
具体实施方式
31.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
32.如图1所示，本发明实施例提供一种基于双分支语义分割网络的道路要素检测方法，包括以下步骤：
33.s1，获取车端采集的道路交通要素图像数据。
34.s2，将所述图像数据输入语义分割网络的两个分支中，进行特征提取。
35.所述语义分割网络结构如图2所示，两个分支分别为空间分支和语义分支。
36.所述空间分支设计为宽而浅的结构，主要目的是保留浅层的空间信息，其包括级
联的1个3
×
3普通卷积核和5个3
×
3空洞卷积核。其中普通卷积步长为1，5个空洞卷积核的步长依次为2、1、2、1、2。
37.空洞卷积d-conv与普通的卷积相比，空洞卷积d-conv可理解为特征图上每隔1行或一列取数与3*3卷积核进行卷积，其可增大卷积计算时的感受野。在车端采集数据过程中，车道线以及标志物常常被小目标，比如，人、杆遮挡，使用普通的感受野小的卷积方式时，车道线以及护栏很容易被截断，而采用空洞卷积后，随着其感受野的增强，网络“看到”的范围也更广，因此，可以使得车道线以及护栏等保持连续。
38.所述语义分支用于提取图像数据的深层语义信息。语义分支包括12个步长为1的新型残差块，每两个新型残差块之间设置有1个步长为2的空洞卷积块，最后1个新型残差块后连接1个步长为1的普通卷积核。
39.所述新型残差块结构如图3所示，其包括一个3
×
3卷积层、与所述3
×
3卷积层平行的1
×
1卷积分支和恒等映射分支，所述3
×
3卷积层、1
×
1卷积分支以及恒等映射分支的输入均为上层网络输出，所述3
×
3卷积层、1
×
1卷积分支以及恒等映射分支的输出叠加融合后作为新型残差块的输出。其结构与传统意义上的残差结构区别在于resnet是每隔两层或三层才加一分支，不会同时添加1*1卷积分支和恒等映射分支，而本文的n-res block每一层都添加两个分支，1*1卷积分支可实现跨通道的信息交互，可将每个通道的信息进行汇总整合，同时，增强了模型的非线性拟合能力；恒等映射分支则避免了网络在训练过程中的梯度消失问题。
40.s3，将所述语义分割网络的两个分支的输出进行融合得到所述图像数据的特征图。
41.对空间分支的输出进行下采样，对语义分支的输出进行上采样，保证空间分支和语义分支输出的尺寸和通道保持一致，然后进行相加，得到所述图像数据的特征图。
42.所述语义分割网络的训练过程如下：
43.准备2万张语义分割的标注数据，标注车道线、导流带、可行驶区域、护栏、路缘石等17类交通要素，将2万数据处理为统一的尺寸，作为网络模型的输入，并生成对应的mask图作为其标签。
44.由于使用的数据类别不均衡，因此常用的交叉熵对于此类训练并不适用，因此，使用一种解决数据不均衡的损失函数ohem_loss。在数据类别失衡的样本训练时，类别数量占绝大多数的样本，其大多数是可以很容易判断识别的，而小部分不容易识别的样本，我们定义为困难样本，ohem_loss就是主要统计这些困难样本的损失值，从而均衡正负样本的比例。具体在训练中，每个像素都有对应的损失值，损失值大的像素就为困难样本，在训练中，我们把损失值进行从小到大排序，前30％定义为简单样本，后70％定义为困难样本，只对最终的困难样本统计损失值。
45.将准备的2万张数据输入网络结构中进行训练，经多次实验调整参数，最后，训练完成后，可得到一个较好的分割模型。
46.如图4为本发明实施例提供的基于双分支语义分割网络的道路要素检测装置结构示意图。如图4所示，该装置包括：
47.图像数据采集模块，获取车端采集的道路交通要素图像数据；
48.特征提取模块，将所述图像数据输入语义分割网络的两个分支中，进行特征提取；
所述语义分割网络的两个分支分别为空间分支和语义分支；所述空间分支用于保留图像数据的浅层空间信息；所述语义分支用于提取图像数据的深层语义信息；
49.特征融合模块，将所述语义分割网络的两个分支的输出进行融合得到所述图像数据的特征图。
50.请参阅图5，图5为本发明实施例提供的电子设备的实施例示意图。如图5所示，本发明实施例提了一种电子设备500，包括存储器510、处理器520及存储在存储器520上并可在处理器520上运行的计算机程序511，处理器520执行计算机程序511时实现以下步骤：
51.s1，获取车端采集的道路交通要素图像数据；
52.s2，将所述图像数据输入语义分割网络的两个分支中，进行特征提取；所述语义分割网络的两个分支分别为空间分支和语义分支；所述空间分支用于保留图像数据的浅层空间信息；所述语义分支用于提取图像数据的深层语义信息；
53.s3，将所述语义分割网络的两个分支的输出进行融合得到所述图像数据的特征图。
54.请参阅图6，图6为本发明实施例提供的一种计算机可读存储介质的实施例示意图。如图6所示，本实施例提供了一种计算机可读存储介质600，其上存储有计算机程序611，该计算机程序611被处理器执行时实现如下步骤：
55.s1，获取车端采集的道路交通要素图像数据；
56.s2，将所述图像数据输入语义分割网络的两个分支中，进行特征提取；所述语义分割网络的两个分支分别为空间分支和语义分支；所述空间分支用于保留图像数据的浅层空间信息；所述语义分支用于提取图像数据的深层语义信息；
57.s3，将所述语义分割网络的两个分支的输出进行融合得到所述图像数据的特征图。
58.需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
59.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
60.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
61.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
62.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
63.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
64.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。