基于深度学习的道路宽度信息提取方法、系统及介质与流程

1.本发明涉及高精地图技术领域，特别涉及一种基于深度学习的道路宽度信息提取方法、系统及介质。


背景技术：

2.在当前自动驾驶技术迅猛发展的大背景下，自动驾驶高精地图应运而生，其在高级驾驶辅助系统adas(advanced driving assistance system)的安全性上扮演者不可或缺的角色，无论是在车端定位、决策还是在实景仿真验证上，均发挥着重要的作用；自动驾驶高精地图是对现实世界的抽象化，根据制作标准将交通要素按点线面进行表达，并构建相互间的拓扑关系等属性信息。
3.激光雷达lidar数据是高精地图制作的主要支撑数据，传统的制作方式是直接人工在点云数据上绘制，但效率比较低，借助深度学习技术实现要素提取的自动化是主流手段，以实现降本增效的目的；其中就有将点云数据投影成灰度图，然后利用深度学习图像分割技术自动化提取要素的技术方案；在提取地面要素的过程中，投影图一般为鸟瞰图，但机动车行驶的道路宽度并不统一，在超宽道路场景综合考虑精度、效率等方面因素的情况下，给定分辨率，单张投影图并不一定能覆盖路面所有区域，所以需要对路宽进行统计，以适时调整投影中心，增加投影区域，以实现关键区域全覆盖。


技术实现要素：

4.本发明的提供一种基于深度学习的道路宽度信息提取方法、系统及介质，能基于深度学习对道路宽度信息进行自动化提取。
5.第一方面，提供一种基于深度学习的道路宽度信息提取方法，包括以下步骤：
6.获取待测道路的多个单元点云数据集，每个单元点云数据集均包括多个轨迹点，每个轨迹点对应一个位姿数据；
7.在每个单元点云数据集中，根据所述轨迹点与所述位姿数据，将所述单元点云数据集旋转至像素坐标系下；
8.根据所述轨迹点，将旋转后的单元点云数据集投影成鸟瞰图；
9.基于深度学习图像分割网络模型，对所述鸟瞰图进行路面分割处理，获取待测道路的路面区域的路面轮廓点；
10.将路面轮廓点区域内的轨迹点基于所述像素坐标系进行投影，并获取每个轨迹点处的道路宽度。
11.根据第一方面，在第一方面的第一种可能的实现方式中，所述“在每个单元点云数据集中，根据所述轨迹点与所述位姿数据，将所述单元点云数据集旋转至像素坐标系下”步骤，具体包括以下步骤：
12.在每个单元点云数据集中，选取所有轨迹点中的中心轨迹点；
13.根据所述位姿数据，获取所述中心轨迹点的位姿角；
14.根据中心轨迹点所处图像的像素坐标系，并基于位姿角的旋转矩阵，将所述单元点云数据集旋转至像素坐标系下。
15.根据第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述“根据所述轨迹点，将旋转后的单元点云数据集投影成鸟瞰图”步骤，具体包括以下步骤：
16.以中心轨迹点为投影中心，并基于预设投影分辨率将旋转后的点云数据投影成鸟瞰图。
17.根据第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述“将路面轮廓点区域内的轨迹点基于所述像素坐标系进行投影，并获取每个轨迹点处的道路宽度”步骤，具体包括以下步骤：
18.将路面轮廓点区域内的轨迹点基于所述像素坐标系进行投影；
19.获取每个轨迹点与待测道路两侧的两个像素距离；
20.根据两个所述像素距离与所述预设投影分辨率，获取每个轨迹点处的道路宽度。
21.根据第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述“根据两个所述像素距离与所述预设投影分辨率，获取每个轨迹点处的道路宽度”步骤，具体包括以下步骤：
22.根据两个像素距离l1、l2，预设投影分辨率r；
23.获取每个轨迹点处的道路宽度l为：
24.l＝(l1 l2)*r。
25.第二方面，提供一种基于深度学习的道路宽度信息提取系统，包括：
26.数据获取模块，用于获取待测道路的多个单元点云数据集，每个单元点云数据集均包括多个轨迹点，每个轨迹点对应一个位姿数据；
27.数据旋转模块，与所述数据获取模块通信连接，用于在每个单元点云数据集中，根据所述轨迹点与所述位姿数据，将所述单元点云数据集旋转至像素坐标系下；
28.投影模块，与所述数据获取模块及所述数据旋转模块通信连接，用于根据所述轨迹点，将旋转后的单元点云数据集投影成鸟瞰图；
29.深度学习模块，与所述投影模块通信连接，用于基于深度学习图像分割网络模型，对所述鸟瞰图进行路面分割处理，获取待测道路的路面区域的路面轮廓点；
30.道路宽度获取模块，与所述数据获取模块及所述深度学习模块通信连接，用于将路面轮廓点区域内的轨迹点基于所述像素坐标系进行投影，并获取每个轨迹点处的道路宽度。
31.根据第二方面，在第二方面的第一种可能的实现方式中，所述数据旋转模块，用于在每个单元点云数据集中，选取所有轨迹点中的中心轨迹点；根据所述位姿数据，获取所述中心轨迹点的位姿角；根据中心轨迹点所处图像的像素坐标系，并基于位姿角的旋转矩阵，将所述单元点云数据集旋转至像素坐标系下。
32.根据第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述投影模块，用于以中心轨迹点为投影中心，并基于预设投影分辨率将旋转后的点云数据投影成鸟瞰图。
33.根据第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式
中，所述道路宽度获取模块，用于将路面轮廓点区域内的轨迹点投影至所述像素坐标系下；获取每个轨迹点与待测道路两侧的两个像素距离；根据两个所述像素距离与所述预设投影分辨率，获取每个轨迹点处的道路宽度。
34.第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的基于深度学习的道路宽度信息提取方法。
35.与现有技术相比，本发明的优点如下：首先获取待测道路的多个单元点云数据集，每个单元点云数据集均包括多个轨迹点，每个轨迹点对应一个位姿数据；再在每个单元点云数据集中，根据所述轨迹点与所述位姿数据，将所述单元点云数据集旋转至像素坐标系下；再根据所述轨迹点，将旋转后的单元点云数据集投影成鸟瞰图；再基于深度学习图像分割网络模型，对所述鸟瞰图进行路面分割处理，获取待测道路的路面区域的路面轮廓点；再将路面轮廓点区域内的轨迹点基于所述像素坐标系进行投影，并获取每个轨迹点处的道路宽度；因此，通过自动化统计道路宽度信息，以解决在深度学习图像分割自动化提取交通要素过程中，超宽道路场景中的单张投影图无法实现关键区域全覆盖问题。
附图说明
36.图1是本发明一种基于深度学习的道路宽度信息提取方法的一实施例的流程示意图；
37.图2是本发明的一种基于深度学习的道路宽度信息提取系统的结构示意图。
38.附图说明：
39.100、基于深度学习的道路宽度信息提取系统；110、数据获取模块；120、数据旋转模块；130、投影模块；140、深度学习模块；150、道路宽度获取模块。
具体实施方式
40.现在将详细参照本发明的具体实施例，在附图中例示了本发明的例子。尽管将结合具体实施例描述本发明，但将理解，不是想要将本发明限于所述的实施例。相反，想要覆盖由所附权利要求限定的在本发明的精神和范围内包括的变更、修改和等价物。应注意，这里描述的方法步骤都可以由任何功能块或功能布置来实现，且任何功能块或功能布置可被实现为物理实体或逻辑实体、或者两者的组合。
41.为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。
42.注意：接下来要介绍的示例仅是一个具体的例子，而不作为限制本发明的实施例必须为如下具体的步骤、数值、条件、数据、顺序等等。本领域技术人员可以通过阅读本说明书来运用本发明的构思来构造本说明书中未提到的更多实施例。
43.参见图1所示，本发明实施例提供一种基于深度学习的道路宽度信息提取方法，应用于车载移动测量系统，包括以下步骤：
44.s100，获取待测道路的多个单元点云数据集，每个单元点云数据集均包括多个轨迹点，每个轨迹点对应一个位姿数据；
45.单元点云数据集的长度一般在200米左右，该长度范围会包含多个轨迹点，密度一般为5-10米范围，每个轨迹点分别对应一个位姿数据。
46.s200，在每个单元点云数据集中，根据所述轨迹点与所述位姿数据，将所述单元点云数据集旋转至像素坐标系下；
47.s300，根据所述轨迹点，将旋转后的单元点云数据集投影成鸟瞰图；
48.s400，基于深度学习图像分割网络模型，对所述鸟瞰图进行路面分割处理，获取待测道路的路面区域的路面轮廓点；
49.s500，将路面轮廓点区域内的轨迹点基于所述像素坐标系进行投影，并获取每个轨迹点处的道路宽度；
50.具体地，本实施例中，由于在提取地面要素的过程中，投影图一般为鸟瞰图，但机动车行驶的道路宽度并不统一，在超宽道路场景综合考虑精度、效率等方面因素的情况下，给定分辨率，单张投影图并不一定能覆盖路面所有区域，所以需要对路宽进行统计，以适时调整投影中心，增加投影区域，以实现关键区域全覆盖。
51.本发明实施例首先获取待测道路的多个单元点云数据集，每个单元点云数据集均包括多个轨迹点，每个轨迹点对应一个位姿数据；再在每个单元点云数据集中，根据所述轨迹点与所述位姿数据，将所述单元点云数据集旋转至像素坐标系下；再根据所述轨迹点，将旋转后的单元点云数据集投影成鸟瞰图；再基于深度学习图像分割网络模型，对所述鸟瞰图进行路面分割处理，获取待测道路的路面区域的路面轮廓点；再将路面轮廓点区域内的轨迹点基于所述像素坐标系进行投影，并获取每个轨迹点处的道路宽度；因此，通过自动化统计道路宽度信息，以解决在深度学习图像分割自动化提取交通要素过程中，超宽道路场景中的单张投影图无法实现关键区域全覆盖问题。
52.优选地，在本技术另外的实施例中，所述“s200，在每个单元点云数据集中，根据所述轨迹点与所述位姿数据，将所述单元点云数据集旋转至像素坐标系下”步骤，具体包括以下步骤：
53.s210，在每个单元点云数据集中，选取所有轨迹点中的中心轨迹点；
54.s220，根据所述位姿数据，获取所述中心轨迹点的位姿角；
55.s230，根据中心轨迹点所处图像的像素坐标系，并基于位姿角的旋转矩阵，将所述单元点云数据集旋转至像素坐标系下。
56.具体地，本实施例中，在每个单元点云数据集中，一般选取中间位置的轨迹点作为中心轨迹点，该中心轨迹点所处图像对应的位姿角包括航向角、俯仰角和横滚角，即中心轨迹点的位姿分别与正北方向、竖直方向、垂直于正北方向之间的夹角，该三个方向构成了一个局部坐标系，该局部坐标系则为中心轨迹点所处图像的像素坐标系，而航向角即是道路方向，通过位姿角计算旋转矩阵r，并基于位姿角的旋转矩阵，将绝对坐标系下的单元点云数据集旋转至所述像素坐标系下。
57.旋转矩阵r的计算公式如下：航向角、俯仰角和横滚角分别为下述公式中的三种字母角度符号；
[0058][0059]
优选地，在本技术另外的实施例中，所述“s300，根据所述轨迹点，将旋转后的单元
点云数据集投影成鸟瞰图”步骤，具体包括以下步骤：
[0060]
以中心轨迹点为投影中心，并基于预设投影分辨率将旋转后的点云数据投影成鸟瞰图。
[0061]
具体地，本实施例中，按照给定的分辨率r，以200米点云的中心轨迹点为投影中心，将200米点云投影成鸟瞰图。
[0062]
优选地，在本技术另外的实施例中，所述“s500，将路面轮廓点区域内的轨迹点基于所述像素坐标系进行投影，并获取每个轨迹点处的道路宽度”步骤，具体包括以下步骤：
[0063]
s510，将路面轮廓点区域内的轨迹点基于所述像素坐标系进行投影；
[0064]
s520，获取每个轨迹点与待测道路两侧的两个像素距离；
[0065]
s530，根据两个所述像素距离与所述预设投影分辨率，获取每个轨迹点处的道路宽度。
[0066]
优选地，在本技术另外的实施例中，所述“s530，根据两个所述像素距离与所述预设投影分辨率，获取每个轨迹点处的道路宽度”步骤，具体包括以下步骤：
[0067]
根据两个像素距离l1、l2，预设投影分辨率r；
[0068]
获取每个轨迹点处的道路宽度l为：
[0069]
l＝(l1 l2)*r。
[0070]
具体地，本实施例中，根据得到的200米点云在像素坐标系下的路面轮廓点，将该路面轮廓点区域内的轨迹点投影到同一像素坐标系下，然后计算每个轨迹点到道路两侧的像素距离l1和l2，则每一轨迹点处的道路宽度l为(l1 l2)*r。
[0071]
同时参见图2所示，本发明实施例还提供了一种基于深度学习的道路宽度信息提取系统100，包括：数据获取模块110、数据旋转模块120、投影模块130、深度学习模块140、道路宽度获取模块150；
[0072]
数据获取模块110，用于获取待测道路的多个单元点云数据集，每个单元点云数据集均包括多个轨迹点，每个轨迹点对应一个位姿数据；
[0073]
数据旋转模块120，与所述数据获取模块110通信连接，用于在每个单元点云数据集中，根据所述轨迹点与所述位姿数据，将所述单元点云数据集旋转至像素坐标系下；
[0074]
投影模块130，与所述数据获取模块110及所述数据旋转模块120通信连接，用于根据所述轨迹点，将旋转后的单元点云数据集投影成鸟瞰图；
[0075]
深度学习模块140，与所述投影模块130通信连接，用于基于深度学习图像分割网络模型，对所述鸟瞰图进行路面分割处理，获取待测道路的路面区域的路面轮廓点；
[0076]
道路宽度获取模块150，与所述数据获取模块110及所述深度学习模块140通信连接，用于将路面轮廓点区域内的轨迹点基于所述像素坐标系进行投影，并获取每个轨迹点处的道路宽度。
[0077]
所述数据旋转模块120，用于在每个单元点云数据集中，选取所有轨迹点中的中心轨迹点；根据所述位姿数据，获取所述中心轨迹点的位姿角；根据中心轨迹点的位姿角所处的像素坐标系，并基于位姿角的旋转矩阵，将所述单元点云数据集旋转至像素坐标系下。
[0078]
所述投影模块130，用于以中心轨迹点为投影中心，并基于预设投影分辨率将旋转后的点云数据投影成鸟瞰图。
[0079]
所述道路宽度获取模块150，用于将路面轮廓点区域内的轨迹点基于所述像素坐
标系进行投影；获取每个轨迹点与待测道路两侧的两个像素距离；根据两个所述像素距离与所述预设投影分辨率，获取每个轨迹点处的道路宽度。
[0080]
因此，本发明实施例首先获取待测道路的多个单元点云数据集，每个单元点云数据集均包括多个轨迹点，每个轨迹点对应一个位姿数据；再在每个单元点云数据集中，根据所述轨迹点与所述位姿数据，将所述单元点云数据集旋转至像素坐标系下；再根据所述轨迹点，将旋转后的单元点云数据集投影成鸟瞰图；再基于深度学习图像分割网络模型，对所述鸟瞰图进行路面分割处理，获取待测道路的路面区域的路面轮廓点；再将路面轮廓点区域内的轨迹点基于所述像素坐标系进行投影，并获取每个轨迹点处的道路宽度；因此，通过自动化统计道路宽度信息，以解决在深度学习图像分割自动化提取交通要素过程中，超宽道路场景中的单张投影图无法实现关键区域全覆盖问题。
[0081]
具体的，本实施例与上述方法实施例一一对应，各个模块的功能在相应的方法实施例中已经进行详细说明，因此不再一一赘述。
[0082]
基于同一发明构思，本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的所有方法步骤或部分方法步骤。
[0083]
本发明实现上述方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0084]
基于同一发明构思，本技术实施例还提供一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法中的所有方法步骤或部分方法步骤。
[0085]
所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
[0086]
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(例如声音播放功能、图像播放功能等)；存储数据区可存储根据手机的使用所创建的数据(例如音频数据、视频数据等)。此外，存储器可以包括高速随机存
取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0087]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、服务器或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0088]
本发明是参照根据本发明实施例的方法、设备(系统)、服务器和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0089]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0090]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0091]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。