一种基于激光雷达和单目相机的道路可通行区域标签生成方法及装置与流程

1.本发明涉及环境感知技术，具体地说，涉及一种基于激光雷达和单目相机的道路可通行区域标签生成方法及装置。


背景技术：

2.局部环境实时感知是机器人自主导航的基础，而高程地图是一种常用的描述局部环境的地图模型。高程地图通过机器人配备的多种传感器获得的视觉信息构建，并随着机器人的位姿变换更新。
3.目前基于视觉构建局部环境高程地图的方法性能有待提高，中间步骤有待简化。许多研究期望通过深度学习，把中间的步骤隐藏在神经网络模型中，以提升系统的效率和性能。近年来，深度神经网络使得计算机视觉领域飞速发展。诸多网络框架如fcn、u
‑
net等，依赖于大量精准的带标签的数据集，均在道路可通行区域检测任务上取得了显著的效果进步。
4.然而在检测道路可通行区域的领域，想要收集到足够的数据是费时费力的，对这些数据进行标签更是需要较高的人力成本。


技术实现要素：

5.为了克服现有技术的不足，本发明的目的在于提供一种基于激光雷达和单目相机的可通行区域标签生成方法及装置，本发明是通过以下技术方案来实现的：
6.本发明公开了一种基于激光雷达和单目相机的可通行区域标签生成方法，包括以下步骤：
7.获取机器人的激光雷达数据和单目相机图像；
8.根据当前激光雷达数据构建高程地图；
9.根据高程图上各个栅格的高度信息计算栅格的可通行性；
10.根据单目相机的外参、内参矩阵，将高程地图上的各个栅格的可通行性得分映射到图像上，并结合凸包算法得到连续的可通行与不可通行的区域标签，再通过自动筛选框架，得到优质的标签。
11.作为进一步地改进，本发明所述的激光雷达数据包含周围环境 360
°
信息，单目相机图像通过单目rgb相机获取，高程地图为包含高度信息的栅格地图，可通行区域为物理世界中车辆可通行的道路区域，可通行区域标签为在单目相机图像中，对可通行区域与不可通行区域以两种标记打上标签，用于深度神经网络的训练，两种标记为对可通行区域打上绿色标签，不可通行区域打上红色标签。
12.作为进一步地改进，本发明所述高程地图具体为通过以下步骤构建：
13.获取工作环境的激光雷达数据；计算前后两帧的激光雷达数据之间的偏差来估计当前数据采集系统的位姿、以及采集系统与地图坐标之间的变换矩阵；高程地图由机器人
位姿计算得到激光雷达的位姿之后再进行各栅格的高度计算，各栅格的高度信息与原始激光雷达数据之间的对应关系，具体为根据下式进行计算：
[0014][0015]
其中为该栅格更新前的测量高度和方差，为该栅格更新后的高度和方差，为测量高度值高斯概率分布模型的均值和方差。
[0016]
作为进一步地改进，本发明所述的可通行性得分计算方法具体为：
[0017]
获取高程地图；计算各个栅格的表面法向量和相邻高度偏差，对这两个值进行加权得到当前栅格的可通行性的加权得分。
[0018]
再对此的得分设置一定阈值，高于此阈值则确定此栅格为可通行，低于此阈值则确定此栅格为不可通行。
[0019]
作为进一步地改进，本发明所述将各栅格可通行信息映射到单目相机图像上的方法如下：
[0020]
根据估计得到的系统位姿与地图位姿之间的变换矩阵，将栅格的信息投影到激光雷达坐标系；
[0021]
根据相机内参矩阵和外参矩阵，将栅格的信息投影到图像平面。
[0022]
作为进一步地改进，本发明所述使用的凸包算法得到连续的可通行与不可通行的区域标签通过两步进行：
[0023]
根据所述的映射到图像上的稀疏的栅格信息，对其进行通道分离，得到独立的不可通行信息和可通行信息；先对其中不可通行信息进行凸包计算，将图片分为左右两个区域，对每个区域的信息单独进行凸包计算，得到两个外接多边形的边框，再对两个外接多边形内部区域标记为不可通行的标签。再对图像中可通行信息进行凸包计算，得到可通行区域的外接多边形的边框，对多边形内部区域标记为可通行的标签。再将连续的可通行区域和连续的不可通行区域进行通道融合，得到同时包含可通行区域和不可通行区域标签的连续标签。
[0024]
作为进一步地改进，本发明所述标签自动筛选框架考虑了可通行区域和不可通行区域在同一张图片上的均衡性，统计可通行区域和不可通行区域的面积比例，自动去除比例不均衡的标签。
[0025]
作为进一步地改进，本发明所述的标签生成方法通过以下模块执行：
[0026]
获取模块，用于获取机器人的当前激光雷达数据以及当前单目相机数据；
[0027]
第一计算模块，用于根据所述当前激光雷达数据估计系统位姿，生成高程图；并根据所述当前高程地图计算各个栅格上的可通行得分；再根据所述当前高程地图与相机之间的变换矩阵将栅格信息映射到单目相机图像；
[0028]
第二计算模块，用于根据所述带有稀疏栅格信息的单目相机图像，进行凸包算法生成连续的可通行与不可通行的标签；
[0029]
优化模块，用于根据所述的带有可通行与不可通行的标签的单目相机图像，统计
可通行区域面积和不可通行区域面积之间的比例，自动筛除比例不均衡的图像。
[0030]
本发明还公开了一种基于激光雷达和单目相机的可通行区域标签生成装置，装置包括激光雷达和单目相机，激光雷达用于获取激光雷达信息，单目相机用于获取当前环境的视觉信息。
[0031]
作为进一步地改进，本发明所述激光雷达和单目相机之间刚性连接，激光雷达和相机之间的位姿相对关系已经事先标定得知；
[0032]
激光雷达可由常见的单或多线激光雷达构成，对激光雷达类型不加限制；
[0033]
生成装置还包括处理器、存储器以及存储在存储器中的程序，计算机程序被处理器执行时实现基于激光雷达的可通行区域标签生成方法的步骤。
[0034]
相比现有技术，本发明的有益效果在于：
[0035]
本发明公开了一种基于激光雷达和单目相机的可通行区域标签生成方法及装置，获取系统的当前激光雷达以及单目相机数据；根据前后两帧雷达信息计算偏差，估计当前系统位姿；根据当前系统位姿构造高程地图；根据构造的高程地图对其上每个栅格进行可通行性得分计算；根据相机的内参、外参矩阵将栅格信息映射到单目相机图像上；根据获取的稀疏栅格信息进行凸包计算得到连续的可通行与不可通行区域标签；根据可通行与不可通行区域之间的面积比例筛选出优质的标签。
[0036]
目前高程图的构建主要使用领域是在移动机器人的实时环境感知等，该领域构造高程图的传统方法是基于视觉的，而这中间包含了许多冗余的三维重建过程。但是最终机器人并不需要特征精致的三维重建信息而只需要知道哪里是可通行的，哪里是不可通行的就能完成自主导航。所以就出现了通过深度神经网络学习的方法将中间的步骤隐藏在神经网络模型中，直接端到端地生成可通行区域，来提高系统的效率和性能。但是在该做法中，进行端到端的神经网络训练需要大量的道路数据集和标签，收集足够的数据是费时费力的，并且对这些数据进行人工打标签更是需要极高的人力成本。
[0037]
本发明中提及的自动生成标签的方法可以适用于诸多公开的无标签的数据集，生成规模庞大的带标签数据集，极大降低网络训练的成本。
[0038]
本发明提供的基于激光雷达的可通行区域标签生成方法，在根据高程地图计算栅格可通行得分时，联合采用了表面法向量和相邻栅格的高度差，并对二者进行加权融合，最后设置阈值进行二值化，获得可通行与不可通行两种结果；根据获取的稀疏栅格信息，先对不可通行信息进行凸包，可以获得一左一右两个不可通行区域的外接多边形边框，再对可通行信息进行凸包计算，得到了品质优良的连续标签；根据获得的连续标签的面积信息，对标签的质量进行自动筛选，得到可通行与不可通行区域的面积比例均衡的优质低成本标签。
[0039]
多传感器的融合使用，多种方法的联合采用，在算法中充分发挥各个方法的优势，从而达到提升标签质量，降低标签成本的效果。
附图说明
[0040]
图1为本发明基于激光雷达的可通行区域标签生成方法的流程示意图；
[0041]
图2为凸包计算流程的示意图。
具体实施方式
[0042]
下面结合说明附图以及具体实施方式，对本发明的技术方案作进一步地描述：
[0043]
图1为本发明基于激光雷达的可通行区域标签生成方法的流程示意图，本发明公开了一种基于激光雷达和单目相机的可通行区域标签生成方法，包括以下步骤：
[0044]
获取机器人的激光雷达数据和单目相机图像；
[0045]
根据当前激光雷达数据构建高程地图；
[0046]
根据高程图上各个栅格的高度信息计算栅格的可通行性得分；
[0047]
根据单目相机的外参、内参矩阵将高程地图上各个栅格的可通行性得分映射到图像上，得到带有稀疏的栅格信息的单目相机图像。
[0048]
根据具有稀疏栅格信息的单目相机图像，结合凸包算法得到连续的可通行与不可通行的区域标签。
[0049]
图2为凸包计算流程的示意图，从左往右的流程为：
[0050]
根据具有稀疏栅格信息的单目相机图像，其中可通行区域用绿色代表，不可通行区域用红色代表，对二者进行分离后，对红色部分进行凸包计算前，先将图片平均分为左右两部分，再分别对两部分进行凸包算法计算，获取两个不可通行区域的外接多边形，并对其内部区域统一标记为不可通行；对绿色部分进行凸包算法计算，并对边界内部统一标记为可通行，两步结合在一起，就获得了具有连续的可通行与不可通行的区域标签。
[0051]
根据得到的连续标签，对其中可通行区域和不可通行区域面积进行统计计算比例，自动筛选出比例均衡的标签作为最终结果。
[0052]
其中，激光雷达数据包含周围环境360
°
信息，单目相机图像通过单目rgb相机获取；高程地图为包含高度信息的栅格地图，可通行区域为物理世界中车辆可通行的道路区域，可通行区域标签为在单目相机图像中，对可通行区域与不可通行区域以两种标记打上标签，用于深度神经网络的训练，两种标记为对可通行区域打上绿色标签，不可通行区域打上红色标签。高程地图具体为通过以下步骤构建：
[0053]
获取工作环境的激光雷达数据；计算前后两帧的激光雷达数据之间的偏差来估计当前数据采集系统的位姿、以及采集系统与地图坐标之间的变换矩阵；高程地图由机器人位姿计算得到激光雷达的位姿之后再进行各栅格的高度计算，各栅格的高度信息与原始激光雷达数据之间的对应关系，具体为根据卡尔曼滤波法，即下式进行计算：
[0054][0055]
其中为该栅格更新前的测量高度和方差，为该栅格更新后的高度和方差。为测量高度值高斯概率分布模型的均值和方差。
[0056]
可通行性得分计算方法具体为：
[0057]
获取高程地图；计算各个栅格的表面法向量和相邻高度偏差，对这两个值进行加权得到当前栅格的可通行性的加权得分。
[0058]
再对此的得分设置阈值为0.75，高于此阈值则确定此栅格为可通行，低于此阈值
则确定此栅格为不可通行。
[0059]
将各栅格可通行信息映射到单目相机图像上的方法如下：
[0060]
根据估计得到系统位姿与地图位姿之间的变换矩阵，将栅格的信息投影到激光雷达坐标系；根据公开数据集官方提高的相机内参矩阵和外参矩阵，将栅格的信息投影到图像平面。
[0061]
使用凸包算法得到连续的可通行与不可通行的区域标签通过两步进行：
[0062]
根据所述的映射到图像上的稀疏的栅格信息，对其进行通道分离，得到独立的不可通行信息和可通行信息；先对其中不可通行信息进行凸包计算，将图片分为左右两个区域，对每个区域的信息单独进行凸包计算，得到两个外接多边形的边框，再对两个外接多边形内部区域标记为不可通行的标签。再对图像中可通行信息进行凸包计算，得到可通行区域的外接多边形的边框，对多边形内部区域标记为可通行的标签。再将连续的可通行区域和连续的不可通行区域进行通道融合，得到同时包含可通行区域和不可通行区域标签的连续标签。
[0063]
标签自动筛选框架考虑了可通行区域和不可通行区域在同一张图片上的均衡性，统计可通行区域和不可通行区域的面积比例，自动去除比例不均衡的标签。
[0064]
标签生成方法是通过以下模块执行：
[0065]
获取模块，用于获取机器人的当前激光雷达数据以及当前单目相机数据；
[0066]
第一计算模块，用于根据当前激光雷达数据估计系统位姿，生成高程图；
[0067]
并根据当前高程地图计算各个栅格上的可通行得分；再根据当前高程地图与相机之间的变换矩阵将栅格信息映射到单目相机图像；
[0068]
第二计算模块，用于根据带有稀疏栅格信息的单目相机图像，使用凸包算法生成连续的可通行与不可通行的标签。
[0069]
优化模块，用于根据带有可通行与不可通行的标签的单目相机图像，统计可通行区域面积和不可通行区域面积之间的比例，自动筛除比例不均衡的图像。
[0070]
本发明还公开了一种基于激光雷达和单目相机的可通行区域标签生成装置，装置包括激光雷达和单目相机，激光雷达用于获取激光雷达信息，单目相机用于获取当前环境的视觉信息。激光雷达和单目相机之间刚性连接，激光雷达和相机之间的位姿相对关系已经事先标定得知；激光雷达可由常见的单或多线激光雷达构成，对激光雷达类型不加限制。标签生成装置还包括处理器、存储器以及存储在存储器中的程序，计算机程序被处理器执行时实现基于激光雷达的可通行区域标签生成方法的步骤。
[0071]
从激光雷达中获取激光雷达数据；从单目相机中获取单目相机图像，步骤中的计算偏差，构建高程图，计算栅格可通行性得分，投影映射，使用凸包算法获取连续可通行、不可通行区域标签，自动筛选正负样本比例均衡的标签等都属于算法，在系统携带的处理器或电脑上完成。
[0072]
系统的位姿可以表示为空间中的x,y,z坐标和朝向，这些可以从前后两帧激光之间的偏差通过icp算法得到，程序中计算的是系统的位姿，而激光雷达、单目相机在世界坐标系下的位姿则通过激光雷达、相机相对于系统的外参计算得到，外参为相对位置关系，包括空间中的旋转和平移，外参被认为为不变量，事先标定获得。每一时刻的系统可以构建出当前局部环境的高程地图。在系统移动的过程中，可以计算出当前的高程地图上每一个栅
格的可通行性得分，根据相机和激光雷达的外参矩阵以及相机的内参矩阵可以将栅格信息映射到单目相机图像上，再结合凸包算法完成稀疏信息的连续化，根据正负例样本的比例均衡的标准自动进行标签筛选，完成标签生成。
[0073]
本实施例中的方法与前述实施例中的装置是基于同一发明构思下的两个方面，本领域技术人员可根据前述描述清楚地了解本实施中的系统的结构及实施过程。
[0074]
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
[0075]
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备执行本发明各个实施例或者实施例的某些部分方法，计算机设备可以是个人计算机，服务器，或者网络设备等。
[0076]
描述的装置实施例仅仅是示意性的，其中作为分离部件说明的模块或单元可以是或者也可以不是物理上分开的，作为模块或单元示意的部件可以是或者也可以不是物理模块，既可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0077]
本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
[0078]
本发明的装置可以包括存储器200、处理器300以及存储在存储器200中的程序，程序被配置成由处理器300执行，处理器300执行程序时实现上述基于激光雷达的可通行区域标签生成方法的步骤。
[0079]
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。