一种基于激光雷达和单目相机的道路可通行区域标签生成方法及装置与流程

技术特征：
1.一种基于激光雷达和单目相机的可通行区域标签生成方法，其特征在于，包括以下步骤：获取机器人的激光雷达数据和单目相机图像；根据当前激光雷达数据构建高程地图；根据高程地图上各个栅格的高度信息计算栅格的可通行性得分；根据单目相机的外参、内参矩阵将高程地图上各个栅格的可通行性得分映射到图像上，并结合凸包算法得到连续的可通行区域的可通行区域标签与不可通行区域的不可通行区域标签，再通过自动筛选框架，得到优质的标签。2.如权利要求1所述的基于激光雷达的可通行区域标签生成方法，其特征在于，所述的激光雷达数据包含周围环境360
°
信息，所述的单目相机图像通过单目rgb相机获取，所述的高程地图为包含高度信息的栅格地图，所述的可通行区域为物理世界中车辆可通行的道路区域，所述的可通行区域标签为在单目相机图像中，对可通行区域与不可通行区域以两种标记打上标签，用于深度神经网络的训练。3.如权利要求1所述的基于激光雷达的可通行区域标签生成方法，其特征在于，所述高程地图具体通过以下步骤构建：获取工作环境的激光雷达数据；计算前后两帧的激光雷达数据之间的偏差来估计当前数据采集系统的位姿、以及采集系统与地图坐标之间的变换矩阵；所述高程地图由机器人位姿计算得到激光雷达的位姿之后再进行各栅格的高度计算，所述各栅格的高度信息与原始激光雷达数据之间的对应关系，具体为根据下式进行计算：其中为该栅格更新前的测量高度和方差，为该栅格更新后的高度和方差，为测量高度值高斯概率分布模型的均值和方差。4.如权利要求1～3中任一项所述的基于激光雷达的可通行区域标签生成方法，其特征在于，所述的可通行性得分计算方法具体为：获取高程地图；计算各个栅格的表面法向量和相邻高度偏差，对这两个值进行加权得到当前栅格的可通行性的加权得分。再设置一定阈值，将得分进行二值化，低于阈值的得分表示此栅格不可通行，高于阈值的得分表示此栅格可通行。5.如权利要求4中所述的基于激光雷达的可通行区域标签生成方法，其特征在于，所述将各个栅格的可通行性得分映射到单目相机图像上的方法如下：根据所述的估计得到系统位姿与地图位姿之间的变换矩阵，将栅格的信息投影到激光雷达坐标系；根据相机内参矩阵和外参矩阵，将栅格的信息投影到图像平面。6.如权利要求1或2或3或5所述的基于激光雷达的可通行区域标签生成方法，其特征在于，所述通过凸包算法得到连续的可通行区域标签与不可通行区域标签通过两步进行：
根据所述的映射到图像上的稀疏的栅格信息，对其进行通道分离，得到独立的不可通行信息和可通行信息；先对其中不可通行信息进行凸包计算，将图片分为左右两个区域，对每个区域的信息单独进行凸包计算，得到两个外接多边形的边框，再对两个外接多边形内部区域标记为不可通行的标签，再对图像中可通行信息进行凸包计算，得到可通行区域的外接多边形的边框，对多边形内部区域标记为可通行的标签，再将连续的可通行区域和连续的不可通行区域进行通道融合，得到同时包含可通行区域和不可通行区域标签的连续标签。7.如权利要求6所述的基于激光雷达的可通行区域标签生成方法，其特征在于，所述的自动筛选框架考虑了可通行区域和不可通行区域在同一张图片上的均衡性，统计可通行区域和不可通行区域的面积比例，自动去除比例不均衡的标签。8.如权利要求1或2或3或5或7所述的基于激光雷达的可通行区域标签生成方法，其特征在于，所述的标签生成方法通过以下模块执行：获取模块，用于获取机器人的当前激光雷达数据以及当前单目相机数据；第一计算模块，用于根据所述当前激光雷达数据估计系统位姿，生成高程地图；并根据所述当前高程地图计算各个栅格上的可通行得分；再根据所述当前高程地图与相机之间的变换矩阵将栅格信息映射到单目相机图像；第二计算模块，用于根据所述带有稀疏栅格信息的单目相机图像，使用凸包算法生成连续的可通行与不可通行的标签；优化模块，用于根据所述的带有可通行与不可通行的标签的单目相机图像，统计可通行区域面积和不可通行区域面积之间的比例，自动筛除比例不均衡的图像。9.一种基于激光雷达和单目相机的可通行区域标签生成装置，其特征在于，所述的装置包括激光雷达和单目相机，激光雷达用于获取激光雷达信息，单目相机用于获取当前环境的视觉信息。10.根据权利要求9所述的基于激光雷达的可通行区域标签生成装置，其特征在于，所述激光雷达和单目相机之间刚性连接，激光雷达和相机之间的位姿相对关系已经事先标定得知；所述激光雷达可由常见的单或多线激光雷达构成；所述的生成装置还包括处理器、存储器以及存储在存储器中的计算机程序，所述计算机程序被处理器执行时实现如权利要求1或2或3或5或7所述的基于激光雷达的可通行区域标签生成方法的步骤。

技术总结
本发明公开了一种基于激光雷达和单目相机的道路可通行区域标签生成方法及装置。包括获取机器人的激光雷达数据和单目相机图像，根据当前激光雷达数据构建高程地图，高程图上各个栅格的高度信息计算栅格的可通行性等步骤，本发明中提及的自动生成标签的方法可以适用于诸多公开的无标签的数据集，生成规模庞大的带标签数据集，极大降低网络训练的成本，多传感器的融合使用，多种方法的联合采用，在算法中充分发挥各个方法的优势，从而达到提升标签质量，降低标签成本的效果。降低标签成本的效果。降低标签成本的效果。


技术研发人员：陆俊元 王越 朱承睿
受保护的技术使用者：浙江大学
技术研发日：2021.08.27
技术公布日：2021/11/28