一种激光雷达和摄像头融合的智能汽车道路边界检测方法与流程

1.本发明属于自动驾驶安全领域，特别涉及一种激光雷达和摄像头融合的智能汽车道路边界检测方法。


背景技术：

2.道路边界是约束车辆行驶区域的重要因素，传统的基于视觉的方法往往采用路面的纹理和颜色特征设计特征提取算子获取相似区域，并采用区域生长的方法进行整个路面的提取，最后采用投影变换方法将图像空间中检测结果投影到车辆坐标系下，基于激光雷达的边界检测算法则通过道路边界处的高度突变来实现。基于视觉的道路检测算法在投影变换中采用了道路平坦假设，无法适应不平坦道路情况，激光雷达边界检测无法适用道路边界无明显高度变化的道路场景。因此，需要一种方法解决视觉方法对不平坦道路的适应性问题，解决道路边界无明显高度变化时激光雷达难以应用的问题。


技术实现要素：

3.为实现上述目的，本发明提供一种激光雷达和摄像头融合的智能汽车道路边界检测方法，包括：
4.步骤一、通过摄像头和激光雷达获取地面数据，其中激光雷达获取点云信息，摄像头获取rgb图像信息；
5.步骤二、根据深度神经网络模型获取rgb图像中的道路区域，以道路区域掩码的形式表示，其中，rgb图像为道路区域掩码为m∈{0,1}h×w，其中，h和w为图像的高和宽，掩码中0表示非道路，1表示道路；
6.步骤三、通过激光雷达获得的点云信息，获取路面点云；
7.步骤四、通过获取的路面点云，采用随机抽样一致算法(random sample consensus,ransac)获取路面模型；通过获取的道路区域，构建等间距的栅格区域，分辨率为0.1m，每个单元格的属性为其x、y和z为单元格中心的坐标，z值由获取的路面模型计算获得；
8.步骤五、通过公式g∈{ci|i＝1,...,ng}获取道路栅格地图，其中ng为道路栅格地图中单元格的个数；
[0009][0010]
其中，r
v2c
和t
v2c
分别是车辆坐标系到相机坐标系的旋转矩阵和平移向量，其中，u和v是该点在图像中相应像素的横、纵坐标；dx和dy是一个像素在相机x轴与y轴方向上的物
理尺寸；f为相机的焦距；
[0011]
步骤六、在获取的道路栅格地图上，通过边缘检测算法获取候选的道路边界点p
edge
＝{pe|pe＝(xe,ye)}，再聚类候选边界点，得到左右边界点的集合：
[0012]
步骤七、由左右边界点的集合和采用ransac算法拟合得到左右边界的道路边界参数，形成道路边界模型。
[0013]
作为优选，在步骤三中，根据激光雷达标定结果，将激光雷达点云信息转换到车辆坐标系下得到再通过点云分割算法获取路面点云
[0014]
作为优选，在步骤四中，路面模型采用二次曲面方程z＝ax2 by2 cx dy e表示，其中z为高度值，x和y为横向和纵向坐标；
[0015]
作为优选，步骤四中，m代表单元格的属性，即是否属于道路类别，通过公式pc＝[xc,yc,zc]
t
获取单元格在摄像头坐标系下的坐标，再通过公式id＝[u,v]获取该单元格对应的图像像素坐标，其中u和v分别为像素在图像中的横、纵坐标；单元格的道路属性由其对应的图像像素的道路属性决定，其中m＝0表示非道路，m＝1表示道路，m＝255表示未知类别；
[0016]
作为优选，在步骤七中，对于道路边界模型，采取三次曲线方程表示：y＝ax3 bx2 cx d；
[0017]
作为优选，在步骤七中，得到的道路边界模型
[0018]mroad
＝{(e
l
,er)|e
l
＝(a
l
,b
l
,c
l
,d
l
),er＝(ar,br,cr,dr)}，其中a
l
,b
l
,c
l
,d
l
为道路左边界的曲线参数，ar,br,cr,dr为道路右边界的曲线参数。
[0019]
与现有技术相比，本发明的有益效果是：
[0020]
1.本发明通过激光雷达和摄像头的信息获取鲁棒的、高精度的道路边界信息，能解决视觉方法对不平坦道路的适应性问题。
[0021]
2.本发明提出的方法能够解决激光雷达边界检测无法适用于道路边界无明显高度变化的道路场景的问题。
附图说明
[0022]
图1为本发明方法的流程图。
具体实施方式
[0023]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0024]
如图1所示，本发明实施例提出一种激光雷达和摄像头融合的智能汽车道路边界检测方法，包括：
[0025]
s1、通过摄像头和激光雷达获取地面数据，其中激光雷达获取点云信息，摄像头获
取rgb图像信息；
[0026]
s2、根据深度神经网络模型获取rgb图像中的道路区域，以道路区域掩码的形式表示，其中，rgb图像为道路区域掩码为m∈{0,1}h×w，其中，h和w为图像的高和宽，掩码中0表示非道路，1表示道路；
[0027]
s3、通过激光雷达获得的点云信息，根据激光雷达标定结果，将激光雷达点云信息转换到车辆坐标系下得到再通过点云分割算法获取路面点云
[0028]
s4、通过获取的路面点云，采用随机抽样一致算法(random sample consensus,ransac)获取路面模型,路面模型采用二次曲面方程z＝ax2 by2 cx dy e表示，其中z为高度值，x和y为横向和纵向坐标；通过获取的道路区域，构建等间距的栅格区域，分辨率为0.1m，每个单元格的属性为其x、y和z为单元格中心的坐标，z值由获取的路面模型计算获得；m代表单元格的属性，即是否属于道路类别，通过公式pc＝[xc,yc,zc]
t
获取单元格在摄像头坐标系下的坐标，再通过公式id＝[u,v]获取该单元格对应的图像像素坐标，其中u和v分别为像素在图像中的横、纵坐标；单元格的道路属性由其对应的图像像素的道路属性决定，其中m＝0表示非道路，m＝1表示道路，m＝255表示未知类别；
[0029]
s5、通过公式g∈{ci|i＝1,...,ng}获取道路栅格地图，其中ng为道路栅格地图中单元格的个数；
[0030][0031]
其中，r
v2c
和t
v2c
分别是车辆坐标系到相机坐标系的旋转矩阵和平移向量，其中，u和v是该点在图像中相应像素的横、纵坐标；dx和dy是一个像素在相机x轴与y轴方向上的物理尺寸；f为相机的焦距；
[0032]
s6、在获取的道路栅格地图上，通过边缘检测算法获取候选的道路边界点p
edge
＝{pe|pe＝(xe,ye)}，再聚类候选边界点，得到左右边界点的集合：
[0033]
s7、由左右边界点的集合和采用ransac算法拟合得到左右边界的道路边界参数，形成道路边界模型m
road
＝{(e
l
,er)|e
l
＝(a
l
,b
l
,c
l
,d
l
),er＝(ar,br,cr,dr)}，其中a
l
,b
l
,c
l
,d
l
为道路左边界的曲线参数，ar,br,cr,dr为道路右边界的曲线参数,道路边界模型采取三次曲线方程y＝ax3 bx2 cx d表示。
[0034]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
[0035]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0036]
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。