一种基于光流测量的道路边界检测方法

摘要: 本发明属于道路检测和自动驾驶,具体是指一种基于光流测量的道路边界检测方法。背景技术:1、自动驾驶需要车辆对交通环境有准确的感知,且对感知计算的速度、可靠性有严格...
一种基于光流测量的道路边界检测方法

本发明属于道路检测和自动驾驶,具体是指一种基于光流测量的道路边界检测方法。

背景技术:

1、自动驾驶需要车辆对交通环境有准确的感知,且对感知计算的速度、可靠性有严格的要求。对于不采用激光雷达的纯视觉方案,或激光雷达因干扰或故障无法有效工作时,通过视觉图像对道路设施进行准确感知,通常建立在大规模的深度网络训练基础上,对于出现未训练物体以及高性能算力单元出现故障的情况,会丧失场景感知能力,严重威胁驾驶安全。

2、车辆行驶过程中,对道路边界的检测是保证驾驶安全的重要内容,在仅使用图像特征分析时,会误将到道路护栏检测为车道线,路侧出现不明物体或复杂地形时,传统基于路面、路侧物体特征的道路边界的检测算法存在失效风险,不能满足车辆驾驶安全的需要。

技术实现思路

1、为提高自动驾驶的安全性,特别是在无法使用高算力单元、深度学习算法因训练不充分而失效情况下,需要仅依据图像实现对道路边界检测的情况,本发明提出了一种基于光流测量的道路边界检测方法,基于摄像机成像模型、光流与摄像机运动及拍摄景物间的函数关系设计检测区域,判断像平面上光流测量点是否位于道路平面内,来实现对护栏、树木等任何路侧物体的检测,从而判定道路边界的位置。

2、本发明的一种基于光流测量的道路边界检测方法,在车辆正前方安装摄像机,建立相机坐标系和像平面的图像坐标系,相机坐标系的z轴为车辆前进方向、y轴垂直向下、x轴为水平向右,图像坐标系的x轴方向同x轴,y轴方向同y轴;设图像中心坐标为。本发明方法利用相机拍摄的图像进行道路边界检测,包括如下步骤:

3、步骤1,在摄像机的像平面设置组合检测区域,包括:

4、在像平面竖直方向对称轴的两侧各设置两个相邻的检测区域;

5、所述检测区域是以x轴为宽度方向,以y轴为长度方向的竖直矩形区域,该区域的宽度至少为20像素,该区域距离图像水平边界的距离大于,为像平面沿x轴的长度;

6、步骤2,在当前帧选择光流检测点,包括:

7、在检测区域内选择必需的图像点,要求过该点的视线交于水平路面上;

8、对当前帧图像进行边缘提取,判断是否检测到显著的与道路平行的边缘,若是,判定存在候选护栏,则在每个检测区域内基于已选择的点选择光流检测点和,其中点是位于道路平行边缘上的y值最小的点,点位于和的中间位置;否则,判定存在非护栏物体,在每个检测区域内沿所在的竖直线上,以间隔设置光流检测点,所设置的光流检测点的y值均大于等于,且均小于;

9、步骤3,对每个检测区域,进行道路边界判定,包括:

10、采用lk光流计算每个光流检测点的光流;

11、在当前帧图像上选择y值相同的两个图像点,获取两图像点的光流,进而估计得到车辆航向变化角速率;基于车辆航向变化角速率对光流检测点光流进行转动补偿,得到仅含有车辆平动的光流;

12、对光流检测点的光流矢量方向合理性进行筛选,滤除方向不合理的光流检测点;在检测区域内获得至少包含点在内的3个方向合理的光流检测点;若检测点不满足数量,通过步骤2重新选择光流检测点,再进行方向合理性筛选。

13、设检测区域内三个点和经车辆航向变化角速率补偿后的光流分别是、、。判断是否满足判据:;其中是大于2的倍数;若满足,则代表点是高于地面的点,判定该点位于护栏或非护栏物体上;

14、通过改变点和的位置,检测护栏或非护栏物体与道路平面间的位置关系,进而确定道路边界。

15、所述的步骤4中,基于车辆航向变化角速率补偿光流检测点的光流,计算如下:

16、若,对当前帧图像上点的光流进行补偿,得到补偿后光流如下:

17、;

18、其中,是摄像机的焦距;

19、若,将点的横坐标减去、纵坐标减去代入上式,计算补偿后光流。

20、本发明的优点与积极效果在于:本发明方法在二维图像转动与平动光流解耦计算的基础上,利用平动光流与其对应的三维空间位置间的确定函数关系,即可实现对护栏、树木等任何路侧物体的检测以及对道路边界的识别。本发明检测方法无需训练,可直接利用嵌入式处理器即可实现实时解算。本发明方法基于光流的比例特性,通过有效的光流正确性验证,实现简便计算且准确率较高的深度估计,可用于自动驾驶领域依据图像对道路边界检测的场景,以提高自动驾驶的安全性。

1.一种基于光流测量的道路边界检测方法,在车辆正前方安装摄像机,建立相机坐标系和像平面的图像坐标系,相机坐标系的z轴为车辆前进方向、y轴垂直向下、x轴为水平向右,图像坐标系的x轴方向同x轴,y轴方向同y轴;设图像中心坐标为;其特征在于,该方法包括如下步骤:

2.根据权利要求1所述的方法,其特征在于,所述的步骤1中,检测区的设置方式为:在车头的左右两侧设置固定位置或动态移动的检测区。

3.根据权利要求1所述的方法,其特征在于,所述的步骤2中,设置间隔不少于5个像素。

4.根据权利要求1所述的方法,其特征在于,所述的步骤4中,计算车辆航向变化角速率的方式为:

5.根据权利要求1或4所述的方法,其特征在于,所述的步骤4中,基于车辆航向变化角速率补偿光流检测点的光流,计算如下:

6.根据权利要求1所述的方法,其特征在于,所述的步骤4中,对转动补偿后光流矢量进行方向合理性筛选,包括:先使用ransac算法检测当前帧的光流灭点,再计算当前帧中每个光流失量与所在图像点与光流灭点连线的角度差,若角度差小于设定的阈值,则认为该光流矢量的方向合理,否则认为方向不合理,剔除该光流矢量。