基于区域与运动信息的路面图像特征匹配方法及系统与流程

1.本发明涉及图像处理领域，具体涉及一种基于区域与运动信息的路面图像特征匹配方法及系统。


背景技术：

2.车载相机是车载视觉系统的重要传感器，可为车辆提供行车环境感知能力，为辅助驾驶系统提供决策所需的基础数据。车载相机采集的连续帧图像是环境感知的信息基础，而其中位于路面的特征信息尤其重要，对路面特征的提取匹配是路面目标跟踪，目标运动估计与视觉里程计的基础。因此，需要一种高效准确的连续帧路面特征匹配方法。
3.目前，公开号为111524192的中国专利公开了一种车载相机外参的标定方法、装置、系统及存储介质；具体的，相机外参的标定包括对车载相机采集到的前后两帧图像进行预处理；对预处理后的两帧图像进行特征点匹配，得到匹配的特征点；根据所述匹配的特征点，确定车载相机的运动姿态；基于所述运动姿态，确定汽车坐标系和车载相机坐标系的转换关系，得到所述车载相机相对车身的外参。上述方法中涉及到路面特征点匹配方法，直接通过对前后两帧图像进行预处理后，再对预处理的两帧图像进行特征点匹配，得到匹配的特征点，并根据匹配的特征点，确定相机的运动姿态。上述匹配方法仅能够用于确定车辆的运动姿态，而不能根据车辆运行路径测定特征点的下一帧位置，匹配计算量大，耗时长，且误匹配概率较大。


技术实现要素：

4.针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种能够根据车辆运动信息预测路面特征点位置，减少特征匹配计算量，并有效提高路面特征点匹配准确率的路面图像特征匹配方法及系统。
5.为了解决上述技术问题，本发明采用了如下的技术方案：
6.一种基于区域与运动信息的路面图像特征匹配方法，其特征在于，它包括如下步骤：步骤1，数据输入，输入车载相机所拍摄的实时路面连续帧图像、车辆当前运动信息、车载相机参数；步骤2，采用fast角点检测算法对输入的连续帧图像进行特征点分区检测；步骤3，基于车载相机位置与图像信息对分区检测后的路面特征点初筛，确定所提取特征点位于路面；步骤4，基于车身运动信息和相机模型对第一帧路面特征点在第二帧中的位置进行预测；步骤5，以步骤4中预测点的世界坐标为中心，基于局部图像信息与运动信息对连续帧特征点进行匹配并输出配对信息。这样，本技术提出的车载相机图像路面特征匹配方法，基于相机自身画面和车身运动信息，可实现对路面特征点的高效提取和匹配。相对于传统方法仅基于图像信息，本方法加入了车辆运动信息和相机标定信息，可有效筛选出位于路面的特征点，并可减少匹配的计算量，提高匹配的精度。
7.进一步的，步骤1中，车辆当前运动信息包括车辆自身速度v与车辆当前角速度yawrate；车载相机参数包括车载相机内参和车载相机外参，所述车载相机内参的矩阵k包
括相机的焦距、主点以及畸变系数，车载相机外参包括相机相对于世界坐标的相机旋转矩阵re0和平移向量tw。
8.进一步的，步骤3中，对路面特征点的初筛时，设定图像宽度为w，高度为h，对于前视与后视相机，特征点提取区域为对于侧视相机，其特征点提取区域为
9.进一步的，步骤4中，对路面特征点位置预测的具体方法包括：基于车载相机参数建立相机模型，然后将第一帧路面特征点像素坐标转换为世界坐标，同时以第一帧图像中特征点为中心，d为边长，截取第一帧图像的局部图像作为待匹配图像，并基于车身运动信息和相机模型计算第一帧图像特征点在第二帧图像中的坐标位置。
10.进一步的，建立相机模型时，第一帧路面特征点的空间位置为pi，pi＝k[r
e0
tw]p
wi
，式中，k为相机内参矩阵，r
e0
为相机旋转矩阵，tw为相机平移向量，为相机安装位置到世界坐标原点的向量，
[0011]
进一步的，根据相机模型计算出第一帧图像特征点的世界坐标：p
wipre
＝[x
wi-v
cos
(yawrate
·
dt)dt,y
wi-vsin(yawrate
·
dt)dt,z
wi
,1]；式中，pwipre为第一帧图像特征点的世界坐标，v为车身运动速度，dt为两帧之间的时间间隔，yawrate为车辆当前的旋转率；在计算出第一帧图像特征点的世界坐标后，通过相机模型则可以反推处预测点在第二帧图像中的像素坐标p
ipre
，
[0012]
进一步的，步骤5中，特征匹配方法如下：
[0013]
1)以权利要求6中预测点p
ipre
为中心，r为半径建立搜索区域，搜索在区域内的第二帧图像特征点；若区域内无特征点，则本次匹配失败，开始进行下一次匹配；若区域内存在n个特征点，则以这些特征点为中心，d为边长，截取第二帧图像局部区域rect21～rect2n作为待匹配图像；
[0014]
2)计算rect21～rect2n与rect1之间的绝对误差和sad，对于区域内第j个特征点，1≤j≤n，计算方法为：
[0015]
，通过上述公式计算所有待匹配特征点的sad，选取sad值最小的点作为最终匹配结果；
[0016]
3)计算最终匹配点与预测点pipre的像素距离，计算方法为：
[0017][0018]
，若计算得到的像素距离大于阈值t，则表明其不满足路面特征点运动条件，将该
组特征点对抛弃。
[0019]
一种基于区域与运动信息的路面图像特征匹配系统，其特征在于，包括车载相机、图像特征点检测模块、位置预测模块以及特征匹配模块，所述特征点检测模块与车载相机和车机控制器通讯连接，并用于提取车载相机的连续帧图像特征点和车载相机参数以及车机控制器中车辆当前运动信息，同时，对提取的连续帧图像特征点进行检测并返回其像素位置；所述位置预测模块与图像特征点检测模块通讯连接，用于根据车辆运动状态与车载相机外参预测路面特征点在下一帧中的位置；特征匹配模块基于局部图像信息与运动信息对连续帧特征点进行匹配并输出配对信息。
[0020]
进一步的，还包括一路面特征点初筛模块，所述路面特征点初筛模块与图像特征点检测模块双向通讯连接，用于对分区检测后的路面特征点初筛，确定所提取特征点位于路面，并将初筛信息反馈到图像特征点检测模块。
附图说明
[0021]
图1为实施例中路面图像特征匹配方法的基本流程；
[0022]
图2为实施例中特征点预测流程；
[0023]
图3为实施例中特征点匹配流程；
[0024]
图4为实施例中典型匹配工况。
具体实施方式
[0025]
下面结合附图和实施例对本发明进一步说明。
[0026]
实施例：
[0027]
如图所示，本实施例提供的基于区域与运动信息的路面图像特征匹配系统，包括车载相机、图像特征点检测模块、路面特征点初筛模块、位置预测模块以及特征匹配模块，所述特征点检测模块与车载相机和车机控制器通讯连接，并用于提取车载相机的连续帧图像特征点和车载相机参数以及车机控制器中车辆当前运动信息，同时，对提取的连续帧图像特征点进行检测并返回其像素位置；所述路面特征点初筛模块与图像特征点检测模块双向通讯连接，用于对分区检测后的路面特征点初筛，确定所提取特征点位于路面，并将初筛信息反馈到图像特征点检测模块；所述位置预测模块与图像特征点检测模块通讯连接，用于根据车辆运动状态与车载相机外参预测路面特征点在下一帧中的位置；特征匹配模块基于局部图像信息与运动信息对连续帧特征点进行匹配并输出配对信息。
[0028]
如图1所示，本实施例中基于区域与运动信息的路面图像特征匹配方法如下：
[0029]
步骤1)数据输入：算法首先读入连续帧图像，当前车辆运动状态与相机内参外参。车身运动状态包括车身速度v与角速度yawrate，连续帧图像包括其图像信息im1，im2和对应时间戳，可计算得到两帧之间的时间差dt。相机内参为矩阵k，其中包括相机焦距与主点像素坐标，外参包括相机相对于世界坐标的旋转矩阵r
e0
和平移向量tw。世界坐标的建立方式为：以车辆后轴中心下方地面为世界坐标原点，车辆前向为x轴正方向，垂直于地面向上为z轴正方向。
[0030]
步骤2)fast特征点提取：首先提取im1与im2中的特征点，提取算法采用fast角点检测。fast角点检测是edward rosten和tom drummond在2006年提出的一种角点检测算法，
其基本原理是：若某像素点与其周围领域内足够多的像素点属性不同，则该像素点可能为角点。考虑灰度图像，即若该点的灰度值比其周围领域内足够多的像素点的灰度值大或者小，则该点可能为角点。
[0031]
为使提取到的角点尽可能均匀分布于图像上，防止大部分角点位于天空与陆地交界处，算法对图像进行了区域划分，对每个区域单独进行提取。具体方法为：设图像宽度为w，高度为h，则取每个局部区域的面积为30*30像素，将图像分为w/30*h/30个方形区域。每个区域内的最大角点数量相同，这样可保证特征点均匀分布于图像上。
[0032]
步骤3)路面特征点初筛：本步主要对路面特征点进行初步筛选，减少后续预测与匹配的计算量。筛选基于车载相机位置与图像信息，具体为：设定车载相机画面宽度为w，高度为h，对于前视与后视相机，特征点提取区域为对于侧视相机，其特征点提取区域为这样可尽可能保证提取到的特征点位于路面。
[0033]
步骤4)特征点位置预测：如图2所示，基于车载相机参数建立相机模型，然后将第一帧路面特征点像素坐标转换为世界坐标，同时以第一帧图像中特征点为中心，d为边长，截取第一帧图像的局部图像作为待匹配图像，并基于车身运动信息和相机模型计算第一帧图像特征点在第二帧图像中的坐标位置。具体方法如下：
[0034]
以第一帧图像中第i个特征点为例，其他特征点类似：
[0035]
1)基于初始值建立相机模型。
[0036]
第一帧路面特征点的空间位置为pi，pi＝k[r
e0
tw]p
wi
，式中，k为相机内参矩阵，r
e0
为相机旋转矩阵，tw为相机平移向量，为相机安装位置到世界坐标原点的向量，
[0037]
pi＝[xi,yi,1]为第i个特征点像素齐次坐标，p
wi
＝[x
wi
,y
wi
,z
wi
,1]为对应世界齐次坐标。
[0038]
2)以[xi,yi]为中心，d为边长，截取第一帧图像中的局部区域rect1作为待匹配图像。
[0039]
3)根据相机模型计算出特征点i的世界坐标p
wi
＝[x
wi
,y
wi
,z
wi
,1]，由于特征点位于路面，其z坐标z
wi
＝0。再根据车身速度预测该特征点在下一帧中的位置。车身运动速度为v，两帧之间的时间间隔为dt，车辆旋转率为yawrate。
[0040]
则预测点的世界坐标为
[0041]
p
wipre
＝[x
wi-v
cos
(yawrate
·
dt)dt,y
wi-vsin(yawrate
·
dt)dt,z
wi
,1]。
[0042]
式中，p
wipre
为第一帧图像特征点的世界坐标，v为车身运动速度，dt为两帧之间的时间间隔，yawrate为车辆当前的旋转率；在计算出第一帧图像特征点的世界坐标后，通过相机模型则可以反推处预测点在第二帧图像中的像素坐标pipre，
[0043]
步骤5)连续帧特征匹配：如图3所示，具体如下
[0044]
1)以p
ipre
为中心，r为半径建立搜索区域，搜索在区域内的第二帧图像特征点。若
区域内无特征点，则本次匹配失败，开始进行下一次匹配。若区域内存在n个特征点，则以这些特征点为中心，d为边长，截取第二帧图像局部区域rect21～rect2n作为待匹配图像。
[0045]
2)计算rect21～rect2n与rect1之间的绝对误差和sad，对于区域内第j个特征点，1≤j≤n，计算方法为：
[0046]
通过上述公式计算所有待匹配特征点的sad，选取sad最小的点作为最终匹配结果。
[0047]
3)计算最终匹配点与预测点pipre的像素距离，计算方法为：若计算得到的像素距离大于阈值t，则表明其不满足路面特征点运动条件，应将该组特征点对抛弃。在本实施例中，阈值t设置为5个像素。若其像素距离大于阈值t，则表明其不满足路面特征点运动条件，应予以抛弃。
[0048]
步骤7)数据输出：在连续帧中所有特征点匹配结束后，输出特征点对，包括对应的像素坐标以及编号。
[0049]
最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，尽管申请人参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。