基于区域与运动信息的路面图像特征匹配方法及系统与流程

技术特征：
1.一种基于区域与运动信息的路面图像特征匹配方法，其特征在于，它包括如下步骤：步骤1，数据输入，输入车载相机所拍摄的实时路面连续帧图像、车辆当前运动信息、车载相机参数；步骤2，采用fast角点检测算法对输入的连续帧图像进行特征点分区检测；步骤3，基于车载相机位置与图像信息对分区检测后的路面特征点初筛，确定所提取特征点位于路面；步骤4，基于车身运动信息和相机模型对第一帧路面特征点在第二帧中的位置进行预测；步骤5，以步骤4中预测点的世界坐标为中心，基于局部图像信息与运动信息对连续帧特征点进行匹配并输出配对信息。2.根据权利要求1所述的基于区域与运动信息的路面图像特征匹配方法，其特征在于，步骤1中，车辆当前运动信息包括车辆自身速度v与车辆当前角速度yawrate；车载相机参数包括车载相机内参和车载相机外参，所述车载相机内参的矩阵k包括相机的焦距、主点以及畸变系数，车载相机外参包括相机相对于世界坐标的相机旋转矩阵r
e0
和平移向量t
w
。3.根据权利要求1或2所述的基于区域与运动信息的路面图像特征匹配方法，其特征在于，步骤3中，对路面特征点的初筛时，设定图像宽度为w，高度为h，对于前视与后视相机，特征点提取区域为对于侧视相机，其特征点提取区域为4.根据权利要求3所述的基于区域与运动信息的路面图像特征匹配方法，其特征在于，步骤4中，对路面特征点位置预测的具体方法包括：基于车载相机参数建立相机模型，然后将第一帧路面特征点像素坐标转换为世界坐标，同时以第一帧图像中特征点为中心，d为边长，截取第一帧图像的局部图像作为待匹配图像，并基于车身运动信息和相机模型计算第一帧图像特征点在第二帧图像中的坐标位置。5.根据权利要求4所述的基于区域与运动信息的路面图像特征匹配方法，其特征在于，建立相机模型时，第一帧路面特征点的空间位置为p
i
，p
i
＝k[r
e0
t
w
]p
wi
，式中，k为相机内参矩阵，r
e0
为相机旋转矩阵，t
w
为相机平移向量，为相机安装位置到世界坐标原点的向量，6.根据权利要求4所述的基于区域与运动信息的路面图像特征匹配方法，其特征在于，根据相机模型计算出第一帧图像特征点的世界坐标：p
wipre
＝[x
wi-v
cos
(yawrate
·
dt)dt,y
wi-v sin(yawrate
·
dt)dt,z
wi
,1]；式中，p
wipre
为第一帧图像特征点的世界坐标，v为车身运动速度，dt为两帧之间的时间间隔，yawrate为车辆当前的旋转率；在计算出第一帧图像特征点的世界坐标后，通过相机模型则可以反推处预测点在第二帧图像中的像素坐标p
ipre
，7.根据权利要求6所述的基于区域与运动信息的路面图像特征匹配方法，其特征在于，步骤5中，特征匹配方法如下：1)以权利要求6中预测点p
ipre
为中心，r为半径建立搜索区域，搜索在区域内的第二帧图像特征点；若区域内无特征点，则本次匹配失败，开始进行下一次匹配；若区域内存在n个特征点，则以这些特征点为中心，d为边长，截取第二帧图像局部区域rect21～rect2
n
作为待匹配图像；
2)计算rect21～rect2
n
与rect1之间的绝对误差和sad，对于区域内第j个特征点，1≤j≤n，计算方法为：，通过上述公式计算所有待匹配特征点的sad，选取sad值最小的点作为最终匹配结果；3)计算最终匹配点与预测点p
ipre
的像素距离，计算方法为：，若计算得到的像素距离大于阈值t，则表明其不满足路面特征点运动条件，将该组特征点对抛弃。8.一种基于区域与运动信息的路面图像特征匹配系统，其特征在于，包括车载相机、图像特征点检测模块、位置预测模块以及特征匹配模块，所述特征点检测模块与车载相机和车机控制器通讯连接，并用于提取车载相机的连续帧图像特征点和车载相机参数以及车机控制器中车辆当前运动信息，同时，对提取的连续帧图像特征点进行检测并返回其像素位置；所述位置预测模块与图像特征点检测模块通讯连接，用于根据车辆运动状态与车载相机外参预测路面特征点在下一帧中的位置；特征匹配模块基于局部图像信息与运动信息对连续帧特征点进行匹配并输出配对信息。9.根据权利要求8所述的基于区域与运动信息的路面图像特征匹配系统，其特征在于，还包括一路面特征点初筛模块，所述路面特征点初筛模块与图像特征点检测模块双向通讯连接，用于对分区检测后的路面特征点初筛，确定所提取特征点位于路面，并将初筛信息反馈到图像特征点检测模块。

技术总结
本发明公开了一种基于区域与运动信息的路面图像特征匹配方法及系统，匹配方法如下：包括如下步骤：步骤1，数据输入，输入车载相机所拍摄的实时路面连续帧图像、车辆当前运动信息、车载相机参数；步骤2，采用FAST角点检测算法对输入的连续帧图像进行特征点分区检测；步骤3，基于车载相机位置与图像信息对分区检测后的路面特征点初筛，确定所提取特征点位于路面；步骤4，基于车身运动信息和相机模型对第一帧路面特征点在第二帧中的位置进行预测；步骤5，以步骤4中预测点的世界坐标为中心，基于局部图像信息与运动信息对连续帧特征点进行匹配并输出配对信息。配并输出配对信息。配并输出配对信息。


技术研发人员：张德泽 单玉梅
受保护的技术使用者：重庆长安汽车股份有限公司
技术研发日：2022.02.27
技术公布日：2022/5/30