车载相机实时俯仰角标定方法、电子设备及存储介质与流程

摘要: 本公开涉及计算机视觉与智能驾驶,特别涉及一种车载相机实时俯仰角标定方法、装置、电子设备、存储介质及计算机程序产品。背景技术:1、目前,自动驾驶和辅助驾驶等领域发...
车载相机实时俯仰角标定方法、电子设备及存储介质与流程

本公开涉及计算机视觉与智能驾驶,特别涉及一种车载相机实时俯仰角标定方法、装置、电子设备、存储介质及计算机程序产品。

背景技术:

1、目前,自动驾驶和辅助驾驶等领域发展迅速,车辆上安装的车载相机外参在车道线检测、障碍物测距、目标跟踪与融合定位等任务中具有重要作用。车载相机外参通常包括航向角、俯仰角和滚转角,其中俯仰角(pitch)对基于接地点的单目测距、障碍物高度尺度估计以及三维重建精度影响尤为显著。

2、相关技术中,车载相机俯仰角实时标定主要包括以下方案:

3、一类方案基于图像中与车辆前进方向平行的结构线(例如道路边界、车道线)的消失点(灭点)。当相机完全水平时,地面上与前进方向平行的线在图像正中高度(光心水平线)附近汇聚;当相机向下压(pitch<0)时消失点上移,当相机抬起(pitch>0)时消失点下移,因而消失点在图像中的纵向位置与俯仰角存在对应关系。

4、另一类方案基于光流。车辆前进时,图像中的光流大致沿径向从消失点向外发散;若相机存在俯仰角,地面区域的光流方向场会出现垂直方向的系统性偏移,可据此估计俯仰角。

5、还有一类方案基于惯性测量单元(imu)等里程计信息对相机姿态进行估计或校正。

6、然而,基于消失点/车道线的方案在无车道线、弯道(车道线并非直线)、车道线磨损、被前车遮挡或车道线边缘成像不清晰等场景下可靠性下降;基于两帧光流的方案则容易因错误匹配光流难以剔除、选择不同的光流对确定的消失点不一致,导致估计出的消失点发散,进而导致俯仰角估计不准确。因此,如何在无需标定板、无需强依赖车道线的条件下,实现车载相机俯仰角的实时稳健标定,成为亟需解决的问题。

技术实现思路

1、本公开提供了一种车载相机实时俯仰角标定方法、装置、电子设备、存储介质及计算机程序产品,可以提高车载相机俯仰角实时标定的稳健性与准确性。所述技术方案如下:

2、第一方面,提供了一种车载相机实时俯仰角标定方法,所述方法包括:

3、获取车载相机连续采集的多帧图像序列,以及车辆在相邻帧之间的自运动信息,所述自运动信息包括平移信息与旋转信息,所述车载相机在所述车辆上的安装高度已知;

4、对所述多帧图像序列中相邻帧提取光流,并对所述光流进行跨帧跟踪,形成光流轨迹;

5、对所述光流轨迹进行筛选,得到稳定光流轨迹;

6、根据所述稳定光流轨迹、所述自运动信息以及所述安装高度,估计地面法向量,并根据所述地面法向量确定第一俯仰角;

7、根据所述稳定光流轨迹估计所述车辆前进方向上的消失点,并根据所述消失点确定第二俯仰角;

8、对所述第一俯仰角与所述第二俯仰角进行融合,得到所述车载相机的俯仰角标定结果。

9、可选地,所述对所述多帧图像序列中相邻帧提取光流,并对所述光流进行跨帧跟踪,形成光流轨迹,包括:在所述多帧图像序列的当前帧中提取特征点;基于光流估计方法,对所述特征点在相邻帧之间的位移进行估计,得到所述特征点对应的光流;对跟踪成功的特征点更新坐标并累加跟踪时长,对跟踪失败的特征点进行剔除,从而形成每一特征点在时间维度上的光流轨迹。

10、可选地,所述在所述多帧图像序列的当前帧中提取特征点,包括:将所述当前帧划分为多个等大小的网格;在每个所述网格中检测候选特征点;在每个所述网格中仅保留响应最高的一个候选特征点,作为该网格对应的特征点。

11、可选地,所述对跟踪成功的特征点更新坐标并累加跟踪时长,对跟踪失败的特征点进行剔除,包括:为每个所述特征点分配唯一标识,并维护所述特征点的跟踪时长;当所述特征点在相邻帧之间跟踪成功时,更新所述特征点的坐标,并将所述特征点的跟踪时长加一;当所述特征点跟踪失败时,删除所述特征点,并在所述特征点所在网格中重新提取特征点。

12、可选地,所述对所述光流轨迹进行筛选,得到稳定光流轨迹,包括:根据轨迹长度阈值约束,保留跟踪时长大于预设跟踪时长阈值的光流轨迹;根据几何一致性约束,剔除跳变大或漂移不稳定的光流轨迹;将保留下的光流轨迹作为所述稳定光流轨迹。

13、可选地,所述根据几何一致性约束,剔除跳变大或漂移不稳定的光流轨迹,包括:获取每条所述光流轨迹的一致性指标,所述一致性指标包括轨迹残差、加速度变化量或重投影误差中的至少一种;剔除所述一致性指标超过对应预设指标阈值的光流轨迹。

14、可选地,所述对所述光流轨迹进行筛选,得到稳定光流轨迹,还包括:对所述多帧图像序列中的图像进行图像分割,得到地面区域;剔除位于所述地面区域以外的光流点对应的光流轨迹,以得到地面区域的稳定光流轨迹。

15、可选地,所述根据所述稳定光流轨迹、所述自运动信息以及所述安装高度,估计地面法向量,包括:根据所述地面区域的稳定光流轨迹中匹配的光流点对、所述自运动信息中的旋转信息与平移信息,以及所述安装高度,基于平面单应关系建立关于地面法向量的约束方程;对所述约束方程进行求解,得到所述地面法向量。

16、可选地,所述基于平面单应关系建立关于地面法向量的约束方程,包括:将匹配光流点对在前一帧图像中的像素坐标与在后一帧图像中的像素坐标分别转换为齐次坐标;根据已知的相机内参,将所述齐次坐标转换为归一化相机坐标;根据平面诱导单应矩阵与两帧归一化相机坐标之间的映射关系,建立关于所述地面法向量的线性方程组,所述平面诱导单应矩阵由两帧间旋转、平移、所述安装高度以及所述地面法向量共同表征。

17、可选地,所述线性方程组中,第i对匹配光流点对对应的约束为:

18、;

19、将多对匹配光流点对对应的约束联立为最小二乘形式:

20、;

21、其中,xi与x′i分别为第i对匹配光流点对在前一帧与后一帧中的归一化相机坐标,r为两帧间旋转,t为平移,ρ为所述安装高度,n为所述地面法向量,“×”表示向量叉乘,a为由多对匹配光流点对对应的约束系数堆叠得到的系数矩阵,b为由对应的已知量堆叠得到的向量。

22、可选地,所述根据所述地面法向量确定第一俯仰角,包括:将所述地面法向量与垂直方向之间的夹角确定为所述第一俯仰角。

23、可选地,所述根据所述稳定光流轨迹估计所述车辆前进方向上的消失点,包括:基于所述稳定光流轨迹对应的特征点的光流方向,构建光流直线;对多条所述光流直线进行一致性估计,求解多条所述光流直线的最佳交汇点,作为所述车辆前进方向上的消失点。

24、可选地,所述对多条所述光流直线进行一致性估计,求解多条所述光流直线的最佳交汇点,包括:采用随机抽样一致性方法对多条所述光流直线的光流方向进行一致性投票;剔除未通过所述一致性投票的异常光流直线,并求解通过所述一致性投票的光流直线的最佳交汇点,作为所述消失点。

25、可选地,在所述根据所述稳定光流轨迹估计所述车辆前进方向上的消失点之前,所述方法还包括:根据所述稳定光流轨迹对应的特征点的运动特征,识别并剔除来自干扰目标的特征点,所述干扰目标包括车辆近端目标、行人以及动态车辆中的至少一种。

26、可选地,所述根据所述消失点确定第二俯仰角,包括:根据所述车载相机的焦距、图像中光心的纵坐标以及所述消失点的纵坐标,通过如下公式确定所述第二俯仰角:

27、;

28、其中,pitch2为所述第二俯仰角,vpy为所述消失点的纵坐标,cy为所述光心的纵坐标,f为所述车载相机的焦距。

29、可选地,所述对所述第一俯仰角与所述第二俯仰角进行融合,得到所述车载相机的俯仰角标定结果,包括:将所述第一俯仰角与所述第二俯仰角输入融合滤波器,通过所述融合滤波器输出所述车载相机的俯仰角标定结果。

30、第二方面,提供了一种车载相机实时俯仰角标定装置,所述装置包括:获取模块,用于获取车载相机连续采集的多帧图像序列,以及车辆在相邻帧之间的自运动信息,所述自运动信息包括平移信息与旋转信息,所述车载相机在所述车辆上的安装高度已知;光流轨迹模块,用于对所述多帧图像序列中相邻帧提取光流,并对所述光流进行跨帧跟踪,形成光流轨迹;筛选模块,用于对所述光流轨迹进行筛选,得到稳定光流轨迹;第一俯仰角模块,用于根据所述稳定光流轨迹、所述自运动信息以及所述安装高度,估计地面法向量,并根据所述地面法向量确定第一俯仰角;第二俯仰角模块,用于根据所述稳定光流轨迹估计所述车辆前进方向上的消失点,并根据所述消失点确定第二俯仰角;融合模块,用于对所述第一俯仰角与所述第二俯仰角进行融合,得到所述车载相机的俯仰角标定结果。

31、第三方面,提供了一种电子设备,所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现本公开任一个实施方式的车载相机实时俯仰角标定方法。

32、第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现本公开任一个实施方式的车载相机实时俯仰角标定方法。

33、第五方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现本公开任一个实施方式的车载相机实时俯仰角标定方法。