车辆的定位与建图方法、设备、存储介质及程序产品与流程

摘要: 本技术涉及自动驾驶环境感知与定位建图,尤其涉及一种车辆的定位与建图方法、设备、存储介质及程序产品。背景技术:1、在自动驾驶场景中,随着自动驾驶技术向高阶演进,车...
车辆的定位与建图方法、设备、存储介质及程序产品与流程

本技术涉及自动驾驶环境感知与定位建图,尤其涉及一种车辆的定位与建图方法、设备、存储介质及程序产品。

背景技术:

1、在自动驾驶场景中,随着自动驾驶技术向高阶演进,车辆需在城市高楼密集区、隧道、地下车库及城区主干道等复杂工况下完成定位与地图构建,确保行车安全与通行效率。

2、在相关技术中,车辆通过全球导航卫星系统(global navigation satellitesystem,gnss),接收卫星信号解算自身的全局位置信息,并基于该全局位置信息将车载传感器采集的环境数据映射至全局坐标系,以完成定位与地图构建。

3、然而,在上述过程中,复杂工况下,gnss容易因遮挡、反射等因素造成中断或失效的情况,导致车辆的定位与建图的可靠性较低。

技术实现思路

1、本技术提供一种车辆的定位与建图方法、设备、存储介质及程序产品,用以解决车辆的定位与建图的可靠性较低的问题。

2、第一方面,本技术提供一种车辆的定位与建图方法,包括:

3、获取车辆行驶的多源感知信息,多源感知信息包括多帧连续的第一视觉图像、雷达点云数据以及车辆的运动数据;

4、对多个第一视觉图像进行目标分割处理,得到多个第二视觉图像,并对多个第二视觉图像进行帧间特征处理,得到第一位姿信息,第二视觉图像包括车辆周围环境的静态背景区域;

5、对雷达点云数据进行特征配准处理,得到第二位姿信息,并对运动数据进行帧间位姿预测,得到第三位姿信息;

6、根据第一位姿信息、第二位姿信息和第三位姿信息,确定目标位姿信息;根据目标位姿信息和雷达点云数据,构建三维环境地图。

7、在一种可能的实施方式中,对多个第一视觉图像进行目标分割处理,得到多个第二视觉图像,包括:

8、通过检测模型的特征提取模块,对各第一视觉图像进行特征提取,得到多个视觉特征图;

9、对多个视觉特征图进行目标分割处理,得到对应的第二视觉图像。

10、在一种可能的实施方式中,得到多个视觉特征图,包括:

11、通过特征提取模块的注意力机制,对特征提取模块输出的特征图进行区域划分处理,确定多个目标特征区域;

12、对多个目标特征区域进行像素级注意力计算,得到多个视觉特征图。

13、在一种可能的实施方式中,对多个视觉特征图进行目标分割处理,得到对应的第二视觉图像,包括:

14、通过检测模型的检测模块,确定各视觉特征图的检测参数,检测参数用于指示是否存在移动对象;

15、根据检测参数,确定多个第二视觉图像。

16、在一种可能的实施方式中,确定多个第二视觉图像,包括:

17、在检测参数指示不存在移动对象时,将视觉特征图对应的第一视觉图像确定为第二视觉图像;

18、在检测参数指示存在移动对象时,对视觉特征图进行分割处理,得到第二视觉图像。

19、在一种可能的实施方式中,对视觉特征图进行分割处理,得到第二视觉图像,包括:

20、通过检测模型的分割模块,生成视觉特征图中移动对象的掩码;

21、对掩码所覆盖区域进行剔除,得到第二视觉图像。

22、在一种可能的实施方式中,对多个第二视觉图像进行帧间特征处理,得到第一位姿信息,包括:

23、对各第二视觉图像进行特征提取,得到多个视觉特征点和多个视觉特征线;

24、对各视觉特征点和各视觉特征线进行帧间匹配,得到第一位姿信息。

25、在一种可能的实施方式中,得到第一位姿信息,包括:

26、确定各视觉特征点和各视觉特征线的帧间相似度,并根据帧间相似度,确定多个特征匹配对;

27、根据预设的坐标映射关系和多个特征匹配对,确定第一位姿信息。

28、在一种可能的实施方式中,对雷达点云数据进行特征配准处理,得到第二位姿信息,包括:

29、对雷达点云数据进行特征提取,得到多个边缘特征和多个平面特征;

30、对相邻帧的边缘特征与平面特征进行点云配准,得到第二位姿信息。

31、在一种可能的实施方式中,对相邻帧的边缘特征与平面特征进行点云配准,得到第二位姿信息,包括:

32、对边缘特征和平面特征进行粗配准,得到初始位姿信息;

33、基于初始位姿信息,对边缘特征和平面特征进行精配准,得到第二位姿信息。

34、在一种可能的实施方式中,对运动数据进行帧间位姿预测,得到第三位姿信息,包括:

35、在相邻图像帧的时间间隔内,对运动数据进行预积分处理,得到速度增量、位置增量和旋转增量;

36、根据速度增量、位置增量和旋转增量,确定第三位姿信息。

37、在一种可能的实施方式中,确定目标位姿信息,包括:

38、确定视觉特征点集与雷达特征点集的深度关联关系,视觉特征点集包括视觉特征点与视觉特征线的采样点,雷达特征点集包括边缘特征点与平面特征点;

39、根据深度关联关系、第一位姿信息、第二位姿信息和第三位姿信息,确定目标位姿信息。

40、在一种可能的实施方式中,确定视觉特征点集与雷达特征点集的深度关联关系,包括:

41、将视觉特征点集和雷达特征点集投影至以相机光心为球心的球坐标系;

42、根据雷达特征点集,确定视觉特征点集中各视觉特征点的深度值;

43、根据深度值,建立深度关联关系。

44、在一种可能的实施方式中,确定目标位姿信息,包括:

45、根据深度关联关系、第一位姿信息、第二位姿信息和第三位姿信息,构建目标函数;

46、对目标函数进行优化求解,在满足收敛条件时得到目标位姿信息。

47、在一种可能的实施方式中,构建目标函数,包括:

48、确定第一位姿信息对应的像素残差项、第二位姿信息对应的点云残差项、第三位姿信息对应的预测残差项、以及深度关联关系对应的距离残差项;

49、将像素残差项、点云残差项、预测残差项和距离残差项进行加权求和,得到目标函数。

50、在一种可能的实施方式中,根据目标位姿信息和雷达点云数据,构建三维环境地图,包括:

51、根据目标位姿信息,将雷达特征点集进行坐标转换,得到世界坐标系下的点云特征;

52、基于世界坐标系下的点云特征对应的体素区域,对三维体素地图进行增量更新,得到三维环境地图。

53、第二方面,本技术提供一种车辆的定位与建图装置,其中:

54、获取模块用于,获取车辆行驶的多源感知信息,多源感知信息包括多帧连续的第一视觉图像、雷达点云数据以及车辆的运动数据;

55、第一处理模块用于,对多个第一视觉图像进行目标分割处理,得到多个第二视觉图像,并对多个第二视觉图像进行帧间特征处理,得到第一位姿信息,第二视觉图像包括车辆周围环境的静态背景区域;

56、第二处理模块用于,对雷达点云数据进行特征配准处理,得到第二位姿信息,并对运动数据进行帧间位姿预测,得到第三位姿信息;

57、第三处理模块用于,根据第一位姿信息、第二位姿信息和第三位姿信息,确定目标位姿信息;根据目标位姿信息和雷达点云数据,构建三维环境地图。

58、第三方面,本技术实施例提供一种车辆的定位与建图设备,包括:至少一个处理器和存储器;存储器存储计算机执行指令;至少一个处理器执行存储器存储的计算机执行指令,使得至少一个处理器执行如上第一方面以及第一方面任一项涉及的车辆的定位与建图方法。

59、第四方面,本技术实施例提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,当处理器执行计算机执行指令时,实现如上第一方面以及第一方面任一项涉及的车辆的定位与建图方法。

60、第五方面,本技术提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时,实现如上第一方面以及第一方面任一项涉及的车辆的定位与建图方法。

61、本技术提供的车辆的定位与建图方法、设备、存储介质及程序产品,通过获取包括第一视觉图像、雷达点云数据和运动数据的多源感知信息,对第一视觉图像进行目标分割处理得到包括静态背景区域的第二视觉图像并进行帧间特征处理得到第一位姿信息,对雷达点云数据进行特征配准处理得到第二位姿信息,对运动数据进行帧间位姿预测得到第三位姿信息,确定目标位姿信息并构建三维环境地图。在上述方法中,通过对第一视觉图像进行目标分割处理,能够剔除动态目标并保留静态背景区域,有效避免了动态目标遮挡导致的特征误匹配和定位漂移的问题;通过融合视觉、雷达和运动数据分别得到的第一位姿信息、第二位姿信息和第三位姿信息,无需依赖gnss即可确定目标位姿并构建三维环境地图,提升了在gnss失效场景下的定位与建图可靠性;并且,该方法可适用于城市高楼密集区、隧道、地下车库等复杂工况,降低了车载终端对gnss的依赖,在提高定位与建图精度的基础上,提高了车辆定位与建图的可靠性。