三维重建方法、装置、设备及自动驾驶车辆与流程

本公开涉及计算机，尤其涉及计算机视觉、点云处理、三维重建、自动驾驶感知等，可应用于自动驾驶等场景，尤其涉及一种三维重建方法、装置、设备及自动驾驶车辆。

背景技术：

1、三维重建是指利用计算机视觉、图形学、摄影测量等技术，将真实世界中的物体、场景或环境转换为三维数字模型的过程。是自动驾驶三维场景感知、环境建模、占用栅格预测等核心任务的基础支撑技术，能够将车辆行驶过程中感知到的真实物理场景转化为可量化、可计算的数字化三维结构，为自动驾驶车辆的决策规划、障碍物规避、场景理解提供精准的空间数据支撑。相较于传统二维感知技术，三维重建可完整保留场景的空间尺度、几何形态、位置关系等多维信息，有效弥补二维感知深度缺失、空间表征不完整的缺陷，现已成为高阶自动驾驶感知系统不可或缺的核心技术模块。

2、目前，利用激光点云对车辆周边环境进行三维重建的现有技术存在诸多亟待解决的问题。一方面，车辆行驶工况下，外界障碍物遮挡、光照条件变化、观测视角动态偏移等干扰，会直接导致采集的激光点云出现稀疏、局部数据缺失、噪声叠加等质量缺陷；另一方面，相关技术中的重建手段仅基于原始点云进行纯几何重构，对于叉车、拖车等异形车辆，因其形体结构复杂、局部特征辨识度偏低，极易产生模型畸变、结构残缺等重建失败问题，大幅降低了三维重建的可靠性与鲁棒性。

技术实现思路

1、本公开提供了一种三维重建方法、装置、电子设备及自动驾驶车辆。

2、根据本公开的一方面，提供了一种三维重建方法，所述方法包括：获取车辆行驶过程中的时序数据；其中，所述时序数据包括时空对齐的多帧连续激光点云和多帧连续图像，任一帧所述激光点云包括多个激光点；基于所述时序数据，从所述多帧连续激光点云中确定目标对象关联的目标激光点；其中，所述目标对象处于所述车辆所处周边场景中；基于所述目标对象关联的目标激光点进行三维重建，得到所述目标对象的初始三维模型；响应于所述初始三维模型重建失败，基于所述目标对象的目标特征描述子，从多个预设对象模板中获取与所述目标对象匹配的目标对象模板；其中，所述目标特征描述子是基于所述目标激光点体素化所得到的多个体素中目标体素与所述目标对象的底部中心点之间的距离确定的，所述目标体素是沿着预设采样方向确定的；将所述初始三维模型与所述目标对象模板进行融合，以得到所述目标对象的目标三维模型。

3、根据本公开的另一方面，提供了一种三维重建装置，所述装置包括：第一获取模块，用于获取车辆行驶过程中的时序数据；其中，所述时序数据包括时空对齐的多帧连续激光点云和多帧连续图像，任一帧所述激光点云包括多个激光点；第一确定模块，用于基于所述时序数据，从所述多帧连续激光点云中确定目标对象关联的目标激光点；其中，所述目标对象处于所述车辆所处周边场景中；重建模块，用于基于所述目标对象关联的目标激光点进行三维重建，得到所述目标对象的初始三维模型；第二获取模块，用于响应于所述初始三维模型重建失败，基于所述目标对象的目标特征描述子，从多个预设对象模板中获取与所述目标对象匹配的目标对象模板；其中，所述目标特征描述子是基于所述目标激光点体素化所得到的多个体素中目标体素与所述目标对象的底部中心点之间的距离确定的，所述目标体素是沿着预设采样方向确定的；第一融合模块，用于将所述初始三维模型与所述目标对象模板进行融合，以得到所述目标对象的目标三维模型。

4、根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开上述提出的三维重建方法。

5、根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行本公开上述提出的三维重建方法。

6、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开上述提出的三维重建方法的步骤。

7、根据本公开的另一方面，提供了一种自动驾驶车辆，包括如本公开的另一方面的电子设备。

8、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种三维重建方法，所述方法包括：

2.根据权利要求1所述的方法，其中，所述目标特征描述子的确定方法包括以下步骤：

3.根据权利要求1所述的方法，其中，所述目标特征描述子的确定方法包括以下步骤：

4.根据权利要求3所述的方法，其中，任一所述子特征描述子包括多个维度的取值；

5.根据权利要求1所述的方法，其中，任一所述预设对象模板具有对应的模板特征描述子；所述基于所述目标对象的目标特征描述子，从多个预设对象模板中获取与所述目标对象匹配的目标对象模板，包括：

6.根据权利要求5所述的方法，其中，所述目标特征描述子和所述模板特征描述子均包括多个维度的取值；

7.根据权利要求5所述的方法，其中，在所述基于各所述预设对象模板对应的描述子相似度，从所述多个预设对象模板中确定所述目标对象模板之前，所述方法还包括：

8.根据权利要求1所述的方法，其中，所述基于所述时序数据，从所述多帧连续激光点云中确定目标对象关联的目标激光点，包括：

9.根据权利要求8所述的方法，其中，所述目标检测框具有对应的位置信息；所述基于所述点云语义信息和/或所述目标检测框，从所述激光点云中提取与所述目标对象关联的候选激光点，包括：

10.根据权利要求9所述的方法，其中，所述基于所述运动状态，以及所述点云语义信息和/或所述目标检测框，从所述当前帧激光点云中提取与所述目标对象关联的候选激光点，包括：

11.根据权利要求10所述的方法，其中，所述响应于所述运动状态为静态，基于所述当前帧激光点云对应的点云语义信息和目标检测框，从所述当前帧激光点云中提取所述候选激光点，包括：

12.根据权利要求9所述的方法，其中，任一所述激光点具有对应的速度向量；所述基于所述运动状态，以及所述点云语义信息和/或所述目标检测框，从所述当前帧激光点云中提取与所述目标对象关联的候选激光点，包括：

13.根据权利要求12所述的方法，其中，所述基于所述当前帧激光点云中的多个激光点对应的速度向量，对所述当前帧激光点云中的多个激光点进行聚类，得到至少一个目标聚类簇，包括：

14.根据权利要求12所述的方法，其中，所述方法还包括：

15.根据权利要求14所述的方法，其中，所述方法还包括：

16.根据权利要求12所述的方法，其中，所述当前帧激光点云中包括第二噪声点，所述第二噪声点为不属于所述至少一个目标聚类簇中的任意目标聚类簇的激光点；所述方法还包括：

17.根据权利要求12所述的方法，其中，所述根据所述目标对象在所述当前帧激光点云下的目标检测框以及所述至少一个目标聚类簇，从所述当前帧激光点云中提取所述候选激光点，包括：

18.根据权利要求12所述的方法，其中，所述将所述多帧连续激光点云中与所述目标对象关联的候选激光点，确定为所述目标激光点，包括：

19.根据权利要求8所述的方法，其中，所述目标对象为多个；

20.根据权利要求8所述的方法，其中，在所述基于所述目标对象关联的目标激光点进行三维重建，得到所述目标对象的初始三维模型之后，所述方法还包括：

21.根据权利要求8所述的方法，其中，在所述基于所述目标对象关联的目标激光点进行三维重建，得到所述目标对象的初始三维模型之后，所述方法还包括：

22.根据权利要求1-21中任一所述的方法，其中，所述多个预设对象模板存储于点云模板库中；所述方法还包括：

23.一种三维重建装置，所述装置包括：

24. 一种电子设备，包括：

25.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至22中任一项所述的方法。

26.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至22中任一项所述的方法。

27.一种自动驾驶车辆，包括如权利要求24所述的电子设备。