一种车体模型构建方法、装置、电子设备及存储介质与流程

1.本发明涉及无人驾驶技术领域，具体涉及一种车体模型构建方法、装置、电子设备及存储介质。


背景技术：

2.无人驾驶技术是指车辆在不需要人为操作的情况下，通过自身配备的传感器感知行驶环境，自主决策行驶路径，并控制车辆按照期望的路径到达期望目的地的技术。无人驾驶技术作为当今世界最具潜力之一的技术，代表了汽车产业发展的战略方向，已成为国际国内新一轮科技革命和产业变革竞争的战略制高点。相机能够感知的外界信息最丰富，因此视觉相机是无人驾驶车辆的常用基本配置。
3.在自动驾驶系统中，道路上车辆的可视化对于驾驶员来说有着至关重要的作用，现有技术中主要是根据单帧观测的车辆图像进行三维重建，由于只用到单帧观测，重建的车辆模型可能会与实际的车辆车型存在差异，准确度不够高。


技术实现要素：

4.有鉴于此，本发明实施例提供了一种车体模型构建方法、装置、电子设备及存储介质，以解决构建的车体模型与实际车体的相似度较低的问题。
5.根据第一方面，本发明实施例提供了一种车体模型构建方法，包括：获取目标车辆的第一可见点云；基于所述第一可见点云计算所述目标车辆的稠密模型以及所述稠密模型的特征；获取所述目标车辆至少一帧的第二可见点云，将所述第二可见点云与所述第一可见点云进行融合，得到所述目标车辆的目标可见点云以及所述目标车辆的不可见点云，所述第一可见点云和第二可见点云分别是从不同角度采集到的所述目标车辆的点云；基于所述不可见点云、目标可见点云以及稠密模型的特征构建目标函数，并对所述目标函数进行优化，得到优化后的稠密模型的特征，以确定优化后的所述稠密模型。
6.本发明实施例提供的车体模型构建方法，首先获取目标车辆的第一可见点云，并基于第一可见点云计算与其对应的目标车辆的稠密模型以及稠密模型的特征，结合至少一帧的第二可见点云，对第一可见点云进行更新，得到目标可见点云与不可见点云，构造目标函数进行优化，最终得到优化后的目标车辆的稠密模型。本方法考虑到目标车辆的移动，结合至少一帧进行点云融合，生成的稠密模型与实际的目标车辆更加相似，提升了车体模型构建的效率。
7.在一些实施方式中，所述基于所述第一可见点云计算所述目标车辆的稠密模型以及所述稠密模型的特征，包括基于预设车体构建模型，将所述第一可见点云进行离散化处理，生成与所述第一可见点云对应的二值立方体；基于所述二值立方体确定与所述二值立方体对应的稠密模型，以确定所述稠密模
型与所述第一可见点云的对应关系，所述稠密模型是关于所述稠密模型的特征的函数。
8.在一些实施方式中，所述获取所述目标车辆至少一帧的第二可见点云，将所述第二可见点云与所述第一可见点云进行融合，得到所述目标车辆的目标可见点云以及所述目标车辆的不可见点云，包括：基于相机在不同时刻获取的图像确定所述目标车辆的至少一帧的第二可见点云；基于所述相机的位姿对所述第二可见点云与所述第一可见点云进行融合，对所述第一可见点云进行更新，以得到所述目标车辆的目标可见点云以及不可见点云。
9.在一些实施方式中，所述基于所述不可见点云、目标可见点云以及稠密模型的特征构建目标函数，包括：基于所述不可见点云计算所述目标车辆的不可见区域与可见区域的比例；基于所述比例、不可见点云、目标可见点云以及稠密模型的特征构建目标函数。
10.在一些实施方式中，所述目标车辆的不可见区域与可见区域的比例按照如下公式计算：其中，i表示x轴坐标，j表示y轴坐标，表示z轴坐标，表示空间坐标为的所述不可见点云，表示所述比例。
11.在一些实施方式中，所述目标函数按照如下公式计算：其中，i表示x轴坐标，j表示y轴坐标，表示z轴坐标，表示空间坐标为的所述不可见点云，表示所述比例，表示所述目标函数，表示空间坐标为的所述目标可见点云，表示所述稠密模型，表示所述稠密模型的特征，表示优化后的稠密模型的特征，表示优化后的稠密模型。
12.在一些实施方式中，所述方法还包括：基于所述稠密模型与所述第一可见点云的对应关系，结合用于获取所述第一可见点云的相机的位姿，将所述优化后的稠密模型转到世界坐标系，以替换所述目标车辆的第一可见点云。
13.根据第二方面，本发明实施例提供了一种车体模型构建装置，包括：第一点云获取模块，用于获取目标车辆的第一可见点云；特征计算模块，用于基于所述第一可见点云计算所述目标车辆的稠密模型以及所述稠密模型的特征；点云融合模块，用于获取所述目标车辆至少一帧的第二可见点云，将所述第二可见点云与所述第一可见点云进行融合，得到所述目标车辆的目标可见点云以及所述目标车
辆的不可见点云，所述第一可见点云和第二可见点云分别是从不同角度采集到的所述目标车辆的点云；模型优化模块，用于基于所述不可见点云、目标可见点云以及稠密模型的特征构建目标函数，并对所述目标函数进行优化，得到优化后的稠密模型的特征，以确定优化后的所述稠密模型。
14.根据第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的车体模型构建方法。
15.根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的车体模型构建方法。
附图说明
16.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1是根据本发明实施例的车体模型构建方法的流程图；图2是根据本发明实施例的车体模型构建装置的结构框图；图3是本发明实施例提供的电子设备的结构示意图。
具体实施方式
18.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.根据本发明实施例，提供了一种车体模型构建方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
20.本发明实施例提供一种车体模型构建方法，图1是根据本发明实施例的车体模型构建方法的流程图，如图1所示，该流程包括如下步骤：s11，获取目标车辆的第一可见点云。
21.在自动驾驶场景中，需要对车辆所行驶的道路进行可视化处理，尤其是道路上的其他车辆的可视化，确定其他车辆的车型有利于针对性地调整本车的行驶速度，从而提高行车的安全性。在本步骤中，目标车辆即道路上的其他车辆，可通过图像采集设备获取目标车辆的第一可见点云，图像采集设备可以是设置在车辆上的相机、激光雷达等，图像采集设备的数量以及分布不作限定，在实际应用中，可以根据车辆的构造灵活调整图像采集设备
的分布，图像采集设备的类型也可以根据实际应用场景的需求进行灵活调整。
22.第一可见点云是根据图像采集设备采集到的目标车辆的局部点云，由于图像采集设备所在的车辆处于目标车辆的某一方位，因此只能采集到部分目标车辆的点云，存在不可见的区域。
23.具体地，可以在车辆行驶过程中，通过激光雷达获取车辆某一方位的道路的点云，在从点云中划分出目标车辆的点云，也就是第一可见点云。
24.s12，基于第一可见点云计算目标车辆的稠密模型以及稠密模型的特征。
25.通过第一可见点云计算与该第一可见点云对应的目标车辆的稠密模型，稠密模型是目标车辆的完整模型，具体地，可将第一可见点云输入预先训练好的神经网络模型，由神经网络模型对第一可见点云进行计算，预测得到稠密模型，稠密模型是关于稠密模型的特征的函数，这里得到的稠密模型的特征可以认为是一种初始的隐式表征，稠密模型也是初始模型，由于这里只是基于第一可见点云进行预测，因此还需对稠密模型进行优化。用于预测的神经网络模型可以是编码-解码器网络模型，在训练后，可基于物体的点云进行三维模型的重建。
26.s13，获取目标车辆至少一帧的第二可见点云，将第二可见点云与第一可见点云进行融合，得到目标车辆的目标可见点云以及目标车辆的不可见点云。
27.第一可见点云和第二可见点云分别是从不同角度采集到的目标车辆的点云。在车辆的行驶过程中，随着车辆以及目标车辆的移动，图像采集设备可能会从不同角度采集到目标车辆的点云，因此在第一可见点云之后，还可获得关于目标车辆的连续的多帧可见点云，也就是第二可见点云，第二可见点云不一定仅是一帧点云，也可以是一帧以上的连续多帧的点云，不管是哪种，在获取第二可见点云后将其与第一可见点云进行融合处理，点云融合的方法不作限定，融合后得到目标车辆的目标可见点云，可以将目标可见点云理解为是对第一可见点云的更新，同时还可基于同样的方式计算得到目标车辆的不可见点云。不可见点云为目标车辆的不可见区域，是一种掩码，目标可见点云与不可见点云具有相同的维度。
28.s14，基于不可见点云、目标可见点云以及稠密模型的特征构建目标函数，并对目标函数进行优化，得到优化后的稠密模型的特征，以确定优化后的所述稠密模型。
29.在得到不可见点云、目标可见点云以及稠密模型的特征之后，可构建目标函数，通过对目标函数的优化，实现对稠密模型的特征的迭代，得到迭代后的特征后，即可确定优化后的稠密模型。在该过程中，在点云帧数较少时，观察覆盖范围可能不会很高，因此正则化更为重要，在积累较多的第二可见点云，并更新第一可见点云得到目标可见点云后，目标可见点云本身通常足够对稠密模型的特征进行约束。
30.本发明实施例提供的车体模型构建方法，首先获取目标车辆的第一可见点云，并基于第一可见点云计算与其对应的目标车辆的稠密模型以及稠密模型的特征，结合至少一帧的第二可见点云，对第一可见点云进行更新，得到目标可见点云与不可见点云，构造目标函数进行优化，最终得到优化后的目标车辆的稠密模型。本方法考虑到目标车辆的移动，结合至少一帧进行点云融合，生成的稠密模型与实际的目标车辆更加相似，提升了车体模型构建的效率。
31.本发明实施例提供一种计算稠密模型的方法，对应于图1中的s12，该流程包括如
下步骤：s121，基于预设车体构建模型，将第一可见点云进行离散化处理，生成与第一可见点云对应的二值立方体。
32.预设车体构建模型是一种预先训练好的神经网络模型，可以采用编码-解码器网络模型。在计算之前可对车体构建模型进行训练，具体地，可用表示三维体素网格v中位置的值，网络损失函数由二元交叉熵给出，损失函数如下：其中，n表示分辨率，表示损失函数，表示空间坐标为的目标变量，，表示空间坐标为的估计变量，。
33.将第一可见点云输入训练后的预设车体构建模型，第一可见点云会离散化为二值立方体，在本实施例中输出的二值立方体大小为32*32*32。
34.s122，基于二值立方体确定与二值立方体对应的稠密模型，以确定所述稠密模型与所述第一可见点云的对应关系，稠密模型是关于稠密模型的特征的函数。
35.离散化为二值立方体之后，得到与其对应的预测结果，即物体的完整模型，在本实施例中为目标车辆的稠密模型，稠密模型是关于稠密模型的特征的函数。稠密模型的特征是一种隐式表征，基于第一可见点云计算得到的特征是一种初始的特征，由编码器给出初始特征，解码器给出初始完整的形状预测，即目标车辆的稠密模型。隐式表征的数据存储量更小，可节省空间，提升计算效率。
36.本发明实施例提供一种点云融合的方法，对应于图1中的s13，该流程包括如下步骤：s131，基于相机在不同时刻获取的图像确定目标车辆的至少一帧的第二可见点云。
37.在本实施例中，以图像采集设备为相机为例，在车辆的行驶过程中，随着车辆以及目标车辆的移动，相机可能会从不同角度采集到目标车辆的图像，因此在获取第一可见点云之后，还可基于采集到的目标车辆的图像获得连续的多帧可见点云，也就是第二可见点云，第二可见点云不一定仅是一帧点云，也可以是一帧以上的连续多帧的点云。具体地，可根据物体分割得到相机采集到的目标车辆的部分图像，再对图像进行处理获得目标车辆的第二可见点云。需要注意的是，图像采集设备也可以是激光雷达，具体可依据实际情况进行设置。
38.s132，基于相机的位姿对第二可见点云与第一可见点云进行融合，对第一可见点云进行更新，以得到所述目标车辆的目标可见点云以及不可见点云。
39.将第二可见点云根据相机的位姿变换，和第一可见点云进行融合，具体可采用多帧点云融合的相关算法进行完成第一可见点云与第二可见点云的融合，例如将空间体素离散化，将点云转化为三维网络。得到目标可见点云的过程也可以理解为是对第一可见点云的更新。在计算目标可见点云时，还可以同样的方式计算不可见点云，不可见点云为目标车
辆的不可见区域，目标可见点云与不可见点云是相同的维度。f表示目标可见点云，m表示不可见点云，当f_{i,j,k}=1，表示这个空间网格被观测到，是可见的；当m_{i,j,k}=1，表示空间网格（i,j,k）不可见。观测到的物体表面为可见点云，检查每个体素与图像采集设备中心的距离并与测量值进行比较，定义空间中的不可见点云。
40.具体地，可以通过lidar构建目标可见点云的深度图，对比当前体素投影回的深度值和实际深度值的距离，如果投影回的深度值大于实际深度值，这个体素在物体后面，说明这个体素是不可见的，那么目标可见点云就是0，不可见点云就是1；如果和实际深度值很接近，那么目标可见点云就是1，不可见点云就是0；如果比实际深度值小很多，这个体素在物体和相机之间，说明这个体素是可见的，则目标可见点云是0，不可见点云是0。不可见点云是一种掩码，可以有效平衡观测到的部分和不能观测到的部分。
41.本发明实施例提供一种构建目标函数的方法，对应于图1中的s14，该流程包括如下步骤：s141，基于不可见点云计算目标车辆的不可见区域与可见区域的比例。
42.在一些实施方式中，目标车辆的不可见区域与可见区域的比例按照如下公式计算：其中，i表示x轴坐标，j表示y轴坐标，表示z轴坐标，表示空间坐标为的不可见点云，表示比例。
43.s142，基于比例、不可见点云、目标可见点云以及稠密模型的特征构建目标函数。
44.在一些实施方式中，目标函数按照如下公式计算：其中，i表示x轴坐标，j表示y轴坐标，表示z轴坐标，表示空间坐标为的不可见点云，表示比例，表示目标函数，表示空间坐标为的目标可见点云，表示稠密模型，表示稠密模型的特征，表示优化后的稠密模型的特征，表示优化后的稠密模型。
45.在构建目标函数之后，对目标函数进行优化，即对进行迭代，达到更新稠密模型的目的。
46.在一些实施方式中，车体模型构建方法还包括：基于稠密模型与第一可见点云的对应关系，结合用于获取第一可见点云的相机的位姿，将优化后的稠密模型转到世界坐标系，以替换目标车辆的第一可见点云。
47.根据训练的预设车体构建模型，可以得到第一可见点云与稠密模型的对应关系，也就是将第一可见点云输入预设车体构建模型后，模型将输出稠密模型。结合用于获取第
一可见点云的相机的位姿，将稠密模型转到世界坐标系中，替换观测到的目标车辆的点云，达到可视化目标车辆的目的。这里相机是一种图像采集设备，实际也可以是其他图像采集设备，例如激光雷达。
48.在本实施例中还提供了一种车体模型构建装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
49.本实施例提供一种车体模型构建装置，如图2所示，包括：第一点云获取模块，用于获取目标车辆的第一可见点云；特征计算模块，用于基于所述第一可见点云计算所述目标车辆的稠密模型以及所述稠密模型的特征；点云融合模块，用于获取所述目标车辆至少一帧的第二可见点云，将所述第二可见点云与所述第一可见点云进行融合，得到所述目标车辆的目标可见点云以及所述目标车辆的不可见点云，所述第一可见点云和第二可见点云分别是从不同角度采集到的所述目标车辆的点云；模型优化模块，用于基于所述不可见点云、目标可见点云以及稠密模型的特征构建目标函数，并对所述目标函数进行优化，得到优化后的稠密模型的特征，以确定优化后的所述稠密模型。
50.在一些实施方式中，特征计算模块包括：离散处理单元，用于基于预设车体构建模型，将所述第一可见点云进行离散化处理，生成与所述第一可见点云对应的二值立方体；特征计算单元，用于基于所述二值立方体确定与所述二值立方体对应的稠密模型，以确定所述稠密模型与所述第一可见点云的对应关系，所述稠密模型是关于所述稠密模型的特征的函数。
51.在一些实施方式中，点云融合模块包括：第二点云获取单元，用于基于相机在不同时刻获取的图像确定所述目标车辆的至少一帧的第二可见点云；点云融合单元，用于基于所述相机的位姿对所述第二可见点云与所述第一可见点云进行融合，对所述第一可见点云进行更新，以得到所述目标车辆的目标可见点云以及不可见点云。
52.在一些实施方式中，模型优化模块包括：比例计算单元，用于基于所述不可见点云计算所述目标车辆的不可见区域与可见区域的比例；函数构建单元，用于基于所述比例、不可见点云、目标可见点云以及稠密模型的特征构建目标函数。
53.在一些实施方式中，所述目标车辆的不可见区域与可见区域的比例按照如下公式计算：
其中，i表示x轴坐标，j表示y轴坐标，表示z轴坐标，表示空间坐标为的所述不可见点云，表示所述比例。
54.在一些实施方式中，所述目标函数按照如下公式计算：其中，i表示x轴坐标，j表示y轴坐标，表示z轴坐标，表示空间坐标为的所述不可见点云，表示所述比例，表示所述目标函数，表示空间坐标为的所述目标可见点云，表示所述稠密模型，表示所述稠密模型的特征，表示优化后的稠密模型的特征，表示优化后的稠密模型。
55.在一些实施方式中，方法还包括：模型转换模块，用于基于所述稠密模型与所述第一可见点云的对应关系，结合用于获取所述第一可见点云的相机的位姿，将所述优化后的稠密模型转到世界坐标系，以替换所述目标车辆的第一可见点云。
56.本实施例中的车体模型构建装置是以功能单元的形式来呈现，这里的单元是指asic电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
57.上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
58.本发明实施例还提供一种电子设备，具有上述图2所示的车体模型构建装置。
59.请参阅图3，图3是本发明实施例提供的一种电子设备的结构示意图，如图3所示，该电子设备可以包括：至少一个处理器601，例如cpu（central processing unit，中央处理器），至少一个通信接口603，存储器604，至少一个通信总线602。其中，通信总线602用于实现这些组件之间的连接通信。其中，通信接口603可以包括显示屏（display）、键盘（keyboard），可选通信接口603还可以包括标准的有线接口、无线接口。存储器604可以是高速ram存储器（random access memory，易挥发性随机存取存储器），也可以是非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。存储器604可选的还可以是至少一个位于远离前述处理器601的存储装置。其中处理器601可以结合图2所描述的装置，存储器604中存储应用程序，且处理器601调用存储器604中存储的程序代码，以用于执行上述任一方法步骤。
60.其中，通信总线602可以是外设部件互连标准（peripheral component interconnect，简称pci）总线或扩展工业标准结构（extended industry standard architecture，简称eisa）总线等。通信总线602可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
61.其中，存储器604可以包括易失性存储器（英文：volatile memory），例如随机存取
存储器（英文：random-access memory，缩写：ram）；存储器也可以包括非易失性存储器（英文：non-volatile memory），例如快闪存储器（英文：flash memory），硬盘（英文：hard disk drive，缩写：hdd）或固态硬盘（英文：solid-state drive，缩写：ssd）；存储器604还可以包括上述种类的存储器的组合。
62.其中，处理器601可以是中央处理器（英文：central processing unit，缩写：cpu），网络处理器（英文：network processor，缩写：np）或者cpu和np的组合。
63.其中，处理器601还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路（英文：application-specific integrated circuit，缩写：asic），可编程逻辑器件（英文：programmable logic device，缩写：pld）或其组合。上述pld可以是复杂可编程逻辑器件（英文：complex programmable logic device，缩写：cpld），现场可编程逻辑门阵列（英文：field-programmable gate array，缩写：fpga），通用阵列逻辑（英文：generic array logic, 缩写：gal）或其任意组合。
64.可选地，存储器604还用于存储程序指令。处理器601可以调用程序指令，实现如本技术实施例中所示的车体模型构建方法。
65.本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的车体模型构建方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体（read-only memory，rom）、随机存储记忆体（random access memory，ram）、快闪存储器（flash memory）、硬盘（hard disk drive，缩写：hdd）或固态硬盘（solid-state drive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。
66.虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。