车辆去光照三维重建方法、装置、电子设备和存储介质与流程

1.本技术涉及基于隐式神经辐射场表示的单视图车辆去光照三维重建方法，属于计算机视觉中的三维重建领域。


背景技术：

2.随着计算机视觉领域中的三维重建技术和自动驾驶技术的不断发展，对于道路场景中机动车辆的三维重建成为了计算机领域中的一个研究热点。利用已知参数的相机采集单视图彩色图片，进而预测车辆的形状和外表目标正成为研究工作中的重要方向。
3.目前流行的基于单图像的车辆重建方法主要分为重建参数化车辆模型以及重建非参数化表示的车辆模型。常用的参数化模型是通过对多个已建模车辆的三维模型进行特征提取，获得用于描述车辆形状的有限参数。针对单图片重建问题，先从图片估计车辆朝向，再通过重投影误差来实现优化得到参数，进而得到车辆模型。重建非参数化表示的车辆模型，近期受到关注的方法是训练一个mlp(multilayer perceptron，多层感知器)网络表示隐式辐射函数来表示场景物体三维信息。
4.尽管基于单图片重建三维车辆模型技术已经有了很大的发展，但目前重建带纹理特征三维车辆模型的工作仍比较少，现有的工作在基于隐式函神经辐射场表示三维信息的基础上，利用类似的隐式函数方法实现自由视角的图片合成。但是，由于车辆几何形状的多样化，以及真实场景中复杂光照影响较大，导致结果对车辆表面纹理的表现能力有限。


技术实现要素：

5.本技术的目的旨在至少在一定程度上解决上述的技术问题之一。
6.为此，本技术的第一个目的在于提出一种车辆去光照三维重建方法，对于精细的车辆三维模型数据库，利用高真实感渲染的方法得到的不同视角不同光照条件下逼真的彩色数据，构建训练数据库。通过搭建基于隐式神经辐射场的生成式对抗神经网络，实现对光照因素的分离。已知相机参数的彩色相机采集道路上车辆的rgb图片作为输入，网络即可输出包含表面逐点本征颜色、表面法向以及brdf参数的车辆网格模型。
7.本技术的第二个目的在于提出一种车辆去光照三维重建装置。
8.本技术的第三个目的在于提出一种电子设备。
9.本技术的第四个目的在于提出一种计算机可读存储介质。
10.为达上述目的，本技术第一方面实施例提出了一种车辆去光照三维重建方法，包括：
11.获取带纹理车辆三维模型数据库，其中，所述带纹理车辆三维模型数据库包括带纹理的车辆三维模型；
12.对所述车辆三维模型在不同视角和不同光照条件下进行渲染，得到作为生成式对抗神经网络训练时的原始数据；其中，所述原始数据包括原始图片和所述原始图片对应的相机内外参数；
13.基于pytorch深度学习平台搭建所述生成式对抗神经网络，并根据所述原始数据对所述生成式对抗神经网络进行训练，直至网络中的权重值收敛；
14.基于目标相机参数的彩色相机采集道路上车辆的rgb图片，并将采集到的所述rgb图片作为经过训练的所述生成式对抗神经网络的输入部分，从多角度渲染获取重建场景的密度分布，选取密度值满足预设条件的点作为重建点云；
15.基于所述重建点云去除点云噪点后，采用泊松重建算法得到所述车辆的表面网格模型，并对所述表面网格模型进行简化，获得包含去光照彩色纹理和材质信息的车辆三维模型。
16.本技术第二方面实施例提出了一种车辆去光照三维重建装置，包括：
17.第一获取模块，用于获取带纹理车辆三维模型数据库，其中，所述带纹理车辆三维模型数据库包括带纹理的车辆三维模型；
18.第二获取模块，用于对所述车辆三维模型在不同视角和不同光照条件下进行渲染，得到作为生成式对抗神经网络训练时的原始数据；其中，所述原始数据包括原始图片和所述原始图片对应的相机内外参数；
19.训练模块，用于基于pytorch深度学习平台搭建所述生成式对抗神经网络，并根据所述原始数据对所述生成式对抗神经网络进行训练，直至网络中的权重值收敛；
20.预测模块，用于基于目标相机参数的彩色相机采集道路上车辆的rgb图片，并将采集到的所述rgb图片作为经过训练的所述生成式对抗神经网络的输入部分，从多角度渲染获取重建场景的密度分布，选取密度值满足预设条件的点作为重建点云；
21.重建模块，用于基于所述重建点云去除点云噪点后，采用泊松重建算法得到所述车辆的表面网格模型，并对所述表面网格模型进行简化，获得包含去光照彩色纹理和材质信息的车辆三维模型。
22.本技术第三方面实施例提出了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本技术第一方面实施例所述的车辆去光照三维重建方法。
23.本技术第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本技术第一方面实施例所述的车辆去光照三维重建方法。
24.根据本技术实施例的技术方案，采用了光照分离的隐式神经辐射场表示和生成式对抗的神经网络结构，其中：初始数据为三维带纹理车辆模型，通过高真实感渲染方法得到不同光照条件下的rgb图片；以上述数据作为网络驱动，网络中的隐式神经辐射场网络模块实现将密度、本征颜色、brdf参数以及全局光照的分离，生成式对抗网络结构将监督网络的各层特征图作为约束，这一方式有效促进网络训练收敛以及结果精细化。由此，本技术只需要使用渲染得到的虚拟数据库，即可利用基于隐式神经辐射场的生成式对抗网络在预测车辆几何结构的同时获得去光照的纹理特征及表面材质参数。
25.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
26.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
27.图1为本技术实施例所提供的一种车辆去光照三维重建方法的流程示意图；
28.图2是根据本技术实施例的生成式对抗神经网络的结构以及功能的示例图；
29.图3是根据本技术一个实施例的车辆去光照三维重建装置的结构框图；
30.图4是根据本技术一个实施例的电子设备的结构框图。
具体实施方式
31.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
32.下面参考附图描述本技术实施例的车辆去光照三维重建方法、装置、电子设备和存储介质。
33.图1为本技术实施例所提供的一种车辆去光照三维重建方法的流程示意图。需要说明的是，本技术实施例的车辆去光照三维重建方法可应用于本技术实施例的车辆去光照三维重建装置，该车辆去光照三维重建装置可被配置于电子设备上。如图1所示，该车辆去光照三维重建方法可以包括如下步骤。
34.在步骤101中，获取带纹理车辆三维模型数据库，其中，带纹理车辆三维模型数据库包括带纹理的车辆三维模型。
35.在本技术实施例中，可通过三维建模，获取高精度的不同类型车辆三维模型数据库，并通过对车辆三维模型数据库中的车辆三维模型的不同部件进行随机纹理赋值，获得高精度的带纹理车辆三维模型数据库。
36.在步骤102中，对车辆三维模型在不同视角和不同光照条件下进行渲染，得到作为生成式对抗神经网络训练时的原始数据。
37.也就是说，可对车辆三维模型进行不同视角、不同光照条件下的渲染，得到图片作为生成式对抗神经网络训练时的原始数据。其中，在本技术实施例中，该原始数据可包括原始图片和原始图片对应的相机内外参数
38.在步骤103中，基于pytorch深度学习平台搭建生成式对抗神经网络，并根据原始数据对生成式对抗神经网络进行训练，直至网络中的权重值收敛。
39.例如，基于pytorch深度学习平台搭建生成式对抗神经网络，其中，如图2所示，为该生成式对抗神经网络的结构以及功能的示例图。可根据原始数据对生成式对抗神经网络进行训练，直至网络中的权重值收敛。
40.作为一种示例，所述根据原始数据对生成式对抗神经网络进行训练，直至网络中的权重值收敛的具体实现过程可如下：
41.1)逐像素点发射射线，沿射线采样三维点，并通过傅里叶编码将三维点转换为高维向量，将高维向量和由原始图片编码得到的隐向量级联后输入生成式对抗神经网络之中的mlp网络，生成高维特征向量，并分别从高维特征向量中分离出三维点的密度、本征颜色和brdf参数；
42.2)利用沿射线逐点的密度、本征颜色、brdf(bidirectional reflectance distribution function，双向反射分布函数)参数、以及根据相邻点密度梯度计算得到的法向，积分(实际为累加运算)得到射线与几何表面交点处的法向、本征颜色及brdf参数；
43.3)基于光照模型cook
‑
torrance的解析brdf局部反射模型，将表面参数结合由原始图片提取的光照(例如，该光照可用球面高斯函数表示)，计算表面点反射光强，作为成像图片中的像素值；
44.4)为了增强网络的学习能力，设计监督网络：可将生成式对抗神经网络的输出结果的彩色图片与真实渲染得到的彩色图片输入至监督网络，并约束监督网络逐卷积层提取的特征图趋近；
45.5)利用构建的原始数据(如上述渲染得到的原始图片)和目标能量函数对生成式对抗神经网络中的生成器和鉴别器的参数权重进行迭代回归优化，直至权重值收敛。
46.由此，通过对于精细的车辆三维模型数据库，结合丰富的环境光贴图数据库，并利用高真实感渲染得到逼真的彩色数据，并通过搭建基于隐式神经辐射场的生成式对抗神经网络，实现光照分离和场景重建。
47.在步骤104中，基于目标相机参数的彩色相机采集道路上车辆的rgb图片，并将采集到的rgb图片作为经过训练的生成式对抗神经网络的输入部分，从多角度渲染获取重建场景的密度分布，选取密度值满足预设条件的点作为重建点云。
48.例如，将利用已知相机参数采集的真实场景下车辆彩色图片作为经过训练的生成式对抗神经网络的输入，从多角度渲染获取重建场景的密度分布，选取密度值较高的点作为重建点云。
49.在步骤105中，基于重建点云去除点云噪点后，采用泊松重建算法得到车辆的表面网格模型，并对表面网格模型进行简化，获得包含去光照彩色纹理和材质信息的车辆三维模型。
50.例如，去除点云噪点后使用泊松重建算法得到表面网格模型，并采用三维动画制作软件blender来对重建网格进行简化，最终得到包含逐点本征颜色、表面法向以及brdf参数的车辆网格模型，即获得包含去光照彩色纹理和材质信息的车辆三维模型。
51.综上所述，本技术实施例的车辆去光照三维重建方法采用了光照分离的隐式神经辐射场表示和生成式对抗的神经网络结构，其中：初始数据为三维带纹理车辆模型，通过高真实感渲染方法得到不同光照条件下的rgb图片；以上述数据作为网络驱动，网络中的隐式神经辐射场网络模块实现将密度、本征颜色、brdf参数以及全局光照的分离，生成式对抗网络结构将监督网络的各层特征图作为约束，这一方式有效促进网络训练收敛以及结果精细化。由此，本技术只需要使用渲染得到的虚拟数据库，即可利用基于隐式神经辐射场的生成式对抗网络在预测车辆几何结构的同时获得去光照的纹理特征及表面材质参数。
52.为了实现上述实施例，本技术还提出了一种车辆去光照三维重建装置。
53.图3是根据本技术一个实施例的车辆去光照三维重建装置的结构框图。如图3所示，该车辆去光照三维重建装置可以包括：第一获取模块301、第二获取模块302、训练模块303、预测模块304和重建模块305。
54.具体地，第一获取模块301用于获取带纹理车辆三维模型数据库，其中，带纹理车辆三维模型数据库包括带纹理的车辆三维模型。作为一种示例，第一获取模块301具体用
于：通过三维建模，获取不同类型车辆三维模型数据库；通过对车辆三维模型数据库中的车辆三维模型的不同部件进行随机纹理赋值，获得带纹理车辆三维模型数据库。
55.第二获取模块302用于对车辆三维模型在不同视角和不同光照条件下进行渲染，得到作为生成式对抗神经网络训练时的原始数据；其中，原始数据包括原始图片和原始图片对应的相机内外参数。
56.训练模块303用于基于pytorch深度学习平台搭建生成式对抗神经网络，并根据原始数据对生成式对抗神经网络进行训练，直至网络中的权重值收敛。作为一种示例，训练模块303具体用于：逐像素点发射射线，沿射线采样三维点，并通过傅里叶编码将三维点转换为高维向量，将高维向量和由原始图片编码得到的隐向量级联后输入生成式对抗神经网络之中的mlp网络，生成高维特征向量，并分别从高维特征向量中分离出三维点的密度、本征颜色和brdf参数；利用沿射线逐点的密度、本征颜色、brdf参数、以及根据相邻点密度梯度计算得到的法向，积分得到射线与几何表面交点处的法向、本征颜色及brdf参数；基于cook
‑
torrance的解析brdf局部反射模型，将表面参数结合由原始图片提取的光照，计算表面点反射光强，作为成像图片中的像素值；将生成式对抗神经网络的输出结果的彩色图片与真实渲染得到的彩色图片输入至监督网络，并约束监督网络逐卷积层提取的特征图趋近；利用构建的原始数据和目标能量函数对生成式对抗神经网络中的生成器和鉴别器的参数权重进行迭代回归优化，直至权重值收敛。
57.预测模块304用于基于目标相机参数的彩色相机采集道路上车辆的rgb图片，并将采集到的rgb图片作为经过训练的生成式对抗神经网络的输入部分，从多角度渲染获取重建场景的密度分布，选取密度值满足预设条件的点作为重建点云。
58.重建模块305用于基于重建点云去除点云噪点后，采用泊松重建算法得到车辆的表面网格模型，并对表面网格模型进行简化，获得包含去光照彩色纹理和材质信息的车辆三维模型。作为一种示例，重建模块305采用三维动画制作软件blender对表面网格模型进行简化。
59.需要说明的是，前述对车辆去光照三维重建方法实施例的解释说明也适用于该实施例的车辆去光照三维重建装置，此处不再赘述。
60.本技术实施例的车辆去光照三维重建装置，采用了光照分离的隐式神经辐射场表示和生成式对抗的神经网络结构，其中：初始数据为三维带纹理车辆模型，通过高真实感渲染方法得到不同光照条件下的rgb图片；以上述数据作为网络驱动，网络中的隐式神经辐射场网络模块实现将密度、本征颜色、brdf参数以及全局光照的分离，生成式对抗网络结构将监督网络的各层特征图作为约束，这一方式有效促进网络训练收敛以及结果精细化。由此，本技术只需要使用渲染得到的虚拟数据库，即可利用基于隐式神经辐射场的生成式对抗网络在预测车辆几何结构的同时获得去光照的纹理特征及表面材质参数。
61.为了实现上述实施例，本技术还提出一种电子设备。
62.图4是根据本技术一个实施例的电子设备的结构框图。如图4所示，该电子设备400可以包括：存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序403，处理器402执行计算机程序403时，实现本技术前述任一个实施例所述的车辆去光照三维重建方法。
63.为了实现上述实施例，本技术还提出一种非临时性计算机可读存储介质，其上存
储有计算机程序，该计算机程序被处理器执行时实现本技术前述任一个实施例所述的车辆去光照三维重建方法。
64.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
65.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
66.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
67.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
68.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
69.此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机
可读取存储介质中。
70.上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。