基于自适应划分区域的神经体辐射场渲染加速方法及装置与流程

1.本发明涉及图像渲染、图形渲染以及神经渲染技术领域，尤其涉及一种基于自适应划分区域的神经体辐射场渲染加速方法及装置。


背景技术：

2.近年来，以神经体辐射场为基础的神经体渲染技术广泛应用于新视角合成、场景建模以及虚拟形象创建等三维视觉和图形任务。以新视角合成任务举例，相关传统技术主要分为基于图像的渲染(image based rendering)方法和基于图像的建模(image based modeling)方法，前者为保证高质量的视角渲染可能需要稠密的视角输入以及海量的数据存储(如光场渲染技术)，后者则一般需要预先恢复或重建高质量高精度的三维几何和纹理材质信息以帮助渲染，而这一般是相当困难的。区别于上述方法，基于神经体辐射场的神经体渲染方法使用神经网络(如多层感知器)隐式地表示和建模目标场景的辐射场，相关输入只需要稀疏视角的彩色图片甚至单视角图片即可获取照片级的渲染质量，同时也具有模型存储高效等优点。但该方法渲染时，由于需要多次调用网络计算，渲染效率低效，这很大程度上阻碍了该方法在相关应用和任务的发展与推广。
3.当前对神经体辐射场的加速方法主要包括三种：一类方法是将目标场景或对象的所在区域进行稠密的体素划分，然后在每个体素上预先存储对应的神经体辐射场计算结果来加速渲染，尽管该方法确实能够有效加速神经体辐射场的渲染过程，但会显著增加每个模型的存储成本，不利于后续可能的模型编码和传输。另一类则是通过降低每条射线的采样点数目来节省计算消耗，从而实现加速，如额外添加深度信息来自适应调整每条射线的采样区间以及额外使用模型预测或存储每条射线的采样起始等。该类方法一般需要额外的计算或训练来提取相应的辅助信息，因此一定程度上会增加模型的创建成本。最后一种则是将神经体渲染和2d神经渲染相结合。具体地，代替直接渲染最终渲染分辨率的彩色图片，该类方法一般首先渲染一张低分辨率高通道数的特征图，接着再通过2d神经网络预测最终的渲染结果。相关方法一般能保证一定的渲染质量以及多视角一致性，同时渲染效率可以大幅度提高，但若该方法体渲染的特征图和目标彩色图的分辨率差异过大时，可能会引入由于上采样过多而导致的成像伪影以及多视角不一致问题。


技术实现要素：

4.本发明的目的在于针对上述现有技术的不足，提供一种基于自适应划分区域的神经体辐射场渲染加速方法及装置，本发明将目标渲染图片自适应地划分为若干区域块组合，接着遍历每个区域块，并体渲染该块对应的颜色信息，最终基于每个块的渲染结果，快速生成目标渲染图片。该渲染方法在保证高质量高保真渲染效果的同时，还能够自适应地在二维区域分配计算资源。该渲染方法的自适应块划分可在目标场景创建的时候同步完成，不会显著增加额外计算消耗，计算效率一般等同甚至优于现有体渲染方法，同时得益于计算效率的改进，分辨率更高的特征图可以被渲染，从而有效缓解现有方法因上采样过多
导致的成像伪影问题。
5.本发明的目的是通过以下技术方案实现的：
6.根据本说明书的第一方面，提供一种自适应划分渲染区域的神经体渲染加速方法，包括：
7.将目标渲染图片自适应地划分为若干区域块组合，将区域块进行参数化表示，并根据相机参数预测区域块划分结果，即区域块的表示参数，且要求自适应划分得到的所有有效区域能够覆盖整个目标渲染图片；
8.遍历每个区域块，并基于神经体辐射场体渲染所述区域块对应的颜色信息，要求体渲染过程对区域块的表示参数是可微的；
9.基于每个区域块的渲染结果，快速生成目标渲染图片的渲染结果。
10.进一步地，通过自监督约束进行自适应划分结果的调整，具体为：预先收集相关场景的图片信息，生成对应图片信息的渲染结果作为预测图片，建立损失函数，使用梯度反向传播训练相关场景对应的神经体辐射场，更新区域块的表示参数，从而实现自适应划分结果的调整。
11.进一步地，所述损失函数包括但不限于：约束预测图片和收集图片一致、约束自适应划分得到的所有有效区域能够覆盖整个目标渲染图片、约束划分得到的不同区域块的重叠尽量少等。
12.进一步地，在自适应划分过程中，要求区域块间存在斥力约束，具体为，每个区域块建立如下斥力模型：
[0013][0014]
上式中，di(i,
·
)表示第i个区域块对应的斥力函数，该函数由区域块的表示参数决定，di(i,j)返回第i个区域块对第j个区域块的斥力影响。
[0015]
进一步地，根据相机参数预测区域块划分结果，所述相机参数指相机内参和外参，且所有能转化为相机参数的其他参数也应等同看待。
[0016]
进一步地，对划分的每个区域块进行体渲染来得到该区域的颜色信息，体渲染过程具体为：
[0017]
对当前区域块进行反投影，得到渲染该二维区域块的三维空间区域，并对该三维空间区域进行进一步划分，每个划分的三维区域块使用如下隐式函数预测其辐射场信息；
[0018]fθ
:(c,x,d)
→
(f,σ)
[0019]
上式中，f为神经体辐射场，使用神经网络结构表示，θ为可学习的网络参数，c是可选的条件特征向量，x是三维区域块的位置信息，d为可选的目标渲染相机观察二维区域块的视角信息，f是预测的三维空间区域的特征信息，σ是预测的相应密度(density)信息；
[0020]
接着使用如下计算方式生成每个二维区域块的特征信息，该过程可描述为：
[0021][0022]
[0023]
上式中，f
p
表示体积分得到的二维区域块的特征信息，t为反投影得到的三维空间区域的积分微元，w(t)为积分微元t的不透明度，r(
·
)表示划分的三维区域块位置信息。
[0024]
进一步地，当前区域块反投影到三维空间区域的方式包括但不限于射线投影、柱状投影和锥形投影等。
[0025]
进一步地，所述区域块划分包括但不限于圆型区域划分，笔刷形状的条形区域划分，以及其他的不定形状区域划分等。
[0026]
针对圆型区域划分，所述区域块的表示参数采用圆心和半径。
[0027]
针对笔刷形状的条形区域划分，所述区域块的表示参数采用笔刷的矢量参数，所述矢量参数包括控制点、半径、透明渐变参数等。
[0028]
进一步地，基于每个区域块的渲染结果，生成目标渲染图片的预测图片，该过程会根据像素到各个区域块的距离生成描述像素颜色的特征向量，然后使用神经网络并基于该特征向量预测该像素的最终颜色值。
[0029]
进一步地，所述神经体辐射场为全连接型和卷积型神经网络模型，相关网络层包括：输入层、卷积层、池化层、全连接层与损失层。
[0030]
根据本说明书的第二方面，提供一种基于自适应划分区域的神经体辐射场渲染加速装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现如第一方面所述的基于自适应划分区域的神经体辐射场渲染加速方法。
[0031]
本发明的有益效果是：
[0032]
1)本发明方法可以有效提升神经体渲染的渲染效率，同时该方法也保持了神经体渲染隐式建模几何信息的能力，使得渲染结果具有优秀的多视角一致性。此外，该方法能获得与加速前相当甚至更优的渲染质量。
[0033]
2)得益于渲染效率的提升，该方法能够有效降低目标场景的构建成本，即减少相关模型训练时间。
[0034]
3)整个自适应区域划分过程可以自动完成，无需人工介入。
附图说明
[0035]
图1为一示例性实施例提供的基于自适应划分区域的神经体辐射场渲染加速方法流程图；
[0036]
图2为一示例性实施例提供的自适应区域划分的概念展示；
[0037]
图3为一示例性实施例提供的划分区域反投影到渲染区域的概念展示；
[0038]
图4是一示例性实施例提供的基于自适应划分区域的神经体辐射场渲染加速装置的结构图。
具体实施方式
[0039]
为了更好的理解本技术的技术方案，下面结合附图对本技术实施例进行详细描述。
[0040]
应当明确，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其
它实施例，都属于本技术保护的范围。
[0041]
在本技术实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
[0042]
近年来，以神经体辐射场为基础的神经体渲染技术广泛应用于新视角合成、场景建模以及虚拟形象创建等三维视觉和图形任务。尽管该方法可以获取照片级别的渲染质量、相当优秀的多视角一致性以及视角相关的渲染效果，但低效的训练过程和缓慢的渲染速度却极大地阻碍了该方法的进一步推广与发展，为此，本发明提出一种基于自适应划分区域的神经体辐射场渲染加速方法，如图1所示，本发明方法包括：
[0043]
将目标渲染图片自适应地划分为若干区域块组合，将区域块进行参数化表示，并根据相机参数预测区域块划分结果，即区域块的表示参数，且要求自适应划分得到的所有有效区域能够覆盖整个目标渲染图片；
[0044]
遍历每个区域块，并基于神经体辐射场体渲染所述区域块对应的颜色信息，要求体渲染过程对区域块的表示参数是可微的；
[0045]
基于每个区域块的渲染结果，快速生成目标渲染图片的渲染结果。
[0046]
具体地，区域块划分包括但不限于圆型区域划分，笔刷形状的条形区域划分，以及其他的不定形状区域划分等。
[0047]
针对圆型区域划分，所述区域块的表示参数可以采用圆心和半径。
[0048]
针对笔刷形状的条形区域划分，所述区域块的表示参数可以采用笔刷的矢量参数，所述矢量参数包括控制点、半径、透明渐变参数等。
[0049]
在一个实施例中，通过自监督约束进行自适应划分结果的调整，具体为：
[0050]
预先收集相关场景的图片信息，场景图片包括但不限于同一时刻拍摄的多视角图片，不同时刻拍摄的图片等；生成对应图片信息的渲染结果作为预测图片，建立损失函数，损失函数包括但不限于：约束预测图片和收集图片一致、约束自适应划分得到的所有有效区域能够覆盖整个目标渲染图片、约束划分得到的不同区域块的重叠尽量少等；使用梯度反向传播训练相关场景对应的神经体辐射场，更新区域块的表示参数，从而实现自适应划分结果的调整。
[0051]
在一个实施例中，在自适应划分过程中，要求区域块间存在斥力约束，具体为，每个区域块建立如下斥力模型：
[0052][0053]
上式中，di(i,
·
)表示第i个区域块对应的斥力函数，该函数由区域块的表示参数决定，di(i,j)返回第i个区域块对第j个区域块的斥力影响。假设区域块为圆形，区域块的表示参数可设为圆心位置μi和半径γi，此时斥力函数可定义为：
[0054][0055]
在一个实施例中，对划分的每个区域块进行体渲染来得到该区域的颜色信息，体渲染过程具体为：
[0056]
对当前区域块进行反投影，得到渲染该二维区域块的三维空间区域，当前区域块反投影到三维空间区域的方式包括但不限于射线投影、柱状投影和锥形投影等，如图3所示。对该三维空间区域进行进一步划分，每个划分的三维区域块使用如下隐式函数预测其辐射场信息；
[0057]fθ
:(c,x,d)
→
(f,σ)
[0058]
上式中，f为神经体辐射场，使用神经网络结构表示，θ为可学习的网络参数，c是可选的条件特征向量，x是三维区域块的位置信息，d为可选的目标渲染相机观察二维区域块的视角信息，f是预测的三维空间区域的特征信息，σ是预测的相应密度(density)信息；
[0059]
接着使用如下计算方式生成每个二维区域块的特征信息，该过程可描述为：
[0060][0061]
w(t)＝exp(-∫
0t
σ(r(s))ds)
·
σ(r(t))
[0062]
上式中，f
p
表示体积分得到的二维区域块的特征信息，特征信息包括但不限于颜色信息、高维特征向量以及高维特征向量图等，t为反投影得到的三维空间区域的积分微元，w(t)为积分微元t的不透明度，r(
·
)表示划分的三维区域块位置信息，如图2所示。
[0063]
基于每个区域块的渲染结果，生成目标渲染图片的预测图片，该过程会根据像素到各个区域块的距离生成该像素描述颜色的特征向量，然后使用神经网络并基于该特征向量预测该像素的最终颜色值。
[0064]
在一个实施例中，基于自适应划分渲染区域的神经体辐射场渲染加速方法包括以下步骤：
[0065]
步骤1、收集相关场景的多视角图片以及相应的相机内参和外参信息。
[0066]
步骤2、使用多层感知器来表示目标场景的神经体辐射场，并初始化相关网络参数。
[0067]
步骤3、针对图片集的图片，根据其相机信息，进行相关神经体渲染，过程如下：
[0068]
步骤3.1、采用圆型区域划分方式，将圆心和半径作为区域块的表示参数，根据相机信息，使用神经网络预测区域块划分结果，即区域块的表示参数。
[0069]
步骤3.2、基于神经体渲染，预测每个区域块的特征向量，该过程需保证对区域块表示参数可微，具体可描述为：
[0070][0071]
其中表示第i个区域块生成的特征向量，μi,γi分别表示圆心和半径，f
p
(
·
)表示体渲染函数，该函数要求对μi,γi是可微的。
[0072]
步骤3.3、针对目标渲染图片的每个像素，根据该像素到各个区域块中心的距离，加权各个区域块对应的特征向量，并将加权结果作为该像素的特征向量。
[0073]
步骤3.4、基于上述加权得到的特征向量预测相应像素的渲染颜色。
[0074]
步骤3.5、依次遍历所有像素，得到对应相机参数的神经体渲染结果。
[0075]
步骤4、根据收集图片和预测图片，计算损失函数，训练多层感知器的网络参数。
[0076]
步骤5、随机遍历图片执行上述过程，直至完成训练。
[0077]
步骤6、对于训练完成的相关场景的神经体辐射场，给定目标相机参数信息，预测
相关渲染结果。
[0078]
本发明实施例方案，相较于之前的神经体渲染方法，主要优点在于：
[0079]
1)能够大幅度减少体渲染积分的调用，从而有效提升渲染效率。
[0080]
2)可以自适应地分配计算资源，从而一定程度地减少不必要的计算。
[0081]
3)整体过程可自监督完成，同时能够保证一定的渲染质量和多视角一致性。
[0082]
与前述基于自适应划分区域的神经体辐射场渲染加速方法的实施例相对应，本发明还提供了基于自适应划分区域的神经体辐射场渲染加速装置的实施例。
[0083]
参见图4，本发明实施例提供的一种基于自适应划分区域的神经体辐射场渲染加速装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上述实施例中的基于自适应划分区域的神经体辐射场渲染加速方法。
[0084]
本发明基于自适应划分区域的神经体辐射场渲染加速装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本发明基于自适应划分区域的神经体辐射场渲染加速装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
[0085]
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
[0086]
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0087]
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于自适应划分区域的神经体辐射场渲染加速方法。
[0088]
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(smart media card，smc)、sd卡、闪存卡(flash card)等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
[0089]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包
括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0090]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0091]
在本说明书一个或多个实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0092]
应当理解，尽管在本说明书一个或多个实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0093]
以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。