一种三维辐射场渲染方法、渲染系统、重建方法和重建系统

本发明涉及计算机视觉，具体地，涉及一种基于各向异性稀疏体素光栅化的三维辐射场渲染方法、渲染系统、重建方法和重建系统，同时涉及一种相应的计算机设备和计算机可读存储介质。

背景技术：

1、新视角合成旨在根据一个三维场景的多视角图像生成该场景在目标视角下的图像，是虚拟现实、增强现实、机器人导航、自动驾驶仿真、数字内容制作和三维资产生成中的重要基础技术。神经辐射场通过多层感知器表示连续三维场景，能够生成高质量图像，但训练和推理通常依赖大量采样与网络查询，难以满足实时交互和资源受限设备的部署需求。

2、为提升效率，三维高斯泼溅、显式体素网格、稀疏体素光栅化等显式表示方法被广泛研究。其中，稀疏体素光栅化能够将体素结构与可微光栅化相结合，在保持较高渲染速度的同时支持基于图像误差的端到端优化。然而，现有稀疏体素光栅化通常采用各向同性八叉树体素结构，即每次细分均沿三个坐标轴同时二分并生成八个子体素。但是在真实三维场景中，墙面、桌面、立面、栏杆、细线缆、薄边缘等结构往往具有明显方向性和各向异性。若采用各向同性体素表示这些结构，为了捕获某一个方向上的高频变化，系统也必须在其他低变化方向上同步细分，从而产生指数级增长的体素数量和冗余参数。这会增加显存占用、模型存储大小和训练时间，并可能限制细薄结构的有效重建。

3、此外，传统morton编码通常同时承担空间位置排序和体素层级尺度表达的作用。在需要记录每一轴向独立尺度的各向异性体素场景中，若将轴向层级或尺度信息直接塞入固定长度编码，会压缩可用于空间坐标的位数，进而降低可达到的最高空间分辨率。

4、因此，本领域缺少一种既保留morton编码空间局部性和排序效率，又能够表达各向异性体素尺度的三维辐射场重建方案。目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。

技术实现思路

1、针对现有技术中存在的上述不足，本发明提供了一种基于各向异性稀疏体素光栅化的三维辐射场渲染方法、渲染系统、重建方法和重建系统，同时提供了一种相应的计算机设备和计算机可读存储介质。

2、根据本发明的第一个方面，提供了一种三维辐射场渲染方法，包括：

3、获取表示三维场景的稀疏体素辐射场以及目标视角对应的相机参数；其中，所述稀疏体素辐射场包括多个用于记录密度、颜色及空间结构信息的体素单元；

4、确定所述稀疏体素辐射场中当前参与编码、细分和/或渲染的体素单元，作为活动体素；

5、针对每一个所述活动体素，在预设虚拟网格上确定锚点位置，并根据所述锚点位置生成空间锚点morton编码；

6、构建与所述空间锚点morton编码解耦的元数据哈希表，将每一个所述活动体素的各向异性尺度信息和细分掩码信息存储于所述元数据哈希表中，获得解耦锚点编码；

7、根据每一个所述活动体素的局部方向密度梯度确定至少一个轴向细分方向，并依据所述轴向细分方向对所述活动体素进行按轴二分的各向异性细分，获得细分活动体素；

8、基于所述解耦锚点编码和所述细分活动体素，执行可微各向异性稀疏体素光栅化，生成所述三维场景在所述目标视角下的二维渲染图像。

9、根据本发明的第二个方面，提供了一种三维辐射场渲染系统，包括：

10、数据获取模块，该模块用于获取表示三维场景的稀疏体素辐射场以及目标视角对应的相机参数；其中，所述稀疏体素辐射场包括多个用于记录密度、颜色及空间结构信息的体素单元；

11、活动体素确定模块，该模块用于确定所述稀疏体素辐射场中当前参与编码、细分和/或渲染的体素单元，作为活动体素；

12、空间锚点morton编码模块，该模块用于针对每一个所述活动体素，在预设虚拟网格上确定锚点位置，并根据所述锚点位置生成空间锚点morton编码；

13、解耦锚点编码模块，该模块用于构建与所述空间锚点morton编码解耦的元数据哈希表，将每一个所述活动体素的各向异性尺度信息和细分掩码信息存储于所述元数据哈希表中，获得解耦锚点编码；

14、各向异性细分模块，该模块用于根据每一个所述活动体素的局部方向密度梯度确定至少一个轴向细分方向，并依据所述轴向细分方向对所述活动体素进行按轴二分的各向异性细分，获得细分活动体素；

15、各向异性光栅化模块，该模块基于所述解耦锚点编码和所述细分活动体素，执行可微各向异性稀疏体素光栅化，生成所述三维场景在所述目标视角下的二维渲染图像。

16、根据本发明的第三个方面，提供了一种基于三维场景重建方法，包括：

17、获取三维场景的多视角图像及相机参数；

18、根据所述多视角图像及所述相机参数，初始化表示所述三维场景的稀疏体素辐射场；

19、根据所述稀疏体素辐射场及目标视角对应的相机参数，采用本发明上述中所述的三维辐射场渲染方法，生成所述三维场景在目标视角下的二维渲染图像；

20、根据所述二维渲染图像与对应真实图像之间的差异，确定损失函数；

21、根据所述损失函数对所述稀疏体素辐射场中的活动体素参数进行更新；

22、对所述稀疏体素辐射场执行剪枝、各向异性细分和参数优化，得到所述三维场景的三维辐射场重建模型。

23、根据本发明的第四个方面，提供了一种三维场景重建系统，包括：

24、多视角数据采集模块，获取三维场景的多视角图像及相机参数；

25、体素初始化模块，用于根据所述多视角图像及所述相机参数，初始化表示所述三维场景的稀疏体素辐射场；

26、辐射场渲染模块，用于根据所述稀疏体素辐射场及目标视角对应的相机参数，采用本发明上述中任一项所述的方法，生成所述三维场景在目标视角下的二维渲染图像；

27、参数优化模块，用于根据目标视角的二维渲染图像与对应真实图像之间的损失更新所述稀疏体素辐射场的可优化参数；

28、三维重建模块，用于对所述稀疏体素辐射场执行剪枝、各向异性细分和参数优化，得到所述三维场景的三维辐射场重建模型。

29、根据本发明的第五个方面，提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本发明上述中任一项所述的方法，或，实现本发明上述中任一项所述的系统。

30、根据本发明的第六个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现本发明上述中任一项所述的方法，或，实现本发明上述中任一项所述的系统。

31、由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一项的有益效果：

32、本发明通过解耦锚点编码，将空间排序键与各向异性元数据分离，在保留 morton编码对空间邻近体素的局部聚集特性以及高效排序能力的同时，支持独立轴向尺度表达，从而兼顾空间分辨率与结构表达灵活性；

33、本发明通过按轴二分的各向异性细分，能够根据局部几何复杂度分配体素分辨率，减少平面和细薄结构中的冗余各向同性细分；

34、本发明通过适配非立方体素的可微光栅化和局部坐标映射，保持显式稀疏体素渲染的快速推理能力。