4D场景重建方法、装置、终端和存储介质与流程

本公开涉及信息，尤其涉及4d场景重建方法及装置、终端和存储介质。

背景技术：

1、在虚拟现实(vr)/混合现实(mr)等领域，构建动态4d场景模型是实现沉浸式体验的核心。然而，现有的动态重建方案通常依赖专业的多视角采集设备，难以适用于日常拍摄的单目视频场景。而单目视频重建方案往往依赖数据先验(深度/光流等)，重建的质量较低，且无法补全视频中被遮挡的区域。

2、近期，随着视频扩散模型技术的迅速发展，研究者提出了基于视频生成模型的单目视频重建方案，通过生成与单目视频同步的多视角视频监督4d重建，为视频生成与4d重建搭起了桥梁。然而，这一方法在实际应用中存在着模型训练数据难以构造、可控性差(输出视频位姿控制不够准确)等问题，限制了其实用性。

3、另一类方案则提出将单目视频投影到新视角补全，以生成新视角视频。但这类方法只关注视频生成，并未上升到场景重建任务，且没有考虑多视角一致性，同时也面临训练数据构造复杂的问题。

技术实现思路

1、为解决现有问题，本公开提供一种4d场景重建方法及装置、终端和存储介质。

2、本公开采用以下的技术方案。

3、本公开的实施例提供一种4d场景重建方法，所述4d场景重建方法包括：获取单目视频；基于未标定位姿的视频序列，获取扩散模型的训练数据；利用所述训练数据训练所述扩散模型，得到经训练的扩散模型；基于所述单目视频和所述经训练的扩散模型，进行视频帧投影和迭代增强，得到增强后的多视角视频；基于所述单目视频和所述增强后的多视角视频，进行4d场景重建，得到重建的4d场景。

4、本公开的另一实施例提供了一种4d场景重建装置，所述处理装置包括：视频获取模块，配置为获取单目视频；训练数据获取模块，配置为基于未标定位姿的视频序列，获取扩散模型的训练数据；模型训练模块，配置为利用所述训练数据训练所述扩散模型，得到经训练的扩散模型；增强帧获取模块，配置为基于所述单目视频和所述经训练的扩散模型，进行视频帧投影和迭代增强，得到增强后的多视角视频；重建模块，配置为基于所述单目视频和所述增强后的多视角视频，进行4d场景重建，得到重建的4d场景。

5、在一些实施例中，本公开提供一种终端，包括：至少一个存储器和至少一个处理器；其中，存储器用于存储程序代码，处理器用于调用所述存储器所存储的程序代码执行上述4d场景重建方法。

6、在一些实施例中，本公开提供一种存储介质，所述存储介质用于存储程序代码，所述程序代码用于执行上述4d场景重建方法。

7、本公开可以支持视频填补及单目视频重建。对视频填补，用户可以输入一个带有连续遮挡的视频，使用视频填补模型合成完整视频。相比于以往的方法，本公开的填补效果更好且与视频上下文更一致。

1.一种4d场景重建方法，其特征在于，所述4d场景重建方法包括：

2.根据权利要求1所述的4d场景重建方法，其特征在于，基于未标定位姿的视频序列，获取扩散模型的训练数据包括：

3.根据权利要求2所述的4d场景重建方法，其特征在于，利用所述训练数据训练所述扩散模型，得到经训练的扩散模型包括：

4.根据权利要求1所述的4d场景重建方法，其特征在于，在进行视频帧投影和迭代增强之前，还包括：

5.根据权利要求4所述的4d场景重建方法，其特征在于，进行视频帧投影和迭代增强包括：

6.根据权利要求5所述的4d场景重建方法，其特征在于，进行视频帧投影和迭代增强还包括：

7.根据权利要求1所述的4d场景重建方法，其特征在于，基于所述单目视频和所述增强后的多视角视频，进行4d场景重建包括：

8.一种4d场景重建装置，其特征在于，所述4d场景重建装置包括：

9.一种终端，包括：

10.一种存储介质，所述存储介质用于存储程序代码，所述程序代码用于执行权利要求1至7中任一项所述的4d场景重建方法。