空间场景视频生成方法、装置、设备及存储介质与流程
本公开涉及数据处理,尤其涉及一种空间场景视频生成方法、装置、设备及存储介质。
背景技术:
1、随着机器人技术的快速发展与具身智能概念的提出,世界模型作为支撑上述技术的数据生成引擎,已成为学术界与工业界共同关注的核心技术。理想的世界模型应能生成真实、符合常识及物理规律的场景,为机器人与具身智能模型的训练提供高质量数据。然而,现有基于视频建模的场景生成方法受模型框架限制,难以保证空间一致性,而基于高斯表征的生成方法在表征能力和训练数据规模上受限,尽管一致性较好,但细节表现不足。
技术实现思路
1、本公开提供了一种空间场景视频生成方法、装置、设备及存储介质,以解决或缓解现有技术中的一项或更多项技术问题。
2、第一方面,本公开提供了一种基于3d高斯点云数据的空间场景视频生成方法,包括:
3、获取目标三维场景对应的参考图像,以及获取预设相机轨迹;
4、基于所述参考图像,生成所述目标三维场景对应的三维场景高斯表示,所述三维场景高斯表示包括表征所述目标三维场景的几何信息和/或外观信息的多个三维高斯体;
5、基于所述预设相机轨迹,对所述三维场景高斯表示进行渲染,得到所述预设相机轨迹下的颜色图像序列和深度图像序列;
6、将颜色图像序列和深度图像序列分别编码到压缩的潜在空间,以得到颜色潜在特征以及深度潜在特征,以及将参考图像编码到压缩的潜在空间,得到场景内容引导特征;
7、将颜色潜在特征与深度潜在特征进行拼接,得到轨迹引导特征;
8、基于所述轨迹引导特征以及所述场景内容引导特征,对初始噪声视频数据进行生成式去噪处理,得到目标三维场景视频,其中,所述目标三维场景视频的场景内容与所述参考图像相匹配,且所述目标三维场景视频对应的视角变化与所述预设相机轨迹相匹配。
9、第二方面,本公开提供了一种基于3d高斯点云数据的空间场景视频生成装置,包括:
10、获取单元,用于获取目标三维场景对应的参考图像,以及获取预设相机轨迹;
11、三维高斯生成单元,用于基于所述参考图像,生成所述目标三维场景对应的三维场景高斯表示,所述三维场景高斯表示包括表征所述目标三维场景的几何信息和/或外观信息的多个三维高斯体;
12、空间视频生成单元,用于基于所述预设相机轨迹,对所述三维场景高斯表示进行渲染,得到所述预设相机轨迹下的颜色图像序列和深度图像序列;将颜色图像序列和深度图像序列分别编码到压缩的潜在空间,以得到颜色潜在特征以及深度潜在特征,以及将参考图像编码到压缩的潜在空间,得到场景内容引导特征;将颜色潜在特征与深度潜在特征进行拼接,得到轨迹引导特征;基于所述轨迹引导特征以及所述场景内容引导特征,对初始噪声视频数据进行生成式去噪处理,得到目标三维场景视频,其中,所述目标三维场景视频的场景内容与所述参考图像相匹配,且所述目标三维场景视频对应的视角变化与所述预设相机轨迹相匹配。
13、第三方面,提供了一种电子设备,包括:
14、至少一个处理器;以及
15、与该至少一个处理器通信连接的存储器;其中,
16、该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行本公开实施例中任一的方法。
17、第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。
18、第五方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。
19、这样,本公开方案通过粗粒度的场景生成阶段,并结合目标三维场景的参考图像生成三维场景高斯表示,有效避免了迭代式生成带来的误差累积,进而获得空间一致的三维场景;进一步地,沿预设相机轨迹,对三维场景高斯表示进行渲染,来高效获取连续的颜色图像序列与深度图像序列,避免了传统逐帧建模的高计算成本,大幅提升视频生成的效率与实时性;最后,结合参考图像以及渲染得到的颜色图像序列和深度图像序列,生成轨迹引导特征和场景内容引导特征,并结合轨迹引导特征和场景内容引导特征,对初始噪声视频数据进行生成式去噪处理,如此,使得生成的三维场景视频能够精准匹配参考图像的场景内容与预设相机轨迹的视角变化,进而实现了目标三维场景视频的视觉一致性与动态流畅性,从而提升场景视频的生成效率和质量。
20、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
1.一种基于3d高斯点云数据的空间场景视频生成方法,包括:
2.根据权利要求1所述的方法,其中,所述初始噪声视频数据包括初始噪声视频潜在特征;
3.根据权利要求2所述的方法,其中,所述将n个条件输入特征块输入至视频生成模型,以结合各条件输入特征块中条件信息,对各条件输入特征块进行生成式去噪处理,得到各条件输入特征块对应的目标潜在特征块,包括:
4.根据权利要求3所述的方法,其中,所述视频生成模型包括用于进行特征块内信息融合的块内双向注意力模块,以及用于进行特征块间信息融合的块间因果注意力模块;
5.根据权利要求1所述的方法,其中,所述基于所述参考图像,生成所述目标三维场景对应的三维场景高斯表示,包括:
6.根据权利要求5所述的方法,其中,所述对所述参考图像进行深度估计,得到所述参考图像对应的初始点云数据,包括:
7.根据权利要求5或6所述的方法,其中,所述基于预设相机轨迹,对所述初始点云数据进行体素化处理,得到条件稀疏体素数据,包括:
8.根据权利要求5或6所述的方法,其中,所述初始噪声体素数据包括高斯噪声;
9.根据权利要求5或6所述的方法,其中,所述基于携带有参考图像的几何信息的目标稀疏体素数据,生成所述目标三维场景对应的三维场景高斯表示,包括:
10.一种基于3d高斯点云数据的空间场景视频生成装置,包括:
11.根据权利要求10所述的装置,其中,所述初始噪声视频数据包括初始噪声视频潜在特征;
12.根据权利要求11所述的装置,其中,所述空间视频生成单元,具体用于:
13.根据权利要求12所述的装置,其中,所述视频生成模型包括用于进行特征块内信息融合的块内双向注意力模块,以及用于进行特征块间信息融合的块间因果注意力模块;
14.一种电子设备,包括:
15.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法。
16.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com