生成式图像的结构恢复与三维高斯初始化方法与装置与流程

摘要: 本发明涉及三维重建,具体而言,涉及一种生成式图像的结构恢复与三维高斯初始化方法及装置,以及实现上述方法的电子设备与计算机可读存储介质。背景技术:1、三维高斯(3...
生成式图像的结构恢复与三维高斯初始化方法与装置与流程

本发明涉及三维重建,具体而言,涉及一种生成式图像的结构恢复与三维高斯初始化方法及装置,以及实现上述方法的电子设备与计算机可读存储介质。

背景技术:

1、三维高斯(3d gaussian splatting)是一种适合实时渲染的三维表示方式,其以大量带有位置、尺度、旋转、颜色与透明度等属性的三维高斯表示物体或场景,在照片级真实感与实时渲染方面具有明显优势,广泛应用于电商商品展示、玩具手办、游戏资产、文物数字化、虚拟人以及互动数字形象等场景。

2、随着生成式人工智能技术的发展,从单张照片或少量图片生成可实时渲染、可交互的三维资产成为一种重要需求。一种典型的生成到重建流程为:先由生成模型基于输入图像并按照预设的相机轨迹生成多视角图像或多视角视频,再从该多视角图像恢复相机与初步几何,最后通过三维高斯优化得到最终资产。在该流程中,从生成得到的多视角图像稳定地恢复相机参数与初步几何,并输出适合三维高斯优化的初始化,是决定最终资产质量的关键环节。

3、传统的运动恢复结构(structure from motion,sfm)方法,例如以colmap为代表的增量式流程,依赖稀疏局部特征的检测与匹配,主要面向真实相机拍摄的照片。真实照片中的特征点来自同一物理世界,跨视角匹配相对可靠;然而人工智能生成的多视角图像虽然在视觉上自然合理,但不同视角之间的局部纹理、边界细节、遮挡关系与几何结构可能并不严格一致,导致稀疏特征匹配出现特征不足、误匹配、相机恢复失败或点云漂移等问题。特别地,对于具有对称结构的物体,仅凭图像难以在候选解中确定正确的相机排布,容易出现镜像错误或背面轨迹反转。

4、另一类学习型或前馈型方法,例如dust3r、mast3r及其结构恢复流程、以及以vggt为代表的前馈位姿估计方法,能够以前馈方式直接从图像预测相机参数、深度图或点图,泛化能力较强,且在稀疏视角下较为鲁棒。然而这类方法通常面向真实图像设计,并且为追求通用性而将输入视图视为无序、无约束的集合,并未利用视图之间的顺序与相机轨迹信息;其相机位姿的绝对精度往往不足,轻微误差会在后续三维高斯优化中被放大;对于对称结构的物体仍可能产生镜像或翻转歧义;并且在输入存在剧烈旋转时重建性能会明显下降。此外,这类方法的输出并不直接以三维高斯优化所需的初始化状态形式给出。

5、再者,三维高斯优化的效果对点云初始化的质量高度敏感。当初始点云稀疏、不完整或含有噪声时,三维高斯优化容易出现过拟合、结构发散、重影与模糊等问题。现有面向初始化的改进方案,例如利用稠密立体模块替代运动恢复结构以重建全局稠密点云用于初始化,或采用分割对稠密点云进行下采样以保留结构显著区域,均在一定程度上改善了初始化质量;但这些方案大多面向真实图像或以优化阶段的加权处理为主,并未针对生成式多视角图像特有的不一致性,将生成控制阶段所提供的相机轨迹先验作为约束加以利用,也未建立面向生成视图的可靠性度量并将其贯穿到相机与结构恢复以及三维高斯的初始化之中。

6、因此,如何面向人工智能生成的多视角图像稳定地恢复相机与初步几何,克服局部纹理与细节不一致、相机不稳定、点云不可靠以及对称结构镜像歧义等问题,并直接输出适合三维高斯优化的初始化,是本领域亟待解决的技术问题。需要说明的是,上述背景技术部分公开的信息仅用于加强对本发明背景的理解,因此可以包括不构成本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本发明的目的在于提供一种生成式图像的结构恢复与三维高斯初始化方法及装置,以及实现上述方法的电子设备与计算机可读存储介质,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的面向生成视图的相机与结构恢复不稳定、点云不可靠以及初始化不直接可用的问题。

2、本发明的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本发明的实践而习得。

3、根据本发明的一个方面,提供一种生成式图像的结构恢复与三维高斯初始化方法,所述方法包括:获取由生成模型输出的待重建对象的多视角图像,以及生成所述多视角图像时预设或记录的相机轨迹先验;所述相机轨迹先验包括轨迹拓扑信息与轨迹几何信息,所述轨迹拓扑信息至少包括视角顺序或视角之间的相邻关系,所述轨迹几何信息包括各视角的名义视角参数;获取所述多视角图像中所述待重建对象的主体掩膜,基于所述主体掩膜在所述多视角图像的视角之间建立稠密或半稠密的对应关系,并根据所述对应关系的匹配置信度与前后向匹配一致性对错误对应进行过滤或降权;以所述相机轨迹先验作为初值与软约束,根据过滤或降权后的所述对应关系进行位姿恢复、三角化与束调整,得到所述多视角图像的相机参数与三维点;根据所述相机参数将所述三维点投影至各视角以确定可见性与有效观测,并将所述相机参数与所述三维点转化为三维高斯的初始化状态,所述初始化状态包括所述三维高斯的位置、尺度、旋转或协方差、颜色与透明度。

4、在本发明的一些实施例中,基于前述方案,所述相机轨迹先验来自生成所述多视角图像的多视角视频,所述多视角视频的相机轨迹包括:在方位环绕的同时叠加俯仰摆动的波动环绕轨迹,和/或包括中间水平轨道及位于所述中间水平轨道上方或下方的轨道的多轨道轨迹;当所述相机轨迹为多轨道轨迹时,所述轨迹拓扑信息还包括轨道标识、各视角所属轨道、轨道之间的上下关系以及不同轨道之间的连接关系中的一种或多种。

5、在本发明的一些实施例中,基于前述方案,所述轨迹几何信息包括相邻视角之间的名义相对方位角、名义相对俯仰角、名义相对滚转角、名义相机中心或观察方向、相机内参或焦距、以及轨道半径中的一种或多种;所述以所述相机轨迹先验作为初值与软约束,包括以下中的一种或多种:利用所述视角顺序与所述相邻关系,确定视角之间的相邻视角对以及位姿恢复的初始相对位姿;利用所述名义相对方位角与所述名义相对俯仰角,对相邻视角之间的相对旋转施加角度约束或正则项;当所述轨迹拓扑信息指示周期性轨迹的首帧与末帧对应同一相机位置时,对所述束调整施加闭环一致性约束。

6、在本发明的一些实施例中,基于前述方案,所述获取主体掩膜并建立对应关系,包括:对所述多视角图像进行前景分割,得到前景alpha作为所述主体掩膜;以所述主体掩膜内的前景区域之间的对应关系作为位姿恢复的主要依据,对跨视角不稳定或存在生成漂移的背景区域的对应关系进行抑制;对经跨视角一致性判断为稳定的背景区域的对应关系,将其作为位姿恢复的辅助约束。

7、在本发明的一些实施例中,基于前述方案,所述建立稠密或半稠密的对应关系包括两条可选路线:其一为稠密匹配路线,采用稠密匹配网络在视角之间直接输出二维—二维的稠密或半稠密对应关系及其匹配置信度;其二为点图路线,采用前馈重建模型输出各视角的点图、置信度和/或相机参数,并通过所述点图之间的坐标对齐、投影或联合优化建立视角之间的对应关系与跨视角几何关系。

8、在本发明的一些实施例中,基于前述方案,所述方法还包括分两个阶段计算生成视图可靠性:在位姿恢复之前,根据所述主体掩膜、所述匹配置信度、前后向匹配一致性以及各视角与相邻视角之间的有效匹配数量或比例确定初始可靠性;在依据所述初始可靠性完成初始位姿恢复与三角化之后,根据三维点轨迹的长度、重投影误差、跨视角一致性以及所恢复位姿与所述轨迹几何信息之间的偏差确定精化可靠性;并以所述精化可靠性对束调整中的重投影误差项进行加权、降权或过滤,以及将所述精化可靠性映射为与各三维高斯或各空间区域关联的优化控制信息。

9、根据本发明的另一个方面,提供一种生成式图像的结构恢复与三维高斯初始化装置,所述装置包括:多视角获取模块、掩膜与对应模块、结构恢复模块以及高斯初始化模块,各模块分别被配置为执行上述方法的相应步骤。

10、根据本发明的又一个方面,提供一种电子设备,包括一个或多个处理器以及用于存储一个或多个程序的存储装置,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现上述生成式图像的结构恢复与三维高斯初始化方法。

11、根据本发明的再一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述生成式图像的结构恢复与三维高斯初始化方法。

12、有益效果:本发明示例性实施例中的生成式图像的结构恢复与三维高斯初始化方法及装置,至少具备以下优点和积极效果。其一,本发明利用生成控制阶段所提供的相机轨迹先验,将其区分为轨迹拓扑信息与轨迹几何信息,并作为位姿恢复的初值与束调整的软约束注入结构恢复过程;相较于将输入视图视为无序无约束集合的通用运动恢复结构或前馈位姿估计方法,本发明能够为每一视角提供确定的邻接关系与名义视角参数,从而提高面向生成视图的相机与结构恢复的稳定性,并在待重建对象具有对称结构时缩小相机排布的候选解空间、抑制或选择性消解轨迹反向、视角错序与镜像翻转歧义。

13、其二,本发明结合主体掩膜聚焦目标区域,并在视角之间建立稠密或半稠密的对应关系,从而提供比稀疏特征匹配更充分的候选约束;同时结合匹配置信度、主体掩膜、前后向匹配一致性、几何一致性以及鲁棒估计对错误对应进行过滤或降权,使得跨视角匹配的鲁棒性由更充分的候选约束与可靠性处理共同产生,避免在生成图局部几何不一致时因对应数量增加而引入系统性误差。

14、其三,本发明将生成视图可靠性的计算拆分为初始可靠性与精化可靠性两个阶段,并允许在束调整与精化可靠性之间迭代,从而在不依赖尚未存在的三维点与重投影残差的前提下完成初始恢复,并在获得初步重建结果之后进一步利用三维轨迹长度、重投影误差与位姿偏差提升加权的准确性,消除了可靠性计算与结构恢复之间的循环依赖。

15、其四,本发明将恢复的相机参数与三维点直接转化为适合三维高斯优化的初始化状态,其中相机参数参与三维点的投影、可见性与遮挡判断、颜色或球谐系数的融合以及尺度与旋转的确定,使初始化状态包括位置、尺度、旋转或协方差、颜色与透明度;进一步地还可将精化可靠性映射为与各三维高斯或各空间区域关联的优化控制信息,包括增密置信度、增密需求度、裁剪置信度与补全优先级,从而把面向生成视图的不可靠性从优化阶段前移到结构恢复与初始化阶段,为后续三维高斯优化提供更可靠、更可用的初始化,有利于降低重影与模糊、加快收敛并提升最终资产的可用性。

16、其五,本发明区分了两类不同的处理策略:对已具有观测但跨视角不一致、重投影残差较高的三维点,将其视为疑似错误点并降权或裁剪;对因遮挡或视角覆盖不足而缺少观测的区域,将其视为未充分观测区域并保留邻近结构、赋予补全优先级,从而避免同一区域被同时要求裁剪与补全。本发明既可与上游按相机轨迹先验进行的多视角生成以及下游的鲁棒三维高斯优化在同一产品流程中串联使用,也可作为独立的结构恢复与初始化环节单独实施,适用于物体、人物或动物等多种待重建对象,便于生成可实时渲染的三维高斯资产。

17、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。