一种深度可靠度驱动的动态高斯快速重建方法及系统与流程

摘要: 本发明涉及图像处理,具体而言,涉及一种深度可靠度驱动的动态高斯快速重建方法及系统。背景技术:1、三维动态重建是计算机视觉、虚拟现实、数字人及影视制作领域的重要基...
一种深度可靠度驱动的动态高斯快速重建方法及系统与流程

本发明涉及图像处理,具体而言,涉及一种深度可靠度驱动的动态高斯快速重建方法及系统。

背景技术:

1、三维动态重建是计算机视觉、虚拟现实、数字人及影视制作领域的重要基础技术,用于根据连续采集的多视角深度信息恢复人物或物体随时间变化的空间形态。kerbl等在siggraph 2023发表的《3d gaussian splatting for real-time radiance fieldrendering》中提出采用可优化的各向异性三维高斯表示场景,并结合可见性感知渲染实现实时新视角合成,为三维高斯场景表达提供了基础方法。相较于点云、网格和体素等场景表达方式,三维高斯能够通过具有位置、尺度、朝向及不透明度等参数的高斯单元表示空间表面,并通过渲染深度与观测深度之间的误差对高斯参数进行优化,具有渲染效率较高、场景表达连续及便于逐帧更新的特点。随着动态场景重建向实时预览和快速输出方向发展,如何在有限处理时间内利用不同观测视角的深度信息形成稳定的三维高斯结果,已经成为影响动态重建质量和处理效率的重要因素。

2、现有技术通常根据观测深度与渲染深度之间的差异或者像素累计不透明度识别不可靠区域,再对不可靠区域增加三维高斯,并对偏离场景表面的三维高斯降低不透明度。例如,中国发明专利申请cn117990088a公开了一种使用三维高斯后端表征的稠密视觉同步定位与地图构建方法及系统,通过对彩色深度图像进行重新渲染,将像素划分为可靠像素和不可靠像素,对不可靠像素反投影并初始化新的三维高斯。动态人物或物体发生快速运动、自遮挡或轮廓交叠时,不同观测视角取得的深度信息可能存在明显差异,部分差异来源于真实表面变化,部分差异来源于测量波动或遮挡转换。现有技术对不可靠深度信息进行统一增补或抑制时,难以准确保持局部表面的空间结构,容易产生偏离实际表面的高斯、局部缺失或者反复增补,进而增加后续优化量,并影响动态三维重建结果的完整性和输出稳定性。

3、因此,有必要设计一种深度可靠度驱动的动态高斯快速重建方法及系统用以解决当前技术中存在的问题。

技术实现思路

1、鉴于此,本发明提出了一种深度可靠度驱动的动态高斯快速重建方法及系统,旨在解决动态场景中多视角深度信息受遮挡、轮廓交叠及测量波动影响而导致错误高斯增补和局部结构缺失的问题。

2、本发明提出了一种深度可靠度驱动的动态高斯快速重建方法,包括:

3、同步采集多视角深度数据,将所述多视角深度数据统一至世界坐标系并按空间网格汇集;

4、根据网格有效视角数量和深度离散程度确定空间网格的深度可靠度,对达到可靠阈值的空间网格生成基础高斯,对未达到可靠阈值的空间网格沿局部表面法向划分深度层;

5、根据层内离散程度、层间距离和层支持视角数量确定双表面冲突网格,将所述双表面冲突网格的两个深度层确定为主深度层和次深度层,生成主高斯和次级候选高斯,并分别建立主支持视角组和次支持视角组;

6、将所述次级候选高斯加入由所述基础高斯和所述主高斯构成的三维高斯模型进行渲染,根据加入前后所述主支持视角组和所述次支持视角组的深度残差变化确认或撤销所述次级候选高斯;

7、对完成确认或撤销处理后的三维高斯模型进行局部优化,获得当前采集时刻的三维高斯结果,并对后续采集时刻的多视角深度数据重复前述处理,获得动态三维高斯结果。

8、进一步的,划分深度层时包括:

9、计算未达到所述可靠阈值的空间网格内深度观测点的法向位移,按法向位移差划分候选深度层。

10、进一步的,确定双表面冲突网格时,包括:形成两个候选深度层,各候选深度层的层内离散程度低于层内阈值、层支持视角数量达到视角阈值且层间距离达到层间阈值时,确定所述双表面冲突网格。

11、进一步的,确定为主深度层时,包括:将层支持视角数量较多的深度层确定为所述主深度层;数量相同时,将平均投影深度较小的深度层确定为所述主深度层,另一深度层确定为所述次深度层。

12、进一步的,所述主高斯、所述次级候选高斯及支持视角组的生成包括:

13、由所述主深度层和所述次深度层分别生成所述主高斯和所述次级候选高斯;将支持所述主深度层的独立观测视角组成所述主支持视角组,将支持所述次深度层且未受所述主高斯遮挡的独立观测视角组成所述次支持视角组。

14、进一步的,所述次级候选高斯的确认包括:

15、比较加入所述次级候选高斯前后所述主支持视角组和所述次支持视角组的深度残差;所述次支持视角组的深度残差下降量达到改善阈值,且所述主支持视角组的深度残差增加量低于干扰阈值时,确认所述次级候选高斯,否则撤销所述次级候选高斯。

16、进一步的,所述次级候选高斯的进入确认包括:确定所述次支持视角组的有向深度残差、视角层间距离和层间方向;所述有向深度残差的方向与所述层间方向一致,且残差幅值与所述视角层间距离的偏差低于偏差阈值的视角数量达到进入视角阈值时,进入确认,否则撤销所述次级候选高斯。

17、进一步的,所述次级候选高斯的确认包括:统计加入所述次级候选高斯前后所述次支持视角组中深度残差下降的改善视角数量,以及所述主支持视角组中深度残差增加的干扰视角数量;所述改善视角数量达到改善视角阈值且所述干扰视角数量低于干扰视角阈值时,确认所述次级候选高斯,否则撤销所述次级候选高斯。

18、进一步的,所述局部优化包括:

19、确认所述次级候选高斯时,局部优化所述主高斯和所述次级候选高斯;

20、撤销所述次级候选高斯时,移除所述次级候选高斯并优化所述主高斯。

21、与现有技术相比,本发明的有益效果在于:通过将同一采集时刻的多视角深度数据统一至世界坐标系并按空间网格汇集,使不同观测视角的深度观测能够在统一空间范围内进行关联比较;通过网格有效视角数量和深度离散程度确定空间网格的深度可靠度,对达到可靠阈值的空间网格直接生成基础高斯,减少稳定区域的重复处理;对未达到可靠阈值的空间网格,不采用统一删除、平均融合或直接增补高斯的处理方式,而是沿局部表面法向划分深度层,并根据层内离散程度、层间距离和层支持视角数量识别双表面冲突网格,从而降低将测量波动误判为真实表面或者将两个真实表面错误合并的概率;通过分别基于主深度层和次深度层生成主高斯和次级候选高斯,能够避免在两个真实表面之间生成偏离实际空间位置的高斯,并减少遮挡边界和轮廓交叠区域的结构缺失;通过分别建立主支持视角组和次支持视角组,并比较加入次级候选高斯前后两个支持视角组的深度残差变化,仅在次深度层的重建误差得到改善且主深度层未受到明显干扰时保留次级候选高斯,否则撤销次级候选高斯,由此抑制错误高斯的持续累积和重复增补;在完成候选高斯确认后对三维高斯模型进行局部优化,使计算资源集中于深度冲突区域,而无需对已形成稳定空间结构的区域进行大范围重复优化,进而提高动态三维重建结果在自遮挡、快速运动和轮廓交叠场景下的表面位置准确性、局部结构完整性及连续输出稳定性,并降低单个采集时刻的高斯数量和优化计算量,提高动态高斯重建的处理效率。

22、另一方面,本技术还提供了一种深度可靠度驱动的动态高斯快速重建系统,用于应用上述深度可靠度驱动的动态高斯快速重建方法,包括:

23、数据模块,用于同步采集多视角深度数据,将所述多视角深度数据统一至世界坐标系并按空间网格汇集;

24、可靠度处理模块,用于根据网格有效视角数量和深度离散程度确定空间网格的深度可靠度,对达到可靠阈值的空间网格生成基础高斯,对未达到可靠阈值的空间网格沿局部表面法向划分深度层;

25、冲突处理模块,用于根据层内离散程度、层间距离和层支持视角数量确定双表面冲突网格,将所述双表面冲突网格的两个深度层确定为主深度层和次深度层,生成主高斯和次级候选高斯,并分别建立主支持视角组和次支持视角组;

26、候选确认模块,用于将所述次级候选高斯加入由所述基础高斯和所述主高斯构成的三维高斯模型进行渲染,根据加入前后所述主支持视角组和所述次支持视角组的深度残差变化,确认或撤销所述次级候选高斯;

27、输出模块,用于对完成所述确认或撤销处理后的三维高斯模型进行局部优化,获得当前采集时刻的三维高斯结果,并对后续采集时刻的多视角深度数据重复处理,获得动态三维高斯结果。

28、可以理解的是,上述深度可靠度驱动的动态高斯快速重建方法及系统具备相同的有益效果,在此不再赘述。