一种基于3DGS双分支初始化模型的稀疏视角三维重建方法
本发明涉及计算机视觉、三维场景重建及神经渲染,尤其涉及一种面向稀疏视角输入场景的三维高斯重建方法。更具体地,本发明涉及一种由深度校准反投影分支和几何置信度门控残差预测分支构成的双分支高斯初始化模型,用于生成初始点云、基础高斯参数及其置信度门控残差修正量。
背景技术:
1、三维高斯场表示方法通过一组具有位置、尺度、不透明度和颜色属性的高斯椭球对场景进行建模,在新视角合成和稀疏视角重建任务中具有较高效率。现有方法通常依赖运动恢复结构(sfm)方法或稀疏重建结果作为高斯中心的初始来源,并利用近邻距离、固定的不透明度初值或简单启发式规则初始化其余高斯参数。
2、在稀疏视角条件下,特别是训练视角数量较少时,仅根据稀疏点云或随机点云生成初始高斯场,容易出现初始高斯中心覆盖不充分、后续优化收敛速度慢等问题;同时,高斯尺度和不透明度等参数的初始化较为粗糙,容易导致背景区域模糊、局部几何不稳定等现象。
3、单目深度能够提供一定的几何先验,但现有方法通常将深度反投影、点云构建与高斯参数预测作为相互独立的处理过程,未建立初始几何可靠性与高斯参数修正强度之间的控制关系。因此,仍需要一种双分支高斯初始化方法:由深度校准反投影分支生成几何锚点和基础高斯参数,由几何置信度门控残差预测分支利用多视角特征估计几何可靠性并预测参数残差,再通过跨分支门控融合生成稳定的初始高斯场。
技术实现思路
1、基于上述问题,本发明提供了一种基于双分支深度校准与几何置信度门控残差预测的稀疏视角三维高斯重建方法。该方法通过dcbp 生成几何锚点和基础高斯参数,通过gcrp预测几何置信度及参数残差,并采用跨分支门控融合生成初始高斯场。
2、为实现上述目的,本发明采用的技术方案如下:
3、s1、获取同一场景的稀疏多视角图像、相机内外参数和稀疏重建点云;对稀疏多视角图像进行单目深度估计,得到各输入视角对应的单目深度图。
4、s2、通过dcbp,根据稀疏重建点云中的三维点与各单目深度图中对应像素之间的几何对应关系,确定尺度校正参数和偏移校正参数,得到对齐深度图;根据相机内外参数将对齐深度图反投影至统一世界坐标系,并对不同视角生成的候选三维点进行多视角一致性筛选、融合、降采样和异常点过滤,得到初始点云。
5、s3、通过dcbp,以初始点云中的三维点作为高斯中心,根据邻域距离、点密度、可见性及颜色信息,确定基础尺度、基础旋转、基础不透明度和基础颜色或球谐系数,形成基础高斯参数。
6、s4、通过gcrp提取各输入视角的多尺度图像特征,并以dcbp 生成的初始三维点作为特征查询锚点,将所述初始三维点投影至各输入视角的图像特征图中。
7、s4-1、在对应投影位置采样图像特征,并根据可见性、深度一致性和视角权重,对同一三维点在不同视角下采样得到的图像特征进行加权聚合,得到点级多视角融合特征。
8、s5、通过gcrp,根据多视角深度一致性、有效可见视角数量、跨视角特征一致性和局部几何稳定性中的至少两项计算几何置信度,所述几何置信度用于表征初始点作为场景表面点的可靠程度。
9、s5-1、将点级多视角融合特征与三维点坐标、颜色、邻域距离统计、局部几何特征及几何置信度进行拼接,输入gcrp中的残差预测模块,得到对应的尺度残差和不透明度残差。
10、s6、将几何置信度映射为残差门控权重,并根据残差门控权重,将gcrp输出的参数残差与dcbp输出的基础高斯参数进行跨分支门控融合,得到初始化三维高斯场。
11、s7、对初始化三维高斯场进行可微投影和光栅化渲染,将渲染图像与真实图像进行比较,计算包括l1损失和ssim损失的图像重建损失。
12、s7-1、对图像重建损失进行反向传播,更新高斯椭球的位置、尺度、旋转、不透明度、颜色或球谐系数;并根据梯度大小、不透明度贡献、几何置信度和渲染误差,对高斯椭球进行剪枝或密集化处理。
13、s7-2、在优化完成的三维高斯场中输入目标相机位姿,输出对应视角下的场景rgb图像和深度图。
14、有益效果
15、本发明通过dcbp对单目深度进行尺度和偏移校准,并完成多视角反投影、筛选和融合,能够在稀疏视角条件下生成覆盖更充分且几何关系更稳定的初始点云和基础高斯参数,降低对sfm点云密度及固定参数初值的依赖。
16、本发明通过gcrp以dcbp生成的三维点作为特征查询锚点,聚合多视角图像特征,并结合深度一致性、可见性、特征一致性和局部几何稳定性计算几何置信度;所述几何置信度用于控制参数残差对基础高斯参数的修正强度,使两个分支形成几何锚点、可靠性判断和参数修正之间的闭环耦合,从而减少漂浮伪影、背景模糊和局部几何不稳定现象,提高稀疏视角三维重建的稳定性和准确性。
1.一种基于3dgs的双分支初始化模型的稀疏视角三维重建方法,其特征在于,所述方法采用双分支高斯初始化模型,所述双分支高斯初始化模型包括深度校准反投影分支(dcbp branch)和几何置信度门控残差预测分支(gcrp branch),所述方法包括以下步骤:
2.根据权利要求1所述的方法,其特征在于,所述dcbp采用单目深度估计网络获得各输入视角的单目深度图,并根据稀疏重建点云中的三维点在对应视角下的投影深度与单目深度值之间的对应关系,拟合尺度校正参数和偏移校正参数;所述单目深度估计网络采用depth anything v2。
3.根据权利要求1所述的方法,其特征在于,所述dcbp将对齐深度图中的有效像素反投影至三维空间,将不同视角生成的候选三维点变换至统一世界坐标系,并通过多视角深度一致性筛选、重复点融合、降采样和异常点过滤得到初始点云;以初始点云中的三维点作为高斯中心,根据邻域距离、点密度、可见性和颜色信息构造基础高斯参数。
4.根据权利要求1所述的方法,其特征在于,所述gcrp采用fpn多尺度特征提取结构获得各输入视角的多尺度图像特征;以dcbp生成的初始三维点作为特征查询锚点,根据相机内外参数将所述初始三维点投影至各视角的图像特征图,通过双线性插值采样对应位置的图像特征,并根据可见性、深度一致性和视角权重进行加权聚合,得到点级多视角融合特征。
5.根据权利要求1所述的方法,其特征在于,所述gcrp根据多视角深度一致性、有效可见视角数量、跨视角特征一致性和局部几何稳定性中的至少两项计算几何置信度;将点级多视角融合特征与三维点坐标、颜色、邻域距离统计、局部几何特征及几何置信度进行拼接,并输入mlp残差预测模块,得到对应的尺度残差和不透明度残差。
6.根据权利要求1所述的方法,其特征在于,所述s6中的跨分支门控残差融合包括:将gcrp计算得到的几何置信度映射为残差门控权重,并利用所述残差门控权重控制gcrp输出的参数残差对dcbp输出的基础高斯参数的修正强度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com