具备真实物理尺度与网格驱动编辑的三维高斯建模方法

本发明涉及三维重建与计算机视觉。更具体地说，本发明涉及一种具备真实物理尺度与网格驱动编辑的三维高斯建模方法。

背景技术：

1、复杂三维场景的高质量获取与精细表征一直是摄影测量与计算机视觉领域的核心研究课题。近年来，以神经辐射场（neural radiance field，nerf）为代表的隐式连续场景表征方法在处理复杂光效与几何细节方面展现出巨大潜力，极大地推动了新视角合成（novelview synthesis, nvs）技术的发展。然而，nerf类方法普遍面临训练时间长、推理开销大等计算瓶颈，限制了其实时性。随后，kerbl等人提出的3d高斯泼溅（3d gaussiansplatting，3dgs）通过引入离散的各向异性高斯基元与高效的可微光栅化技术，在维持高保真渲染的同时实现了高质量的实时渲染，迅速成为三维重建与表征的主流范式。

2、尽管3dgs在视觉表现上非常出色，但其本质上是一个高度无约束的光度优化过程，缺乏对场景底层连续表面的几何显式建模。这导致原生3dgs在实际应用中存在明显的局限性。首先，由于缺乏几何先验，优化过程中往往会在空间中生成大量冗余的、甚至完全脱离表面的伪影。这些非结构化的离散基元割裂了场景的几何连续性，导致在执行跨场景对象迁移或组合编辑时，由于缺乏真实物理尺度，极易导致物体比例失调与空间位置错乱。其次，由于3dgs通常依赖运动恢复结构（structure from motion，sfm）算法获取相机位姿，其重建的场景本质上处于一个缺乏真实物理单位的相对坐标系中。这种尺度模糊性极大制约了视觉模型在自动驾驶、工业检测等需要绝对尺寸量测场景中的深层次应用。

3、针对上述挑战，研究者们开始尝试在3dgs框架下引入几何约束或提取显式网格。例如，sugar和2dgs分别探讨了将高斯基元对齐到表面或采用二维降维机制的方法，以增强表面一致性。然而，这些依赖隐式正则化或空间压缩的方法在提升几何质量的同时，往往会导致高频几何细节的丢失，难以兼顾高保真渲染质量。此外，直接利用高密度原始网格驱动大规模高斯基元，不仅会显著增加计算开销，且在非刚性形变下极易因基元间的协同性不足而产生明显的视觉伪影或几何撕裂。如何实现从单纯的“视觉重现”向具备绝对物理尺度的“计量重建”跨越，并支持稳健的交互式编辑，仍是亟待解决的关键问题。

技术实现思路

1、本发明的一个目的是提供一种具备真实物理尺度与网格驱动编辑的三维高斯建模方法，以至少解决上述问题。

2、为了实现本发明的目的和其它优点，提供了一种具备真实物理尺度与网格驱动编辑的三维高斯建模方法，包括以下步骤：

3、s1、获取目标场景的多视角图像，对目标场景进行三维高斯泼溅建模，获得初始三维高斯场，从初始三维高斯场中提取初始三角网格；基于相机分布先验计算网格顶点的观测权重，结合二次误差度量构建顶点代价函数，对初始三角网格执行自适应简化，得到简化三角网格；

4、s2、基于简化三角网格，根据每个面片的多维几何特征进行自适应采样，生成初始贴合网格表面的高斯基元；在高斯基元的光度迭代计算过程中，在三维高斯泼溅的光度渲染损失基础上，加入法线一致性损失、表面投影损失、阶梯式不透明度惩罚损失以及复合尺度约束损失作为几何正则化约束项，构成总损失函数，限制高斯基元脱离网格表面，得到网格与高斯绑定的场景表征；

5、s3、基于网格与高斯的绑定关系，为简化三角网格中的每个面片构建局部切空间坐标系，将高斯基元的位置以及旋转参数重新参数化为所绑定面片局部坐标系下的局部属性，使高斯基元随面片的空间变换同步联动，实现沿简化三角网格几何边界的对象提取与跨场景组合编辑；

6、s4、获取目标场景的点云数据，在简化三角网格表面进行均匀采样得到几何点集；通过求解包含尺度因子、旋转矩阵和平移向量的七自由度相似变换对几何点集与点云数据进行配准，将网格与高斯绑定的场景表征从相对坐标系对齐至真实物理坐标系，使模型具备真实物理尺度，同时为跨场景编辑提供统一物理尺度基准。

7、优选的是，s2中，在高斯基元的光度迭代计算过程中，当高斯基元满足致密化条件需要生成子基元时，子基元的空间位置通过父基元绑定面片的三个顶点进行重心插值计算；子基元自动继承父基元对应的面片索引，确保所有新增高斯基元始终约束在所绑定面片的表面范围内。

8、优选的是，s1中，顶点代价函数

c(

v)为：

9、，

10、其中，

q(

v)为顶点v的二次误差度量，φ(

v,

c

i)表示顶点v在相机视角

c

i下的可见度权重，α为平衡权重系数，

ncam为训练相机的总数量，

w

i为第i个训练相机的视角贡献权重系数。

11、优选的是，s2中，自适应采样时，面片的采样权重

w

j由以下方式确定：

12、，

13、其中，

harea(

f

j)为面片

f

j的面积，

hcurv(

f

j)为面片

f

j的局部曲率，

hcam(

f

j)为面片

f

j的相机观测度，λarea、λcurv、λcam为权重系数，

f

j∈f，f为简化三角网格中所有面片的集合；

14、按采样权重分配面片内的高斯基元采样数量，并通过重心坐标在形面片内部生成高斯基元，生成的高斯基元的初始旋转方向对齐面片法线，初始尺度设置为切向延展、法向压缩的扁平形态。

15、优选的是，s2中，法线一致性损失用于最小化高斯基元最短轴与所绑定面片法向量的余弦距离，法线一致性损失函数lnormal为：

16、，

17、其中，

ng为为参与几何约束计算的有效高斯基元总数量，

n

gi为第i个高斯基元最短轴对应的单位法向量；

n

fi第i个高斯基元所绑定面片的单位法向量。

18、表面投影损失用于惩罚高斯基元中心到所绑定面片几何中心所在平面的垂直位移，限制高斯基元沿法向脱离网格表面，表面投影损失函数lproj为：

19、

20、其中，

ng为为参与几何约束计算的有效高斯基元总数量，

μ

i为第i个高斯基元的中心位置坐标；

c

fi为第i个高斯基元所绑定面片的几何中心坐标；

n

fi第i个高斯基元所绑定面片的单位法向量。

21、优选的是，s2中，阶梯式不透明度惩罚根据高斯基元中心到所绑定面片表面的欧氏距离施加分级梯度惩罚，对超出阈值的离群高斯基元施加加倍惩罚，剔除漂浮伪影，阶梯式不透明度惩罚损失函数lopacity为：

22、

23、其中，

τfar为近场距离阈值；

α

i为第i个高斯基元的不透明度值；

β1为第一级惩罚的衰减系数，用于控制近场区域不透明度惩罚随距离增长的速率；

τ

vfar为远场距离阈值；

β2为第二级惩罚的衰减系数，用于控制远场离群区域不透明度惩罚随距离增长的速率；γ为远场加倍惩罚因子，用于放大严重偏离表面的离群高斯基元的惩罚强度；

d

i为第i个高斯基元中心到所绑定面片表面的欧氏距离。

24、优选的是，s2中，复合尺度约束用于限制高斯基元法向与切向尺度的各向异性比例，同时通过随表面距离

d

i衰减的包络函数约束高斯基元空间延展范围，避免网格穿透与深度冲突，复合尺度约束损失函数lscale为：

25、，

26、其中，

s

x,i、

s

y,i、

s

z,i分别为高斯基元在三个主轴方向上的尺度；

τ

ratio为各向异性比例阈值；

τscale(

d

i)为随高斯基元到网格表面距离

d

i衰减的包络函数，

ng为参与几何约束计算的有效高斯基元总数量；

s

i为第i个高斯基元的三维尺度向量。

27、优选的是，s3中，局部切空间坐标系的构建方式为：对于由顶点{

v

1

, v

2

, v

3}构成的任意面片

f

j，定义其局部旋转基rt= [r1, r2, r3]，其中：

28、，

29、其中，

n

f为面片法向量；

30、高斯基元被重新参数化为所绑定面片局部坐标系的局部属性{

μ

l,

q

l,

s

l}；当所绑定面片的几何中心

μ

t或旋转基

r

t发生变化时，高斯基元的全局空间位置

μ和全局旋转r按以下方式更新：

31、，

32、其中，

r

l为高斯基元相对于所绑定面片局部切空间坐标系的局部旋转矩阵，用于描述高斯基元自身相对于面片切平面的旋转偏移量。

33、优选的是，s4中，在进行配准前还包括，对几何点集与点云数据进行粗配准，获取对应点对，结合奇异值分解求解初始七自由度相似变换参数，再以初始七自由度相似变换参数为初值，采用尺度感知迭代最近点算法，通过最小化加权huber损失函数迭代求解最优七自由度相似变换：

34、，

35、其中，s为全局尺度因子，r为旋转矩阵，t为平移向量，

p

i为几何点集中的点，

q

i为点云数据中对应的点，

ρ()为huber核函数，用于降低离群点对配准结果的影响，提升算法对环境噪声的鲁棒性；

n

p为配准对应点对的总数量；

w

pi为第i组对应点对的权重系数。

36、优选的是，s3中，沿简化三角网格几何边界的对象提取，通过语义引导方式实现：首先通过预训练的语义分割网络对输入的多视角图像进行像素级语义标注；再通过多视角投影将像素级语义标签融合映射至简化三角网格的面片上，得到带语义标签的网格面片；根据目标对象的语义标签筛选对应面片，自动沿面片边界剥离绑定的高斯基元，提取过程不产生粘连。

37、本发明至少包括以下有益效果：

38、本发明提出了一种显式网格与3dgs深度融合的metric-gs方法，通过相机分布先验引导的自适应网格简化构建轻量化几何骨架，结合多维几何特征初始化与多准则表面正则化约束高斯基元精确贴合网格；建立基于局部切空间的绑定机制解决跨场景编辑的背景粘连问题，并通过尺度感知多模态配准恢复场景真实物理度量。在dtu、mip-nerf 360等标准数据集上的实验表明，本发明的方法平均倒角距离达0.69毫米，物理尺度误差控制在1.2%以内，同时保持与原生3dgs相当的渲染质量，峰值信噪比平均下降不足0.4db，且维持实时渲染帧率。

39、本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。