一种二维点跟踪驱动的动态三维高斯更新方法

本技术涉及计算机视觉，特别是涉及一种二维点跟踪驱动的动态三维高斯更新方法。

背景技术：

1、随着自由视角视频、数字人内容生产、虚拟拍摄与沉浸式交互技术的快速发展，动态人体三维重建与渲染技术成为计算机视觉领域的研究热点，其目标是从多视角视频中恢复出随时间连续变化的人体几何形态与外观纹理，并支持任意视角的高质量渲染输出。近年来，三维高斯溅射技术凭借可微渲染效率高、细节还原能力强、显存占用可控的优势，逐渐成为动态三维重建的主流技术方案之一。动态三维高斯重建通过逐帧更新三维高斯单元的位置、旋转、尺度、颜色与不透明度等参数，对非刚性运动的人体、衣物形变进行连续表达，可广泛应用于数字人资产生成、体育赛事回放、医疗动作评估等场景。

2、目前主流的动态三维高斯更新方案，多以逐帧光度重建误差为核心优化目标，依靠渲染损失的反向传播梯度驱动高斯参数迭代；部分方案通过引入变形场网络预测整体形变，或添加局部时空正则化约束来提升时序连续性。在实际落地中，采用少量固定相机环绕拍摄的布设方案，因硬件成本低、部署空间小、操作流程简便，在中小成本内容生产、居家健身等场景具备极高的应用价值。

3、然而，在少视角固定相机的采集场景下，现有动态三维高斯更新方法仍存在诸多技术瓶颈。首先，大位移运动场景下梯度依赖度高，收敛效率与稳定性不足。当人体出现快速肢体运动、整体位移时，单帧局部光度梯度难以引导高斯单元完成远距离位置迁移，易出现梯度失配，导致高斯单元偏离真实人体表面，引发局部漂移、拖影、颜色错配与帧间闪烁等问题，且视角数量越少，梯度信息的局限性越突出。

4、其次，多视角视频中的时序运动信息未得到充分挖掘与利用。多视角同步视频包含大量可反映人体局部运动趋势的二维点轨迹信息，但现有方案通常仅将点轨迹作为训练阶段的辅助弱约束，并未将其转化为高斯参数更新的直接运动先验；同时，现有轨迹约束多仅作用于高斯中心位置，无法同步驱动旋转与尺度参数的连贯更新，难以精准表达肢体伸缩、衣物摆动、表面朝向变化等非刚性形变，动态重建的时序几何一致性不足。

5、最后，参数优化链路相互割裂，误差易累积传递。现有流程中相机参数标定、轨迹求解与高斯参数优化通常为分阶段独立执行，初始相机标定误差会逐级传递至后续重建过程；而少视角场景下视角覆盖有限、遮挡区域多，无法通过多视角冗余信息抵消误差，易引发跨视角几何错位、轨迹约束偏移等问题，且针对遮挡、低置信度轨迹与静止区域缺少系统化的容错处理机制，进一步降低了重建结果的稳定性。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提升少视角场景下动态三维重建的收敛效率、时序几何一致性与运行鲁棒性的二维点跟踪驱动的动态三维高斯更新方法。

2、一种二维点跟踪驱动的动态三维高斯更新方法，所述方法包括：

3、获取多视角下同步采集的连续图像帧序列、各视角对应的相机参数，以及初始帧对应的初始三维高斯单元集合，其中，三维高斯单元包括中心位置、旋转参数、尺度参数、颜色参数及不透明度参数；

4、在每个视角下，对所述连续图像帧序列中每一帧图像中动态目标的前景区域执行二维点跟踪，得到相邻帧之间各二维跟踪点的二维位移数据及对应的跟踪置信度；

5、以当前帧对应的三维高斯单元集合为基准，基于所述相机参数，结合对应的二维位移数据及跟踪置信度，将各视角下投影后落入同一三维高斯单元对应图像区域的二维跟踪点进行跨视角关联匹配与置信度加权，根据关联后的多视角二维轨迹分布求解对应三维高斯单元的三维中心位移、旋转增量与尺度增量；

6、根据求解得到的三维中心位移、旋转增量与尺度增量，对对应三维高斯单元的几何参数进行预更新，生成下一帧的预更新三维高斯单元集合；

7、构建包含颜色重建误差、结构相似度误差、二维轨迹重投影约束以及邻域运动平滑约束的联合损失函数，以所述联合损失函数取值最小化为优化目标，对预更新后的三维高斯单元集合进行迭代训练校正，得到下一帧的最终三维高斯单元集合；

8、通过逐帧迭代更新三维高斯单元集合，得到时序连续的动态三维高斯序列。

9、在其中一实施例中，所述得到相邻帧之间各二维跟踪点的二维位移数据及对应的跟踪置信度，包括：

10、对各视角下的二维跟踪点执行双向跟踪一致性检测、局部邻域运动一致性检测以及跨视角可见性检测；

11、根据检测结果调整各二维跟踪点的跟踪置信度，并剔除跟踪置信度低于预设阈值的离群跟踪点。

12、在其中一实施例中，所述三维高斯单元分为轨迹高斯单元与普通高斯单元，其中，所述轨迹高斯单元用于承担几何锚定作用，普通高斯单元用于承担外观细节表达；

13、在求解所述三维高斯单元的三维中心位移、旋转增量与尺度增量时：

14、对于所述轨迹高斯单元，基于所述轨迹高斯单元自身投影区域内的高置信度二维轨迹直接求解三维运动增量；

15、对于所述普通高斯单元，根据各所述普通高斯单元与邻近轨迹高斯单元的空间距离、表面方向相似度及前景归属关系进行运动信息传播，得到对应的三维运动增量。

16、在其中一实施例中，在求解所述三维高斯单元中的旋转增量与尺度增量时：

17、根据多视角下二维轨迹集合在相邻帧中的协方差分布变化，估计对应三维高斯单元的三维协方差增量；

18、将所述三维协方差增量分解为旋转增量与尺度增量，分别对应动态目标局部表面的朝向变化与局部形变程度。

19、在其中一实施例中，所述生成下一帧的预更新三维高斯单元集合之后、迭代训练校正之前，还包括：

20、对预更新后的各三维高斯单元进行运动可靠性判定，当三维高斯单元满足可见视角数量不足、跟踪置信度低于预设阈值、三维射线交会残差大于预设阈值、尺度变化超出预设范围、运动方向偏离邻域趋势中的至少一项时，判定为不可靠高斯单元；

21、对不可靠高斯单元降低对应的运动估计权重，或通过邻近可靠高斯单元传播运动信息进行修正。

22、在其中一实施例中，所述对预更新后的三维高斯单元集合进行迭代训练校正时，还将各视角相机参数的修正量作为优化变量，在迭代训练过程中同步校正相机参数，实现相机参数与三维高斯单元参数的联合闭环优化。

23、在其中一实施例中，对预更新后的三维高斯单元集合进行迭代训练校正采用分阶段训练策略，包括：

24、第一预热训练阶段：固定所述普通高斯单元的参数，仅校正轨迹高斯单元的几何参数与相机参数，稳定几何约束关系；

25、第二完整训练阶段：放开全部三维高斯单元的参数约束，同步更新各三维高斯单元中的所有参数。

26、在其中一实施例中，所述联合损失函数还包括三维轨迹一致性约束、轨迹高斯尺度约束以及几何正则约束；

27、其中，所述三维轨迹一致性约束用于约束关联二维轨迹的三维轨迹点的空间连续性，所述轨迹高斯尺度约束用于维持轨迹高斯单元的几何锚定属性，所述几何正则约束用于抑制高斯单元的不合理参数突变。

28、本技术还提出了一种二维点跟踪驱动的动态三维高斯更新装置，所述装置包括：

29、数据获取模块，用于获取多视角下同步采集的连续图像帧序列、各视角对应的相机参数，以及初始帧对应的初始三维高斯单元集合，其中，三维高斯单元包括中心位置、旋转参数、尺度参数、颜色参数及不透明度参数；

30、帧间跟踪模块，用于在每个视角下，对所述连续图像帧序列中每一帧图像中动态目标的前景区域执行二维点跟踪，得到相邻帧之间各二维跟踪点的二维位移数据及对应的跟踪置信度；

31、增量求解模块，用于以当前帧对应的三维高斯单元集合为基准，基于所述相机参数，结合对应的二维位移数据及跟踪置信度，将各视角下投影后落入同一三维高斯单元对应图像区域的二维跟踪点进行跨视角关联匹配与置信度加权，根据关联后的多视角二维轨迹分布求解对应三维高斯单元的三维中心位移、旋转增量与尺度增量；

32、参数预更新模块，用于根据求解得到的三维中心位移、旋转增量与尺度增量，对对应三维高斯单元的几何参数进行预更新，生成下一帧的预更新三维高斯单元集合；

33、训练校正模块，用于构建包含颜色重建误差、结构相似度误差、二维轨迹重投影约束以及邻域运动平滑约束的联合损失函数，以所述联合损失函数取值最小化为优化目标，对预更新后的三维高斯单元集合进行迭代训练校正，得到下一帧的最终三维高斯单元集合；

34、时序迭代模块，用于通过逐帧迭代更新三维高斯单元集合，得到时序连续的动态三维高斯序列。

35、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述二维点跟踪驱动的动态三维高斯更新方法中的步骤。

36、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现二维点跟踪驱动的动态三维高斯更新方法中的步骤。

37、上述一种二维点跟踪驱动的动态三维高斯更新方法，通过对多视角动态目标前景区域执行二维点跟踪获取帧间运动信息，以跟踪得到的二维位移与置信度为依据跨视角关联求解三维高斯单元的中心位移、旋转增量与尺度增量，前置完成几何参数预更新，能够为后续训练校正提供更优质的参数初值，有效缓解大位移场景下单纯依赖光度梯度导致的梯度失配问题，提升参数收敛效率，减少局部漂移、拖影与帧间闪烁现象。同时通过多视角轨迹联合求解同步驱动位置、旋转与尺度的连贯更新，充分挖掘了多视角时序运动信息的价值，能够更精准地表达动态目标的非刚性形变，提升动态重建的时序几何一致性。最终结合多维度联合损失函数进行迭代精校正，在保障几何参数准确性的同时优化外观还原效果，配合逐帧迭代的时序更新机制，可稳定输出高质量的连续动态三维高斯序列，整体提升了少视角场景下动态三维重建的运行效率与结果稳定性。