基于流式四维高斯溅射的沉浸式视频在线观看方法

摘要: 本发明涉及三维重建,尤其涉及一种基于流式四维高斯溅射的沉浸式视频在线观看方法。背景技术:0、技术背景1、沉浸式视频是一种前沿的媒体形式,观众在沉浸式视频中可以自...
基于流式四维高斯溅射的沉浸式视频在线观看方法

本发明涉及三维重建,尤其涉及一种基于流式四维高斯溅射的沉浸式视频在线观看方法。

背景技术:

0、技术背景

1、沉浸式视频是一种前沿的媒体形式,观众在沉浸式视频中可以自由切换视角,探索三维空间中的内容。与传统视频相比,沉浸式视频提供了更高的交互性和参与感,能为观众提供引人入胜的互动体验,这项技术允许用户从多个角度和视角探索内容,提供传统视频格式不可比拟的临场感和沉浸感。沉浸式视频技术正在彻底改变人们观看视觉内容的方式。它们在虚拟现实、增强现实和混合现实等领域的影响尤为显著,这些领域的目标是创造尽可能逼真的体验。沉浸式视频不仅仅是观看内容,而是以一种尽可能接近现实的方式体验内容,能够移动和环顾四周,仿佛身临其境。沉浸式视频是讲故事、教育和娱乐的强大工具,为参与和互动提供了新的可能性。作为支撑此类应用的核心技术,沉浸式视频流通过三维场景的实时传输与渲染,致力于为用户提供多自由度、高保真度的交互体验。

2、沉浸式视频需传输动态三维场景的时空信息,传统方案中完整三维模型的数据量可达gb级,例如基于稠密点云的三维重建方法,需对每个点进行实时传输和渲染,数据量巨大且传输延迟高。现有的沉浸式视频流方案主要基于全景视频或多视角视频,无法满足用户在动态场景下的交互需求。当前的主流技术均存在一定的瓶颈。在传统的三维场景表示与传输方法中,以通过视点预测和点云超分的方法为例,其在高分辨率视频流传输中仍需消耗较高的带宽,且在动态场景中难以保证实时渲染的流畅性,且这些方法的效果严重依赖视点预测的准确性,在用户的视点与视角发生快速变化时,可能会产生比较显著的渲染质量下降等问题。

3、因此,针对现有技术的不足,本发明提出了一种基于流式四维高斯溅射的方法,利用多个不同视角的摄像机采集到的视频与稀疏时空点云,对动态三维场景进行快速重建;利用参数压缩方法减小模型体积以节省带宽,并通过高斯核流式传输与实时渲染视线沉浸式视频流的在线观看,解决现有的沉浸式视频难以实时在线点播并进行渲染与观看的问题。

技术实现思路

1、本发明提出了一种基于流式四维高斯溅射的沉浸式视频在线观看方法,来实现沉浸式视频的流式传输与实时渲染。该方法通过四维时空系数点云的生成方法和四维高斯溅射的参数化方法,并归统一了时间与空间维度的表示,以此将三维高斯溅射模型扩展至四维时空;再通过高斯核的稀疏化和系数的参数压缩,在保证模型占用较小的存储空间的前提下,实现了对四维时空场景的快速、高精度的重建,并能够实现实时渲染;最后通过设计高斯核球的传输策略,实现了对四维高斯溅射模型低带宽的流式传输。该方法在保证渲染质量的前提下,显著降低了传输延迟和带宽消耗,并提供更高的渲染效率,满足了低启动延迟和低带宽的沉浸式视频流传输、观看的需求。

2、本发明提供了以下技术方案:

3、一方面,一种基于流式四维高斯溅射的沉浸式视频在线观看方法,包括:

4、s11,构建四维高斯溅射模型,将输入的稀疏时空点云的点数作为四维高斯核的数量,稀疏时空点云中的每个点分别作为四维高斯核的初始中心,并对所有高斯核的其他参数做随机初始化,这些参数包括:位置均值、协方差矩阵、透明度和球谐函数系数;

5、s12,根据s11构建的四维高斯溅射模型对采集场景视频的摄像机所在视点进行四维高斯溅射的体渲染,得到相应的视图,所述四维高斯溅射的体渲染包括:对时空高斯核进行筛选、四维高斯溅射的光栅化和像素累积与着色;

6、s13,根据摄像机拍摄视频中的像素颜色对四维高斯溅射模型的渲染结果进行监督训练,所述训练包括:通过计算渲染结果与视频中像素颜色的损失函数,反向传播损失函数以更新四维高斯核的参数,并对对位置均值、协方差矩阵、透明度和球谐函数系数进行优化,在模型训练的过程中进行高斯核的稀疏化以及不透明度与球谐函数系数的压缩,完成压缩后使用压缩表示进行进一步的微调训练;

7、s14,根据高斯核的时间属性区分动静态元素,对静态元素进行静态传输,对动态元素赋予优先级并根据该优先级进行流式传输,客户端则根据已接收的高斯核结合当前时间戳与视点对所需视图做实时渲染,实现沉浸式视频的在线观看。

8、进一步地,所述s11,具体包括以下步骤:

9、四维高斯溅射的每个单元为四维时空椭球体,其参数化需显式编码时空几何与辐射属性为:

10、

11、其中μi=[xi,yi,zi,ti]t为四维高斯核的均值向量,定义了高斯核的中心位置,每个μi根据与其对应输入的稀疏时空点云中点的坐标进行初始化:

12、为四维高斯核的协方差矩阵,定义了高斯核的空间和时间各向异性,其分块矩阵形式为

13、

14、为空间协方差矩阵,为空间旋转与空间缩放的特征组合,为时空耦合项,vt控制高斯沿时间轴的扩散速率,耦合权重建模空间运动对时间扩散的影响;

15、αi(t)∈[0,1]为四维高斯核的不透明度,代表了高斯核的可见性程度;

16、shi(t)为四维高斯核的球谐函数,定义了高斯核在不同时间下的辐射属性,其为球谐基函数与球谐系数的βl,m(t)的乘积和,能够实现高效低频滤波:shi的低阶展开(如l=3)天然抑制高频噪声,适合表示低频信号(如软阴影、间接光照),其能量集中于低阶项的特性支持数据压缩。具体形式为:

17、

18、其中协方差矩阵、不透明度和球谐函数系数均通过随机初始化,与均值向量共同构成可学习的参数。

19、进一步地,所述s12,具体包括以下内容:

20、四维高斯溅射的渲染流程在3dgs的基础上扩展了时间维度,需将时空坐标统一处理,并通过时空可见性预测实现高效计算。

21、首先对时空高斯核进行筛选,通过以下条件剔除对当前渲染帧影响微弱的高斯核:

22、若高斯核的时间均值μt与当前帧时间tframe满足|μt-tframe|>3σt(σt为该高斯核的时间方差),则剔除该高斯;

23、将高斯核与所渲染像素的高斯距离的倒数作为该高斯核的权重,其中xp=xpixel-μi,即高斯核中心坐标的均值μi到当前像素的时空坐标xpixel的向量,保留前k个贡献权重最大的高斯(如k=512),并对这些高斯核按权重由大到小排序,其余按贡献度截断;

24、其次进行四维高斯溅射的光栅化,分为两个步骤,四维高斯核投影与像素覆盖计算:

25、四维高斯核的投影包括四维椭球中心变换和协方差矩阵投影,设世界时空坐标系到ndc时空坐标系的投影矩阵为世界坐标下,四维高斯均值μw=[xw,yw,zw,tw]t的投影为:

26、

27、其中,时间维度t通过恒等映射保留原值,而空间维度通三维投影矩阵p3×3进行映射,采用透视投影矩阵,具体形式为:

28、

29、其中n为近裁剪面距离,f为远裁剪面距离,l,r,b,t分别为左、右、下、上裁剪面的位置;

30、协方差在仿射变换下的传播公式为

31、∑ndc=jσwjt,

32、其中为投影变换的雅可比矩阵;

33、由于时间维度t为恒等映射,雅可比矩阵可分解为空间与时间分量:

34、

35、其中空间部分的雅可比矩阵jxyz由投影矩阵p3×3的线性部分与透视除法(如齐次坐标归一化)的非线性项共同决定,设相机内参矩阵为:

36、

37、则jxyz的形式为:

38、

39、其中rxyz为世界坐标系到相机坐标系的旋转矩阵;

40、像素覆盖的计算通过马氏距离实现:

41、

42、马氏距离越大则代表对像素的覆盖范围越小,若则判定为无像素覆盖,舍弃该高斯核,其中为四阶卡方分布的0.95分位数。

43、最后利用体渲染技术,进行高斯溅射的累计与像素着色,得到像素的渲染结果:按照优先级次序积分每个四维高斯盒对于像素的贡献,并在累积颜色的过程中累积高斯核的不透明度,计算像素(u,v)的颜色

44、

45、其中:

46、αi∈[0,1]为可学习的不透明度参数;

47、为四维高斯分布的概率密度函数:

48、

49、xp=[x,y,z,t]t为当前采样时刻和像素的四维坐标。

50、进一步地,所述s13,具体包括:

51、四维高斯溅射的参数优化主要包括高斯核参数的初始化与优化两个阶段。在初始化阶段,通过四维时空点云的生成方法生成初始高斯核,以提供初始的渲染效果。在优化阶段,通过联合优化的方式,对协方差矩阵、球谐函数中的颜色和不透明度等参数进行优化,以提升渲染质量,利用训练图像的像素,根据像素损失、时空正则化、稀疏性约束,将其赋予不同的损失权重,损失函数的表达式为:

52、

53、其中,光度一致性损失表示了渲染图像与真实图像之间的差异,表示为模型输出的颜色与真实图像的颜色之间的l2损失:

54、

55、时空正则化项代表了对高斯核参数的平滑性约束,通过分别约束时间平滑性和协方差的平滑性表示:

56、

57、稀疏性约束用于控制高斯核的密度:

58、

59、综合以上损失函数,通过梯度下降的方式对高斯核参数进行优化,采用adam优化器,以最小化损失函数,在参数优化的过程中采用了学习率衰减、梯度裁剪方法提升稳定性。

60、为了进一步减小四维高斯溅射模型的存储空间,以此降低传输所需要的带宽开销,本发明设计了一套参数压缩与推理加速的方法,包括高斯核的稀疏化、不透明度和球谐函数系数的压缩表示。

61、高斯核的稀疏化是指对高斯核的数量进行压缩,以减小模型的存储空间。在初始的四维高斯溅射模型训练到一定的轮次后,对其中的高斯核进行聚类,将距离较近的高斯核合并为一个高斯核,以减小高斯核的数量,本发明基于时空相似性把高斯核聚类到一起,针对时间维度冗余,提出了四维时空聚类算法。

62、高斯核间的时空相似性由马氏距离度量:

63、

64、对时间方差σt>0.5的高斯执行跨时间合并,合并条件为:

65、且|μxyz,i-μxyz,j|<dspace,

66、其中,表示两个高斯分布的kl-散度,具体地,

67、

68、∈time为时间合并阈值,|μxyz,i-μxyz,j|为i,j两个高斯核在空间维度的距离,dspace为空间合并阈值;

69、对剩余高斯执行k-means++四维聚类,簇数将通过自适应决定,对于类内高斯通过以下计算合并为一个高斯核:

70、

71、权重wi=1/σt,i,抑制时间方差大的高斯主导合并结果;

72、协方差修正:合并后的协方差矩阵通过雅可比矩阵修正,补偿几何形变:

73、

74、在不透明度与球谐函数系数的压缩表示中,对每个高斯核定义有效时间窗口t∈[μt-kσt,μt+kσt],窗口外强制α(t)=0;

75、通过以上策略,可以减少大量的高斯核球数量,在一定程度上达到压缩模型体积的目的。

76、动态高斯核的不透明度仅在以中心时刻tc为均值、时间方差σt为扩散范围的局部窗口内显著非零。其不透明度αa和球谐系数βl,m(t)随时间变化。然而,随着在时间上与中心点距离的增加,高斯核球对于最终渲染的贡献会迅速减小,产生冗余的系数存储。因此,本专利提出基于时域有效窗口的参数截断压缩方法,显著降低不透明度与球谐函数系数的存储冗余。

77、针对时间方差σt较大的静态高斯核,其代表了场景中相对静止或缓变元素,其参数(如球谐系数、不透明度)在时域上具有低秩特性,采用基于低次多项式拟合的压缩策略,具体流程如下:

78、选择时间方差σt>τstatic的高斯核,其中τstatic=0.1,对每个系数序列采用多项式拟合:

79、

80、以此实现至少20:1的参数压缩效率,利用最小二乘法拟合多项式系数,以保证拟合精度。

81、对压缩后的参数进行联合优化,进行微调并保证最终模型的精度,具体地,将压缩后的不透明度和球谐系数作为新的优化参数,通过压缩表示进行四维高斯溅射的渲染,连同高斯核的位置、协方差矩阵等参数一起进行联合优化,以最小化损失函数以此保证压缩后的参数能够在推理阶段保持较高的渲染质量。

82、进一步地,所述s14,具体包括:

83、四维高斯溅射的流式传输需在保证渲染质量的前提下,实现动态场景的低延迟在线点播,面向在线点播的动态场景传输需满足以下核心需求:

84、低启动延迟:用户等待时间需控制在秒级(<5秒),优先传输静态元素以保证初始渲染完整性;

85、动态自适应性:根据网络带宽动态调整传输策略,避免卡顿并降低峰值带宽需求;

86、时空一致性:基于高斯核的时空属性(中心时刻μt、时间方差σt)实现渐进式加载,确保运动连贯性。

87、针对以上的设计目标,本发明提出了基于时空属性的传输优先级建模、滑动窗口传输等机制,以实现四维高斯溅射的连贯传输与实时渲染。

88、时间方差σt>0.5的高斯核视为静态元素,覆盖全局光照、背景等长期存在的场景成分,在启动阶段优先完成传输,采用无损压缩传输;

89、对于σt≤0.5的动态高斯核的传输,将时间轴划分为滑动窗口[tc-δt/2,tc+δt/2],其中tc为当前时刻,δt为滑动窗口的大小,对落在滑动窗口中的动态高斯核进行按时间距离和空间可见性加权排序,排序的优先级计算方式为:

90、

91、根据高斯核的优先级确定当前所需的高斯核集合gcurrent,并将其参数传输至客户端,通过对高斯核球的优先级排序,可以决定优先将哪些高斯核球传输到客户端,以保证渲染的连贯性。而这些高斯核球的传输则通过滑动窗口的机制实现。

92、客户端根据已接收的高斯核结合当前时间戳与视点对所需视图,进行四维高斯溅射的渲染流程。