一种三维高斯视频流压缩方法、设备及介质

本发明涉及视频流压缩编码传输，尤其涉及一种三维高斯视频流压缩方法、设备及介质。

背景技术：

1、在持久式动态三维高斯视频系统中，上一帧的持久三维高斯状态需要由当前帧神经运动算子进行平移、旋转等运动更新后传播至当前帧。现有系统通常为每一帧分别保存或传输一个独立的神经运动算子。视频序列包含数百帧或数千帧时，逐帧独立存储运动算子会形成显著的累计存储量和传输码率，且未充分利用相邻帧运动场在运动区域、局部变换规律和运动幅度方面的时间相关性。

2、现有动态三维高斯压缩方案又多以完整动态场景、完整时序高斯轨迹或重新设计的动态场景模型为压缩对象，缺少针对负责持久状态跨帧传播的运动算子序列这一独立传输层对象的模块化压缩机制。与此同时，神经运动算子实际作用于由上一帧传播得到的继承持久高斯状态；若压缩模型在固定初始状态或其他静态参考状态上训练，训练域与部署域不一致，容易产生运动偏差、几何错位、帧间抖动及渲染质量下降。

3、综上所述，亟需一种三维高斯视频流压缩方法、设备及介质解决以上问题。

技术实现思路

1、为解决上述技术问题，本发明提出了一种三维高斯视频流压缩方法，将逐帧独立神经运动算子分解为序列共享解码器和低维帧级潜变量，并在实际继承持久高斯状态域内提取运动监督目标，实现持久运动流的紧凑表示、编码、传输、解码和重建。在不改变原有残差高斯补充机制的前提下，压缩运动算子可替代原始逐帧运动算子，并与当前帧残差高斯共同完成自由视点渲染，本发明方法包括如下步骤：

2、s1、获取原始持久式三维高斯视频流，对于三维高斯视频流的每一帧，获取由上一帧继承得到的持久三维高斯状态和原始神经运动算子；

3、s2、在继承持久三维高斯状态上进行探针样本采样，得到探针样本的属性；对高斯中心位置执行空间收缩变换，得到收缩坐标；将收缩坐标输入原始神经运动算子，获取平移偏移监督目标和旋转增量监督目标，生成训练样本集合；

4、s3、构建序列共享解码器，为每一帧分配帧级潜变量，采用坐标编码函数对收缩坐标进行位置编码，得到坐标编码，将坐标编码与帧级潜变量一起输入共享解码器，通过指数映射恢复增量四元数，并更新高斯位置和旋转；

5、s4、基于运动监督目标进行训练，优化共享解码器参数和帧级潜变量；

6、s5、对优化后的共享解码器参数和帧级潜变量进行量化，对量化结果进行编码，生成压缩运动码流；

7、s6、解码压缩运动码流并更新持久高斯状态，生成当前帧持久高斯状态。

8、可选的，在s1中，还包括获取三维高斯视频流的当前帧残差高斯集合，所述当前帧残差高斯集合用于与当前帧持久高斯状态结合提高渲染质量。

9、可选的，在s2中，探针样本的属性包括探针样本的位置、旋转、尺度、不透明度和可见性标记，空间收缩变换采用空间收缩函数执行，计算表达式如下：

10、；

11、其中，contract()表示空间收缩函数；表示原始参考系统在第t-1帧继承持久高斯状态中的探针样本位置；表示对执行空间收缩后得到的收缩坐标。

12、可选的，在s2中，训练样本集合中的每个样本至少包括收缩坐标、帧索引、平移偏移监督目标、旋转增量监督目标和有效探针掩码，所述有效探针掩码用于标记对应探针是否位于原始运动算子的有效输入范围。

13、可选的，在s3中，坐标编码函数采用多频率正弦余弦位置编码函数，表达式如下：

14、；

15、其中，pe表示多频率正弦余弦位置编码函数，表示收缩坐标，

k表示位置编码频率层级的最大序号。

16、可选的，在s4中，基于运动监督目标进行训练，包括：

17、构建平移预测损失和旋转预测损失，表达式如下：

18、；

19、其中，表示平移预测损失，表示旋转预测损失，表示共享解码器预测的第t帧平移偏移量，表示第t帧平移偏移监督目标，表示共享解码器预测的第t帧旋转增量，表示第t帧旋转增量监督目标；

20、构建帧级潜变量的幅值正则项和时间平滑正则项，表达式如下：

21、；

22、其中，表示幅值正则项，表示时间平滑正则项，表示第t帧的帧级潜变量，表示第t-1帧的帧级潜变量；

23、根据平移预测损失、旋转预测损失、幅值正则项和时间平滑正则项构建总损失函数，表达式如下：

24、；

25、其中，表示总损失，表示平移预测损失的权重，表示旋转预测损失的权重，表示幅值正则项的权重，表示时间平滑正则项的权重；

26、基于训练样本集合和总损失函数联合优化共享解码器参数θ和帧级潜变量。

27、可选的，在s5中，量化方式包括低比特定点量化、混合精度量化、非均匀量化、标量量化或向量量化中的任意一种；

28、对量化结果进行编码的方式包括算术编码、范围编码、霍夫曼编码或字典压缩中的任意一种；

29、所述压缩运动码流至少包括码流头、共享解码器参数码流、帧级潜变量码流、量化参数、帧索引以及刷新状态信息，压缩运动码流的组织结构为依次设置的码流头、量化参数、共享解码器参数码流以及帧级潜变量码流，所述帧级潜变量码流由所有帧级潜变量依次排列组成；

30、压缩运动码流的平均每帧字节数计算表达式如下：

31、；

32、其中，表示压缩运动码流的平均每帧字节数，表示共享解码器参数码流的压缩字节数，表示全部帧级潜变量码流的压缩总字节数，表示视频序列总帧数。

33、可选的，在s6之后还包括：s7，分段刷新传输机制，过程包括：

34、将视频序列分为多个片段，每个片段的起始位置或者预设同步间隔处传输持久高斯状态同步信息；

35、接收端在同步帧处用持久高斯状态同步信息替换或融合当前持久高斯状态，并继续使用共享解码器和帧级潜变量执行后续状态传播；

36、将帧级潜变量划分为基础潜变量和增强潜变量，带宽受限时优先传输共享解码器及基础潜变量；带宽充足时补充增强潜变量；

37、带宽充足时，码率控制器根据目标码率、网络缓冲状态、用户视点、运动幅度及终端算力，决定增强潜变量的精度、刷新间隔、增强潜变量和残差高斯的传输量。

38、在第二方面，本发明还提供了一种计算机设备，包括存储器、处理器；

39、所述存储器存储有计算机程序；

40、所述处理器执行所述计算机程序时实现如上述的三维高斯视频流压缩方法的步骤。

41、在第三方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的三维高斯视频流压缩方法。

42、应用本发明的技术方案，至少具有以下有益效果：

43、（1）本发明方法将负责上一帧持久高斯状态向当前帧传播的逐帧神经运动算子序列从完整动态场景中分离，作为独立运动传输层进行编码，并且在原始系统实际递推得到的继承持久高斯状态上采样探针点，并查询当前帧原始运动算子获得运动目标，使压缩模型的训练输入分布与实际部署输入分布一致，提高压缩运动算子的语义一致性。

44、（2）本发明方法以序列级或片段级共享解码器表达公共运动结构，以低维的帧级潜变量表达当前帧特有运动变化，替代逐帧完整神经运动算子，显著降低持久运动流码率。

45、（3） 本发明方法对持久高斯坐标进行空间收缩及位置编码，并与当前帧潜变量共同输入共享解码器，输出平移、旋转或其他运动属性；利用平移损失、旋转损失、潜变量幅值正则和时间平滑正则联合优化共享解码器和帧级潜变量，复现原始运动算子的运动输出，从而使压缩后的运动算子表示能够直接替代原始运动算子。

46、（4） 本发明方法将码流划分为一次性或低频传输的共享解码器码流和逐帧潜变量码流，使接收端缓存共享解码器后仅接收轻量帧级更新，本发明中的压缩运动码流可缓存、可分解，且接收端缓存共享解码器后，连续播放仅需接收当前帧潜变量，适合边缘缓存、多人共享访问、视频片段预加载和重复播放。

47、（5）本发明方法中的压缩运动算子仅替换持久运动传播，不改变帧级残差高斯的功能及合并方式，即本发明方法中的持久高斯状态可以与残差高斯通道兼容，并与原有帧级残差高斯合并渲染。

48、（6）本发明方法还包括分段刷新传输机制，通过分段、周期同步、状态条件触发同步以及基础潜变量和增强潜变量分层传输，提高长序列状态一致性并适配不同网络条件。