高斯斑点编解码方法、装置及计算机可读存储介质与流程

本公开涉及三维场景表示和渲染，具体的，涉及高斯斑点编解码方法、装置及计算机可读存储介质。

背景技术：

1、三维高斯溅射（3dgs）可以用于表示并渲染三维场景。高斯斑点（gaussiansplats）是一种立体渲染（volume rendering）技术，它使用保留连续体辐射场特性的3d高斯函数来表示场景，并融合相机标定期间产生的稀疏点。各种标准机构已着手制定与高斯斑点压缩、存储和传输相关的标准。在3dgs工作流程中，使用至少一个相机来捕获场景，并且对所得图像进行处理以生成高斯斑点表示。当随后对高斯斑点数据进行渲染时，可能出现视觉伪影。这些伪影可以表现为斑点比预期更大或更小、斑点之间重叠不当，以及渲染图像的密度出现不可预测的变化。在动画场景中，这类问题可能导致原本应均匀的区域上出现闪烁。

技术实现思路

1、高斯斑点表示可以具有高数据量，其中每个斑点包括许多参数。为了高效的存储或传输，可能期望对高斯斑点表示进行压缩。然而，未经排序的高斯斑点参数在被排列成平面时可能呈现为随机噪声，使得它们不适合使用变换（诸如离散余弦变换）的传统图像或视频压缩技术。此外，高斯斑点场景可能包含对渲染质量影响极小的斑点，从而不必要地增加数据量。资源受限设备可能无法对全质量的高斯斑点场景进行解码和渲染，并且当仅需特定视点时，对完整高斯斑点场景进行流式传输可能不切实际。本公开通过提供用于基于阈值或元数据分析修剪高斯斑点的技术来解决这些及其它问题，以在不显著降低视觉保真度的情况下减少内存和带宽需求。本公开还提供了排序技术，排序技术对高斯斑点参数进行重新排列，以创建具有平坦区域和渐进变化、适合图像或视频压缩的结构化平面。可扩展解码技术允许资源受限设备以降低的质量水平对部分比特流进行解码。基于视点的流媒体技术允许仅传输与允许的视点相关的那些高斯斑点，进一步降低了带宽需求。

2、根据一些实施例，一种对高斯斑点进行解码的方法包括：（i）接收包括至少一个编码的样本平面的比特流，所述至少一个编码的样本平面表示与至少两个高斯斑点相关联的量化参数值，其中，所述比特流进一步包括与所述至少两个编码的样本平面相对应的元数据，所述元数据指示所述量化参数值在所述至少两个编码的样本平面内的排列；（ii）使用所述元数据和图像解压缩机制或视频解压缩机制，对所述至少一个编码的样本平面进行解码，以获得至少一个解码的样本平面；（iii）从所述至少一个解码的样本平面中提取所述量化参数值；以及（iv）对所述量化参数值进行反量化以获得所述至少两个高斯斑点中的每个高斯斑点的至少两个参数。

3、根据一些实施例，一种对高斯斑点进行编码的方法包括：（i）获得至少两个高斯斑点，该至少两个高斯斑点中的每个高斯斑点包括至少两个参数；（ii）通过根据至少一个准则修剪该至少两个高斯斑点来生成经修剪的至少两个高斯斑点；（iii）对经修剪的至少两个高斯斑点的至少两个参数的至少一个参数类型进行量化以生成量化参数值；以及（iv）将量化参数值排列成至少一个样本平面，对所述至少一个样本平面进行编码，将所述至少一个样本平面与指示所述量化参数值在所述至少一个样本平面中的排列的元数据进行复用，以生成经复用的编码的样本平面。

4、根据一些实施例，一种计算系统包括至少一个处理器以及存储指令的至少一个非易失性计算机可读介质，这些指令在由至少一个处理器执行时使计算系统执行本文所述的方法和技术中的任一种。根据一些实施例，提供了一种非易失性计算机可读存储介质。该非易失性计算机可读存储介质存储用于由计算系统执行的至少一组指令。该至少一组指令包括用于执行本文所述的方法中的任一种的指令。

5、本申请实施例还提供了一种存储比特流的方法，包括：执行本申请实施例所述的任一种高斯斑点编码方法生成比特流；以及存储所述比特流。

6、本申请实施例还提供了一种传输比特流的方法，包括：执行本申请实施例所述的任一种高斯斑点编码方法生成比特流；以及传输所述比特流。

7、本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序和比特流，其特征在于，所述计算机程序被处理器执行时实现本申请实施例所述的任一种高斯斑点编码方法生成所述比特流。

8、本申请实施例还提供了一种高斯斑点编解码装置，所述装置包括：

9、处理电路，所述处理电路被配置为执行本申请实施例所述的任一高斯斑点解码方法或任一高斯斑点编码方法。

10、因此，公开了设备和系统以及用于对高斯斑点数据进行编码和解码的方法。此类方法、设备和系统可以补充或取代用于对高斯斑点数据进行编码和/或解码的常规方法、设备和系统。

11、提供本 技术实现要素： 是为了以简化的形式介绍在以下具体实施方式中进一步被描述的一些概念。本概述并不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

1.一种高斯斑点解码方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，进一步包括：对所述比特流进行解复用以获得所述至少两个编码的样本平面和所述元数据。

3.根据权利要求2所述的方法，其特征在于，所述比特流与v3c文件相对应；所述元数据包括与捕获原始场景的至少一个源相机相关联的源相机参数。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述反量化包括：将所述量化参数值与量化参数相乘，所述量化参数被包括在所述元数据中。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述反量化包括以下至少一个：应用量化矩阵；执行线性反量化；执行分段线性反量化；执行对数反量化。

6.根据权利要求1至3任一项所述的方法，其特征在于，所述反量化包括：添加偏移、平滑操作、或针对时变高斯斑点序列的时域平滑操作。

7.根据权利要求1至3任一项所述的方法，其特征在于，所述至少两个参数包括：位置坐标、不透明度值、尺度值、旋转值、颜色值或球谐函数系数中的至少一者。

8.根据权利要求1至3任一项所述的方法，其特征在于，所述至少两个解码的样本平面中的每个平面对应于所述至少两个参数的一种参数类型；其中，第一组平面承载位置坐标；第二组平面承载不透明度值；第三组平面承载尺度值；第四组平面承载旋转值；第五组平面承载颜色值；第六组平面承载球谐函数系数。

9.根据权利要求1至3任一项所述的方法，其特征在于，进一步包括：将所述至少两个参数提供给渲染器以用于渲染三维场景。

10.根据权利要求1至3任一项所述的方法，其特征在于，所述比特流是可扩展比特流，其中所述解码包括基于所需质量水平对所述可扩展比特流进行部分解码。

11.根据权利要求10所述的方法，其特征在于，在第一可扩展性级别上，不对球谐函数系数和/或旋转参数进行解码，并且每个高斯斑点由均匀颜色的圆来表示；在第二可扩展性级别上，对球谐函数系数和/或旋转参数进行解码，并且每个高斯斑点由椭圆形状表示和/或其颜色根据视点而变化。

12.一种高斯斑点编码方法，其特征在于，所述方法包括：

13.根据权利要求12所述的方法，其特征在于，所述至少一个准则包括阈值，其中所述修剪包括去除对渲染过程的影响低于所述阈值的高斯斑点。

14.根据权利要求12所述的方法，其特征在于，所述至少一个准则为基于元数据，所述修剪包括基于对所述元数据的分析去除渲染所不需要的高斯斑点。

15.根据权利要求14所述的方法，其特征在于，所述元数据包括源相机属性、虚拟相机位置，或与渲染器相关联的视图空间中的至少一者。

16.根据权利要求12至15任一项所述的方法，其特征在于，进一步包括在所述量化之前对所述经修剪的至少两个高斯斑点进行排序。

17.根据权利要求16所述的方法，其特征在于，所述排序包括将具有相似参数值的高斯斑点分组到所述至少两个样本平面的相似区域中。

18.根据权利要求16所述的方法，其特征在于，使用经训练的神经网络来执行所述排序。

19.根据权利要求16所述的方法，其特征在于，所述排序对所述经修剪的至少两个高斯斑点的顺序进行重新排列，使得所述至少两个样本平面适合由视觉压缩机制来压缩。

20.根据权利要求16所述的方法，其特征在于，进一步包括：在比特流中发送所述经复用的编码的样本平面。

21.一种存储比特流的方法，其特征在于，执行权利要求12至20任一项所述的高斯斑点编码方法生成比特流；以及存储所述比特流。

22.一种传输比特流的方法，其特征在于，执行权利要求12至20任一项所述的高斯斑点编码方法生成比特流；以及传输所述比特流。

23.一种计算机可读存储介质，其上存储有计算机程序和比特流，其特征在于，所述计算机程序被处理器执行时实现权利要求12至20任一项所述的高斯斑点编码方法生成所述比特流。

24.一种高斯斑点编解码装置，其特征在于，所述装置包括：

25.一种存储指令的非易失性计算机可读介质，其特征在于，所述指令在由计算机执行时使所述计算机执行如权利要求1至11任一项所述的高斯斑点解码方法或执行如权利要求12至20任一项所述的高斯斑点编码方法。