一种三维点云的封装方法、装置及介质与流程

1.本发明涉及多媒体技术领域，具体地，涉及一种三维点云的封装方法、装置及介质。


背景技术：

2.随着信息技术的快速发展，基于文字、图片、传统视频的消费模式趋于成熟，提供更高逼真度、更强交互性、更多元化的视觉通信逐渐成为发展热点。视觉通信通过精确渲染的三维点云、六自由度全方位体验、虚实结合实时交互等技术手段，为用户提供不受时间、地域、现实条件限制的、身临其境的真实体验的同时，更给新应用带来无限空间。
3.视觉媒体数据生成、传输、处理和呈现等方面与传统媒体数据存在较大的不同，视觉媒体数据更加复杂多元。为满足用户的呈现需求，相应的数据描述方法也受到了广泛的关注。得益于三维扫描技术和系统日趋成熟，三维点云数据在学术界和工业界引起了广泛的关注。
4.三维点云是空间中一系列点的几何，记录了被扫描物体表面各点的一组的三维坐标信息和多种属性信息，如纹理、材质、法向量、反射强度等。三维点云数据是真实物体的几何描述，是一种新的三维模型数据格式，作为视觉通信场景下表达信息的主要载体，不仅可以有效的表示视觉媒体服务中的静态实物和场景，还可以实时渲染精确的立体模型，真实地描述动态实物或场景信息。因此，三维点云数据可以为用户带来虚实结合、实时交互的沉浸式消费体验。
5.目前对于如何存储、传输三维点云数据已有一定的研究，但目前在传输时对于三维点云的各个空间区域通常采用相同的质量进行传输，不同质量的点云对应的数据量不同。如果采用低质量的点云，将会影响到整体的感知质量；如果采用高质量的点云，所需要传输的数据量非常大。现有技术中的三维点云数据的封装、传输存在缺陷。


技术实现要素：

6.针对现有技术中的缺陷，本发明的目的是提供一种三维点云的封装方法、装置及介质。
7.根据本发明提供的一种三维点云的封装方法，包括如下步骤：
8.确定空间区域的质量指示信息；
9.将各空间区域的质量指示信息写入各空间区域选取的点云数据形成的媒体码流中；
10.对媒体码流进行传输；
11.其中，所述点云由不同质量等级的点云数据组成，所述质量指示信息用于指示所述空间区域的质量等级。
12.优选的，所述空间区域的质量指示信息，根据从所述空间区域选取的点云数据来确定。
13.优选的，所述质量指示信息还包括如下任意一个或多个：
14.单个点云中需要设置质量等级的空间区域的数量、空间区域的标识、空间区域的位置、空间区域的维度、空间区域的大小、空间区域的组件轨道的类型、空间区域的组件轨道的标识和空间区域的组件轨道的质量等级。
15.优选的，所述组件轨道包括如下任意一项或多项：
16.几何组件轨道、属性组件轨道、占用图组件轨道。
17.根据本发明提供的一种三维点云的传输装置，其特征在于，包括如下部件：
18.质量指示信息确认模块，用于确定空间区域的质量指示信息；
19.封装模块，用于将各空间区域的质量指示信息写入各空间区域选取的点云数据形成的媒体码流中；
20.传输模块，对媒体码流进行传输；
21.其中，所述点云由不同质量等级的点云数据组成，所述质量指示信息用于指示所述空间区域的质量等级。
22.根据本发明提供的一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现前述传输方法。
23.与现有技术相比，本发明具有如下的有益效果：
24.采用了本发明的技术方案，针对现有技术的不足，对三维点云媒体数据的封装信息进行扩展，在信令中增加了空间区域的质量指示信息，用户端可以根据空间区域的质量指示信息对于重叠空间区域选取较高质量的点云数据进行渲染。本发明提供的方法及装置，降低了传输过程中的点云数据量。
附图说明
25.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
26.图1是点云封装方法及消费的流程图；
27.图2是不同空间区域的质量等级设定的示意图。
具体实施方式
28.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
29.图1所示为点云封装方法的流程图，主要包括如下步骤：
30.一、确定点云中空间区域的质量指示信息，该步骤在质量指示信息确认模块中执行。
31.用户在移动时会伴随着头部动作，用户所处的位置及用户的视角会不断地变化。用户端或服务端根据用户位置及视角等信息，先确定需要用于显示的相关点云，可以是一个点云，也可以是多个点云，每个点云均由不同质量等级的点云数据组成。如图2所示点云数据分成3个的质量等级，分别为高质量、中质量和低质量。点云数据的质量等级的个数根
据具体需要设定，不限于上述3个。
32.当用于显示的相关点云仅为一个点云时，确定该点云的空间区域的质量指示信息。
33.当用于显示的相关点云为多个点云时，针对每个点云分别确定其空间区域的质量指示信息。
34.一种优选实施方式，确认各空间区域的区域质量指示时，将点云中与视角中心位置对应的空间区域设置为较高的质量等级，将点云中与视角边缘位置对应的空间区域设置为较低的质量等级。例如，针对单个人物的三维点云模型，用户视角会不断发生变化，当用户视角集中到人物的上半身区域如头部时，可以设置人物对应区域为高质量区域，其余区域为中或低质量区域。同理，当用户视角集中到人物的下半身区域如鞋子时，可以设置人物对应区域为高质量区域，其余区域为中或低质量区域。
35.一种优选实施方式，确认各空间区域的质量等级时，将点云中与用户关注的位置对应的空间区域设置为较高的质量等级，将点云中其余空间区域设置为较低的质量等级。例如针对大型场景的三维点云模型，如虚拟现实博物馆，用户可以在展区内与周围的三维点云场景以及附近的三维点云物体相互作用，用户视角所关注的展览区域将会不断发生变化，这时设置用户关注的展览区域为高质量区域，其余区域为中或低质量区域。用户反馈信息中可以包含请求信息，用于指示用户关注的位置和/或信息。
36.一个优选实施方式，每个点云被预先分成了多个空间区域单元，对各个空间区域单元内的点云数据按照不同的质量等级分别进行编码。例如，点云数据分成3个的质量等级时，在每个点云的空间区域单元内，分别选取高质量、中质量和低质量的点云数据分别预先进行编码。
37.将一个点云分成不同空间区域时，每个空间区域可由1个或多个空间区域单元组成。确认某空间区域的质量等级后，将该空间区域内所有空间区域单元中与该确认的空间区域的质量指示信息相对应的已编码的点云数据放置到一起，形成该空间区域确认的质量等级对应的点云码流。
38.一个优选实施方式，将一个点云分成不同空间区域时，选择各空间区域内与该确认的质量等级相对应的点云数据直接进行编码，形成该空间区域与确认的质量等级对应的点云数据。
39.一个优选实施方式，将一个点云分成不同空间区域时，确定空间区域的数量。一个点云的空间区域的数量，与该点云所包含的点云数据的质量等级的个数相比，可以相同，也可以不同。前一情形中，每个空间区域的质量等级均不同；后一情形中，多个空间区域可以被确认为同一质量等级。
40.一个优选实施方式，将一个点云分成不同空间区域时，确定空间区域的位置。可通过三维坐标表示。
41.一个优选实施方式，将一个点云分成不同空间区域时，确定空间区域的维度。一个空间区域单元可以是一个点云数据，也可以是一个长方体空间区域。
42.一个优选实施方式，将一个点云分成不同空间区域时，确定空间区域的大小。每个空间区域可以大小相同，也可以设置为大小不一致。
43.一个优选实施方式，将一个点云分成不同空间区域时，确定空间区域的大小。各个
空间区域可以相互重叠，也可以设置为不重叠。
44.确定点云的空间区域的质量指示信息，该质量指示信息可以包括如下一个或多个：单个点云中需要设置质量等级的空间区域的数量、空间区域的质量等级、空间区域的标识、空间区域的位置、空间区域的维度、空间区域的大小、空间区域的组件轨道的类型、空间区域的组件轨道的标识和空间区域的组件轨道的质量等级。
45.添加的相关字段或字符可如下所示：
46.region_quality_ranking：指示点云中一个空间区域的质量等级。
47.component_track_quality_ranking：指示点云中一个空间区域的组件轨道的质量等级。
48.num_regions指示点云中三维空间区域的数量。
49.num_track_groups指示空间区域的组件轨道的数量。
50.component_track_group_id指示空间区域的组件轨道的标识。
51.3dspatialregionstruct：指示单个点云中一个点或一个空间区域，包括锚点的x、y、z坐标和指示区域范围的cuboid_dx、cuboid_dy、cuboid_dz，所包含的字段有：
52.dimensions_included_flag：一个指示空间区域维度是否已经被标识的标识符，dimensions_included_flag＝0时3dspatialregionstruct指示空中的一个点；dimensions_included_flag＝1时3dspatialregionstruct指示空间中的一个长方体区域；
53.3d_region_id：空间区域的标识符；
54.anchor：指示笛卡尔坐标系下作为3d空间区域锚的一个3d点，由3dpoint()指示；
55.3dpoint()中包含的字段有：
56.x,y,z：指示笛卡尔坐标系下一个3d点的x，z，y坐标值；
57.cuboidregionstruct()：指示笛卡尔坐标系下的一个长方体区域，其中包含的字段有：
58.bb_dx,，bb_dy,bb_dz：笛卡尔坐标系下一个3d空间区域相对于锚点的在x，y，z轴的延伸。
59.为了描述方便，引用上述的一组指示信息描述，但在具体实施时中，也可以是其他信息。
60.示例性的，一个实现方式为：
61.[0062][0063]
示例性的，另一种实现方式为：
[0064]
[0065][0066]
本发明具体实施时，所述region_quality_ranking和component_quality_ranking可只使用其中之一或都使用。
[0067]
本发明具体实施时，可选择上述一个或多个优选实施方式进行实施。
[0068]
二、将各空间区域的质量指示信息写入各空间区域选取的点云数据形成的媒体码流中，该步骤在封装模块中执行。
[0069]
当确定的相关点云仅为一个点云时，将空间区域的质量指示信息写入从对应的空间区域中选取出的点云数据形成的媒体码流中。
[0070]
当确定的相关点云为多个点云时，针对每个点云分别进行上述封装的步骤。
[0071]
服务器端包含传输模块，将封装后的媒体码流传输给用户端。用户端解封装数据码流，如果接收到的点云的不同空间区域有重叠部分，则根据空间区域的质量指示信息对重叠部分选取高质量的点云数据进行渲染。
[0072]
由于人眼在视野范围内仅对一定角度内的信息敏感，用户消费点云媒体文件时，在低关注度区域的点云质量下降将不会影响到整体的感知质量。通常来说，不同质量的点云对应的数据量也不同，高质量的点云所对应的数据量也更大。因此，通过对三维点云媒体数据的封装信息进行扩展，对于三维点云的不同区域分配不同的质量等级信息，根据质量等级信息在编码过程得到不同质量的点云数据，从而达到分区域多质量传输的目的，最终可以有效降低传输过程的数据量，节约传输过程中的带宽资源
[0073]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实
现方法的软件模块又可以是硬件部件内的结构。
[0074]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。