图像处理装置和方法与流程

1.本公开内容涉及图像处理装置和方法，并且更具体地涉及能够将3d空间区域与地图集图块组彼此链接的图像处理装置和方法。


背景技术：

2.传统上，将具有三维形状的对象表示为点的集合的点云数据的编码和解码已通过运动图像专家组(mpeg)标准化。于是，提出了这样的方法：将点云的几何数据和属性数据投影到每个小区域的二维平面上，将投影到二维平面上的图像(块)排列在视频的帧图像中，以及通过用于二维图像的编码方法(在下文中，也被称为基于视频的点云压缩(v-pcc))对帧图像进行编码(例如，参见非专利文献1)。
3.此外，存在国际标准化组织基础媒体文件格式(isobmff)，其是运动图像压缩的国际标准技术运动图像专家组-4(mpeg-4)的文件容器规范(例如，参见非专利文献2和非专利文献3)。
4.于是，为了提高由来自本地存储装置的v-pcc编码的比特流的再现处理和网络分发的效率，已经研究了在isobmff中存储v-pcc比特流的方法(例如，参见非专利文献4)。
5.引文列表
6.非专利文献
7.非专利文献1：“text of iso/iec dis 23090-5 video-based point cloud compression”，iso/iec jtc 1/sc 29/wg 11 n18670，2019年10月10日
8.非专利文献2：“information technology-coding of audio-visual objects-part 12:iso base media file format”，iso/iec 14496-12，2015年2月20日
9.非专利文献3：“information technology-coding of audio-visual objects-part 15:carriage of network abstraction layer(nal)unit structured video in the iso base media file format”，iso/iec fdis 14496-15：2014(e)，iso/iec jtc 1/sc 29/wg 11，2014年1月13日
10.非专利文献4：“revised text of iso/iec cd 23090-10 carriage of video-based point cloud coding data”，iso/iec jtc 1/sc 29/wg 11 n18606，2019年11月8日


技术实现要素：

11.本发明要解决的问题
12.然而，在非专利文献4中描述的定义中，没有定义用于识别构造特定3d空间区域的部分点云所需的地图集图块组的信号传送。因此，难以在解码侧将3d空间区域与地图集图块组彼此链接。
13.鉴于这样的情形而作出了本公开内容，并且本公开内容将实现3d空间区域与地图集图块组之间的链接。
14.问题的解决方案
15.根据本技术的一个方面的图像处理装置是一种图像处理装置，该图像处理装置包括：选择单元，其被配置成基于与点云的比特流一起存储在文件中的链接信息来选择与期望的三维空间对应的3d空间区域和地图集图块组，该点云将具有三维形状的对象表示为点的集合，该链接信息将点云的3d空间区域与地图集图块组链接；提取单元，其被配置成从文件中提取与由选择单元选择的地图集图块组对应的地图集nal单元、和由选择单元选择的3d空间区域对应的比特流；以及解码单元，其被配置成对由提取单元提取的比特流进行解码以生成与期望的三维空间的3d空间区域对应的2d数据，并且对由提取单元提取的地图集nal单元进行解码以生成与2d数据对应的地图集信息。
16.根据本技术的一个方面的图像处理方法是一种图像处理方法，该图像处理方法包括：基于与点云的比特流一起存储在文件中的链接信息来选择与期望的三维空间对应的3d空间区域和地图集图块组，该点云将具有三维形状的对象表示为点的集合，该链接信息将点云的3d空间区域与地图集图块组链接；从文件中提取与所选择的地图集图块组对应的地图集nal单元、和与所选择的3d空间区域对应的比特流；以及对所提取的比特流进行解码以生成与期望的三维空间的3d空间区域对应的2d数据，并且对所提取的地图集nal单元进行解码以生成与2d数据对应的地图集信息。
17.根据本技术的另一方面的图像处理装置是一种图像处理装置，该图像处理装置包括：编码单元，其被配置成对2d数据进行编码以生成比特流，该2d数据对应于将具有三维形状的对象表示为点的集合的点云的3d空间区域；链接信息生成单元，其被配置成生成将3d空间区域与地图集图块组链接的链接信息；以及文件生成单元，其被配置成生成存储由编码单元生成的比特流和由链接信息生成单元生成的链接信息的文件。
18.根据本技术的另一方面的图像处理方法是一种图像处理方法，该图像处理方法包括：对2d数据进行编码以生成比特流，该2d数据对应于将具有三维形状的对象表示为点的集合的点云的3d空间区域；生成将3d空间区域与地图集图块组链接的链接信息；以及生成存储已经生成的比特流和链接信息的文件。
19.在根据本技术的一个方面的图像处理装置和方法中，基于与点云的比特流一起存储在文件中的链接信息来选择与期望的三维空间对应的3d空间区域和地图集图块组，该点云将具有三维形状的对象表示为点的集合，其中，链接信息将点云的3d空间区域与地图集图块组链接。此外，从文件中提取与选择的地图集图块组对应的地图集nal单元和与选择的3d空间区域对应的比特流，对提取的比特流进行解码以生成与期望的三维空间的3d空间区域对应的2d数据，并且对提取的地图集nal单元进行解码以生成与2d数据对应的图集信息。
20.在根据本技术的另一方面的图像处理装置和方法中，与将具有三维形状的对象表示为点的集合的点云的3d空间区域对应的2d数据被编码以生成比特流，生成将3d空间区域与地图集图块组链接的链接信息，并且生成存储生成的比特流和链接信息的文件。
附图说明
21.图1是用于说明v-pcc的概要的图。
22.图2是示出v-pcc比特流的主要配置示例的图。
23.图3是示出地图集子比特流的主要配置示例的视图。
24.图4是示出文件结构的示例的图。
25.图5是用于说明部分访问信息的示例的图。
26.图6是示出文件结构的示例的图。
27.图7是示出spatialregiongroupbox和vpccspatialregionsbox的示例的视图。
28.图8是示出文件结构的示例的图。
29.图9是示出文件结构的示例的图。
30.图10是用于说明链接信息的信号传送的视图。
31.图11是用于说明轨道组识别信息与图块组识别信息之间的链接的图。
32.图12是示出vpccspatialregionsbox的示例的图。
33.图13是用于说明使用视频子比特流的划分信息的链接的图。
34.图14是示出spatialregiongroupbox的示例的图。
35.图15是用于说明使用组识别信息的链接的图。
36.图16是用于说明使用组识别信息的链接的图。
37.图17是用于说明使用hevc的图块的链接的图。
38.图18是示出vpccspatialregionsbox的示例的图。
39.图19是示出vpccspatialregionsbox的示例的图。
40.图20是用于说明在单个轨道结构的情况下使用组识别信息的链接的图。
41.图21是示出subsampletogroupbox的示例的图。
42.图22是用于说明针对每个3d空间区域划分v-pcc比特流的示例的图。
43.图23是示出vpccspatialregionsbox的示例的图。
44.图24是示出3d空间区域的切换的示例的图。
45.图25是示出vpccspatialregionsbox和alternativeregionliststruct的示例的图。
46.图26是示出alternativeregionliststruct的示例的图。
47.图27是示出matroska媒体容器的配置示例的图。
48.图28是示出编码装置的主要配置示例的框图。
49.图29是用于说明编码处理的流程的示例的流程图。
50.图30是示出解码装置的主要配置示例的框图。
51.图31是用于说明解码处理的流程的示例的流程图。
52.图32是示出计算机的主要配置示例的框图。
具体实施方式
53.在下文中，将描述用于实现本公开内容的实施方式(在下文中，被称为实施方式)。注意，将按以下顺序给出描述。
54.1.链接信息的信号传送
55.2.第一实施方式(编码装置)
56.3.第二实施方式(解码装置)
57.4.补充说明
58.《1.链接信息的信号传送》
59.《支持技术内容和技术术语的文献等》
60.本技术中所公开的范围除了实施方式中描述的内容之外，还包括在申请时已知的以下非专利文献等中描述的内容、以下非专利文献中参考的其他文献的内容等。
61.非专利文件1：(如上所述)
62.非专利文件2：(如上所述)
63.非专利文件3：(如上所述)
64.非专利文件4：(如上所述)
65.非专利文件5：https://www.matroska.org/index.html
66.即，上述非专利文献中描述的内容、上述非专利文献中参考的其他文献的内容等也是确定支持需求的基础。
67.《点云》
68.传统上，存在诸如用点位置信息、属性信息等表示三维结构的点云的3d数据。
69.例如，在点云的情况下，三维结构(具有三维形状的对象)被表示为大量点的集合。点云包括每个点的位置信息(也被称为几何)和属性信息(也被称为属性)。属性可以包括任何信息。例如，每个点的颜色信息、反射率信息、法线信息等可以被包括在属性中。如上所述，点云具有相对简单的数据结构，并且可以通过使用足够大量的点以足够的准确度表达任何三维结构。
70.《v-pcc的概要》
71.在基于视频的点云压缩(v-pcc)中，这样的点云的几何和属性被投影在每个小区域的二维平面上。在本公开内容中，可以将该小区域称为部分区域。将其中几何和属性投影在二维平面上的图像也称为投影图像。此外，将每个小区域(部分区域)的投影图像称为块。例如，将图1的a中的对象1(3d数据)分解成如图1的b所示的块2(2d数据)。在几何的块的情况下，每个像素值指示点的位置信息。然而，在这种情况下，将点的位置信息表示为在垂直于其投影平面的方向(深度方向)上的位置信息(深度值(depth))。
72.然后，以这种方式生成的每个块被排列在视频序列的帧图像(也被称为视频帧)中。其中排列有几何的块的帧图像也被称为几何视频帧。此外，其中排列有属性的块的帧图像也被称为属性视频帧。例如，从图1的a中的对象1，生成几何的块3如图1的c所示的在其中排列的几何视频帧11和属性的块4如图1的d所示的在其中排列的属性视频帧12。例如，几何视频帧11的每个像素值指示上述深度值。
73.然后，例如，这些视频帧通过用于二维图像的编码方法(例如，高级视频编码(avc)或高效视频编码(hevc))进行编码。即，作为表示三维结构的3d数据的点云数据可以使用用于二维图像的编解码器进行编码。
74.注意，也可以使用占用图。占用图是指示几何视频帧或属性视频帧的每个n
×
n像素的投影图像(块)存在或不存在的图信息。例如，占用图用值“1”指示其中存在块的几何视频帧或属性视频帧的区域(n
×
n像素)，并且用值“0”指示其中不存在块的区域(n
×
n像素)。
75.解码器可以通过参考该占用图来掌握区域中是否存在块，使得可以抑制由编码和解码引起的噪声等的影响，并且可以更精确地恢复3d数据。例如，即使深度值由于编码和解码而改变，解码器也可以通过参考占用图忽略不存在块的区域的深度值。即，解码器可以通过参考占用图来对于3d数据的位置信息避免处理。
76.例如，对于几何视频帧11和属性视频帧12，可以生成如图1的d所示的占用图13。在
占用图13中，白色部分指示值“1”，并且黑色部分指示值“0”。
77.可以将这样的占用图编码为与几何视频帧和属性视频帧分开的数据(视频帧)，并且将其发送至解码侧。即，与几何视频帧和属性视频帧类似，占用图也可以通过用于二维图像的编码方法(例如，avc或hevc)进行编码。
78.通过对几何视频帧进行编码而生成的编码数据(比特流)也被称为几何视频子比特流。通过对属性视频帧进行编码而生成的编码数据(比特流)也被称为属性视频子比特流。通过对占用图进行编码而生成的编码数据(比特流)也被称为占用图视频子比特流。注意，几何视频子比特流、属性视频子比特流和占用图视频子比特流在无需彼此区分描述的情况下被称为视频子比特流。
79.此外，作为用于从块(2d数据)重新配置点云(3d数据)的信息的地图集信息(atlas)被编码并发送至解码侧。可以采用地图集信息的任何编码方法(和解码方法)。通过对地图集信息进行编码而生成的编码数据(比特流)也被称为地图集子比特流。
80.注意，在下文中，假设点云(的对象)可以类似于二维图像的移动图像在时间方向上改变。即，类似于二维图像的移动图像，几何数据和属性数据被假设为具有时间方向的概念并且以预定时间间隔被采样的数据。注意，类似于二维图像的视频帧，每个采样时间处的数据被称为帧。即，类似于二维图像的移动图像，点云数据(几何数据和属性数据)由多个帧配置。在本公开内容中，点云的帧也被称为点云帧。在v-pcc的情况下，通过将每个点云帧转换成视频帧以形成视频序列，甚至可以通过使用移动图像编码方法来高效地对移动图像(多个帧)的这样的点云进行编码。
81.《v-pcc比特流的结构》
82.编码器复用如上所述的几何视频帧、属性视频帧、占用图和地图集信息的编码数据以生成一个比特流。将该比特流也称为v-pcc比特流。
83.图2是示出v-pcc比特流的主要配置示例的图。如图2所示，v-pcc比特流21包括多个v-pcc单元22。
84.v-pcc单元22包括v-pcc单元报头23和v-pcc单元有效载荷24。v-pcc单元报头23包括指示要存储在v-pcc单元有效载荷24中的信息的类型的信息。v-pcc单元有效载荷24可以取决于在其v-pcc单元报头23中以信号传送的类型来存储v-pcc参数集25、几何视频子比特流26(几何视频数据)、属性视频子比特流27(属性视频数据)、占用图视频子比特流28(占用视频数据)、地图集子比特流29(地图集数据)等。v-pcc参数集25存储与v-pcc单元22有关的参数。
85.《地图集子比特流的结构》
86.图3的a是示出地图集子比特流的主要配置示例的视图。如图3的a所示，地图集子比特流31包括地图集nal单元32的序列。图3的a中示出的每个方形均示出了地图集nal单元32。
87.aud是访问单元分界符的nal单元。atlas sps是地图集序列参数集的nal单元。atlas fps是地图集帧参数集的nal单元。
88.编码图块组是nal单元的编码图块组。将该nal单元也称为编码图块组nal单元。编码图块组nal单元具有地图集图块组信息。地图集图块组信息是关于地图集图块组的信息。
89.地图集图块组具有与视频子比特流的对应矩形区域的块对应的2d3d转换信息。
2d3d转换信息是用于将作为2d数据的块转换成作为3d数据的点云的信息。例如，对于图3的b中示出的属性视频帧12，针对由虚线划分的每个矩形区域对地图集信息进行分组。即，形成与每个矩形区域对应的地图集图块组33。如图3的c所示，地图集图块组33包括多个地图集图块34。
90.每个地图集图块组被配置为能够彼此独立地解码。该地图集图块组的编码具有与hevc的图块等效的约束。例如，每个地图集图块组被配置成不依赖于同一帧中的其他地图集图块组。此外，具有参考关系的图集帧具有相互相同的地图集图块组分割。此外，仅参考参考帧中相同位置处的地图集图块组。
91.在图集帧参数集(atlas fps)中用信号传送指示与地图集图块组对应的帧内位置的位置信息。位置信息经由id与编码图块组nal单元链接。即，在图集帧参数集中，afti_tile_group_id作为识别地图集图块组的地图集图块组识别信息被用信号传送。在编码图块组nal单元中，atgh_address作为识别地图集图块组的位置信息的识别信息被用信号传送。当这些识别信息(id)匹配时，地图集帧参数集的位置信息与编码图块组nal单元链接。注意，一个编码图块组nal单元具有一个地图集图块组的信息。即，编码图块组nal单元与地图集图块组一一对应。
92.《isobmff中的存储方法》
93.非专利文献4指定了将v-pcc比特流存储到国际标准化组织基础媒体文件格式(isobmff)中的两种类型的方法：多轨道结构和单个轨道结构。
94.多轨道结构是将几何视频子比特流、属性视频子比特流、占用图视频子比特流和地图集子比特流分别存储到分开的轨道中的方法。由于每个视频子比特流是传统的2d视频流，因此可以以与2d的情况的方式类似的方式存储(管理)视频子比特流。图4示出了在应用多轨道结构的情况下文件的配置示例。
95.单个轨道结构是将v-pcc比特流存储到一个轨道中的方法。即，在这种情况下，几何视频子比特流、属性视频子比特流、占用图视频子比特流和地图集子比特流被存储在相互相同的轨道中。
96.《部分访问》
97.同时，非专利文献4定义了用于获取和解码点云的对象的一部分的部分访问信息。例如，通过使用该部分访问信息，可以执行诸如在流式分发时仅获取点云的对象的显示部分的信息的控制。通过这样的控制，可以获得通过有效地利用带宽来实现更高清晰度的效果。
98.例如，如图5的a所示，假设针对点云的对象设置边界框51，该边界框51是包括点云的对象的三维区域。即，在isobmff中，如图5的b所示，设置作为关于边界框51的信息的边界框信息(3dboundingboxstruct)。
99.通过设置部分访问信息，如图5的a所示，可以在边界框51中设置作为能够独立解码的部分区域的3d空间区域52。即，如图5的b所示，作为关于3d空间区域52的信息的3d空间区域信息(3dspatialregionstruct)被设置为isobmff中的部分访问信息。
100.在3d空间区域信息中，区域由参考点的坐标(anchor_x、anchor_y和anchor_z)和大小(cuboid_delta_x、cuboid_delta_y和cuboid_delta_z)指定。
101.《文件结构的示例》
102.例如，假设图6中的对象61的比特流被划分成三个3d空间区域(3d空间区域61a、3d空间区域61b和3d空间区域61c)并存储在isobmff中。此外，假设应用多轨道结构并且3d空间区域信息是静态的(在时间方向上不改变)。
103.在这种情况下，如图6的右侧所示，针对每个3d空间区域(在相互不同的轨道中)分开地存储视频子比特流。即，存储与相互相同的3d空间区域对应的几何视频子比特流、属性视频子比特流和占用图视频子比特流的各个轨道被分组(图6中的虚线框)。将该组也称为空间区域轨道组。
104.注意，一个3d空间区域的视频子比特流被存储在一个或更多个空间区域轨道组中。在图6的示例的情况下，由于配置三个3d空间区域，因此形成三个或更多个空间区域轨道组。
105.每个空间区域轨道组被分配track_group_id作为轨道组识别信息，该轨道组识别信息是识别空间区域轨道组的识别信息。将该track_group_id用信号传送给每个轨道。即，将具有相互相同的值的track_group_id用信号传送给属于相互相同的空间区域轨道组的轨道。因此，基于track_group_id的值，可以识别属于期望的空间区域轨道组的轨道。
106.换言之，将具有相互相同的值的track_group_id用信号传送给存储与相互相同的3d空间区域对应的几何视频子比特流、属性视频子比特流和占用图视频子比特流的各个轨道。因此，基于track_group_id的该值，可以识别与期望的3d空间区域对应的每个视频子比特流。
107.更具体地，如图7所示，将具有相互相同的track_group_id的spatialregiongroupbox用信号传送给属于相互相同的空间区域轨道组的轨道。在由spatialregiongroupbox继承的trackgrouptypebox中用信号传送track_group_id。
108.注意，地图集子比特流与3d空间区域无关地存储在一个轨道中。即，该一个地图集子比特流具有关于多个3d空间区域的块的2d3d转换信息。更具体地，在其中存储地图集子比特流的轨道中，如图7所示，用信号传送vpccspatialregionsbox，其中用信号传送每个track_group_id。
109.注意，在3d空间区域信息是动态的(在时间方向上改变)的情况下，如图8的a所示，使用定时元数据轨道表示每个时间处的3d空间区域是足够的。即，如图8的b所示，用信号传送dynamic3dspatialregionsampleentry和dynamicspatialregionsample。
110.《部分访问的解码处理》
111.部分访问的情况下的解码处理通过如下过程执行。
112.1.基于vpccspatialregionbox的信息，来识别与期望访问的3d空间区域对应的spatialregiongroupbox的track_group_id。
113.2.对属于track_group_id的spatialregiongroupbox的轨道的视频子比特流进行解码。
114.3.从地图集子比特流中提取所需的编码图块组nal单元并解码。
115.4.构造与3d空间区域对应的点云。
116.如上面在《文件结构的示例》中所述，与所有3d空间区域对应的地图集子比特流被存储在一个轨道中。通用解码器对输入的地图集子比特流中包括的所有地图集图块组进行解码。即，通用解码器不能部分地提取和解码地图集图块组。于是，当构造点云时，如果没有
准备好与地图集信息对应的视频子比特流，则会出现错误。
117.即，在如上述过程1和2中那样执行部分访问并且空间区域轨道组仅部分地由通用解码器解码的情况下，当对整个地图集子比特流进行解码时，视频子比特流不足以构造点云，并且出现错误。因此，在这种情况下，如过程3中那样，需要从地图集子比特流中提取与空间区域轨道组对应的编码图块组nal单元，并且输入至通用解码器。即，需要从解码目标中排除不需要的地图集图块组的信息。
118.例如，如图9所示，假设与不同3d空间区域对应的视频帧部分区域71a和71b存在于视频子比特流的视频帧71中。在对仅视频帧部分区域71a进行解码的情况下，仅将与视频帧部分区域71a对应的地图集图块组72a的编码图块组nal单元输入至通用解码器。此外，在对仅视频帧部分区域71b进行解码的情况下，仅将与视频帧部分区域71b对应的地图集图块组72b的编码图块组nal单元输入至通用解码器。
119.然而，在非专利文献4中，3d空间区域和地图集图块组没有彼此链接。即，视频子比特流的视频帧部分区域没有与编码图块组nal单元链接。因此，难以执行上述过程3。即，难以从地图集子比特流中提取与期望的3d空间区域(空间区域轨道组)对应的编码图块组nal单元并进行解码。因此，难以构造期望的3d空间区域的点云(也被称为部分点云)。
120.《将3d空间区域与地图集图块组链接的信息》
121.因此，将链接3d空间区域与地图集图块组的信息(也被称为链接信息)从编码侧发送(用信号传送)至解码侧。例如，作为链接信息，用信号传送将空间区域轨道组与地图集图块组链接的信息。
122.例如，在图像处理方法(或编码方法)中，与将具有三维形状的对象表示为点的集合的点云的3d空间区域对应的2d数据被编码以生成比特流，生成将3d空间区域与地图集图块组彼此链接的链接信息，并且生成存储生成的比特流和链接信息的文件。
123.例如，在图像处理装置(或编码装置)中，提供：编码单元，其被配置成对2d数据进行编码以生成比特流，该2d数据对应于将具有三维形状的对象表示为点的集合的点云的3d空间区域；链接信息生成单元，其被配置成生成将3d空间区域与地图集图块组链接的链接信息；以及文件生成单元，其被配置成生成存储由编码单元生成的比特流和由链接信息生成单元生成的链接信息的文件。
124.例如，与3d空间区域对应的2d数据是几何视频帧、属性视频帧和占用图视频帧中包括与3d空间区域对应的块的部分区域的数据。例如，通过对2d数据进行编码生成的比特流是被存储在属于与3d空间区域对应的空间区域轨道组的轨道中的几何视频子比特流、属性视频子比特流和占用图视频子比特流。例如，存储比特流和链接信息的文件是isobmff的文件。
125.例如，在图像处理方法(或解码方法)中，基于与点云的比特流一起存储在文件中的链接信息来选择与期望的三维空间对应的3d空间区域和地图集图块组，该点云将具有三维形状的对象表示为点的集合，其中，链接信息将点云的3d空间区域与地图集图块组链接。此外，从文件中提取与选择的地图集图块组对应的地图集nal单元和与选择的3d空间区域对应的比特流，对提取的比特流进行解码以生成与期望的三维空间的3d空间区域对应的2d数据，并且对提取的地图集nal单元进行解码以生成与2d数据对应的地图集信息。
126.例如，在图像处理装置(或解码装置)中，提供：选择单元，其被配置成基于与点云
的比特流一起存储在文件中的链接信息来选择与期望的三维空间对应的3d空间区域和地图集图块组，该点云将具有三维形状的对象表示为点的集合，该链接信息将点云的3d空间区域与地图集图块组链接；提取单元，其被配置成从文件中提取与由选择单元选择的地图集图块组对应的地图集nal单元和与由选择单元选择的3d空间区域对应的比特流；以及解码单元，其被配置成对由提取单元提取的比特流进行解码以生成与期望的三维空间的3d空间区域对应的2d数据，并且对由提取单元提取的地图集nal单元进行解码以生成与2d数据对应的地图集信息。
127.例如，存储比特流和链接信息的文件是isobmff的文件。例如，与3d空间区域对应的比特流是被存储在属于与3d空间区域对应的空间区域轨道组的轨道中的几何视频子比特流、属性视频子比特流和占用图视频子比特流。例如，与3d空间区域对应的2d数据是几何视频帧、属性视频帧和占用图视频帧中的包括与3d空间区域对应的块的部分区域的数据。
128.通过这样做，3d空间区域和地图集图块组可以在解码侧彼此链接。因此，可以提取构造期望的3d空间区域的部分点云所需的编码图块组nal单元和视频子比特流，并将其输入至通用解码器。因此，可以构造且显示仅期望的3d空间区域的部分点云。
129.例如，通过在流式分发时仅获取点云的对象的观看到的部分，可以获得有效地利用带宽来实现更高清晰度的效果。这样的点云对象分发技术预期被用于增强现实(ar)应用和虚拟现实(vr)应用中的六自由度(6dof)内容分发。
130.此外，由于可以使用通用解码器，因此与开发具有能够从地图集子比特流中提取构造期望的3d空间区域的部分点云所需的编码图块组nal单元并进行解码的功能的专用解码器的情况相比，可以抑制成本的增加。
131.《方法1》
132.例如，如图10中示出的表的最上行所示，在多轨道结构中，空间区域轨道组可以与地图集图块组链接(方法1)。
133.例如，上面在《将3d空间区域与地图集图块组链接的信息》中描述的链接信息可以包括在多轨道结构中的将地图集图块组与空间区域轨道组链接的信息，该空间区域轨道组是存储与相互相同的3d空间区域对应的比特流的一组轨道。
134.编码侧装置用信号传送这样的链接信息。解码侧装置基于用信号传送的链接信息对3d空间区域进行解码。通过这样做，解码侧装置可以在地图集子比特流中仅提取构成与期望访问的3d空间区域对应的部分的地图集nal单元。即，解码侧装置可以通过通用解码器仅对视频子比特流和地图集子比特流的与3d空间区域对应的部分进行解码。即，解码侧装置可以仅构造与3d空间区域对应的部分点云。
135.《方法1-1》
136.此外，如图10中示出的表的从顶部起的第二行所示，tile_group_id可以链接至track_group_id(方法1-1)。
137.例如，上面在《方法1》中描述的将空间区域轨道组与地图集图块组链接的信息可以包括将识别存储比特流的轨道的轨道组识别信息与识别地图集图块组的地图集图块组识别信息链接的信息。
138.例如，该比特流是上面描述的视频子比特流。例如，轨道组识别信息是track_group_id。例如，地图集图块组识别信息是tile_group_id。例如，如图11所示，可以通过将
spatialregionsbox，而不是spatialregiongroupbox。
149.注意，在该方法1-1的情况下，需要解析地图集子比特流来识别与期望的空间区域轨道组对应的地图集图块组。
150.《方法1-2》
151.此外，如图10中示出的表的从顶部起的第三行所示，可以将groupid新分配给链接(方法1-2)。
152.例如，上面在《方法1》中描述的将空间区域轨道组与地图集图块组链接的信息可以包括将识别存储比特流的轨道的轨道组识别信息与识别地图集nal单元所属的地图集图块组的组识别信息链接的信息。
153.例如，该比特流是上面描述的视频子比特流。例如，轨道组识别信息是track_group_id。组识别信息是要新分配的识别信息，并且例如是groupid。groupid是识别地图集nal单元所属的地图集图块组的识别信息，并且被分配给每个地图集nal单元。
154.因此，例如，如图15所示，可以通过将track_group_id与groupid彼此链接来将空间区域轨道组与地图集图块组彼此链接。在图15的示例的情况下，将groupid＝1分配给与track_group_id＝1的空间区域轨道组对应的地图集图块组(的地图集nal单元)，并且将groupid＝2分配给与track_group_id＝2的空间区域轨道组对应的地图集图块组(的地图集nal单元)。注意，groupid＝0被分配给aud、atlas sps和atlas fps的地图集nal单元。groupid＝0指示数据是解码所有的地图集图块组所需要的。
155.编码侧装置用信号传送包括将这样的空间区域轨道组与地图集图块组彼此链接的信息的链接信息。解码侧装置基于用信号传送的链接信息对3d空间区域进行解码。通过这样做，基于链接信息，解码侧装置可以指定与期望的3d空间区域(的对应的轨道组识别信息)对应的组识别信息。然后，通过使用指定的组识别信息，解码侧装置可以指定与期望的3d空间区域对应的地图集nal单元。
156.注意，如图16所示，该组识别信息可以通过使用isobmff的sampletogroupbox针对每个样本将地图集nal单元与地图集图块组链接。
157.此外，例如，通过使用在非专利文献3中定义的nalumapentry('nalm')和tileregiongroupentry('trif')可以将空间区域轨道组与地图集图块组(构成地图集图块组的地图集nal单元)链接。例如，在上述组识别信息中，如图16的上侧所示，可以使用isobmff的nalumapentry和tileregiongroupentry将地图集nal单元与地图集图块组链接。
158.在图16的示例的情况下，通过使用sampletogroupbox的sample_count[1]和group_description_index[1]、samplegroupdescriptionbox的nalumapentry[1]以及samplegroupdescriptionbox的tileregiongroupentry[1]，空间区域轨道组与地图集图块组(构成地图集图块组的地图集nal单元)链接。
[0159]
编码侧装置用信号传送这样的链接信息。解码侧装置基于用信号传送的链接信息对3d空间区域进行解码。通过这样做，解码侧装置可以基于链接信息来指定与期望的3d空间区域对应的地图集nal单元。
[0160]
例如，如图16的下侧所示，可以通过扩展isobmff的vpccspatialregionsbox将track_group_id与groupid彼此链接。例如，上述将轨道组识别信息与组识别信息链接的信息可以通过使用isobmff的vpccspatialregionsbox将轨道组识别信息与组识别信息链接。
[0161]
图16中示出的vpccspatialregionsbox的语法类似于图12的示例(方法1-1)。然而，tile_group_id的语义是'nalm'的groupid。注意，tile_group_id的语义可以与上面在《方法1-1》中描述的情况相同，并且可以将(groupid-1)设置为地图集图块组nal单元的tile_group_id。
[0162]
注意，所有视频子比特流可以存储在一个轨道作为复用轨道。此外，可以省略trif的信号。
[0163]
注意，在方法1-2的情况下，由于groupid被新分配给地图集nal单元，因此可以在不解析所有图集子比特流的情况下识别与期望的空间区域轨道组对应的地图集图块组。
[0164]
注意，atlasnalumapentry可以被定义并用于地图集子比特流。其语法和语义可以与nalumapentry的语法和语义相同。此外，还可以扩展nalumapentry以用信号传送地图集nal单元正被参考。由于hevcnal单元与地图集nal单元之间存在语法差异，因此可以向客户端清楚地指示解析和解码是不同的，并且可以有助于处理的切换。
[0165]
《方法1-3》
[0166]
此外，如图10中示出的表的从顶部起的第四行所示，视频子比特流可以通过应用高效视频编码(hevc)的图块的编码方法(hevc图块)进行编码，并且hevc的图块可以与地图集图块组链接(方法1-3)。
[0167]
即，每个视频子比特流被编码为每个空间区域轨道组的hevc的图块。然后，如图17所示，可以通过使用2d位置(即，在相互相同的位置处)将hevc的图块(即，空间区域轨道组)与地图集图块组链接。
[0168]
例如，上面在《方法1》中描述的将空间区域轨道组与地图集图块组链接的信息可以包括将地图集图块组与对应于在与地图集图块组相同的位置处的hevc的图块的比特流链接的信息。
[0169]
编码侧装置用信号传送这样的链接信息。解码侧装置基于用信号传送的tile_group_id的地图集图块组的位置信息，来仅解码各个视频子比特流(几何轨道/属性轨道/占用图轨道)的对应位置处的图块。
[0170]
此时，解码侧装置可以从在每个轨道中用信号传送的trif来识别几何轨道、属性轨道和占用图轨道的各个图块区域位置。因此，解码侧装置可以提取构成与地图集图块组的图块区域匹配的每个视频子比特流的图块区域的nal单元并进行解码。
[0171]
如图18所示，通过扩展isobmff的vpccspatialregionsbox，可以将地图集图块组与对应于在与地图集图块组相同的位置处的hevc的图块的比特流链接。这种情况下的语法类似于图16中的示例(方法1-2)的语法。然而，空间区域轨道组的数目为一个。
[0172]
注意，使空间区域轨道组的使用可以是可选的，以消除对spatialregiongroupbox的信号传送的需要。几何、属性和占用图的每个轨道通过轨道参考与v-pcc轨道链接，并且可以省略对spatialregiongroupbox的信号传送。在图19中示出了这种情况下的vpccspatialregionsbox的扩展示例。
[0173]
《方法2》
[0174]
例如，如图10中示出的表的从顶部起的第五行所示，在单个轨道结构中，空间区域轨道组可以与地图集图块组链接(方法2)。
[0175]
例如，上面在《将3d空间区域与地图集图块组链接的信息》中描述的链接信息可以
包括在单个轨道结构中将3d空间区域与地图集图块组彼此链接的信息。
[0176]
编码侧装置用信号传送这样的链接信息。解码侧装置基于用信号传送的链接信息对3d空间区域进行解码。通过这样做，解码侧装置可以在地图集子比特流中仅提取构成与期望访问的3d空间区域对应的部分的地图集nal单元。即，解码侧装置可以通过通用解码器仅对v-pcc比特流的与3d空间区域对应的部分进行解码。即，解码侧装置可以仅构造与3d空间区域对应的部分点云。
[0177]
《方法2-1》
[0178]
例如，如图10中示出的表的从顶部起的第六行所示，可以将groupid新分配给链接(方法2-1)。
[0179]
例如，上面在《方法2》中描述的将3d空间区域与地图集图块组链接的信息可以包括将3d空间区域与识别地图集nal单元所属的地图集图块组的组识别信息链接的信息。
[0180]
在《方法1-2》中，已经描述了通过使用非专利文献2中定义的样本到组函数，针对地图集子比特流的每个样本链接nalm与trif。
[0181]
在一个轨道中的v-pcc比特流(即，几何、属性、占用图和地图集信息)的存储单个轨道结构中，方法1-2中的样本为子样本。因此，如图20所示，定义了新的box(subsampletogroupbox)，使得可以将类似于方法1-3的机制应用于该子样本。更具体地，为了将samplegroupdescription(nalm、trif)与子样本链接，新定义了子样本到组并且将其替换为样本到组。
[0182]
首先，扩展vpccspatialregionbox。此时，使空间区域轨道组的使用可以是可选的。即，使用与图19的示例(方法1-3)中的语法类似的语法。
[0183]
此外，如图21所示，新定义了子样本到组。即，用信号传送具有如图21所示的语法的subsampletogroupbox。在这种情况下，还用信号传送subsampleinformationbox。注意，在该subsampletogroupbox中，sample_count指示具有子样本的样本的数目。此外，subsample_count指示与同一样本组描述符链接的连续子样本的数目。其他字段的语义与subsampleinformationbox的语义相同。
[0184]
编码侧装置用信号传送这样的链接信息。解码侧装置基于用信号传送的链接信息对3d空间区域进行解码。通过这样做，解码侧装置可以基于链接信息来指定与期望的3d空间区域对应的子样本。
[0185]
《方法2-2》
[0186]
例如，如图10中示出的表的从顶部起的第七行所示，可以针对每个3d空间区域划分v-pcc比特流(方法2-2)。即，如图22所示，针对每个3d空间区域划分的各个v-pcc比特流可以存储在不同的轨道中。然后，可以通过链接信息将3d空间区域与划分的v-pcc比特流(存储划分的v-pcc比特流的轨道)链接。
[0187]
例如，上面在《方法2》中描述的将3d空间区域与地图集图块组链接的信息可以包括将识别存储与3d空间区域对应的比特流的轨道的轨道组识别信息与识别地图集图块组的地图集图块组识别信息链接的信息。
[0188]
在这种情况下，各个轨道存储几何、属性、占用图和地图集信息。在vpccspatialregionsbox中用信号传送每个轨道的3d空间区域信息。图23示出了vpccspatialregionsbox的语法的示例。由于在单个轨道中使用时，对每个track_group_id
的3d空间区域的信号传送是不需要的，因此可以通过标记执行控制。注意，在执行向单个轨道的信号传送的情况下，条件(标记&1)为1(真)。
[0189]
编码侧装置用信号传送这样的链接信息。解码侧装置基于用信号传送的链接信息对3d空间区域进行解码。通过这样做，解码侧装置可以基于链接信息来指定与期望的3d空间区域对应的轨道(划分的v-pcc比特流)。
[0190]
《方法3》
[0191]
例如，如图10中示出的表的从顶部起的第八行所示，可以启用三维空间中的相同位置处的替选3d空间区域的切换显示(方法3)。
[0192]
可以实现对不同的部分数据进行编码的使用例，以在一个点云的对象中的三维空间中的相同位置处重叠，并且根据情形来切换重叠的部分数据。例如，如图24的a和b所示，对象201的头部可以显示为头部202a或头部202b。通过这样做，例如，可以根据用户的偏好切换头部的显示。
[0193]
为了实现这样的功能，在一个v-pcc比特流中，将在三维空间中重叠的点排列在视频子比特流的2d图像上的不同矩形区域中。在图24的示例的情况下，如图24的c所示，头部202a的块和头部202b的块被排列在相互相同的视频帧203中的相互不同的位置处。
[0194]
《方法3-1》
[0195]
如上面在《方法3》中所述，可以用信号传送启用三维空间中的相同位置处的替选3d空间区域的切换显示的信息。
[0196]
即，上面在《将3d空间区域与地图集图块组链接的信息》中描述的链接信息可以包括作为关于3d空间区域的切换的信息的切换信息。
[0197]
例如，如图25所示，扩展vpccspatialregionsbox，并且用于解码侧装置识别替选3d空间区域的alternativeregionliststruct被新定义为切换信息。
[0198]
切换信息可以包括关于显示切换条件的信息。例如，在图25中示出的alternativeregionliststruct中，用信号传送诸如list_type、region_type_value和ref_3d_region_id的关于显示切换条件的信息。
[0199]
list_type指示替选区域的切换参考。例如，值“0”可以指示根据语言设置执行切换，以及值“1”可以指示根据用户的年龄设置执行切换。当然，这是示例，并且list_type可以取任何值。此外，可以由每个值指示任何参考。
[0200]
region_type_value指示每个区域的类型。例如，在list_type是指示根据语言设置执行切换的值的情况下，region_type_value的值“0”可以指示日语(jpn)，以及值“1”可以指示英语(eng)。当然，这是示例，并且region_type_value可以取任何值。此外，可以由每个值指示任何类型。
[0201]
ref_3d_region_id指示替选区域的3d_region_id。例如，该值可以取决于预设的用户偏好信息被静态地确定。例如，如果用户期望日语，则可以选择region_type＝0的替选区域。与这些等效的信息可以作为v-pcc编解码器的sei被用信号传送。
[0202]
当然，这些是要用信号传送的信息的示例，并且可以用信号传送除了这些之外的信息。此外，在动态地改变的情况下，dynamicregionsample也可以类似地扩展。
[0203]
此外，可以基于从外部动态地提供的触发来切换替选3d空间区域。然后，例如，上述切换信息可以包括关于触发切换的事件的信息。
[0204]
例如，可以应用运动图像专家组阶段-基于http的动态自适应流(mpeg-dash)的事件消息。例如，将事件识别信息(event_id)用信号传送给message_data[]，并且内容分发侧在期望时间传递事件消息。当接收到事件消息时，客户端根据event_id切换显示。
[0205]
此外，在场景描述中，event_id可以与用户的一些交互的结果链接。例如，在mpeg-4场景描述中，在参考相同v-pcc对象的多个节点(例如，bitwrapper)的参考url查询中设置不同的event_id，并且将这些节点一起放在交换节点中。此外，诸如触摸传感器(touchsensor)的交互的节点的eventout与切换节点的exposedfield链接。通过这样做，可以通过使用场景描述的功能，根据用户的交互来切换显示(使用场景描述的功能)。
[0206]
《方法4》
[0207]
尽管上面已经描述了应用isobmff作为文件格式的示例，但是可以使用用于存储v-pcc比特流的任何文件，并且可以采用除了isobmff之外的文件格式。例如，如图10中示出的表的最下行所示，v-pcc比特流可以存储在matroska媒体容器中(方法4)。matroska媒体容器的主要配置示例如图27所示。
[0208]
例如，可以将地图集图块组的链接信息用信号传送给具有与轨道输入元素下的vpccspatialregionsbox等效的信息的元素。此外，启用替选3d空间区域的切换显示的信息可以作为轨道输入元素下的新定义的元素被用信号传送。
[0209]
《组合》
[0210]
可以适当地组合和应用上述方法1至方法4中的一些或全部。
[0211]
《2.第一实施方式》
[0212]
《编码装置》
[0213]
将描述编码侧装置。在《1.链接信息的信号传送》中描述的本技术可以应用于任何装置。图28是示出作为应用本技术的图像处理装置(编码侧装置)的一个模式的编码装置的配置的示例的框图。图28中示出的编码装置300是应用v-pcc以通过用于二维图像的编码方法将点云数据编码为视频帧的装置。此外，编码装置300将通过编码生成的v-pcc比特流存储在isobmff中。
[0214]
编码装置300应用在《1.链接信息的信号传送》中描述的本技术，并且将信息存储到isobmff中以实现部分访问。即，编码装置300用信号传送将3d空间区域与地图集图块组彼此链接的链接信息。
[0215]
注意，在图28中，示出了处理单元、数据流等的主要部分，并且图28中示出的这些不一定是全部。即，在编码装置300中，可以存在未示出为图28中的框的处理单元或者可以存在未示出为图28中的箭头等的处理流程或数据。
[0216]
如图28所示，编码装置300包括3d2d转换单元301、2d编码单元302、元数据生成单元303、pc流生成单元304和文件生成单元305。
[0217]
3d2d转换单元301将作为输入至编码装置300的3d数据的点云分解成块，并且执行打包。即，3d2d转换单元301生成几何视频帧、属性视频帧和占用图视频帧，并且将它们提供给2d编码单元302。此外，3d2d转换单元301生成地图集信息，并且将地图集信息提供给2d编码单元302。
[0218]
2d编码单元302执行与编码有关的处理。例如，2d编码单元302获取从3d2d转换单元301提供的几何视频帧、属性视频帧、占用图视频帧、地图集信息等。2d编码单元302对它
们进行编码以生成比特流。2d编码单元302将生成的比特流提供给元数据生成单元303和pc流生成单元304。
[0219]
2d编码单元302包括编码单元311至编码单元314。编码单元311对几何视频帧进行编码以生成几何视频子比特流。2d编码单元302将生成的几何视频子比特流提供给元数据生成单元303和pc流生成单元304。
[0220]
编码单元312对属性视频帧进行编码以生成属性视频子比特流。编码单元312将生成的属性视频子比特流提供给元数据生成单元303和pc流生成单元304。
[0221]
编码单元313对占用图视频帧进行编码以生成占用图视频子比特流。编码单元313将生成的占用图视频子比特流提供给元数据生成单元303和pc流生成单元304。
[0222]
编码单元314对地图集信息进行编码以生成地图集子比特流。编码单元314将生成的地图集子比特流提供给元数据生成单元303和pc流生成单元304。
[0223]
元数据生成单元303执行与元数据的生成有关的处理。例如，元数据生成单元303获取从2d编码单元302提供的视频子比特流和地图集子比特流。此外，元数据生成单元303通过使用这些数据生成元数据。
[0224]
例如，元数据生成单元303可以将点云的3d空间区域与地图集图块组链接的链接信息生成作为元数据。即，元数据生成单元303可以通过应用《1.链接信息的信号传送》中描述的本技术生成元数据。注意，例如，元数据生成单元303可以如上面在《1.链接信息的信号传送》中所述应用方法1、方法1-1、方法1-2、方法1-3、方法2、方法2-1、方法2-2、方法3、方法3-1、方法4、各种修改和多种方法的组合(在下文中，被称为本技术的各种方法)。
[0225]
如上所述，当生成了包括将点云的3d空间区域与地图集图块组链接的链接信息的元数据时，元数据生成单元303将元数据提供给文件生成单元305。
[0226]
pc流生成单元304执行与v-pcc比特流的生成有关的处理。例如，pc流生成单元304获取从2d编码单元302提供的视频子比特流和地图集子比特流。此外，通过使用它们，pc流生成单元304生成v-pcc比特流(几何视频子比特流、属性视频子比特流、占用图视频子比特流和地图集子比特流，或者这些的集合)，并且提供给文件生成单元305。
[0227]
文件生成单元305执行与文件生成有关的处理。例如，文件生成单元305获取从元数据生成单元303提供并且包括将点云的3d空间区域与地图集图块组链接的链接信息的元数据。此外，文件生成单元305获取从pc流生成单元304提供的v-pcc比特流。文件生成单元305生成存储包括链接信息和v-pcc比特流的元数据的文件(例如，isobmff或matroska媒体容器)。
[0228]
此时，文件生成单元305应用《1.链接信息的信号传送》中描述的本技术来生成文件，以用信号传送将点云的3d空间区域与地图集图块组链接的链接信息。注意，文件生成单元305可以应用上面在《1.链接信息的信号传送》中描述的本技术的各种方法中的任何方法。然后，文件生成单元305将生成的文件输出至编码装置300的外部。
[0229]
注意，这些处理单元(3d2d转换单元301至文件生成单元305，以及编码单元311至编码单元314)具有任何配置。例如，每个处理单元可以由实现上述处理的逻辑电路配置。此外，例如，每个处理单元可以具有中央处理单元(cpu)、只读存储器(rom)、随机存取存储器(ram)等，并且通过使用它们来执行程序以实现上述处理。当然，每个处理单元可以具有这两种配置，通过逻辑电路实现上述处理的一部分，并且通过执行程序实现其他处理。处理单
元的配置可以彼此独立，并且例如，一些处理单元可以通过逻辑电路实现上述处理的一部分，另一些处理单元可以通过执行程序实现上述处理，还有一些处理单元可以通过逻辑电路和程序的执行两者实现上述处理。
[0230]
如上所述，编码装置300应用《1.链接信息的信号传送》中描述的本技术，以用信号传送将3d空间区域与地图集图块组链接的链接信息。
[0231]
通过这样做，解码侧装置可以在地图集子比特流中仅提取构成与期望访问的3d空间区域对应的部分的地图集nal单元。即，解码侧装置可以仅对v-pcc比特流中的与期望的3d空间区域对应的部分进行解码。即，解码侧装置可以仅构造与期望的3d空间区域对应的的一部分点云。
[0232]
通过这样做，解码侧装置可以将3d空间区域与地图集图块组链接。因此，解码侧装置可以提取构造期望的3d空间区域的部分点云所需的编码图块组nal单元和视频子比特流，并且输入至通用解码器。因此，解码侧装置可以仅构造和显示期望的3d空间区域的部分点云。
[0233]
例如，通过在流式分发时仅获取点云的对象的观看到的部分，可以获得有效地利用带宽来实现更高清晰度的效果。这样的点云对象分发技术预期被用于ar应用和vr应用中的6dof内容分发。
[0234]
此外，由于可以使用通用解码器，因此与开发具有能够从地图集子比特流中提取构造期望的3d空间区域的部分点云所需的编码图块组nal单元并进行解码的功能的专用解码器的情况相比，解码侧装置可以抑制成本的增加。
[0235]
《编码处理的流程》
[0236]
将参照图29的流程图描述由编码装置300执行的编码处理的流程的示例。
[0237]
当编码处理开始时，在步骤s301中，编码装置300的3d2d转换单元301将点云分解成块以生成几何和属性的块。然后，3d2d转换单元301将块打包成视频帧。此外，3d2d转换单元301生成占用图和地图集信息。
[0238]
在步骤s302中，2d编码单元302对几何视频帧、属性视频帧、占用图视频帧和地图集信息进行编码。例如，编码单元311通过使用用于2d数据的任何编码方法(例如，avc、hevc等)对几何视频帧进行编码，以生成几何视频子比特流。此外，编码单元312通过使用用于2d数据的任何编码方法对属性视频帧进行编码，以生成属性视频子比特流。此外，编码单元313通过使用用于2d数据的任何编码方法对占用图视频帧进行编码，以生成占用图视频子比特流。此外，编码单元314通过任何编码方法对地图集信息进行编码以生成地图集子比特流。
[0239]
在步骤s303中，元数据生成单元303生成包括将空间区域轨道组与地图集图块组彼此链接的链接信息的部分访问信息作为元数据。即，元数据生成单元303可以通过应用《1.链接信息的信号传送》中描述的本技术生成元数据。注意，例如，元数据生成单元303可以应用上面在《1.链接信息的信号传送》中描述的本技术的各种方法中的任何方法。
[0240]
在步骤s304中，pc流生成单元304通过使用视频子比特流生成v-pcc比特流(点云流)。
[0241]
在步骤s305中，文件生成单元305生成存储v-pcc比特流和元数据的文件(例如，isobmff或matroska媒体容器)，该元数据包括将点云的3d空间区域与地图集图块组链接的
链接信息。
[0242]
此时，文件生成单元305应用《1.链接信息的信号传送》中描述的本技术。即，文件生成单元305如上面在《1.链接信息的信号传送》中所述生成文件以用信号传送链接信息。注意，文件生成单元305可以应用上面在《1.链接信息的信号传送》中描述的本技术的各种方法中的任何方法。
[0243]
当步骤s305中的处理结束时，编码处理结束。
[0244]
如上所述，在编码处理中，编码装置300应用《1.链接信息的信号传送》中描述的本技术以用信号传送将3d空间区域与地图集图块组链接的链接信息。
[0245]
通过这样做，解码侧装置可以在地图集子比特流中仅提取构成与期望访问的3d空间区域对应的部分的地图集nal单元。即，解码侧装置可以通过通用解码器仅对视频子比特流和地图集子比特流的与3d空间区域对应的部分进行解码。即，解码侧装置可以仅构造与3d空间区域对应的部分点云。
[0246]
通过这样做，解码侧装置可以将3d空间区域与地图集图块组链接。因此，解码侧装置可以提取构造期望的3d空间区域的部分点云所需的编码图块组nal单元和视频子比特流，并且输入至通用解码器。因此，解码侧装置可以仅构造和显示期望的3d空间区域的部分点云。
[0247]
例如，通过在流式分发时仅获取点云的对象的观看到的部分，可以获得有效地利用带宽来实现更高清晰度的效果。这样的点云对象分发技术预期被用于ar应用和vr应用中的6dof内容分发。
[0248]
此外，由于可以使用通用解码器，因此与开发具有能够从地图集子比特流中提取构造期望的3d空间区域的部分点云所需的编码图块组nal单元并进行解码的功能的专用解码器的情况相比，解码侧装置可以抑制成本的增加。
[0249]
《3.第二实施方式》
[0250]
《解码装置》
[0251]
《1.链接信息的信号传送》中描述的本技术不仅可以应用于编码侧装置，而且还可以应用于解码侧装置。图30是示出作为应用本技术的图像处理装置的一个模式的解码装置的配置的示例的框图。图30中示出的解码装置400是应用v-pcc、从文件获取通过用于将点云数据作为视频帧的二维图像的编码方法所编码的v-pcc比特流(几何视频子比特流、属性视频子比特流、占有图视频子比特流和地图集子比特流、或它们的集合)、以及通过用于二维图像的解码方法对v-pcc比特流进行解码以生成(重建)点云的装置。例如，解码装置400可以从由编码装置300生成的文件中提取v-pcc比特流，并且对v-pcc比特流进行解码以生成点云。
[0252]
此时，解码装置400应用《1.链接信息的信号传送》中描述的本技术实现部分访问。即，基于用信号传送的将3d空间区域与地图集图块组链接的链接信息，解码装置400可以仅对与对应于期望的三维空间区域的3d空间区域(即，期望的3d空间区域)对应的v-pcc比特流进行解码，以构造部分点云。
[0253]
注意，在图30中，示出了处理单元、数据流等的主要部分，并且图30中示出的这些不一定是全部。即，在解码装置400中，可以存在未示出为图30中的框的处理单元或者可以存在未示出为图30中的箭头等的处理流程或数据。
[0254]
如图30所示，解码装置400包括文件处理单元401、2d解码单元402和显示信息生成单元403。
[0255]
文件处理单元401从输入至解码装置400的文件中提取v-pcc比特流，并且提供给2d解码单元402。此时，文件处理单元401应用《1.链接信息的信号传送》中描述的本技术，并且基于用信号传送的将3d空间区域与地图集图块组链接的链接信息来提取与对应于期望的三维空间区域的3d空间区域(即，期望的3d空间区域)对应的v-pcc比特流。注意，文件处理单元401可以应用上面在《1.链接信息的信号传送》中描述的本技术的各种方法中的任何方法。然后，文件处理单元401将提取的v-pcc比特流提供给2d解码单元402。
[0256]
即，仅提取的v-pcc比特流为解码目标。换言之，基于用信号传送的链接信息，文件处理单元401从解码目标中排除重新配置期望的3d空间区域的点云所不需要的v-pcc比特流。
[0257]
文件处理单元401包括分析单元411和提取单元412。
[0258]
分析单元411执行与输入至解码装置400的文件(例如，isobmff等)的分析有关的处理。例如，文件处理单元401通过应用《1.链接信息的信号传送》中描述的本技术分析文件，并且基于将点云的3d空间区域与地图集图块组彼此链接的链接信息，来选择与期望的三维空间对应的空间区域轨道组和地图集图块组。注意，分析单元411可以应用上面在《1.链接信息的信号传送》中描述的本技术的各种方法中的任何方法。
[0259]
即，分析单元411基于链接信息来与选择与期望的三维空间相对应的3d空间区域和地图集图块组，该链接信息与将具有三维形状的对象表示为点的集合的点云的比特流一起存储在文件中并且将点云的3d空间区域与地图集图块组链接。
[0260]
然后，分析单元411将指示选择的空间区域轨道组和地图集图块组的信息提供给提取单元412。
[0261]
提取单元412基于分析单元411的分析结果来从v-pcc比特流中提取作为解码对象的数据。即，提取单元412从文件中提取与由分析单元411选择的地图集图块组对应的地图集nal单元。此外，提取单元412从文件中提取与由分析单元411选择的空间区域轨道组对应的视频子比特流。提取单元412将提取的数据提供给2d解码单元402。
[0262]
2d解码单元402执行与解码有关的处理。例如，2d解码单元402获取从文件处理单元401提供的几何视频子比特流、属性视频子比特流、占用图视频子比特流、地图集子比特流等。2d解码单元402对它们进行解码以生成视频帧和地图集信息。2d解码单元402将生成的比特流提供给元数据生成单元303和pc流生成单元304。
[0263]
2d解码单元402包括解码单元421至解码单元424。解码单元421对提供的几何视频子比特流进行解码以生成几何视频帧(2d数据)。解码单元421将生成的几何视频帧提供给显示信息生成单元403。
[0264]
解码单元422对属性视频子比特流进行解码以生成属性视频帧(2d数据)。解码单元422将生成的属性视频帧提供给显示信息生成单元403。
[0265]
解码单元423对占用图视频子比特流进行解码以生成占用图视频帧(2d数据)。解码单元423将生成的占用图视频帧提供给显示信息生成单元403。
[0266]
解码单元424对地图集子比特流(提取的地图集nal单元)进行解码，以生成与上述视频帧对应的地图集信息。解码单元424将生成的地图集信息提供给显示信息生成单元
403。
[0267]
显示信息生成单元403执行与点云的构造和渲染有关的处理。例如，显示信息生成单元403获取从2d解码单元402提供的视频帧和地图集信息。此外，显示信息生成单元403基于获取的地图集信息来从打包成获取的视频帧的块生成点云。然后，显示信息生成单元403渲染点云，生成显示图像，并且将显示图像输出至解码装置400的外部。
[0268]
例如，显示信息生成单元403包括2d3d转换单元431和显示处理单元433。
[0269]
2d3d转换单元431将排列在从2d解码单元402提供的视频帧中的块(2d数据)转换成点云(3d数据)。2d3d转换单元431将生成的点云提供给显示处理单元432。
[0270]
显示处理单元432执行与渲染有关的处理。例如，显示处理单元432获取从2d3d转换单元431提供的点云。此外，显示处理单元432渲染获取的点云以生成显示图像。显示处理单元432将生成的显示图像输出至解码装置400的外部(例如，监视器等)。
[0271]
如上所述，解码装置400应用《1.链接信息的信号传送》中描述的本技术，并且基于用信号传送的将3d空间区域与地图集图块组链接的链接信息来执行部分访问。
[0272]
通过这样做，解码装置400可以在地图集子比特流中仅提取构成与期望访问的3d空间区域对应的部分的地图集nal单元。即，解码装置400可以仅对v-pcc比特流中的与期望的3d空间区域对应的部分进行解码。即，解码装置400可以仅构造与期望的3d空间区域对应的部分点云。
[0273]
通过这样做，解码装置400可以将3d空间区域与地图集图块组链接。因此，解码装置400可以提取构造期望的3d空间区域的部分点云所需的编码图块组nal单元和视频子比特流，并且输入至通用解码器。因此，解码装置400可以仅构造和显示期望的3d空间区域的部分点云。
[0274]
例如，通过在流式分发时仅获取点云的对象的观看到的部分，可以获得有效地利用带宽来实现更高清晰度的效果。这样的点云对象分发技术预期被用于ar应用和vr应用中的6dof内容分发。
[0275]
此外，由于可以使用通用解码器，因此与开发具有能够从地图集子比特流中提取构造期望的3d空间区域的部分点云所需的编码图块组nal单元并进行解码的功能的专用解码器的情况相比，解码装置400可以抑制成本的增加。
[0276]
《解码处理的流程》
[0277]
将参照图31的流程图描述由该解码装置400执行的解码处理的流程的示例。
[0278]
当解码处理开始时，在步骤s401中，解码装置400的分析单元411基于包括将空间区域轨道组与地图集图块组彼此链接的信息的部分访问信息，来选择与期望的三维空间对应的空间区域轨道组和地图集图块组。
[0279]
在步骤s402中，提取单元412提取与在步骤s401中选择的地图集图块组对应的地图集nal单元和与空间区域轨道组对应的视频子比特流。
[0280]
在步骤s403中，2d解码单元402对在步骤s402中提取的地图集nal单元和视频子比特流进行解码。
[0281]
在步骤s404中，2d3d转换单元431通过使用由步骤s403中的处理生成的视频帧和地图集信息来构造点云。即，2d3d转换单元431构造与期望的三维空间对应的部分点云。
[0282]
在步骤s405中，显示处理单元432渲染在步骤s404中的处理中生成的点云(即，与
期望的三维空间对应的部分点云)，以生成显示图像。即，显示处理单元432生成与期望的三维空间对应的显示图像。
[0283]
当步骤s405中的处理结束时，解码处理结束。
[0284]
如上所述，在解码处理中，通过应用《1.链接信息的信号传送》中描述的本技术，解码装置400可以基于用信号传送的将3d空间区域与地图集图块组链接的链接信息来构造与期望的3d空间区域对应的部分点云。
[0285]
例如，通过在流式分发时仅获取点云的对象的观看到的部分，可以获得有效地利用带宽来实现更高清晰度的效果。这样的点云对象分发技术预期被用于ar应用和vr应用中的6dof内容分发。
[0286]
此外，由于可以使用通用解码器，因此与开发具有能够从地图集子比特流中提取构造期望的3d空间区域的部分点云所需的编码图块组nal单元并进行解码的功能的专用解码器的情况相比，解码装置400可以抑制成本的增加。
[0287]
《4.补充说明》
[0288]
《计算机》
[0289]
上述一系列处理可以由硬件执行或者由软件执行。当由软件执行这一系列处理时，将配置软件的程序安装在计算机中。这里，例如，计算机的示例包括内置在专用硬件中的计算机、可以通过安装各种程序来执行各种功能的通用个人计算机等。
[0290]
图27是示出根据程序执行上述一系列处理的计算机的硬件的配置示例的框图。
[0291]
在图27中示出的计算机900中，中央处理单元(cpu)901、只读存储器(rom)902和随机存取存储器(ram)903经由总线904相互连接。
[0292]
总线904还与输入/输出接口910连接。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接至输入/输出接口910。
[0293]
例如，输入单元911包括键盘、鼠标、麦克风、触摸板、输入端子等。例如，输出单元912包括显示器、扬声器、输出端子等。例如，存储单元913包括硬盘、ram盘和非易失性存储器等。例如，通信单元914包括网络接口等。驱动器915驱动可移除介质921，例如，磁盘、光盘、磁光盘或半导体存储器。
[0294]
在如上所述配置的计算机中，例如，通过cpu 901经由输入/输出接口910和总线904将记录在存储单元913中的程序加载到ram 903中并且执行程序来执行上述一系列处理。例如，ram 903还适当地存储cpu 901执行各种处理所需的数据。
[0295]
例如，由计算机执行的程序可以通过记录在作为封装介质等的可移除介质921上来应用。在这种情况下，通过将可移除介质921附接至驱动器915，可以经由输入/输出接口910将程序安装在存储单元913中。
[0296]
此外，例如，该程序也可以经由有线或无线传输介质局域网、因特网或数字卫星广播来提供。在这种情况下，程序可以由通信单元914接收并且被安装在存储单元913中。
[0297]
此外，程序可以预先安装在rom 902和存储单元913中。
[0298]
《本技术的适用目标》
[0299]
上面已经描述了本技术应用于点云数据的编码和解码的情况，但是本技术可以应用于任何标准的3d数据的编码和解码，而不限于这些示例。即，只要不与上述本技术存在矛盾，就可以针对诸如编码和解码方法的各种类型的处理以及诸如3d数据和元数据的各种类
型的数据采用任何规范。此外，只要不与本技术存在矛盾，就可以省略上述一些处理和规范。
[0300]
此外，在上面的描述中，已经描述了编码装置300和解码装置400作为本技术的应用示例，但是本技术可以应用于任何配置。
[0301]
例如，本技术可以应用于：各种电子装置，例如，卫星广播、诸如有线电视的有线广播、因特网上的分发、通过蜂窝通信向终端的分发中的发送器和接收器(例如，电视接收器或移动电话)；或者在诸如光盘、磁盘或闪存的介质上记录图像或从这些存储介质再现图像的装置(例如，硬盘记录器或摄像装置)。
[0302]
此外，例如，本技术还可以实现为装置的部分配置，例如，作为系统大规模集成(lsi)等的处理器(例如，视频处理器)、使用多个处理器等的模块(例如，视频模块)、使用多个模块等的单元(例如，视频单元)、或者其中还向单元添加其他功能的集合(例如，视频集合)。
[0303]
此外，例如，本技术还可以应用于包括多个装置的网络系统。例如，本技术可以实现为云计算，其由多个装置经由网络执行共享和协作处理。例如，对于诸如计算机、视听(av)装置、便携式信息处理终端或物联网(iot)装置的任何终端，本技术可以在提供与图像(移动图像)有关的服务的云服务中实现。
[0304]
注意，在该说明书中，系统意指多个部件(装置、模块(部件)等)的集合，并且所有部件是否在同一壳体中并不重要。因此，容纳在单独的壳体中并且经由网络连接的多个装置以及具有容纳在一个壳体中的多个模块的单个装置两者均是系统。
[0305]
《本技术适用的领域和应用》
[0306]
应用本技术的系统、装置、处理单元等可以在任何领域中使用，例如，运输、医疗保健、犯罪预防、农业、畜牧业、采矿业、美容护理、工厂、家用电器、天气、自然监测等。此外，可以采用其任何应用。
[0307]
例如，本技术可以应用于用于提供观看的内容等的系统或装置。此外，例如，本技术还可以应用于用于诸如交通状况监督和自动驾驶控制的运输的系统和装置。此外，例如，本技术还可以应用于用于安全的系统和装置。此外，例如，本技术可以应用于用于机器等的自动控制的系统和装置。此外，例如，本技术还可以应用于用于农业和畜牧业的系统和装置。此外，本技术还可以应用于监视诸如火山、森林和海洋的自然状态、野生动物等的系统和装置。此外，例如，本技术还可以应用于用于运动的系统和装置。
[0308]
《其他》
[0309]
注意，在该说明书中，“标记”是用于识别多个状态的信息，并且不仅包括用于识别真(1)或假(0)两个状态的信息，而且还包括使得能够识别三个或更多个状态的信息。因此，例如，“标记”可以采用的值可以是1/0的二进制值，或者可以是三进制值或更多进制的值。即，“标记”中包括的位数可以是任意数，并且可以是1位或多个位。此外，对于识别信息(包括标记)，除了在比特流中包括识别信息的形式之外，还假设在比特流中包括相对于特定参考信息的识别信息的差异信息的形式。因此，在该说明书中，“标记”和“识别信息”不仅包括其信息，而且还包括相对于参考信息的差异信息。
[0310]
此外，与编码数据(比特流)有关的各种信息(例如，元数据)可以以任何形式发送或记录，只要该信息与编码数据相关联即可。这里，例如，术语“相关联”意指当处理一个数
据时，使得能够使用(链接)其他数据。即，彼此相关联的数据可以组合为一个数据或者可以是单独的数据。例如，可以在与编码数据(图像)不同的传输线上发送与编码数据(图像)相关联的信息。此外，例如，与编码数据(图像)相关联的信息可以被记录在与编码数据(图像)不同的记录介质(或同一记录介质的另一记录区域)上。注意，该“关联”可以针对数据的一部分，而不是整个数据。例如，图像和与图像对应的信息可以以诸如多个帧、一个帧或帧内的一部分的任何单元彼此相关联。
[0311]
注意，在本说明书中，例如，诸如“组合”、“复用”、“添加”、“集成”、“包括”、“存储”、“放入”、“引入”和“插入”等的术语意指将多个对象组合成一个，例如，将编码数据和元数据组合成一个数据，并且意指上述“关联”的一种方法。
[0312]
此外，本技术的实施方式不限于上述实施方式，并且在不脱离本技术的范围的情况下可以进行各种修改。
[0313]
例如，可以将被描述为一个装置(或处理单元)的配置划分和配置为多个装置(或处理单元)。相反，可以将上面被描述为多个装置(或处理单元)的配置共同配置为一个装置(或处理单元)。此外，当然，可以将除了以上配置之外的配置添加至每个装置(或每个处理单元)的配置。此外，只要整个系统的配置和操作大致相同，一个装置(或处理单元)的部分配置就可以包括在另一装置(或另一处理单元)的配置中。
[0314]
此外，例如，上述程序可以在任何装置中执行。在这种情况下，装置仅需要具有必要的功能(功能块等)，以便可以获得必要的信息。
[0315]
此外，例如，一个流程图的每个步骤可以由一个装置执行，或者可以由多个装置共享和执行。此外，当一个步骤包括多个处理时，多个处理可以由一个装置执行，或者可以由多个装置共享和执行。换言之，一个步骤中包括的多个处理可以作为多个步骤执行。相反，被描述为多个步骤的处理可以作为一个步骤共同执行。
[0316]
此外，例如，在由计算机执行的程序中，描述程序的步骤的处理可以按照该说明书中描述的顺序以时间顺序执行，或者可以在诸如进行调用时的需要的时间处单独执行或并行执行。即，只要不发生矛盾，就可以按照与上述顺序不同的顺序执行每个步骤的处理。此外，描述程序的步骤的该处理可以与另一程序的处理并行执行，或者可以与另一程序的处理组合执行。
[0317]
此外，例如，与本技术有关的多个技术可以独立地实现为单个主体，只要不存在矛盾即可。当然，可以组合使用多个本技术中的任何技术。例如，在任何实施方式中描述的本技术的一部分或全部可以与在另一实施方式中描述的本技术的一部分或全部组合实现。此外，上述本技术的一部分或全部可以与上面未描述的另一技术组合实现。
[0318]
注意，本技术还可以具有以下配置。
[0319]
(1)一种图像处理装置，包括：
[0320]
选择单元，所述选择单元被配置成基于与点云的比特流一起存储在文件中的链接信息来选择与期望的三维空间对应的3d空间区域和地图集图块组，所述点云将具有三维形状的对象表示为点的集合，所述链接信息将所述点云的3d空间区域与所述地图集图块组链接；
[0321]
提取单元，所述提取单元被配置成从所述文件中提取与由所述选择单元选择的地图集图块组对应的地图集网络抽象层nal单元、和与由所述选择单元选择的3d空间区域对
应的比特流；以及
[0322]
解码单元，所述解码单元被配置成对由所述提取单元提取的比特流进行解码以生成与期望的三维空间的3d空间区域对应的2d数据，并且对由所述提取单元提取的地图集nal单元进行解码以生成与所述2d数据对应的地图集信息。
[0323]
(2)根据(1)所述的图像处理装置，其中，
[0324]
所述链接信息包括以多轨道结构将所述地图集图块组与空间区域轨道组链接的信息，所述空间区域轨道组是存储与相互相同的3d空间区域对应的比特流的轨道的组。
[0325]
(3)根据(2)所述的图像处理装置，其中，
[0326]
将所述空间区域轨道组与所述地图集图块组链接的信息包括将轨道组识别信息与组识别信息链接的信息，所述轨道组识别信息识别存储所述比特流的轨道，所述组识别信息识别所述地图集nal单元所属的地图集图块组。
[0327]
(4)根据(3)所述的图像处理装置，其中，
[0328]
所述文件是isobmff(国际标准化组织基本媒体文件格式)文件，并且
[0329]
将所述轨道组识别信息与所述组识别信息链接的信息通过使用所述isobmff的vpccspatialregionsbox将所述轨道组识别信息与所述组识别信息链接。
[0330]
(5)根据(3)或(4)所述的图像处理装置，其中，
[0331]
所述文件是isobmff(国际标准化组织基本媒体文件格式)文件，并且
[0332]
所述组识别信息通过使用所述isobmff的nalumapentry将所述地图集nal单元与所述地图集图块组链接。
[0333]
(6)根据(5)所述的图像处理装置，其中，
[0334]
所述组识别信息通过使用所述isobmff的sampletogroupbox针对每个样本将所述地图集nal单元与所述地图集图块组链接
[0335]
(7)根据(2)至(6)中任一项所述的图像处理装置，其中，
[0336]
将所述空间区域轨道组与所述地图集图块组链接的信息包括将轨道组识别信息与地图集图块组识别信息链接的信息，所述轨道组识别信息识别存储所述比特流的轨道，所述地图集图块组识别信息识别所述地图集图块组。
[0337]
(8)根据(7)所述的图像处理装置，其中，
[0338]
所述文件是isobmff(国际标准化组织基本媒体文件格式)文件，并且
[0339]
将所述轨道组识别信息与所述地图集图块组识别信息链接的信息通过使用所述isobmff的vpccspatialregionsbox将所述轨道组识别信息与所述地图集图块组识别信息链接。
[0340]
(9)根据(7)或(8)所述的图像处理装置，其中，
[0341]
所述文件是isobmff(国际标准化组织基本媒体文件格式)文件，并且
[0342]
将所述轨道组识别信息与所述地图集图块组识别信息链接的信息通过使用所述isobmff的spatialregiongroupbox将所述轨道组识别信息与所述地图集图块组识别信息链接。
[0343]
(10)根据(2)至(9)中任一项所述的图像处理装置，其中，
[0344]
将所述空间区域轨道组与所述地图集图块组链接的信息包括通过使用所述3d空间区域的划分信息将所述空间区域轨道组与所述地图集图块组链接的信息。
[0345]
(11)根据(2)至(10)中任一项所述的图像处理装置，其中，
[0346]
将所述空间区域轨道组与所述地图集图块组链接的信息包括将所述地图集图块组与对应于在与所述地图集图块组相同的位置处的hevc(高效视频编码)图块的比特流链接的信息。
[0347]
(12)根据(1)至(11)中任一项所述的图像处理装置，其中，
[0348]
所述链接信息包括以单轨道结构将所述3d空间区域与所述地图集图块组链接的信息。。
[0349]
(13)根据(12)所述的图像处理装置，其中，
[0350]
将所述3d空间区域与所述地图集图块组链接的信息包括将所述3d空间区域与组识别信息链接的信息，所述组识别信息识别所述地图集nal单元所属的地图集图块组。
[0351]
(14)根据(12)或(13)所述的图像处理装置，其中，
[0352]
将所述3d空间区域与所述地图集图块组链接的信息包括将轨道组识别信息与地图集图块组识别信息链接的信息，所述轨道组识别信息识别存储与所述3d空间区域对应的比特流的轨道，所述地图集图块组识别信息识别所述地图集图块组。
[0353]
(15)根据(1)至(14)中任一项所述的图像处理装置，其中，
[0354]
所述链接信息包括切换信息，所述切换信息是关于所述3d空间区域的切换的信息。
[0355]
(16)根据(15)所述的图像处理装置，其中，
[0356]
所述切换信息包括关于所述切换的条件的信息。
[0357]
(17)根据(15)或(16)所述的图像处理装置，其中，
[0358]
所述切换信息包括关于触发所述切换的事件的信息。
[0359]
(18)一种图像处理方法，包括：
[0360]
基于与点云的比特流一起存储在文件中的链接信息来选择与期望的三维空间对应的3d空间区域和地图集图块组，所述点云将具有三维形状的对象表示为点的集合，所述链接信息将所述点云的3d空间区域与所述地图集图块组链接；
[0361]
从所述文件中提取与所选择的地图集图块组对应的地图集nal单元、和与所选择的3d空间区域对应的比特流；以及
[0362]
对所提取的比特流进行解码以生成与期望的三维空间的3d空间区域对应的2d数据，并且对所提取的地图集nal单元进行解码以生成与所述2d数据对应的地图集信息。
[0363]
(19)一种图像处理装置，包括：
[0364]
编码单元，所述编码单元被配置成对2d数据进行编码以生成比特流，所述2d数据对应于将具有三维形状的对象表示为点的集合的点云的3d空间区域；
[0365]
链接信息生成单元，所述链接信息生成单元被配置成生成将所述3d空间区域与地图集图块组链接的链接信息；以及
[0366]
文件生成单元，所述文件生成单元被配置成生成存储由所述编码单元生成的比特流和由所述链接信息生成单元生成的链接信息的文件。
[0367]
(20)一种图像处理方法，包括：
[0368]
对2d数据进行编码以生成比特流，所述2d数据对应于将具有三维形状的对象表示为点的集合的点云的3d空间区域；
[0369]
生成将所述3d空间区域与地图集图块组链接的链接信息；以及生成存储已经生成的比特流和链接信息的文件。
[0370]
附图标记列表
[0371]
300 编码装置
[0372]
301 3d3d转换单元
[0373]
302 2d编码单元
[0374]
303 元数据生成单元
[0375]
304 pc流生成单元
[0376]
305 文件生成单元
[0377]
311至314 编码单元
[0378]
400 解码装置
[0379]
401 文件处理单元
[0380]
402 2d解码单元
[0381]
403 显示信息生成单元
[0382]
411 分析单元
[0383]
412 提取单元
[0384]
421至424 解码单元
[0385]
431 2d3d转换单元
[0386]
432 显示处理单元