信息处理装置和方法与流程

1.本公开内容涉及信息处理装置和方法，更具体地，涉及能够抑制再现处理的负荷的增加的信息处理装置和方法。


背景技术：

2.常规地，在mpeg-i第9部分(iso/iec(国际标准化组织/国际电工委员会)23090-9)中，对g-pcc(基于几何的点云压缩)进行标准化(例如，参见非专利文献1)，其中，g-pcc是用于对作为具有三维空间的位置信息和属性信息(例如，颜色、反射率等)的点的集合的点云进行编码的编码技术，其中，表示三维形状的几何信息和表示属性信息的属性被划分。
3.另外，还有isobmff(国际标准化组织基本媒体文件格式)，其是运动图像压缩的国际标准技术mpeg-4(运动图像专家组-4)的文件容器规范(例如，参见非专利文献2)。
4.另外，为了从作为使用g-pcc编码的编码数据的比特流的g-pcc比特流的本地存储装置高效地进行再现处理和网络分发，在mpeg-i第18部分(iso/iec 23090-18)中，用于将g-pcc比特流存储在isobmff文件中的方法是标准化的(例如，参见非专利文献3)。
5.存储该非专利文献3中定义的g-pcc比特流的g-pcc文件具有用于基于三维空间信息进行部分访问和解码的结构。部分访问是对作为由点云表达的对象的一部分(换言之，点云数据的一部分)的部分点云的访问(从文件提取数据)。特别地，在分发的使用情况下，通过使用这样的部分访问，可以针对存储部分点云的每个轨道分发数据(换言之，可以实现自适应分发)，并且这对于抑制处理负荷和频带负荷的增加是有用的。
6.在这样的g-pcc文件中，三维空间区域(3d空间区域)可以被定义为这样的部分点云。该3d空间区域由单个或多个图块组成。图块是可独立解码的点云的数据单元。在g-pcc文件中，管理组成3d空间区域的图块。另外，在g-pcc文件中，管理特定图块的哪个轨道数据被存储。换言之，3d空间区域和存储数据的轨道通过图块彼此关联。因此，在部分访问时，基于该管理，指定组成期望的3d空间区域的图块，指定存储图块的数据的轨道，并且从轨道提取期望的3d空间区域的数据。
7.由点云表达的对象的位置、大小、形状、方向、数目等可以在时间方向上改变(可以形成为动态的)。为此，3d空间区域以及组成3d空间区域的图块可以在时间方向上改变(可以被动态地形成)。另外，存储在轨道中的图块可以在时间方向上改变(可以被动态地形成)。因此，在g-pcc文件中，3d空间区域、组成3d空间区域的图块、存储在轨道中的图块等的信息作为动态信息被管理。
8.引文列表
9.非专利文献
10.[非专利文献1]
[0011]“information technology-mpeg-i(coded representation of immersive media)-part 9:geometry-based point cloud compression”，iso/iec 23090-9:2019(e)，2020年11月28日
[0012]
[非专利文献2]
[0013]“information technology-coding of audio-visual objects-part 12:iso base media file format”，iso/iec 14496-12，2015年2月20日
[0014]
[非专利文献3]
[0015]
sejin oh，ryohei takahashi，youngkwon lim，“text of iso/iec dis 23090-18carriage of geometry-based point cloud compression data”，iso/iec jtc 1/sc 29/wg 03n0075，2020年11月2日


技术实现要素：

[0016]
技术问题
[0017]
然而，在非专利文献3中描述的方法中，3d空间区域、组成3d空间区域的图块、存储在轨道中的图块等可以针对每一帧而改变。为此，在部分访问时，需要针对每一帧检查其中存储了期望的3d空间区域的数据(组成3d空间区域的图块的数据)的轨道。为此，存在使用这样的点云的内容的再现处理的负荷可能增加的问题。
[0018]
本公开内容是鉴于这样的情况而做出的，并且使得能够抑制再现处理的负荷的增加。
[0019]
问题的解决方案
[0020]
根据本技术的一个方面的信息处理装置是一种信息处理装置，该信息处理装置包括：第一信息生成单元，其被配置成生成与表示具有三维形状的对象的点云的针对能够独立解码的三维空间区域的关系的变化有关的第一信息；第二信息生成单元，其被配置成根据第一信息生成关于三维空间区域的第二信息；以及文件生成单元，其被配置成生成存储通过对点云进行编码而获取的编码数据的比特流、第一信息和第二信息的文件。
[0021]
根据本技术的一个方面的信息处理方法是一种信息处理方法，该信息处理方法包括：生成与表示具有三维形状的对象的点云的针对能够独立解码的三维空间区域的关系的变化有关的第一信息；根据第一信息生成关于三维空间区域的第二信息；以及生成存储通过对点云进行编码而获取的编码数据的比特流、第一信息和第二信息的文件。
[0022]
根据本技术的另一方面的信息处理装置是一种信息处理装置，该信息处理装置包括：提取单元，其被配置成参考与点云的针对能够独立解码的三维空间区域的关系的变化有关的第一信息，该第一信息存储在存储有通过对表示具有三维形状的对象的点云进行编码而获取的编码数据的比特流的文件中，并且在关系为静态的情况下，基于根据第一信息生成的关于三维空间区域的第二信息，提取组成构造点云的三维空间区域的图块的数据；以及解码单元，其被配置成对所提取的数据进行解码。
[0023]
根据本技术的另一方面的信息处理方法是一种信息处理方法，该信息处理方法包括：参考与点云的针对能够独立解码的三维空间区域的关系的变化有关的第一信息，该第一信息存储在存储有通过对表达具有三维形状的对象的点云进行编码而获取的编码数据的比特流的文件中，并且在关系为静态的情况下，基于根据第一信息生成的关于三维空间区域的第二信息，提取组成构造点云的三维空间区域的图块的数据；以及对所提取的数据进行解码。
[0024]
在根据本技术的一个方面的信息处理装置和方法中，生成与表示具有三维形状的
对象的点云的针对能够独立解码的三维空间区域的关系的变化有关的第一信息，根据第一信息生成关于三维空间区域的第二信息，并且生成存储通过对点云进行编码而获取的编码数据的比特流、第一信息和第二信息的文件。
[0025]
在根据本技术的另一方面的信息处理装置和方法中，参考与点云的针对能够独立解码的三维空间区域的关系的变化有关的第一信息，该第一信息存储在存储有通过对表达具有三维形状的对象的点云进行编码而获取的编码数据的比特流的文件中，并且在关系为静态的情况下，基于根据第一信息生成的关于三维空间区域的第二信息，提取组成构造点云的三维空间区域的图块的数据，并且对所提取的数据进行解码。
附图说明
[0026]
[图1]
[0027]
图1是示出g-pcc的概述的图。
[0028]
[图2]
[0029]
图2是示出部分访问的图。
[0030]
[图3]
[0031]
图3是示出g-pcc比特流的结构的示例的图。
[0032]
[图4]
[0033]
图4是示出图块库存的语法的示例的图。
[0034]
[图5]
[0035]
图5是示出g-pcc文件的结构的示例的图。
[0036]
[图6]
[0037]
图6是示出g-pcc文件的轨道结构的示例的图。
[0038]
[图7]
[0039]
图7是示出g-pcc文件的轨道结构的示例的图。
[0040]
[图8]
[0041]
图8是示出gpccspatialregioninfobox的示例的图。
[0042]
[图9]
[0043]
图9是示出gpcctilesampleentry的示例的图。
[0044]
[图10]
[0045]
图10是示出3d空间区域的示例的图。
[0046]
[图11]
[0047]
图11是示出gpccspatialregioninfobox的示例的图。
[0048]
[图12]
[0049]
图12是示出3dspatialregionstruct的示例的图。
[0050]
[图13]
[0051]
图13是示出基于在时间方向上与3d空间区域的关系的改变的信息传输的示例的图。
[0052]
[图14]
[0053]
图14是示出3d边界空间的示例的图。
[0054]
[图15]
[0055]
图15是示出3d空间区域的空间位置关系的示例的图。
[0056]
[图16]
[0057]
图16是示出dynamicgpcc3dspatialregionsampleentry的示例的图。
[0058]
[图17]
[0059]
图17是示出dynamicgpcc3dspatialregionsample的示例的图。
[0060]
[图18]
[0061]
图18是示出3dboundingspacestruct的示例的图。
[0062]
[图19]
[0063]
图19是示出dynamicgpcc3dspatialregionsample的示例的图。
[0064]
[图20]
[0065]
图20是示出dynamicgpcc3dspatialregionsampleentry的示例的图。
[0066]
[图21]
[0067]
图21是示出3d空间区域的示例的图。
[0068]
[图22]
[0069]
图22是示出3dspatialregionstruct的示例的图。
[0070]
[图23]
[0071]
图23是示出3d空间区域的示例的图。
[0072]
[图24]
[0073]
图24是示出dynamicgpcc3dspatialregionsampleentry的示例的图。
[0074]
[图25]
[0075]
图25是示出dynamicgpcc3dspatialregionsample的示例的图。
[0076]
[图26]
[0077]
图26是示出dynamicgpcc3dspatialregionsample的示例的图。
[0078]
[图27]
[0079]
图27是示出dynamicgpcc3dspatialregionsampleentry的示例的图。
[0080]
[图28]
[0081]
图28是示出dynamicgpcc3dspatialregionsample的示例的图。
[0082]
[图29]
[0083]
图29是示出dynamicgpcc3dspatialregionsample的示例的图。
[0084]
[图30]
[0085]
图30是示出dynamicgpcc3dspatialregionsample的示例的图。
[0086]
[图31]
[0087]
图31是示出dynamicgpcc3dspatialregionsample的示例的图。
[0088]
[图32]
[0089]
图32是示出dynamicgpcc3dspatialregionsample的示例的图。
[0090]
[图33]
[0091]
图33是示出dynamicgpcc3dspatialregionsample的示例的图。
[0092]
[图34]
[0093]
图34是示出dynamicgpcc3dspatialregionsampleentry的示例的图。
[0094]
[图35]
[0095]
图35是示出gpccspatialregions描述符的元素的示例的图。
[0096]
[图36]
[0097]
图36是示出matroska媒体容器的配置的示例的图。
[0098]
[图37]
[0099]
图37是示出文件生成装置的主要配置示例的框图。
[0100]
[图38]
[0101]
图38是示出文件生成处理的流程的示例的流程图。
[0102]
[图39]
[0103]
图39是示出解码装置的主要配置示例的框图。
[0104]
[图40]
[0105]
图40是示出再现处理单元的主要配置示例的框图。
[0106]
[图41]
[0107]
图41是示出再现处理的流程的示例的流程图。
[0108]
[图42]
[0109]
图42是示出计算机的主要配置示例的框图。
具体实施方式
[0110]
在下文中，将描述用于实施本公开内容(在下文中，被称为实施方式)的形式。将按以下顺序给出描述。
[0111]
1.动态3d空间区域
[0112]
2.基于在时间方向上与3d空间区域的关系的改变的信息传输
[0113]
3.使用mpd的信息传输
[0114]
4.使用matroska媒体容器的信息传输
[0115]
5.第一实施方式(文件生成装置)
[0116]
6.第二实施方式(再现装置)
[0117]
7.补充
[0118]
《1.动态3d空间区域》
[0119]
《1-1.支持技术内容和技术术语的文献》
[0120]
本技术中公开的范围不限于实施方式中描述的内容，并且还包括申请时已知的以下非专利文献等中描述的内容，以及以下非专利文献中引用的其他文献的内容。
[0121]
[非专利文献1]
[0122]
(如上所述)
[0123]
[非专利文献2]
[0124]
(如上所述)
[0125]
[非专利文献3]
[0126]
(如上所述)
[0127]
[非专利文献4]
[0128]
https://www.matroska.org/index.html
[0129]
换言之，非专利文献中的内容、以上非专利文献中引用的其他文献的内容等也是用于确定支持要求的依据。
[0130]
《1-2.点云》
[0131]
在现有技术中，存在诸如通过点位置信息、属性信息等表示三维结构的点云的3d数据。
[0132]
例如，在点云的情况下，立体结构(具有三维形状的对象)被表达为多个点的集合。点云由每个点的位置信息(也被称为几何信息)和属性信息(也被称为属性)组成。属性可以包括任意信息。例如，可以在属性中包括每个点的颜色信息、反射率信息、法线信息等。以这种方式，根据点云，数据结构相对简单，并且可以通过使用足够多的点以足够的精度表示任意立体结构。
[0133]
《1-3.g-pcc的概述》
[0134]
在非专利文献1中，公开了被称为基于几何的点云压缩(g-pcc)的编码技术，该技术通过将点云划分成几何信息和属性来对该点云进行编码。在mpeg-i第9部分(iso/iec 23090-9)中对g-pcc进行标准化。
[0135]
例如，八叉树编码被应用于几何信息的压缩。八叉树编码是通过将几何信息的数据结构转换成如图1中的右侧所示的八叉树来执行编码的编码系统。
[0136]
在该情况下，使用体素来表达几何信息，该体素是具有如图1中的左侧所示的分层结构的长方体形状(包括立方体形状)的三维区域。换言之，表达对于每个体素是否存在点。划分其中存在点的体素，并且表达划分之后的小区域(低级别的体素)中点的存在/不存在。对于其中存在点的体素，递归地重复这样的划分直到最低层，由此形成体素的分层结构。
[0137]
八叉树将这样的体素表达(对于每个体素点的存在/不存在)表达为如图1中的右侧所示的八叉树。八叉树的每个节点对应于体素表达的每个体素。例如，将与其中存在点的体素对应的节点表示为值“1”，并且将与其中不存在点的体素对应的节点表示为值“0”。在与其中存在点的体素对应的节点(值“1”的节点)中，形成子节点(低一个级别的节点)。
[0138]
通过对如上所述的几何信息进行编码而生成的编码数据的比特流也被称为几何比特流。
[0139]
诸如预测权重提升、区域自适应分层变换(raht)、固定权重提升等的技术被应用于属性的压缩。通过对属性进行编码而生成的编码数据的比特流也被称为属性比特流。另外，通过将几何比特流和属性比特流组合为一个而获取的比特流也被称为g-pcc比特流。
[0140]
《1-4.图块》
[0141]
g-pcc比特流可以具有部分访问结构，其中，一些点的比特流独立于其他点而被解码并再现。作为在该部分访问结构的点云中可独立解码和再现(能够被独立访问)的数据单元，存在图块和条带。
[0142]
如图2的a所示，设置边界框21，使得具有三维形状的对象20被包括在其中。图块22是在边界框21内具有长方体形状(包括立方体形状)的区域。如图2的b所示，条带24是图块23内的点的集合。点可以在条带之间重叠(换言之，一个点可以属于多个条带)。条带由单个条带或多个条带组成(1个图块＝y个条带)。
[0143]
某个时间的点云将被称为点云帧。该帧在与二维运动图像中的帧对应的数据单元
中。点云帧由单个图块或多个图块组成(1个点云帧＝x个图块)。
[0144]
《1-5.部分访问结构的g-pcc比特流》
[0145]
在非专利文献1中，示出了通过对能够进行这样的部分访问的点云进行编码而获取的g-pcc比特流的主结构(也被称为部分访问结构)的示例。在图3中示出了该结构示例。换言之，图3中示出的g-pcc比特流具有部分访问结构，并且其一部分可以独立于另一部分而被提取并解码。
[0146]
在图3中，每个四边形包括一个类型-长度-值封装结构(tlv_encapsulation())。如图3所示，g-pcc比特流包括sps(序列参数集)、gps(几何参数集)、aps(属性参数集)、图块库存、几何信息数据单元和属性数据单元。
[0147]
序列参数集是具有与整个序列有关的参数的参数集。几何参数集是具有与几何信息有关的参数的参数集。属性参数集是具有与属性有关的参数的参数集。可以提供多个几何参数集和多个属性参数集。几何参数集和属性参数集可以以条带为单位具有差异(可以以条带为单位来设置)。
[0148]
图块库存管理与图块有关的信息。图4示出了图块库存的语法的示例。如图4所示，对于每个图块，用于识别图块的图块标识信息(tile_id)、关于图块的位置和大小的信息(tile_bounding_box_offset_xyz、tile_bounding_box_size_xyz)等存储在图块库存中。图块库存能够以帧为单位改变(可以以帧为单位来设置)。
[0149]
数据单元是可以独立于其他数据单元而被提取的数据单元。几何信息数据单元是几何信息的数据单元。属性数据单元是属性的数据单元。针对属性中包括的每个性能生成属性数据单元。
[0150]
条带由一个几何信息数据单元以及零个或者一个或更多个属性数据单元组成。条带由g-pcc比特流中的单个数据单元或多个连续数据单元组成。在每个数据单元中，存储表示数据单元所属的条带的条带标识信息(slice_id)。换言之，在属于相同条带的数据单元中，存储相同的条带标识信息。这样，通过使用条带标识信息，属于相同条带的几何信息数据单元和属性数据单元彼此相关联。
[0151]
条带由g-pcc比特流中的单个条带或多个连续条带组成。使用存储在几何信息数据单元中的slice_tag来执行条带与图块之间的关联。slice_tag是表示条带所属的图块的标识信息。
[0152]
在图块库存中，与每条图块标识信息对应的图块在三维空间上的诸如位置、大小等的多条信息彼此相关联。换言之，在期望再现三维空间上的期望点的情况下，基于该图块标识信息(也是条带标识信息)，可以指定并提取必要的数据单元。因此，可以实现部分访问，并且不需要解码不必要的信息，并且因此，可以抑制再现处理的负荷的增加。
[0153]
《1-6.isobmff》
[0154]
在非专利文献2中，公开了作为mpeg-4(运动图像专家组-4)的运动图像压缩的国际标准技术的文件容器的规范的isobmff(国际标准化组织基本媒体文件格式)。
[0155]
《1-7.g-pcc比特流在isobmff中的存储》
[0156]
在非专利文献3中，为了从在该g-pcc中编码的比特流的本地存储的再现处理和网络分发的效率的目的，公开了用于将g-pcc比特流存储在isobmff中的方法。在mpeg-i第18部分(iso/iec 23090-18)中对该方法进行标准化。
[0157]
图5是示出该情况的文件结构的示例的图。存储在isobmff中的g-pcc比特流将被称为g-pcc文件。
[0158]
序列参数集被存储在g-pcc文件的gpccdecoderconfigurationrecord中。gpccdecoderconfigurationrecord还可以根据样本条目类型存储几何参数集、属性参数集和图块库存。
[0159]
媒体数据框(media)的样本可以存储与一个点云帧对应的几何信息和属性。另外，该样本可以根据样本条目类型存储几何参数集、属性参数集和图块库存。
[0160]
《1-8.g-pcc文件的部分访问结构》
[0161]
该g-pcc文件具有用于通过基于三维空间信息执行部分访问来解码的结构。部分访问是对作为由点云表达的对象的一部分(换言之，点云数据的一部分)的部分点云的访问(从文件对数据的提取)。特别地，在分发使用的情况下，通过使用这样的部分访问，可以针对存储部分点云的每个轨道发送数据(换言之，可以实现自适应分发)，并且这对于抑制处理负荷和频带负荷的增加是有用的。
[0162]
例如，如图6所示，g-pcc文件可以具有能够独立访问的多个轨道。图6中示出的g-pcc图块轨道是存储部分点云的轨道，并且存储单个图块或多个图块的数据。g-pcc图块基本轨道存储与该轨道相关联的g-pcc图块轨道共用的信息，诸如参数集、图块库存等。g-pcc图块基本轨道和g-pcc图块轨道使用轨道参考(tref)彼此关联。
[0163]
图6示出了几何信息和属性存储在一个g-pcc图块轨道中的情况的配置示例。如图7所示，几何信息和属性可以存储在相互不同的g-pcc图块轨道中。在这样的情况下，使用轨道参考(tref)将存储几何信息的g-pcc几何图块轨道和存储属性的g-pcc属性图块轨道彼此关联。
[0164]
在该g-pcc文件中，三维空间区域(3d空间区域)可以被定义为部分点云。如图8所示，3d空间区域由参考点(锚)的位置(参考点的三维坐标(anchor_x,anchor_y,anchor_z))和大小(region_dx、region_dy、region_dz)限定。在存储在g-pcc图块基本轨道的样本条目中的gpcc空间区域信息框(gpccspatialregioninfobox)中管理与这样的3d空间区域有关的信息(三维空间信息)。
[0165]
在图9中示出了gpccspatialregioninfobox的语法的示例。如图9从顶部起的第4行至第11行所示，对于每个3d空间区域，在gpccspatialregioninfobox中设置关于区域的信息。例如，如图9从顶部起的第5行所示，在gpccspatialregioninfobox中，指定了限定每个3d空间区域的3dspatialregionstruct。在图10中示出了该3dspatialregionstruct的语法的示例。如图10所示，在该3dspatialregionstruct中，设置3d空间区域的参考点的位置(anchor_x,anchor_y,anchor_z)和大小(region_dx、region_dy、region_dz)。
[0166]
该3d空间区域由单个图块或多个图块组成。如图9中的第6行至第10行所示，在gpccspatialregioninfobox中，使用图块标识信息(tile_id)指定组成每个3d空间区域的图块。
[0167]
换言之，在g-pcc文件中，管理3d空间区域和组成3d空间区域的图块。
[0168]
另外，对于g-pcc图块轨道，在gpcc图块样本条目(gpcctilesampleentry)中管理存储在该轨道中的图块。在图11中示出了gpcctilesampleentry的语法的示例。如图11从顶部起的第7行至第9行所示，在gpcctilesampleentry中，使用图块标识信息(tile_id)指定
存储在g-pcc图块轨道中的图块。
[0169]
换言之，3d空间区域和存储其数据的轨道通过图块彼此关联。因此，例如如下执行部分访问的流程。
[0170]
1.解码器识别g-pcc文件中的g-pcc图块基本轨道和g-pcc图块轨道。
[0171]
2.解码器解析g-pcc图块基本轨道的样本条目，并且从gpccspatialregioninfobox获取组成期望3d空间区域的图块的tile_id。
[0172]
3.解码器解析所有g-pcc图块轨道的样本条目，并且识别其中存储了期望的tile_id的图块的g-pcc图块轨道。
[0173]
4.从识别的g-pcc图块轨道提取期望图块的数据，并对其进行解码。
[0174]
由点云表达的对象的位置、大小、形状、方向、数目等可以在时间方向上改变(可以被动态地形成)。为此，3d空间区域和组成3d空间区域的图块也可以在时间方向上改变(可以被动态地形成)。另外，存储在轨道中的图块也可以在时间方向上改变(可以被动态地形成)。另外，在本说明书中，例如，诸如在时间方向上改变的信息、状态、关系等的特定目标将被称为动态的，而例如，在时间方向上不改变的诸如信息、状态、关系等的特定目标将被称为静态的。
[0175]
部分点云的静态三维空间信息存储在上述gpccspatialregioninfobox中。如图12所示，使用轨道参考(tref)将动态三维空间信息存储在与g-pcc图块基本轨道相关联的动态空间区域定时元数据轨道中。另外，在存储在g-pcc图块轨道中的图块在时间方向上改变的情况下，在时间方向上改变的图块标识信息(tile_id)存储在子样本信息框中。
[0176]
《2.基于在时间方向上与3d空间区域的关系的改变的信息传输》
[0177]
《2-1.点云的构造》
[0178]
然而，在3d空间区域、组成3d空间区域的图块、存储在每个g-pcc图块轨道中的图块等以这种方式作为动态信息进行管理的情况下，这些可以针对每个帧进行改变。
[0179]
例如，将考虑这样的内容，从视点看到的包括由点云表达的对象的三维空间区域的外观被作为二维图像提供给用户。在本说明书中，从某个视点(在从某个位置看某个方向的情况下)看到的三维空间区域的范围将被称为视野(或视野区域)。
[0180]
例如，像所谓的6dof内容一样，在视点的位置或方向可以改变的情况下，或者在点云被配置为动态数据的情况下(换言之，存在对象在时间方向上改变的可能性)，存在视场区域内的对象被变换、被放大、被缩小、被移动、出现或消失的可能性。换言之，要再现的3d空间区域的信息、组成3d空间区域的图块、存储在g-pcc图块轨道中的图块等可以在时间方向上改变。为此，在这样的情况下，在非专利文献3中描述的方法中，在g-pcc文件中，将这样的信息作为动态信息进行管理。
[0181]
在非专利文献3中描述的方法的情况下，当将这样的信息作为动态信息进行管理时，可以针对每一帧任意改变信息。为此，需要针对每一帧检查这样的信息。换言之，需要针对每一帧解析所有轨道。
[0182]
然而，在6dof内容的情况下或者在点云为动态的情况下，也存在这样的自由度不必要的情况。例如，在视点的位置和方向不改变并且对象的位置不大大改变的情况下，可能存在以下情况，定位在视场内的对象对于每一帧不增加、减少或改变，并且要再现的3d空间区域变为静态。另外，可能存在以下情况，组成要对于每一帧再现的3d空间区域的图块和存
储在g-pcc图块轨道中的图块不改变。
[0183]
在这样的情况下，在非专利文献3中描述的方法中，存在再现处理的负荷可能不必要地增加的问题。
[0184]
《2-2.第一信息和第二信息的传输》
[0185]
因此，如图13中示出的表的最上部分所示，发送关于在时间方向上与3d空间区域的关系的改变的第一信息以及根据第一信息生成的关于3d空间区域的第二信息(方法1)。
[0186]
例如，信息处理装置包括：第一信息生成单元，其生成与表示具有三维形状的对象的点云针对可独立解码的三维空间区域的关系的变化有关的第一信息；第二信息生成单元，其根据第一信息生成关于三维空间区域的第二信息；以及文件生成单元，其生成存储通过对点云进行编码而获取的编码数据的比特流、第一信息和第二信息的文件。
[0187]
例如，信息处理方法包括：生成与表示具有三维形状的对象的点云的针对可独立解码的三维空间区域的关系的变化有关的第一信息；根据第一信息生成关于三维空间区域的第二信息；以及生成存储通过对点云进行编码而获取的编码数据的比特流、第一信息和第二信息的文件。
[0188]
这样，再现装置可以基于第一信息和第二信息从比特流提取组成构造点云的三维空间区域的图块的数据。这样，可以执行再现，而不针对每一帧检查要再现的3d空间区域、组成3d空间区域的图块、存储在g-pcc图块轨道中的图块等的信息。因此，可以抑制再现处理的负荷的增加。
[0189]
例如，信息处理装置还包括：提取单元，其参考与表示具有三维形状的对象的点云针对可独立解码的三维空间区域的关系的变化有关的第一信息，该第一信息存储在通过对点云进行编码而获取的编码数据的比特流所在的文件中，并且在关系为静态的情况下，基于根据第一信息生成的关于三维空间区域的第二信息，提取组成构造点云的三维空间区域的图块的数据；以及解码单元，其对提取的数据进行解码。
[0190]
例如，信息处理方法还包括：参考与表示具有三维形状的对象的点云针对可独立解码的三维空间区域的关系的变化有关的第一信息，该第一信息存储在通过对点云进行编码而获取的编码数据的比特流所在的文件中，并且在关系为静态的情况下，基于根据第一信息生成的关于三维空间区域的第二信息，提取组成构造点云的三维空间区域的图块的数据；以及对提取的数据进行解码。
[0191]
这样，可以执行再现，而不针对每一帧检查要再现的3d空间区域、组成3d空间区域的图块、存储在g-pcc图块轨道中的图块等的信息。因此，可以抑制再现处理的负荷的增加。
[0192]
《2-3.包括3d空间区域之间的空间位置关系的关系》
[0193]
在应用方法1的情况下，如图13中从顶部示出的表的第二部分所示，第一信息可以是指示包括3d空间区域之间的空间位置关系的关系是否为静态的信息。另外，第二信息可以是表示在第一信息为真(方法1-1)的情况下生成的3d空间区域的存在可能范围的信息(3dboundingspacestruct)。
[0194]
例如，信息处理装置的第一信息生成单元可以生成指示包括三维空间区域(3d空间区域)之间的三维空间中的位置关系的关系是否为静态的信息作为第一信息，并且在第一信息为真的情况下，信息处理装置的第二信息生成单元可以生成表示三维空间区域(3d空间区域)可以存在的范围的信息作为第二信息。
[0195]
另外，存储在g-pcc文件中的第一信息可以是指示包括三维空间区域(3d空间区域)之间的三维空间中的位置关系(也被称为空间位置关系)的关系是否为静态的信息。此外，存储在g-pcc文件中的第二信息可以是表示三维空间区域可以存在的范围的静态信息。然后，信息处理装置的提取单元可以基于表示三维空间区域(3d空间区域)可以存在的范围的静态信息来指定构造点云的三维空间区域(3d空间区域)。
[0196]
换言之，在方法1-1的情况下，与3d空间区域的关系包括3d空间区域之间的空间位置关系。指示关系是否为静态的标志信息被生成为第一信息，并被存储在g-pcc文件中。据此，可以基于第一信息容易地感知3d空间区域之间的空间位置关系是否为静态。
[0197]
另外，在第一信息(标志信息)为真的情况下，换言之，在包括3d空间区域之间的三维空间中的位置关系的关系为静态的情况下，设置作为每个3d空间区域可以存在的范围的3d边界空间。例如，如图14所示，在三维空间内，对每个3d空间区域设置3d边界空间(3d边界空间51至3d边界空间54)。
[0198]
该3d边界空间是静态范围，并且其位置和大小在时间方向上不改变。另外，3d边界空间被设置为彼此不重叠。动态3d空间区域必须完全包括在与3d空间区域对应的3d边界空间中，而与时间无关。
[0199]
例如，如图15所示，不仅时间t＝t1而且时间t＝t2，3d空间区域61存在(完全包括)在针对3d空间区域61设置的3d边界空间51内。类似地，3d空间区域62、3d空间区域63和3d空间区域64分别存在(完全包括)在3d边界空间52、3d边界空间53和3d边界空间54内。换言之，3d空间区域之间的空间位置关系由该3d边界空间确保(变为静态关系)。
[0200]
然后，限定这样的3d边界空间的3d边界空间结构(3dboundingspacestruct)被生成为第二信息，并被存储在g-pcc文件中。据此，可以基于第二信息容易地感知3d空间区域之间的静态空间位置关系。
[0201]
换言之，再现装置可以基于第一信息和第二信息来容易地感知与3d空间区域的关系(包括3d空间区域之间的空间位置关系)是否为静态以及3d空间区域之间的空间位置关系。因此，再现装置可以执行再现而不针对每一帧检查诸如要再现的3d空间区域、组成3d空间区域的图块、存储在g-pcc图块轨道中的图块等的信息。因此，可以抑制再现处理的负荷的增加。
[0202]
《2-4.static_region_relation》
[0203]
在应用方法1-1的情况下，如图13中示出的表从顶部起的第三部分所示，第一信息可以是指示3d空间区域之间的空间位置关系是否为静态的信息(static_region_relation标志)(方法1-1-1)。static_region_relation标志是指示3d空间区域之间的空间位置关系是否为静态的信息，例如，在值为“0”的情况下指示3d空间区域之间的空间位置关系为动态，而在值为“1”的情况下指示3d空间区域之间的空间位置关系为静态。在该情况下，在static_region_relation标志的值为“1”的情况下生成第二信息(3dboundingspacestruct)。
[0204]
换言之，通过扩展动态空间区域定时元数据轨道的sampleentry，指示3d空间区域之间的空间位置关系为静态的static_region_relation标志可以被存储为第一信息，并且3dboundingspacestruct可以被存储为第二信息。
[0205]
例如，信息处理装置的第一信息生成单元可以生成指示三维空间区域(3d空间区
域)之间的三维空间中的位置关系是否为静态的信息(static_region_relation标志)作为第一信息。
[0206]
另外，存储在g-pcc文件中的第一信息可以是指示三维空间区域(3d空间区域)之间的三维空间中的位置关系是否为静态的信息(static_region_relation标志)。
[0207]
《2-4-1.语法示例1》
[0208]
在该情况下，例如，第一信息和第二信息可以存储在g-pcc文件的动态空间区域定时元数据轨道中。下面将描述动态空间区域定时元数据轨道的语法的示例。类似于参照图9和图11描述的示例，假设3d空间区域及其轨道存储数据通过图块(通过tile_id)彼此关联。
[0209]
图16是示出存储在动态空间区域定时元数据轨道的样本条目中的动态gpcc3d空间区域样本条目(dynamicgpcc3dspatialregionsampleentry)的语法的示例的图。
[0210]
如图16中示出的语法从顶部起的第5行所示，static_region_relation标志(第一信息)存储在dynamicgpcc3dspatialregionsampleentry中。另外，如图16中示出的语法从顶部起的第7行和第8行所示，在static_region_relation标志的值为“1”的情况下，将3dboundingspacestruct(第二信息)存储在dynamicgpcc3dspatialregionsampleentry中。
[0211]
图17是示出存储在动态空间区域定时元数据轨道中的动态gpcc3d空间区域样本(dynamicgpcc3dspatialregionsample)的语法的示例的图。
[0212]
如从图17中示出的语法从顶部起的第3行至第8行所示，在该dynamicgpcc3dspatialregionsample中，在样本的每个3d空间区域中，指定了限定3d空间区域的参考点的位置(anchor_x,anchor_y,anchor_z)和大小(region_dx、region_dy、region_dz)以及组成3d空间区域的图块(图块标识信息(tile_id))的3dspatialregionstruct。
[0213]
图18是示出存储在动态空间区域定时元数据轨道中的3d边界空间结构(3dboundingspacestruct)的语法的示例的图。
[0214]
如图18中示出的语法从顶部起的第4行和第5行所示，在该3dboundingspacestruct中，指定了限定每个3d边界空间的3dspatialregionstruct。换言之，该numregions循环的每个条目指定与相同样本条目(sampleentry)的gpccspatialregioninfobox的num_regions循环的相同索引的条目的3dspatialregionstrcut对应的3d边界空间的3dspatialregionstruct。
[0215]
类似于3d空间区域的情况，该3dspatialregionstruct限定3d边界空间的参考点的位置和大小。另外，如上所述，3d边界空间是静态区域，并且其位置和大小在时间方向上不改变。因此，限定每个3d边界空间的3dspatialregionstruct是静态信息。
[0216]
另外，可以使用存储在3dspatialregionstruct中的3d_region_id将3dspatialregionstruct和3dspatialregionstruct相关联。
[0217]
换言之，在该情况下，如参照图16所述，将static_region_relation标志(第一信息)存储在dynamicgpcc3dspatialregionsampleentry中。另外，在static_region_relation标志的值为“1”的情况下，将参照图18描述的3dboundingspacestruct(第二信息)存储在dynamicgpcc3dspatialregionsampleentry中。
[0218]
因此，再现装置可以基于这样的信息容易地感知3d空间区域之间的空间位置关系是否为静态，以及可以容易地感知3d空间区域之间的空间位置关系。因此，再现装置可以执行再现而不针对每一帧检查要再现的3d空间区域、组成3d空间区域的图块、存储在g-pcc图
块轨道中的图块等的信息。因此，可以抑制再现处理的负荷的增加。
[0219]
例如，在static_region_relation标志的值为“1”的情况下，再现装置可以基于标志的值来识别3d空间区域之间的空间位置关系为静态。另外，再现装置可以基于3dboundingspacestrcut来识别空间位置关系。因此，例如，在一旦根据视场获取与期望3d空间区域对应的g-pcc图块轨道之后，再现装置不需要在不改变视场时执行视场中包括的g-pcc图块轨道的识别和到g-pcc图块轨道的转换。
[0220]
《2-4-2.语法示例2》
[0221]
在《2-4-1.语法示例1》中，尽管3d空间区域及其轨道存储数据已经被描述为通过图块(通过tile_id)彼此关联，但是可以使用用于识别g-pcc图块轨道的图块轨道标识信息(tile_track_id)而不是该tile_id将它们彼此关联。下面将描述该情况的动态空间区域定时元数据轨道的语法的示例。
[0222]
在这样的情况下，dynamicgpcc3dspatialregionsampleentry的语法与参照图16描述的示例相同。另外，3dboundingspacestruct的语法与参照图18描述的示例相同。
[0223]
图19是示出该情况的dynamicgpcc3dspatialregionsample的语法的示例的图。
[0224]
如图19中示出的语法从顶部起的第5行和第6行所示，在该情况下，如第7行所示，通过使用与样本的每个3d空间区域对应的g-pcc图块轨道的数目(num_tile_tracks)执行循环处理来指定图块轨道标识信息(tile_track_id)。换言之，指定与样本的每个3d空间区域对应的g-pcc图块轨道的图块轨道标识信息(tile_track_id)。
[0225]
通过如此配置，再现装置不需要解析所有g-pcc图块轨道的gpcc图块样本条目(gpcctilesampleentry)，并且可以识别存储组成期望3d空间区域的图块的数据的g-pcc图块轨道。
[0226]
《2-5.static_mapping》
[0227]
在《2-4.static_region_relation》中，尽管已经描述了将指示3d空间区域之间的空间位置关系是否为静态的信息(static_region_relation标志)应用为第一信息的情况，但是第一信息不限于该示例。
[0228]
例如，在应用方法1-1的情况下，如图13中示出的表从顶部起的第4部分所示，第一信息可以是指示3d空间区域之间的空间位置关系以及3d空间区域与用于获取图块的信息之间的对应关系是否为静态的信息(static_mapping标志)(方法1-1-2)。static_mapping标志是指示3d空间区域之间的空间位置关系以及3d空间区域与用于获取图块的信息之间的对应关系是否为静态的信息，并且例如，在值为“0”的情况下指示3d空间区域之间的空间位置关系以及3d空间区域与用于获取图块的信息之间的对应关系为动态，而在值为“1”的情况下指示3d空间区域之间的空间位置关系以及3d空间区域与用于获取图块的信息之间的对应关系为静态。在该情况下，在static_mapping标志的值为“1”的情况下生成第二信息(3dboundingspacestruct)。
[0229]
换言之，通过扩展动态空间区域定时元数据轨道的sampleentry，指示3d空间区域之间的空间位置关系以及3d空间区域与用于获取图块的信息之间的对应关系为静态的static_mapping标志可以被存储为第一信息，并且3dboundingspacestruct可以被存储为第二信息。
[0230]
例如，信息处理装置的第一信息生成单元可以生成指示三维空间区域(3d空间区
域)之间的三维空间中的位置关系以及三维空间区域(3d空间区域)与用于获取点云的图块的信息之间的对应关系是否为静态的信息(static_mapping标志)作为第一信息。
[0231]
另外，存储在g-pcc文件中的第一信息可以是指示三维空间区域(3d空间区域)之间的三维空间中的位置关系以及三维空间区域与用于获取上述图块的信息之间的对应关系是否为静态的信息(static_mapping标志)。
[0232]
《2-5-1.语法示例1》
[0233]
下面将描述该情况的动态空间区域定时元数据轨道的语法的示例。这里，类似于《2-4-1.语法示例1》的示例，假设3d空间区域及其轨道存储数据通过图块(通过tile_id)彼此关联。
[0234]
图20是示出存储在动态空间区域定时元数据轨道的样本条目中的dynamicgpcc3dspatialregionsampleentry的语法的示例的图。
[0235]
如图20中示出的语法从顶部起的第5行所示，static_mapping标志(第一信息)存储在该dynamicgpcc3dspatialregionsampleentry中。另外，如图20中示出的语法从顶部起的第7行和第8行所示，在static_mapping标志的值为“1”的情况下，将3dboundingspacestruct(第二信息)存储在dynamicgpcc3dspatialregionsampleentry中。
[0236]
在该情况下，dynamicgpcc3dspatialregionsample的语法与参照图17示出的示例相同。另外，3dboundingspacestruct的语法与参照图18描述的示例相同。
[0237]
换言之，在该情况下，如参照图20所述，将static_mapping标志(第一信息)存储在dynamicgpcc3dspatialregionsampleentry中。另外，在static_mapping标志的值为“1”的情况下，将参照图18描述的3dboundingspacestruct(第二信息)存储在dynamicgpcc3dspatialregionsampleentry中。
[0238]
因此，基于这样的信息，再现装置可以容易地感知3d空间区域之间的空间位置关系以及3d空间区域与用于获取图块的信息之间的对应关系是否为静态，以及3d空间区域之间的空间位置关系。因此，再现装置可以执行再现而不针对每一帧检查要再现的3d空间区域、组成3d空间区域的图块、存储在g-pcc图块轨道中的图块等的信息。因此，可以抑制再现处理的负荷的增加。
[0239]
例如，在static_mapping标志的值为“1”的情况下，再现装置可以基于标志的值来识别3d空间区域之间的空间位置关系以及3d空间区域与用于获取图块的信息之间的对应关系为静态。另外，再现装置可以基于3dboundingspacestrcut来识别空间位置关系。因此，例如，在一旦根据视场获取与期望3d空间区域对应的g-pcc图块轨道之后，再现装置不需要在不改变视场时执行视场中包括的g-pcc图块轨道的识别和到g-pcc图块轨道的转换。
[0240]
《2-5-2.语法示例2》
[0241]
在《2-5-1.语法示例1》中，尽管3d空间区域及其轨道存储数据已经被描述为通过图块(通过tile_id)彼此关联，但是可以使用图块轨道标识信息(tile_track_id)而不是该tile_id将它们彼此关联。
[0242]
下面将描述该情况的动态空间区域定时元数据轨道的语法的示例。
[0243]
在这样的情况下，dynamicgpcc3dspatialregionsampleentry的语法与参照图20描述的示例相同。另外，dynamicgpcc3dspatialregionsample的语法与参照图19描述的示例相同。换言之，指定与样本的每个3d空间区域对应的g-pcc图块轨道的图块轨道标识信息
(tile_track_id)。另外，3dboundingspacestruct的语法与参照图18描述的示例相同。
[0244]
通过这样的配置，再现装置不需要解析所有g-pcc图块轨道的gpcc图块样本条目(gpcctilesampleentry)，并且可以容易地识别存储组成期望3d空间区域的图块的数据的g-pcc图块轨道。
[0245]
《2-6.dynamicgpcc3dspatialregionsample》
[0246]
另外，如图13中示出的表从顶部起的第5部分所示，第二信息还可以包括关于3d空间区域的信息(dynamicgpcc3dspatialregionsample)，该信息包括3d空间区域与用于获取点云的图块的信息之间的静态对应关系(方法1-1-3)。
[0247]
另外，在应用该方法1-1-3的情况下，第一信息可以是指示3d空间区域之间的空间位置关系是否为静态的信息(static_region_relation标志)，或者可以是3d空间区域之间的空间位置关系和指示3d空间区域与用于获取图块的信息之间的对应关系是否为静态的信息(static_mapping标志)。另外，用于获取图块的信息可以是图块标识信息(tile_id)或者可以是图块轨道标识信息(tile_track_id)。
[0248]
例如，信息处理装置的第二信息生成单元可以生成关于三维空间区域的信息作为第二信息，该信息包括三维空间区域(3d空间区域)与用于获取点云的图块的信息之间的对应关系(其为静态)。
[0249]
在该情况下，用于获取图块的信息可以是图块的标识信息(tile_id)，或者可以是在g-pcc文件中存储图块的数据的轨道(g-pcc图块轨道)的标识信息(tile_track_id)。
[0250]
另外，存储在g-pcc文件中的第二信息还可以包括关于三维空间区域的信息，该信息包括三维空间区域(3d空间区域)与用于获取图块的信息之间的对应关系(其为静态)。然后，信息处理装置的提取单元可以基于关于三维空间区域的信息从文件提取组成三维空间区域的图块的数据，该三维空间区域基于表示三维空间区域可以存在的范围的静态信息来指定。
[0251]
在该情况下，用于获取图块的信息可以是图块的标识信息(tile_id)，或者可以是在g-pcc文件中存储图块的数据的轨道(g-pcc图块轨道)的标识信息(tile_track_id)。
[0252]
换言之，方法1-1-3可以应用于方法1-1-1的语法示例1和语法示例2以及方法1-1-2的语法示例1和语法示例2中的任一个。
[0253]
例如，在将方法1-1-3应用于方法1-1-1的语法示例1的情况下，在图17中示出了其语法的dynamicgpcc3dspatialregionsample中，当static_region_relation＝1时，除了3dspatialregionstruct之外的元素具有与存储在样本条目(sample entry)的gpccspatialregioninfobox中的元素相同的值。
[0254]
另外，在将方法1-1-3应用于方法1-1-1的语法示例2的情况下，在图19中示出了其语法的dynamicgpcc3dspatialregionsample中，当static_region_relation＝1时，除了3dspatialregionstruct之外的元素具有与存储在样本条目(sample entry)的gpccspatialregioninfobox中的元素相同的值。
[0255]
此外，在将方法1-1-3应用于方法1-1-2的语法示例1的情况下，在图17中示出了其语法的dynamicgpcc3dspatialregionsample中，当static_mapping＝1时，除了3dspatialregionstruct之外的元素具有与存储在样本条目(sample entry)的gpccspatialregioninfobox中的元素相同的值。
[0256]
另外，在将方法1-1-3应用于方法1-1-2的语法示例2的情况下，在图19中示出了其语法的dynamicgpcc3dspatialregionsample中，当static_mapping＝1时，除了3dspatialregionstruct之外的元素具有与存储在样本条目(sample entry)的gpccspatialregioninfobox中的元素相同的值。
[0257]
通过如此配置，存储在dynamicgpcc3dspatialregionsample中的3d空间区域与用于获取图块的信息(tile_id或tile_track_id)之间的对应关系与存储在gpccspatialregioninfobox中的3d空间区域与用于获取图块的信息(tile_id或tile_track_id)之间的静态对应关系相同。因此，再现装置不需要针对每一帧指定存储组成要再现的3d空间区域的图块的数据的g-pcc图块轨道，并且可以容易地提取组成3d空间区域的图块的数据并再现数据。因此，可以抑制再现处理的负荷的增加。
[0258]
《2-7.3dspatialregionstruct的参考点坐标的固定》
[0259]
代替如方法1-1中那样设置3d边界空间并且发送3dboundingspacestruct作为第二信息，可以将3d空间区域的参考点(锚点)的位置在时间方向上固定(换言之，形成为静态)。
[0260]
换言之，在应用方法1的情况下，如图13中示出的表从顶部起的第6部分所示，第一信息可以是指示包括3d空间区域之间的空间位置关系的关系是否为静态的信息。另外，第二信息可以是表示其中在第一信息为真的情况下3d空间区域的参考点位置为固定的3d空间区域的信息(3dspatialregionstruct)(方法1-2)。
[0261]
例如，信息处理装置的第一信息生成单元可以生成指示包括三维空间区域(3d空间区域)之间的三维空间中的位置关系的关系是否为静态的信息作为第一信息，并且信息处理装置的第二信息生成单元可以生成表示在第一信息为真的情况下3维空间区域的参考点位置为静态的三维空间区域的信息作为第二信息。
[0262]
另外，存储在g-pcc文件中的第一信息可以是指示包括三维空间区域(3d空间区域)之间的三维空间中的位置关系(也被称为空间位置关系)的关系是否为静态的信息。另外，存储在g-pcc文件中的第二信息可以是表示三维空间区域的参考点位置为静态的三维空间区域的信息。信息处理装置的提取单元可以基于表示三维空间区域的信息来指定构造点云的三维空间区域(3d空间区域)。
[0263]
例如，第一信息可以是static_region_relation标志或者可以是static_mapping标志。在3dspatialregionstruct中，在第一信息为真的情况下(例如，在static_region_relation＝1或static_mapping＝1的情况下)，如图21所示，可以添加3d空间区域的参考点的位置(参考点的坐标(anchor_x,anchor_y,anchor_z))在时间方向上固定(静态)并且仅大小能够在时间方向上改变(动态)的限制。在图21中示出的示例的情况下，3d空间区域61至3d空间区域64的大小为动态(在时间t＝t1和时间t＝t2处，大小不同)，而3d空间区域61至3d空间区域64的参考点(参考点71至参考点74)的位置为静态(在时间t＝t1和时间t＝t2处，位置相同)。然后，可以将已经添加了这样的限制的3dspatialregionstruct作为第二信息发送。
[0264]
图22是示出该情况的3dspatialregionstruct的语法的示例的图。如图22所示，参考点的坐标(anchor_x,anchor_y,anchor_z)被包括在if语句中，并且在第一信息为真(例如，static_region_relation＝1或static_mapping＝1)并且参考点位置为静态的情况下，
可以省略该样本中的参考点的坐标的设置。
[0265]
通过将每个3d空间区域的参考点位置配置为静态，确保了3d空间区域之间的空间位置关系(形成静态关系)。换言之，可以基于存储在g-pcc文件中的第二信息(3dspatialregionstruct)容易地感知3d空间区域之间的静态空间位置关系。因此，类似于方法1-1的情况，再现装置可以执行再现，而不针对每一帧检查要再现的3d空间区域、组成3d空间区域的图块、存储在g-pcc图块轨道中的图块等的信息。因此，可以抑制再现处理的负荷的增加。
[0266]
《2-8.3dspatialregionstruct的中心坐标的固定》
[0267]
可以将3d空间区域的中心点的位置而不是3d空间区域的参考点位置在时间方向上固定(配置为静态)。
[0268]
换言之，在应用方法1的情况下，如图13中示出的表从顶部起的第7部分所示，第一信息可以是指示包括3d空间区域之间的空间位置关系的关系是否为静态的信息。另外，第二信息可以是表示在第一信息为真的情况下3d空间区域的中心位置为固定的3d空间区域的信息(3dspatialregionstruct)(方法1-3)。
[0269]
例如，信息处理装置的第一信息生成单元可以生成指示包括三维空间区域(3d空间区域)之间的三维空间中的位置关系的关系是否为静态的信息作为第一信息，并且信息处理装置的第二信息生成单元可以在第一信息为真的情况下生成表示3维空间区域的中心位置为静态的三维空间区域的信息作为第二信息。
[0270]
另外，存储在g-pcc文件中的第一信息可以是指示包括三维空间区域(3d空间区域)之间的三维空间中的位置关系(也被称为空间位置关系)的关系是否为静态的信息。此外，存储在g-pcc文件中的第二信息可以是表示三维空间区域的中心位置为静态的三维空间区域的信息。信息处理装置的提取单元可以基于表示三维空间区域的信息来指定构造点云的三维空间区域(3d空间区域)。
[0271]
例如，第一信息可以是static_region_relation标志或者可以是static_mapping标志。在3dspatialregionstruct中，在第一信息为真的情况下(例如，在static_region_relation＝1或static_mapping＝1的情况下)，如图23所示，可以添加3d空间区域的中心的位置(中心的坐标(center_x,center_y,center_z))在时间方向上固定(静态)并且仅大小能够在时间方向上改变(动态)的限制。在图23中示出的示例的情况下，3d空间区域61至3d空间区域64的大小为动态(在时间t＝t1和时间t＝t2处，大小不同)，而3d空间区域61至3d空间区域64的中心点(中心点81至中心点84)的位置为静态(在时间t＝t1和时间t＝t2处，位置相同)。然后，可以将已经添加了这样的限制的3dspatialregionstruct作为第二信息发送。
[0272]
另外，如参照图12所述，在3dspatialregionstruct中，不设置3d空间区域的中心坐标(center_x,center_y,center_z)。例如，可以如以下等式中那样得出这样的坐标。换言之，在第一信息为真的情况下，设置参考点的坐标和3d空间区域的大小，使得3d空间区域的中心坐标(center_x,center_y,center_z)使用以下等式来变为静态。
[0273]
center_x＝anchor_x region_dx/2
[0274]
center_y＝anchor_y region_dy/2
[0275]
center_z＝anchor_z region_dz/2
[0276]
另外，3d空间区域的中心坐标(center_x,center_y,center_z)被新发信号通知给动态空间区域定时元数据轨道的样本条目，并且在第一信息为真的情况下，可以使用3dspatialregionstruct针对每个样本仅设置3d空间区域的大小(region_dx、region_dy、region_dz)。
[0277]
通过将每个3d空间区域的中心位置配置为静态，确保了3d空间区域之间的空间位置关系(变为静态关系)。换言之，可以基于存储在g-pcc文件中的第二信息(3dspatialregionstruct)容易地感知3d空间区域之间的静态空间位置关系。因此，类似于方法1-1的情况，再现装置可以执行再现，而不针对每一帧检查要再现的3d空间区域、组成3d空间区域的图块、存储在g-pcc图块轨道中的图块等的信息。因此，可以抑制再现处理的负荷的增加。
[0278]
《2-9.包括3d空间区域与用于获取图块的信息之间的对应关系的关系》
[0279]
在3d空间区域与用于获取图块的信息之间的对应关系为静态的情况下，在动态空间区域定时元数据的样本中，存在其值不改变的字段。因此，在3d空间区域与用于获取图块的信息之间的对应关系为静态的情况下，可以省略在dynamicgpcc3dspatialregionsample中对用于获取组成3d空间区域的图块的信息的指定。
[0280]
换言之，在应用方法1的情况下，如图13中示出的表从顶部起的第8部分所示，第一信息可以是指示包括3d空间区域与用于获取图块的信息之间的对应关系的关系是否为静态的信息。另外，第二信息可以是关于其中在第一信息为真的情况下省略3d空间区域与用于获取图块的信息之间的对应关系的三维空间区域的动态信息(dynamicgpcc3dspatialregionsample)(方法1-4)。
[0281]
例如，信息处理装置的第一信息生成单元可以生成指示包括三维空间区域(3d空间区域)与用于获取点云的图块的信息之间的对应关系的关系是否为静态的信息作为第一信息，而在第一信息为真的情况下，信息处理装置的第二信息生成单元可以生成动态的、关于三维空间区域的信息而不包括表示对应关系的信息(dynamicgpcc3dspatialregionsample)作为第二信息。
[0282]
在该情况下，用于获取图块的信息可以是图块的标识信息(tile_id)，或者可以是在g-pcc文件中存储图块的数据的轨道的标识信息(tile_track_id)。
[0283]
另外，存储在g-pcc文件中的第一信息可以是指示包括三维空间区域(3d空间区域)与用于获取点云的图块的信息之间的对应关系的关系是否为静态的信息。另外，存储在g-pcc文件中的第二信息可以是关于动态三维空间区域(dynamicgpcc3dspatialregionsample)而不包括表示对应关系的信息的信息。信息处理装置的提取单元可以基于关于动态三维空间区域的信息以及表示三维空间区域(3d空间区域)与用于获取点云的图块的信息之间的静态对应关系的信息来指定构造点云的三维空间区域。
[0284]
在该情况下，用于获取图块的信息可以是图块的标识信息(tile_id)，或者可以是在g-pcc文件中存储图块的数据的轨道的标识信息(tile_track_id)。
[0285]
通过如此配置，可以抑制动态空间区域定时元数据的信息量的增加，并且可以抑制g-pcc文件的信息量的增加。因此，可以抑制与g-pcc文件的传输有关的处理的负荷和通信线路的频带的负荷的增加。另外，可以更容易地执行动态空间区域定时元数据的解析，并且可以抑制再现处理的负荷的增加。
[0286]
《2-10.static_tile_mapping》
[0287]
在应用方法1-4的情况下，如图13中示出的表从顶部起的第9部分所示，第一信息可以是指示3d空间区域与用于获取图块的信息之间的对应关系是否为静态的信息(static_tile_mapping标志)(方法1-4-1)。static_tile_mapping标志是指示3d空间区域与用于获取图块的信息之间的对应关系是否为静态的信息，例如，在其值为“0”的情况下表示对应关系为动态，而在其值为“1”的情况下表示对应关系为静态。当该static_tile_mapping标志的值为“1”时，可以认为第二信息(dynamicgpcc3dspatialregionsample)不包括(不存储)指示3d空间区域与用于获取图块的信息之间的对应关系的信息。
[0288]
例如，信息处理装置的第一信息生成单元可以生成指示三维空间区域(3d空间区域)与用于获取点云的图块的信息之间的对应关系是否为静态的信息(static_tile_mapping标志)作为第一信息。
[0289]
另外，存储在g-pcc文件中的第一信息可以是指示三维空间区域(3d空间区域)与用于获取点云的图块的信息之间的对应关系是否为静态的信息(static_tile_mapping标志)。
[0290]
《2-10-1.语法示例1》
[0291]
在该情况下，例如，第一信息和第二信息可以存储在g-pcc文件的动态空间区域定时元数据轨道中。下面将描述动态空间区域定时元数据轨道的语法的示例。这里，假设用于获取图块的信息是图块标识信息(tile_id)。
[0292]
图24是示出存储在动态空间区域定时元数据轨道的样本条目中的dynamicgpcc3dspatialregionsampleentry的语法的示例的图。
[0293]
如图24中示出的语法从顶部起的第5行所示，static_tile_mapping标志(第一信息)存储在该dynamicgpcc3dspatialregionsampleentry中。
[0294]
图25是示出存储在动态空间区域定时元数据轨道中的dynamicgpcc3dspatialregionsample的语法的示例的图。
[0295]
如图25中示出的语法从顶部起的第5行至第9行所示，在该dynamicgpcc3dspatialregionsample中，在static_tile_mapping标志的值为“0(假)”的情况下，对于样本中包括的每个3d空间区域，指定与3d空间区域对应的图块(换言之，组成3d空间区域的图块)的标识信息(tile_id)。换言之，在该情况下，在dynamicgpcc3dspatialregionsample中，包括与样本的每个3d空间区域对应的图块标识信息(tile_id)的列表。另一方面，在static_tile_mapping标志的值为“1(真)”的情况下，省略对图块标识信息(tile_id)的指定。换言之，在static_tile_mapping标志的值为“1(真)”的情况下，在dynamicgpcc3dspatialregionsample中，不包括与样本的每个3d空间区域对应的图块标识信息(tile_id)的列表。
[0296]
通过如此配置，可以抑制不必要的信息被存储在动态空间区域定时元数据中。因此，可以抑制动态空间区域定时元数据的信息量的增加，并且可以抑制g-pcc文件的信息量的增加。因此，可以抑制与g-pcc文件的传输有关的处理的负荷和通信线路的频带的负荷的增加。另外，可以更容易地执行动态空间区域定时元数据的解析，并且可以抑制再现处理的负荷的增加。
[0297]
《2-10-2.语法示例2》
[0298]
在《2-10-1.语法示例1》中，尽管已经描述了用于获取图块的信息是图块标识信息
(tile_id)，但是用于获取图块的信息可以是图块轨道标识信息(tile_track_id)。通过应用图块轨道标识信息(tile_track_id)而不是图块标识信息(tile_id)，再现装置不需要解析所有g-pcc图块轨道的gpcc图块样本条目(gpcctilesampleentry)，并且可以容易地识别存储组成期望3d空间区域的图块的数据的g-pcc图块轨道。下面将描述该情况的动态空间区域定时元数据轨道的语法的示例。
[0299]
在该情况下，dynamicgpcc3dspatialregionsampleentry的语法与参照图24描述的示例的语法相同。
[0300]
图26是示出该情况的dynamicgpcc3dspatialregionsample的语法的示例的图。
[0301]
如图26中示出的语法从顶部起的第5行至第9行所示，在该dynamicgpcc3dspatialregionsample中，在static_tile_mapping标志的值为“0(假)”的情况下，对于样本中包括的每个3d空间区域，指定其中存储有组成3d空间区域的图块的g-pcc图块轨道的标识信息(tile_track_id)。换言之，在该情况下，与样本的各个3d空间区域对应的g-pcc图块轨道的标识信息(tile_track_id)的列表被包括在dynamicgpcc3dspatialregionsample中。另一方面，在static_tile_mapping标志的值为“1(真)”的情况下，省略对g-pcc图块轨道的标识信息(tile_track_id)的指定。换言之，在该情况下，在dynamicgpcc3dspatialregionsample中，不包括与样本的各个3d空间区域对应的g-pcc图块轨道的标识信息(tile_track_id)的列表。
[0302]
通过如此配置，可以抑制不必要的信息被存储在动态空间区域定时元数据中。因此，可以抑制动态空间区域定时元数据的信息量的增加，并且可以抑制g-pcc文件的信息量的增加。因此，可以抑制与g-pcc文件的传输有关的处理的负荷和通信线路的频带的负荷的增加。另外，可以更容易地执行动态空间区域定时元数据的解析，并且可以抑制再现处理的负荷的增加。
[0303]
《2-11.static_mapping》
[0304]
在《2-10.static_tile_mapping》中，尽管已经描述了将指示三维空间区域(3d空间区域)与用于获取点云的图块的信息之间的对应关系是否在时间方向上静态的信息(static_tile_mapping标志)被应用为第一信息的情况，但是第一信息不限于该示例。
[0305]
在应用方法1-4的情况下，如图13中示出的表从顶部起的第10部分所示，第一信息可以是3d空间区域之间的空间位置关系以及指示3d空间区域与用于获取图块的信息之间的对应关系是否在时间方向上静态的信息(static_mapping标志)(方法1-4-2)。换言之，当static_mapping标志的值为“1”时，第二信息(dynamicgpcc3dspatialregionsample)可以被配置成不包括(不存储)指示3d空间区域与用于获取图块的信息之间的对应关系的信息。
[0306]
例如，信息处理装置的第一信息生成单元可以生成三维空间区域(3d空间区域)之间的空间位置关系以及指示三维空间区域与用于获取图块的信息之间的对应关系是否在时间方向上静态的信息(static_mapping标志)作为第一信息。
[0307]
另外，存储在g-pcc文件中的第一信息可以是三维空间区域(3d空间区域)之间的空间位置关系以及指示三维空间区域与用于获取图块的信息之间的对应关系是否在时间方向上静态的信息(static_mapping标志)。
[0308]
《2-11-1.语法示例1》
[0309]
在该情况下，例如，第一信息和第二信息可以存储在g-pcc文件的动态空间区域定
时元数据轨道中。下面将描述动态空间区域定时元数据轨道的语法的示例。这里，假设用于获取图块的信息是图块标识信息(tile_id)。
[0310]
图27是示出存储在动态空间区域定时元数据轨道的样本条目中的dynamicgpcc3dspatialregionsampleentry的语法的示例的图。
[0311]
如图27中示出的语法从顶部起的第5行所示，static_mapping标志(第一信息)存储在dynamicgpcc3dspatialregionsampleentry中。
[0312]
图28是示出存储在动态空间区域定时元数据轨道中的dynamicgpcc3dspatialregionsample的语法的示例的图。
[0313]
如图28中示出的语法从顶部起的第5行至第9行所示，在该dynamicgpcc3dspatialregionsample中，在static_mapping标志的值为“0(假)”的情况下，对于样本中包括的每个3d空间区域，指定与3d空间区域对应的图块(换言之，组成3d空间区域的图块)的标识信息(tile_id)。换言之，在该情况下，在dynamicgpcc3dspatialregionsample中，包括与样本的每个3d空间区域对应的图块标识信息(tile_id)的列表。另一方面，在static_mapping标志的值为“1(真)”的情况下，省略对图块标识信息(tile_id)的指定。换言之，在static_mapping标志的值为“1(真)”的情况下，在dynamicgpcc3dspatialregionsample中，不包括与样本的各个3d空间区域对应的图块标识信息(tile_id)的列表。
[0314]
通过如此配置，可以抑制不必要的信息被存储在动态空间区域定时元数据中。因此，可以抑制动态空间区域定时元数据的信息量的增加，并且可以抑制g-pcc文件的信息量的增加。因此，可以抑制与g-pcc文件的传输有关的处理的负荷和通信线路的频带的负荷的增加。另外，可以更容易地执行动态空间区域定时元数据的解析，并且可以抑制再现处理的负荷的增加。
[0315]
《2-11-2.语法示例2》
[0316]
在《2-11-1.语法示例1》中，尽管已经描述了用于获取图块的信息是图块标识信息(tile_id)，但是用于获取图块的信息可以是图块轨道标识信息(tile_track_id)。通过应用图块轨道标识信息(tile_track_id)而不是图块标识信息(tile_id)，再现装置不需要解析所有g-pcc图块轨道的gpcc图块样本条目(gpcctilesampleentry)，并且可以容易地识别存储组成期望3d空间区域的图块的数据的g-pcc图块轨道。下面将描述该情况的动态空间区域定时元数据轨道的语法的示例。
[0317]
在该情况下，dynamicgpcc3dspatialregionsampleentry的语法与参照图27描述的示例的语法相同。
[0318]
图29是示出该情况的dynamicgpcc3dspatialregionsample的语法的示例的图。
[0319]
如图29中示出的语法从顶部起的第5行至第9行所示，在该dynamicgpcc3dspatialregionsample中，在static_mapping标志的值为“0(假)”的情况下，对于样本中包括的每个3d空间区域，指定其中存储有组成3d空间区域的图块的g-pcc图块轨道的标识信息(tile_track_id)。换言之，在该情况下，与样本的各个3d空间区域对应的g-pcc图块轨道的标识信息(tile_track_id)的列表被包括在dynamicgpcc3dspatialregionsample中。另一方面，在static_mapping标志的值为“1(真)”的情况下，省略对g-pcc图块轨道的标识信息(tile_track_id)的指定。换言之，在该情况下，在dynamicgpcc3dspatialregionsample中，不包括与样本的各个3d空间区域对应的g-pcc图块轨道的标识信息(tile_track_id)的列
表。
[0320]
通过如此配置，可以抑制不必要的信息被存储在动态空间区域定时元数据中。因此，可以抑制动态空间区域定时元数据的信息量的增加，并且可以抑制g-pcc文件的信息量的增加。因此，可以抑制与g-pcc文件的传输有关的处理的负荷和通信线路的频带的负荷的增加。另外，可以更容易地执行动态空间区域定时元数据的解析，并且可以抑制再现处理的负荷的增加。
[0321]
《2-12.静态3d空间区域的数目》
[0322]
在上述每个示例中，例如，如图29中示出的语法从顶部起的第二行所示，在dynamicgpcc3dspatialregionsample中，针对每个样本指定3d空间区域的数目(num_regions)。换言之，dynamicgpcc3dspatialregionsample包括动态3d空间区域的数目。然而，dynamicgpcc3dspatialregionsample可以被配置成不包括动态3d空间区域的数目。
[0323]
在应用方法1-4的情况下，如图13中示出的表从顶部起的第11部分所示，当第一信息为真时，第二信息(dynamicgpcc3dspatialregionsample)可以被配置成包括静态3d空间区域的数目，而不是动态3d空间区域的数目(方法1-4-3)。由于g-pcc文件中g-pcc图块轨道的数目为静态，因此3d空间区域与g-pcc图块轨道之间的对应关系为静态，并且因此num_regions也为静态。
[0324]
例如，信息处理装置的第二信息生成单元可以生成关于动态三维空间区域的信息，该信息还包括表示静态三维空间区域的数目的信息。
[0325]
另外，存储在g-pcc文件中的第二信息可以是关于动态三维空间区域的信息，该信息还包括表示静态三维空间区域的数目的信息。信息处理装置的提取单元可以基于关于动态三维空间区域的信息以及表示三维空间区域与用于获取图块的信息之间的静态对应关系的信息，从文件提取组成构造点云的三维空间区域的图块的数据。
[0326]
另外，在应用该方法1-4-3的情况下，第一信息可以是指示3d空间区域与用于获取图块的信息之间的对应关系是否为静态的信息(static_tile_mapping标志)，或者可以是3d空间区域之间的空间位置关系以及指示3d空间区域与用于获取图块的信息之间的对应关系是否为静态的信息(static_mapping标志)。此外，用于获取图块的信息可以是图块标识信息(tile_id)或者可以是图块轨道标识信息(tile_track_id)。
[0327]
《2-12-1.语法示例1》
[0328]
这里，假设第一信息是指示3d空间区域与用于获取图块的信息之间的对应关系是否为静态的信息(static_tile_mapping标志)，并且用于获取图块的信息是图块标识信息(tile_id)。
[0329]
在该情况下，dynamicgpcc3dspatialregionsampleentry的语法与参照图24描述的示例的语法相同。
[0330]
图30是示出存储在动态空间区域定时元数据轨道中的dynamicgpcc3dspatialregionsample的语法的示例的图。
[0331]
如图30中示出的语法从顶部起的第2行至第6行所示，在该dynamicgpcc3dspatialregionsample中，在static_tile_mapping标志的值为“0(假)”的情况下，设置样本的3d空间区域数目(num_regions_dynamic)。换言之，在该情况下，dynamicgpcc3dspatialregionsample包括动态3d空间区域的数目。另一方面，在static_tile_mapping标志的值为“1
(真)”的情况下，设置静态3d空间区域的数目(num_regions)。换言之，在该情况下，dynamicgpcc3dspatialregionsample包括静态3d空间区域的数目。
[0332]
另外，在static_tile_mapping标志的值为“1”的情况下，样本的numregions循环的每个条目更新样本条目或先前样本的gpccspatialregionbox的num_regions循环的相同索引的条目的3dspatialregionstrcut的信息。存储在3dspatialregionstruct中的3d_region_id可以更新相同3dspatialregionstruct的信息。
[0333]
通过如此配置，在第一信息为真的情况下，存储在动态空间区域定时元数据中的3d空间区域的数目与3d空间区域和g-pcc图块轨道之间的静态对应关系相对应地变为静态。因此，不需要针对每个样本检查3d空间区域的数目，可以更容易地执行动态空间区域定时元数据的解析，并且可以抑制再现处理的负荷的增加。
[0334]
另外，在该图30的示例的dynamicgpcc3dspatialregionsample中，类似于图25中示出的情况，在static_tile_mapping标志的值为“1(真)”的情况下，省略对图块标识信息(tile_id)的指定。换言之，在static_tile_mapping标志的值为“1(真)”的情况下，在该dynamicgpcc3dspatialregionsample中，不包括与样本的各个3d空间区域对应的图块标识信息(tile_id)的列表。
[0335]
因此，可以抑制不必要的信息被存储在动态空间区域定时元数据中。因此，可以抑制动态空间区域定时元数据的信息量的增加，并且可以抑制g-pcc文件的信息量的增加。因此，可以抑制与g-pcc文件的传输有关的处理的负荷和通信线路的频带的负荷的增加。另外，可以更容易地执行动态空间区域定时元数据的解析，并且可以抑制再现处理的负荷的增加。
[0336]
《2-12-2.语法示例2》
[0337]
这里，假设第一信息是指示3d空间区域与用于获取图块的信息之间的对应关系是否为静态的信息(static_tile_mapping标志)，并且用于获取图块的信息是图块轨道标识信息(tile_track_id)。通过应用图块轨道标识信息(tile_track_id)而不是图块标识信息(tile_id)，再现装置不需要解析所有g-pcc图块轨道的gpcc图块样本条目(gpcctilesampleentry)，并且可以容易地识别存储组成期望3d空间区域的图块的数据的g-pcc图块轨道。
[0338]
在该情况下，dynamicgpcc3dspatialregionsampleentry的语法与参照图24描述的示例的语法相同。
[0339]
图31是示出存储在动态空间区域定时元数据轨道中的dynamicgpcc3dspatialregionsample的语法的示例的图。
[0340]
在图31中示出的示例的情况下，类似于图30中示出的示例的情况，当static_tile_mapping标志的值为“0(假)”时，设置样本的3d空间区域的数目(num_regions_dynamic)。换言之，在该情况下，dynamicgpcc3dspatialregionsample包括动态3d空间区域的数目。另一方面，在static_tile_mapping标志的值为“1(真)”的情况下，设置静态3d空间区域的数目(num_regions)。换言之，在该情况下，dynamicgpcc3dspatialregionsample包括静态3d空间区域的数目。
[0341]
另外，在static_tile_mapping标志的值为“1”的情况下，样本的numregions循环的每个条目更新样本条目或先前样本的gpccspatialregionbox的num_regions循环的相同
索引的条目的3dspatialregionstrcut的信息。存储在3dspatialregionstruct中的3d_region_id可以更新相同3dspatialregionstruct的信息。
[0342]
通过如此配置，在第一信息为真的情况下，存储在动态空间区域定时元数据中的3d空间区域的数目与3d空间区域和g-pcc图块轨道之间的静态对应关系相对应地变为静态。因此，不需要针对每个样本检查3d空间区域的数目，可以更容易地执行动态空间区域定时元数据的解析，并且可以抑制再现处理的负荷的增加。
[0343]
另外，在该图31的示例的dynamicgpcc3dspatialregionsample中，类似于图26中示出的情况，在static_tile_mapping标志的值为“1(真)”的情况下，省略对图块轨道标识信息(tile_track_id)的指定。换言之，在static_tile_mapping标志的值为“1(真)”的情况下，在该dynamicgpcc3dspatialregionsample中，不包括与样本的各个3d空间区域对应的图块轨道标识信息(tile_track_id)的列表。
[0344]
因此，可以抑制不必要的信息被存储在动态空间区域定时元数据中。因此，可以抑制动态空间区域定时元数据的信息量的增加，并且可以抑制g-pcc文件的信息量的增加。因此，可以抑制与g-pcc文件的传输有关的处理的负荷和通信线路的频带的负荷的增加。另外，可以更容易地执行动态空间区域定时元数据的解析，并且可以抑制再现处理的负荷的增加。
[0345]
《2-12-3.语法示例3》
[0346]
这里，假设第一信息是三维空间区域(3d空间区域)之间的空间位置关系以及指示三维空间区域与用于获取图块的信息之间的对应关系是否在时间方向上为静态的信息(static_mapping标志)，并且用于获取图块的信息是图块轨道标识信息(tile_id)。
[0347]
在该情况下，dynamicgpcc3dspatialregionsampleentry的语法与参照图27描述的示例的语法相同。
[0348]
图32是示出存储在动态空间区域定时元数据轨道中的dynamicgpcc3dspatialregionsample的语法的示例的图。
[0349]
如图32中示出的语法从顶部起的第2行至第6行所示，在该dynamicgpcc3dspatialregionsample中，在static_mapping标志的值为“0(假)”的情况下，设置样本的3d空间区域的数目(num_regions_dynamic)。换言之，在该情况下，dynamicgpcc3dspatialregionsample包括动态3d空间区域的数目。另一方面，在static_mapping标志的值为“1(真)”的情况下，设置静态3d空间区域的数目(num_regions)。换言之，在该情况下，dynamicgpcc3dspatialregionsample包括静态3d空间区域的数目。
[0350]
另外，在static_mapping标志的值为“1”的情况下，样本的numregions循环的每个条目更新样本条目或先前样本的gpccspatialregionbox的num_regions循环的相同索引的条目的3dspatialregionstrcut的信息。存储在3dspatialregionstruct中的3d_region_id可以更新相同3dspatialregionstruct的信息。
[0351]
通过如此配置，在第一信息为真的情况下，存储在动态空间区域定时元数据中的3d空间区域的数目与3d空间区域和g-pcc图块轨道之间的静态对应关系相对应地变为静态。因此，不需要针对每个样本检查3d空间区域的数目，可以更容易地执行动态空间区域定时元数据的解析，并且可以抑制再现处理的负荷的增加。
[0352]
另外，在该图32的示例的dynamicgpcc3dspatialregionsample中，类似于图25中
示出的情况，在static_mapping标志的值为“1(真)”的情况下，省略对图块标识信息(tile_id)的指定。换言之，在static_mapping标志的值为“1(真)”的情况下，在该dynamicgpcc3dspatialregionsample中，不包括与样本的各个3d空间区域对应的图块标识信息(tile_id)的列表。
[0353]
因此，可以抑制不必要的信息被存储在动态空间区域定时元数据中。因此，可以抑制动态空间区域定时元数据的信息量的增加，并且可以抑制g-pcc文件的信息量的增加。因此，可以抑制与g-pcc文件的传输有关的处理的负荷和通信线路的频带的负荷的增加。另外，可以更容易地执行动态空间区域定时元数据的解析，并且可以抑制再现处理的负荷的增加。
[0354]
《2-12-4.语法示例4》
[0355]
这里，假设第一信息是三维空间区域(3d空间区域)之间的空间位置关系以及指示三维空间区域与用于获取图块的信息之间的对应关系是否在时间方向上为静态的信息(static_mapping标志)，并且用于获取图块的信息是图块轨道标识信息(tile_track_id)。通过应用图块轨道标识信息(tile_track_id)而不是图块标识信息(tile_id)，再现装置不需要解析所有g-pcc图块轨道的gpcc图块样本条目(gpcctilesampleentry)，并且可以容易地识别存储组成期望3d空间区域的图块的数据的g-pcc图块轨道。
[0356]
在该情况下，dynamicgpcc3dspatialregionsampleentry的语法与参照图27描述的示例的语法相同。
[0357]
图33是示出存储在动态空间区域定时元数据轨道中的dynamicgpcc3dspatialregionsample的语法的示例的图。
[0358]
在图33中示出的示例的情况下，类似于图32中示出的示例的情况，当static_mapping标志的值为“0(假)”时，设置样本的3d空间区域的数目(num_regions_dynamic)。换言之，在该情况下，dynamicgpcc3dspatialregionsample包括动态3d空间区域的数目。另一方面，在static_mapping标志的值为“1(真)”的情况下，设置静态3d空间区域的数目(num_regions)。换言之，在该情况下，dynamicgpcc3dspatialregionsample包括静态3d空间区域的数目。
[0359]
另外，在static_mapping标志的值为“1”的情况下，样本的numregions循环的每个条目更新样本条目或先前样本的gpccspatialregionbox的num_regions循环的相同索引的条目的3dspatialregionstrcut的信息。存储在3dspatialregionstruct中的3d_region_id可以更新相同3dspatialregionstruct的信息。
[0360]
通过如此配置，在第一信息为真的情况下，存储在动态空间区域定时元数据中的3d空间区域的数目与3d空间区域和g-pcc图块轨道之间的静态对应关系相对应地变为静态。因此，不需要针对每个样本检查3d空间区域的数目，可以更容易地执行动态空间区域定时元数据的解析，并且可以抑制再现处理的负荷的增加。
[0361]
另外，在该图33的示例的dynamicgpcc3dspatialregionsample中，类似于图29中示出的情况，在static_mapping标志的值为“1(真)”的情况下，省略对图块轨道标识信息(tile_track_id)的指定。换言之，在static_mapping标志的值为“1(真)”的情况下，在该dynamicgpcc3dspatialregionsample中，不包括与样本的各个3d空间区域对应的图块轨道标识信息(tile_track_id)的列表。
[0362]
因此，可以抑制不必要的信息被存储在动态空间区域定时元数据中。因此，可以抑制动态空间区域定时元数据的信息量的增加，并且可以抑制g-pcc文件的信息量的增加。因此，可以抑制与g-pcc文件的传输有关的处理的负荷和通信线路的频带的负荷的增加。另外，可以更容易地执行动态空间区域定时元数据的解析，并且可以抑制再现处理的负荷的增加。
[0363]
《2-13.组合》
[0364]
在应用方法1的情况下，如图13中示出的表从顶部起的第12部分所示，可以组合并应用上述方法1-1至方法1-3中的任一个和方法1-4(方法1-5)。
[0365]
《2-13-1.组合示例1》
[0366]
例如，可以组合上述方法1-1-1的语法示例2和方法1-4-3的语法示例2。
[0367]
图34是示出存储在动态空间区域定时元数据轨道的样本条目中的dynamicgpcc3dspatialregionsampleentry的语法的示例的图。
[0368]
如图34中示出的语法从顶部起的第5行和第6行所示，在该dynamicgpcc3dspatialregionsampleentry中，static_region_relation标志和static_tile_mapping标志被存储为第一信息。另外，如图34中示出的语法从顶部起的第8行和第9行所示，在dynamicgpcc3dspatialregionsampleentry中，在static_region_relation标志的值为“1”的情况下，存储3dboundingspacestruct(第二信息)。
[0369]
另外，在该情况下，dynamicgpcc3dspatialregionsample的语法与参照图31描述的示例的语法相同。此外，3dboundingspacestruct的语法与参照图18描述的示例的语法相同。
[0370]
换言之，在dynamicgpcc3dspatialregionsampleentry中，存储static_region_relation标志和static_tile_mapping标志(第一信息)。另外，在static_region_relation标志的值为“1”的情况下，在dynamicgpcc3dspatialregionsampleentry中，存储参照图18描述的3dboundingspacestruct(第二信息)。
[0371]
因此，再现装置可以基于这样的信息容易地感知3d空间区域之间的空间位置关系是否为静态以及3d空间区域之间的空间位置关系。因此，再现装置可以执行再现，而不针对每一帧检查诸如要再现的3d空间区域、组成3d空间区域的图块、存储在g-pcc图块轨道中的图块等的信息。
[0372]
另外，如图31所示，在作为第二信息的dynamicgpcc3dspatialregionsample中，在static_tile_mapping标志的值为“1(真)”的情况下，不包括与样本的各个3d空间区域对应的图块轨道标识信息(tile_track_id)的列表。
[0373]
通过如此配置，可以抑制不必要的信息被存储在动态空间区域定时元数据中。因此，可以抑制动态空间区域定时元数据的信息量的增加，并且可以抑制g-pcc文件的信息量的增加。因此，可以抑制与g-pcc文件的传输有关的处理的负荷和通信线路的频带的负荷的增加。另外，可以更容易地执行动态空间区域定时元数据的解析。
[0374]
另外，通过应用图块轨道标识信息(tile_track_id)而不是图块标识信息(tile_id)，再现装置不需要解析所有g-pcc图块轨道的gpcc图块样本条目(gpcctilesampleentry)，并且可以容易地识别存储组成期望3d空间区域的图块的数据的g-pcc图块轨道。
[0375]
如上所述，在该情况下，也可以抑制再现处理的负荷的增加。
[0376]
《2-13-2.组合示例2》
[0377]
例如，可以组合上述方法1-1-2的语法示例2和方法1-4-3的语法示例4。
[0378]
在该情况下，dynamicgpcc3dspatialregionsampleentry与参照图20描述的示例相同。另外，dynamicgpcc3dspatialregionsample的语法与参照图33描述的示例的语法相同。此外，3dboundingspacestruct的语法与参照图18描述的示例的语法相同。
[0379]
换言之，在该情况下，将static_mapping标志(第一信息)存储在dynamicgpcc3dspatialregionsampleentry中。另外，在static_mapping标志的值为“1”的情况下，将参照图18描述的3dboundingspacestruct(第二信息)存储在dynamicgpcc3dspatialregionsampleentry中。
[0380]
因此，再现装置可以基于这样的信息容易地感知3d空间区域之间的空间位置关系是否为静态以及3d空间区域之间的空间位置关系。因此，再现装置可以执行再现，而不针对每一帧检查诸如要再现的3d空间区域、组成3d空间区域的图块、存储在g-pcc图块轨道中的图块等的信息。
[0381]
另外，如图33所示，在作为第二信息的dynamicgpcc3dspatialregionsample中，在static_mapping标志的值为“1(真)”的情况下，不包括与样本的各个3d空间区域对应的图块轨道标识信息(tile_track_id)的列表。
[0382]
通过如此配置，可以抑制不必要的信息被存储在动态空间区域定时元数据中。因此，可以抑制动态空间区域定时元数据的信息量的增加，并且可以抑制g-pcc文件的信息量的增加。因此，可以抑制与g-pcc文件的传输有关的处理的负荷和通信线路的频带的负荷的增加。另外，可以更容易地执行动态空间区域定时元数据的解析。
[0383]
另外，通过应用图块轨道标识信息(tile_track_id)而不是图块标识信息(tile_id)，再现装置不需要解析所有g-pcc图块轨道的gpcc图块样本条目(gpcctilesampleentry)，并且可以容易地识别存储组成期望3d空间区域的图块的数据的g-pcc图块轨道。
[0384]
如上所述，在该情况下，也可以抑制再现处理的负荷的增加。
[0385]
《3.使用mpd的信息传输》
[0386]
另外，本技术例如还可以应用于mpeg-dash(运动图像专家组阶段-基于http的动态自适应流)。例如，如图13中示出的表从顶部起的第13部分所示，上述第一信息可以在被存储在mpd(媒体呈现描述)中的情况下被发送，该mpd是存储关于mpeg-dash中的比特流的分发的控制信息的控制文件(方法2)。
[0387]
例如，信息处理装置的文件生成单元可以生成控制文件的再现的控制文件，并且将第一信息存储在控制文件中。
[0388]
另外，信息处理装置的提取单元可以参考存储在控制文件的再现的控制文件中的第一信息，并且在点云与可独立解码的三维空间区域的关系为静态的情况下，基于存储在文件中的第二信息从文件提取图块的数据。
[0389]
例如，在mpd中，可以定义存储第一信息的描述符(例如，动态空间区域描述符)，并将其存储在与动态空间区域定时元数据对应的适配集(adaptation set)中。另外，可以将gpccspatialregions描述符的spatialregion元素作为动态空间区域的初始值存储在该描
述符中。
[0390]
另外，例如，类似于图35中示出的示例，通过扩展gpccspatialregions描述符，可以添加3d空间区域的空间位置关系以及指示3d空间区域与适配集之间的对应关系是否为静态的@staticmapping元素。换言之，@staticmapping元素表示上述static_mapping标志(第一信息)的值。如图35所示，在该@staticmapping元素的值为“0”的情况下，各个3d空间区域之间的空间位置关系为动态，并且3d空间区域与适配集之间的对应关系为动态。另外，在@staticmapping元素的值为“1”的情况下，各个3d空间区域之间的空间位置关系为静态，并且3d空间区域与适配集之间的对应关系为静态。
[0391]
另外，代替@staticmapping元素，可以提供指示3d空间区域的空间位置关系是否为静态的@staticregionrelation元素以及指示3d空间区域与参考g-pcc图块轨道的适配集之间的对应关系是否为静态的@statictilemapping元素。换言之，@staticregionrelation元素表示上述static_region_relation标志(第一信息)的值，并且@statictilemapping元素表示上述static_tile_mapping标志(第一信息)。
[0392]
在该情况下，再现装置基于mpd中的第一信息和第二信息获取组成构造点云的三维空间区域的图块的数据。因此，再现装置不需要针对每个样本检查3d空间区域与轨道之间的对应关系等，并且可以抑制再现处理的负荷的增加。
[0393]
《4.使用matroska媒体容器的信息传输》
[0394]
在以上呈现的描述中，尽管已经描述了将isobmff作为文件格式应用的示例，但是存储g-pcc比特流的文件是任意的，并且可以具有除了isobmff之外的格式。例如，如图13中示出的表的最下部分所示，g-pcc比特流可以被配置为存储在matroska媒体容器中(方法3)。matroska媒体容器的主要配置示例如图36所示。
[0395]
在该情况下，例如，第一信息和第二信息可以作为新定义的元素存储在轨道条目元素下。另外，第一信息和第二信息存储在定时元数据中，定时元数据可以被配置为存储在除了其中存储有g-pcc比特流的轨道条目之外的轨道条目中。
[0396]
《5.第一实施方式》
[0397]
《5-1.文件生成装置》
[0398]
上述本技术可以应用于任意装置。图37是示出作为应用本技术的一种类型的信息处理装置的文件生成装置的配置的示例的框图。图37中示出的文件生成装置300是通过应用g-pcc对点云数据进行编码并将根据编码生成的g-pcc比特流存储在isobmff(g-pcc文件)中的装置。
[0399]
文件生成装置300将g-pcc比特流存储在g-pcc文件中，使得可以通过应用上述本技术来进行部分访问。换言之，文件生成装置300将第一信息和根据第一信息的关于三维空间区域的第二信息存储在g-pcc文件中，该第一信息关于表示具有三维形状的对象的点云的针对可独立解码的三维空间区域的关系的变化。
[0400]
图37示出了诸如处理单元和数据流的主要部件，并且图37未示出所有部件。换言之，在文件生成装置300中，可能存在未在图37中示出为块的处理单元，并且可能存在未在图37中用箭头等示出的处理和数据流。
[0401]
如图37所示，文件生成装置300包括提取单元311、编码单元312、比特流生成单元313、第一信息生成单元314、第二信息生成单元315和文件生成单元316。另外，编码单元312
包括几何编码单元321、属性编码单元322和元数据生成单元323。
[0402]
提取单元311从输入至文件生成装置300的点云数据提取几何信息数据和属性数据。提取单元311将提取的几何信息数据提供给编码单元312的几何编码单元321。另外，提取单元311将提取的属性数据提供给编码单元312的属性编码单元322。
[0403]
编码单元312对点云的数据进行编码。几何编码单元321对从提取单元311提供的几何信息数据进行编码，并且生成几何比特流。几何编码单元321将生成的几何比特流提供给元数据生成单元323。另外，几何编码单元321还将生成的几何比特流提供给属性编码单元322。
[0404]
属性编码单元322对从提取单元311提供的属性数据进行编码，并且生成属性比特流。属性编码单元322将生成的属性比特流提供给元数据生成单元323。
[0405]
元数据生成单元323通过参考已经提供的几何比特流和属性比特流来生成元数据。元数据生成单元323将生成的元数据与几何比特流和属性比特流一起提供给比特流生成单元313。
[0406]
比特流生成单元313对已经提供的几何比特流、属性比特流和元数据进行复用，从而生成g-pcc比特流。比特流生成单元313将生成的g-pcc比特流提供给第一信息生成单元314。
[0407]
在《2.基于在时间方向上与3d空间区域的关系的改变的信息传输》中，第一信息生成单元314通过应用上述本技术基于提供的g-pcc比特流来生成第一信息，该第一信息关于表示具有三维形状的对象的点云针对可独立解码的三维空间区域的关系的变化。此时，第一信息生成单元314可以应用以上在《2.基于在时间方向上与3d空间区域的关系的改变的信息传输》中描述的任意方法。第一信息生成单元314将生成的第一信息与g-pcc比特流一起提供给第二信息生成单元315。
[0408]
在《2.基于在时间方向上与3d空间区域的关系的改变的信息传输》中，第二信息生成单元315通过应用上述本技术基于已经提供的g-pcc比特流和第一信息来生成关于三维空间区域的第二信息。此时，第二信息生成单元315可以应用以上在《2.基于在时间方向上与3d空间区域的关系的改变的信息传输》中描述的任意方法。第二信息生成单元315将生成的第二信息与g-pcc比特流和第一信息一起提供给文件生成单元316。
[0409]
在《2.基于在时间方向上与3d空间区域的关系的改变的信息传输》中，文件生成单元316通过应用上述本技术生成g-pcc文件，该g-pcc文件存储已经提供的g-pcc比特流、第一信息和第二信息。此时，文件生成单元316可以应用以上在《2.基于在时间方向上与3d空间区域的关系的改变的信息传输》中描述的任意方法。文件生成单元316将如上生成的g-pcc文件输出至文件生成装置300外部。
[0410]
通过如此配置，文件生成装置300可以抑制再现装置的负荷的增加，如以上在《2.基于在时间方向上与3d空间区域的关系的改变的信息传输》中所述。
[0411]
《5-2.文件生成处理的流程》
[0412]
将参照图38中示出的流程图描述由该文件生成装置300执行的文件生成处理的流程的示例。
[0413]
当文件生成处理开始时，文件生成装置300的提取单元311在步骤s301中从点云提取几何信息和属性。
[0414]
在步骤s302中，编码单元312对在步骤s301中提取的几何信息和属性进行编码，并且生成几何比特流和属性比特流。另外，编码单元312生成其元数据。
[0415]
在步骤s303中，比特流生成单元313对在步骤s302中生成的几何比特流、属性比特流和元数据进行复用，并且生成g-pcc比特流。
[0416]
在步骤s304中，在《2.基于在时间方向上与3d空间区域的关系的改变的信息传输》中，通过应用上述本技术，第一信息生成单元314基于在步骤s303中生成的g-pcc比特流来生成第一信息，该第一信息关于表示具有三维形状的对象的点云针对可独立解码的三维空间区域的关系的变化。此时，在《2.基于在时间方向上与3d空间区域的关系的改变的信息传输》中，第一信息生成单元314可以应用上述任意方法。
[0417]
在步骤s305中，在《2.基于在时间方向上与3d空间区域的关系的改变的信息传输》中，通过应用上述本技术，第二信息生成单元315根据在步骤s304中生成的第一信息生成关于三维空间区域的第二信息。此时，在《2.基于在时间方向上与3d空间区域的关系的改变的信息传输》中，第二信息生成单元315可以应用上述任意方法。
[0418]
在步骤s306中，文件生成单元316生成其他信息，并且在《2.基于在时间方向上与3d空间区域的关系的改变的信息传输》中，通过应用上述本技术，生成存储g-pcc比特流、第一信息和第二信息的g-pcc文件。
[0419]
当步骤s306的处理结束时，文件生成处理结束。
[0420]
如上所述，在文件生成处理中，文件生成装置300通过应用以上在《2.基于在时间方向上与3d空间区域的关系的改变的信息传输》中描述的本技术，生成第一信息和第二信息并将它们存储在g-pcc文件中。通过如此配置，如以上在《2.基于在时间方向上与3d空间区域的关系的改变的信息传输》中所述，文件生成装置300可以抑制再现处理的负荷的增加。
[0421]
《6.第二实施方式》
[0422]
《6-1.再现装置》
[0423]
图39是示出作为应用本技术的一种类型的信息处理装置的再现装置的配置的示例的框图。图39中示出的再现装置400是对g-pcc文件进行解码、构造点云并且通过渲染来生成呈现信息的装置。此时，通过应用上述本技术，再现装置400可从g-pcc文件提取组成点云的期望3d空间区域的图块的数据，并且通过解码来再现提取信息。换言之，再现装置400可以仅对点云的一部分进行解码和再现。
[0424]
图39示出了诸如处理单元和数据流的主要部件，并且图39未示出所有部件。即，在图39中未作为块示出的处理单元和在图39中未作为箭头示出的处理和数据流等可以存在于再现装置400中。
[0425]
如图39所示，再现装置400包括控制单元401、文件获取单元411、再现处理单元412和呈现处理单元413。再现处理单元412包括文件处理单元421、解码单元422和呈现信息生成单元423。
[0426]
控制单元401控制设置在再现装置400内部的每个处理单元。文件获取单元411获取存储要再现的点云的g-pcc文件，并且将获取的g-pcc文件提供给再现处理单元412(其文件处理单元421)。再现处理单元412执行与提供的g-pcc文件中所存储的点云的再现有关的处理。
[0427]
再现处理单元412的文件处理单元421获取从文件获取单元411提供的g-pcc文件，并且从g-pcc文件提取比特流。此时，在《2.基于在时间方向上与3d空间区域的关系的改变的信息传输》中，文件处理单元421通过应用上述本技术从g-pcc文件提取组成期望3d空间区域的图块的数据(比特流)。文件处理单元421将提取的比特流提供给解码单元422。解码单元422对提供的比特流进行解码，从而生成几何信息和属性的数据。解码单元422将生成的几何信息和属性的数据提供给呈现信息生成单元423。呈现信息生成单元423使用提供的几何信息和属性的数据来构造点云，并且生成作为用于呈现(例如显示)点云的信息的呈现信息。例如，呈现信息生成单元423使用点云执行渲染，并且生成通过从预定视点看到点云而获取的显示图像作为呈现信息。呈现信息生成单元423将以这种方式生成的呈现信息提供给呈现处理单元413。
[0428]
呈现处理单元413执行对提供的呈现信息进行呈现的处理。例如，呈现处理单元413将呈现信息提供给设置在再现装置400外部的显示装置等，并且使显示装置等呈现该呈现信息。
[0429]
《6-2.再现处理单元》
[0430]
图40是示出再现处理单元412的主要配置示例的框图。如图40所示，文件处理单元421包括比特流提取单元431。解码单元422包括几何解码单元441和属性解码单元442。呈现信息生成单元423包括点云构造单元451和呈现处理单元452。
[0431]
在《2.基于在时间方向上与3d空间区域的关系的改变的信息传输》中，通过应用上述本技术，比特流提取单元431从提供的g-pcc文件提取比特流。例如，在点云针对可独立解码的三维空间区域(3d空间区域)的关系为静态的情况下，比特流提取单元431参考提供的g-pcc文件中包括的第一信息，并且基于根据第一信息生成的关于三维空间区域的第二信息来提取组成构造点云的三维空间区域的图块的数据(比特流)。此时，比特流提取单元431可以应用以上在《2.基于在时间方向上与3d空间区域的关系的改变的信息传输》中描述的任意方法。
[0432]
比特流提取单元431将提取的几何比特流提供给几何解码单元441。另外，比特流提取单元431将提取的属性比特流提供给属性解码单元442。
[0433]
几何解码单元441对提供的几何比特流进行解码，从而生成几何信息的数据。几何解码单元441将生成的几何信息的数据提供给点云构造单元451。属性解码单元442对提供的属性比特流进行解码，从而产生属性的数据。属性解码单元442将生成的属性的数据提供给点云构造单元451。
[0434]
点云构造单元451使用提供的几何信息和属性的数据来构造点云。换言之，点云构造单元451可以构造点云的期望图块。点云构造单元451将构造的点云的数据提供给呈现处理单元452。
[0435]
呈现处理单元452使用提供的点云的数据来生成呈现信息。呈现处理单元452将生成的呈现信息提供给呈现处理单元413。
[0436]
通过如此配置，再现装置400可以抑制再现处理的负荷的增加，如以上在《2.基于在时间方向上与3d空间区域的关系的改变的信息传输》中所述。
[0437]
《6-3.再现处理的流程》
[0438]
将参照图41中示出的流程图描述由该再现装置400执行的再现处理的示例。
[0439]
当再现处理开始时，再现装置400的文件获取单元411在步骤s401中获取要再现的g-pcc文件。
[0440]
在步骤s402中，在《2.基于在时间方向上与3d空间区域的关系的改变的信息传输》中，通过应用上述技术，比特流提取单元431从在步骤s401中获取的g-pcc文件提取比特流。例如，在点云针对可独立解码的三维空间区域(3d空间区域)的关系为静态的情况下，比特流提取单元431参考在提供的g-pcc文件中包括的第一信息，并且基于根据第一信息生成的关于三维空间区域的第二信息来提取组成构造点云的三维空间区域的图块的数据(比特流)。此时，比特流提取单元431可以应用以上在《2.基于在时间方向上与3d空间区域的关系的改变的信息传输》中描述的任意方法。
[0441]
在步骤s403中，解码单元422的几何解码单元441对在步骤s402中提取的几何比特流进行解码，从而生成几何信息的数据。另外，属性解码单元442对在步骤s402中提取的属性比特流进行解码，从而生成属性的数据。
[0442]
在步骤s404中，点云构造单元451使用在步骤s403中生成的几何信息和属性的数据来构造点云。换言之，点云构造单元451可以构造期望图块(点云的一部分)。
[0443]
在步骤s405中，呈现处理单元452使用在步骤s404中构造的点云执行渲染等，从而生成呈现信息。呈现处理单元413将呈现信息提供给再现装置400外部，并且使呈现信息被呈现。
[0444]
当步骤s405的处理结束时，再现处理结束。
[0445]
如上所述，通过在再现处理中应用在《2.基于在时间方向上与3d空间区域的关系的改变的信息传输》中描述的本技术，再现装置400基于第一信息和第二信息从g-pcc文件提取组成构造点云的三维空间区域的图块的数据(比特流)。通过如此配置，如以上在《2.基于在时间方向上与3d空间区域的关系的改变的信息传输》中所述，再现装置400可以抑制再现处理的负荷的增加。
[0446]
《7.补充》
[0447]
《计算机》
[0448]
上述一系列处理可以通过硬件或软件来执行。在一系列处理通过软件来执行的情况下，配置软件的程序被安装在计算机上。这里，计算机包括例如内置于专用硬件的计算机和其上安装有各种程序以能够执行各种功能的通用个人计算机。
[0449]
图42是示出根据程序执行上述一系列处理的计算机的硬件配置的示例的框图。
[0450]
在图42中示出的计算机900中，中央处理单元(cpu)901、只读存储器(rom)902和随机存取存储器(ram)903经由总线904彼此连接。
[0451]
输入/输出接口910也连接至总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接至输入/输出接口910。
[0452]
输入单元911是例如键盘、鼠标、麦克风、触摸面板或输入端子。输出单元912是例如显示器、扬声器或输出端子。存储单元913包括例如硬盘、ram盘或非易失性存储器。通信单元914包括例如网络接口。驱动器915驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质921。
[0453]
在具有以上配置的计算机中，例如，cpu 901通过经由输入/输出接口910和总线904将存储在存储单元913中的程序加载到ram 903，并且执行程序来执行以上提及的一系
列处理。ram 903还适当地存储cpu 901执行各种处理所需的数据等。
[0454]
由计算机执行的程序可以被记录在例如作为封装介质等的可移除介质921上，并且以这样的形式被提供。在这样的情况下，可以通过将可移除介质921插入驱动器915中，经由输入/输出接口910将程序安装在存储单元913中。
[0455]
还可以经由诸如局域网、因特网和数字卫星广播的有线或无线传输介质提供该程序。在这样的情况下，程序可以由通信单元914接收，并被安装在存储单元913中。
[0456]
另外，该程序可以被预先安装在rom 902或存储单元913中。
[0457]
《本技术的适用目标》
[0458]
在以上呈现的描述中，尽管已经描述了将本技术主要应用于将g-pcc比特流存储在isobmff中的方法的情况，但是本技术的适用目标是任意的并且不限定于上述示例。换言之，存储g-pcc比特流的文件的格式是任意的并且不限于上述isobmff和matroska媒体容器。另外，3d数据(点云)的编码/解码系统是任意的并且不限于g-pcc。此外，3d数据的格式是任意的并且可以是除了点云之外的格式。换言之，诸如文件、编码/解码系统、3d数据及其生成/构造方法等的规范中的一些或全部可以与上述示例的规范不同，只要它们不与上述本技术的特征矛盾即可。另外，可以省略上述处理和规范中的一些。
[0459]
此外，本技术可以应用于任意配置。例如，本技术可以应用于各种电子装置。
[0460]
例如，本技术可以被实现为诸如系统大规模集成(lsi)的处理器(例如，视频处理器)、使用多个处理器等的模块(例如，视频模块)、使用多个模块等的单元(例如，视频单元)、或者具有添加至单元的其他功能的组(例如，视频组)的装置的一部分的配置。
[0461]
此外，本技术还可以应用于例如由多个装置配置的网络系统。本技术可以由云计算来执行，其中，本技术例如经由网络被分配给多个装置并由多个装置一起处理。例如，可以在向诸如计算机、视听(av)装置、移动信息处理终端或物联网(iot)装置等的任意终端提供关于图像(运动图像)的服务的云服务中执行本技术。
[0462]
在本说明书中，系统意指多个构成元件(装置、模块(部件)等)的集合，并且所有构成元件可以在或可以不在同一壳体中。因此，容纳在分开的壳体中并且经由网络连接的多个装置以及在单个壳体中容纳多个模块的单个装置都是系统。
[0463]
《本技术适用的领域和应用》
[0464]
应用本技术的系统、装置、处理单元等可以用于任何领域，例如交通、医疗、安全、农业、畜牧业、采矿业、美容、工厂、家用电器、天气和自然监视。可以设置任何目的。
[0465]
例如，本技术可以应用于用于提供供欣赏的内容等的系统和装置。另外，例如，可以将本技术应用于可用于诸如交通状况监视和自动驾驶控制的交通的系统和装置。此外，例如，可以将本技术应用于可用于安全的系统和装置。另外，例如，可以将本技术应用于可用于机器等的自动控制的系统和装置。此外，例如，可以将本技术应用于可用于农业和畜牧业的系统和装置。另外，还可以将本技术应用于例如用于监测诸如火山、森林、海洋和野生动物的自然条件的系统和装置。此外，例如，还可以将本技术应用于可用于体育运动的系统和装置。
[0466]
《其他》
[0467]
注意，本说明书中的“标志”是用于标识多种状态的信息，并且不仅包括用于标识两种状态即真(1)和假(0)这两种状态的信息，而且还包括能够标识三种或更多种状态的信
息。因此，“标志”可以取的值可以是例如1和0两个值，或者三个或更多个值。换言之，构成“标志”的位数可以是任意数，并且可以是1位或多位。此外，由于不仅是其中标识信息被包括在比特流中的形式，而且其中标识信息相对于特定参考信息的差异信息被包括在比特流中的形式也可以被假设为标识信息(包括标志)，因此本说明书中的“标志”和“标识信息”不仅包括信息本身，而且还包括相对于参考信息的差异信息。
[0468]
此外，可以以任何形式发送或记录与编码数据(比特流)有关的各种信息(例如元数据)，只要其与编码数据相关联即可。这里，术语“关联”意指例如当处理一个数据时，可以使用(可以链接)另一数据。换言之，相互关联的数据项可以被集成为一个数据项或者可以是单独的数据项。例如，可以通过与编码数据(图像)的传输路径不同的传输路径发送与编码数据(图像)相关联的信息。此外，例如，与编码数据(图像)相关联的信息可以记录在与编码数据(图像)的记录介质不同的记录介质中(或者记录在同一记录介质中的不同记录区域中)。同时，该“关联”可以是数据的一部分，而不是全部数据。例如，图像以及与图像对应的信息可以与多个帧、一个帧或者诸如帧中的一部分的任何单位相关联。
[0469]
同时，在本说明书中，诸如“合成”、“复用”、“添加”、“整合”、“包含”、“存储”、“放入”、“封闭”和“插入”的术语可以意指例如将多个对象合二为一，例如将编码数据与元数据组合成一条数据，并且意指上述“关联”的一种方法。
[0470]
本技术的实施方式不限于上述实施方式并且可以在不脱离本技术的要旨的情况下在本技术的范围内进行各种改变。
[0471]
例如，可以将被描述为一个装置(或处理单元)的配置分割和配置为多个装置(或处理单元)。相反，可以将以上被描述为多个装置(或处理单元)的配置整合和配置为一个装置(或处理单元)。此外，当然，可以将除了以上提及的配置之外的配置添加至每个装置(或每个处理单元)的配置。此外，某个装置(或处理单元)的一些配置可以被包括在另一装置(或另一处理单元)的配置中，只要整个系统的配置或操作基本相同即可。
[0472]
此外，例如可以由任意装置执行以上提及的程序。在该情况下，装置只需要具有必要的功能(例如功能块)，使得装置可以获得必要的信息。
[0473]
此外，例如，一个流程图的每个步骤可以由一个装置执行，或者可以由多个装置共享并执行。此外，当在一个步骤中包括多个处理时，一个装置可以执行多个处理，或者多个装置可以共享并执行多个处理。换言之，还可以执行一个步骤中包括的多个处理作为多个步骤的处理。另一方面，还可以将被描述为多个步骤的处理作为一个步骤来共同执行。
[0474]
此外，例如，在由计算机执行的程序中，描述该程序的步骤的处理可以按照本说明书中描述的顺序按时间序列执行，或者可以并行执行或在诸如进行调用时的所需定时处单独执行。即，只要不存在矛盾，就可以以与上述顺序不同的顺序执行各个步骤的处理。此外，描述该程序的步骤的处理可以与另一程序的处理并行地执行，或者可以与另一程序的处理组合执行。
[0475]
此外，例如，与本技术有关的多种技术可以独立地实现为单个主体，只要不存在矛盾即可。当然，也可以组合地执行任何多个本技术。例如，还可以结合其他实施方式中描述的本技术中的一些或全部来实现任一实施方式中描述的本技术中的一些或全部。此外，还可以结合以上未描述的其他技术来实现任何上述本技术中的一些或全部。
[0476]
本技术还可以如下配置。
[0477]
(1)一种信息处理装置，包括：第一信息生成单元，其被配置成生成与表示具有三维形状的对象的点云针对能够独立解码的三维空间区域的关系的变化有关的第一信息；第二信息生成单元，其被配置成根据所述第一信息生成关于所述三维空间区域的第二信息；以及文件生成单元，其被配置成生成存储通过对所述点云进行编码而获取的编码数据的比特流、所述第一信息和所述第二信息的文件。
[0478]
(2)根据(1)所述的信息处理装置，其中，所述第一信息生成单元生成指示包括所述三维空间区域之间的三维空间中的位置关系的所述关系是否为静态的信息作为所述第一信息，并且在所述第一信息为真的情况下，所述第二信息生成单元生成表示所述三维空间区域能够存在的范围的信息作为所述第二信息。
[0479]
(3)根据(2)所述的信息处理装置，其中，所述第一信息生成单元生成指示所述位置关系是否为静态的信息作为所述第一信息。
[0480]
(4)根据(2)所述的信息处理装置，其中，所述第一信息生成单元生成所述位置关系以及指示所述三维空间区域与用于获取所述点云的图块的信息之间的对应关系是否为静态的信息作为所述第一信息。
[0481]
(5)根据(2)所述的信息处理装置，其中，所述第二信息生成单元生成关于所述三维空间区域的信息作为第二信息，所述信息包括静态的、所述三维空间区域与用于获取所述点云的图块的信息之间的对应关系。
[0482]
(6)根据(5)所述的信息处理装置，其中，用于获取所述图块的信息是所述图块的标识信息。
[0483]
(7)根据(5)所述的信息处理装置，其中，用于获取所述图块的信息是其中存储有所述图块的数据的所述文件的轨道的标识信息。
[0484]
(8)根据(1)所述的信息处理装置，其中，其中，所述第一信息生成单元生成指示包括所述三维空间区域之间的三维空间中的位置关系的所述关系是否为静态的信息作为所述第一信息，并且在所述第一信息为真的情况下，所述第二信息生成单元生成表示所述三维空间区域的参考点位置为静态的所述三维空间区域的信息作为所述第二信息。
[0485]
(9)根据(1)所述的信息处理装置，其中，所述第一信息生成单元生成指示包括所述三维空间区域之间的三维空间中的位置关系的所述关系是否为静态的信息作为所述第一信息，并且在所述第一信息为真的情况下，所述第二信息生成单元生成表示所述三维空间区域的中心位置为静态的所述三维空间区域的信息作为第二信息。
[0486]
(10)根据(1)所述的信息处理装置，其中，所述第一信息生成单元生成指示包括所述三维空间区域与用于获取所述点云的图块的信息之间的对应关系的所述关系是否为静态的信息作为所述第一信息，并且在所述第一信息为真的情况下，所述第二信息生成单元不包括表示所述对应关系的信息作为所述第二信息，并且生成关于所述三维空间区域的动态信息。
[0487]
(11)根据(10)所述的信息处理装置，其中，所述第一信息生成单元生成指示所述对应关系是否为静态的信息作为所述第一信息。
[0488]
(12)根据(10)所述的信息处理装置，其中，所述第一信息生成单元生成所述三维空间区域之间的三维空间中的位置关系以及指示所述对应关系是否为静态的信息作为所述第一信息。
[0489]
(13)根据(10)所述的信息处理装置，其中，所述第二信息生成单元生成关于所述三维空间区域的动态信息，还包括静态的、表示所述三维空间区域的数目的信息。
[0490]
(14)根据(10)所述的信息处理装置，其中，用于获取所述图块的信息是所述图块的标识信息。
[0491]
(15)根据(10)所述的信息处理装置，其中，用于获取所述图块的信息是将所述图块的数据存储在文件中的轨道的标识信息。
[0492]
(16)根据(1)所述的信息处理装置，其中，所述文件生成单元生成用于控制所述文件的再现的控制文件，并且将所述第一信息存储在所述控制文件中。
[0493]
(17)—种信息处理方法，包括：生成与表示具有三维形状的对象的点云的针对能够独立解码的三维空间区域的关系的变化有关的第一信息；根据所述第一信息生成关于所述三维空间区域的第二信息；以及生成存储通过对所述点云进行编码而获取的编码数据的比特流、所述第一信息和所述第二信息的文件。
[0494]
(21)一种信息处理装置，包括：提取单元，其被配置成参考与点云的针对能够独立解码的三维空间区域的关系的变化的第一信息，所述第一信息存储在存储有通过对表示具有三维形状的对象的所述点云进行编码而获取的编码数据的比特流的文件中，并且在所述关系为静态的情况下，基于根据所述第一信息生成的关于所述三维空间区域的第二信息，提取组成构造所述点云的所述三维空间区域的图块的数据；以及解码单元，所述解码单元被配置成对所提取的数据进行解码。
[0495]
(22)根据(21)所述的信息处理装置，其中，所述第一信息是指示包括所述三维空间区域之间的三维空间中的位置关系的所述关系是否为静态的信息，所述第二信息是表示所述三维空间区域能够存在的范围的静态信息，并且所述提取单元基于静态的表示所述三维空间区域能够存在的范围的信息来指定构成所述点云的所述三维空间区域。
[0496]
(23)根据(22)所述的信息处理装置，其中，所述第一信息是指示所述位置关系是否为静态的信息。
[0497]
(24)根据(22)所述的信息处理装置，其中，所述第一信息是所述位置关系以及指示所述三维空间区域与用于获取所述图块的信息之间的所述对应关系是否为静态的信息。
[0498]
(25)根据(22)所述的信息处理装置，其中，所述第二信息还包括静态的、关于所述三维空间区域的信息，所述信息包括所述三维空间区域与用于获取所述图块的信息之间的对应关系，并且所述提取单元基于关于所述三维空间区域的信息从所述文件提取构成所述三维空间区域的图块的数据，所述三维空间区域基于表示所述三维空间区域能够存在的范围的静态的信息来指定。
[0499]
(26)根据(25)所述的信息处理装置，其中，用于获取所述图块的信息是所述图块的标识信息。
[0500]
(27)根据(25)所述的信息处理装置，其中，用于获取所述图块的信息是将所述图块的数据存储在所述文件中的轨道的标识信息。
[0501]
(28)根据(21)所述的信息处理装置，其中，所述第一信息是指示包括所述三维空间区域之间的三维空间中的位置关系的所述关系是否为静态的信息，所述第二信息是表示所述三维空间区域的参考点位置为静态的所述三维空间区域的信息，并且所述提取单元基于表示所述三维空间区域的信息来指定构成所述点云的所述三维空间区域。
[0502]
(29)根据(21)所述的信息处理装置，其中，所述第一信息是指示包括所述三维空间区域之间的三维空间中的位置关系的所述关系是否为静态的信息，所述第二信息是表示所述三维空间区域的中心位置为静态的所述三维空间区域的信息，并且所述提取单元基于表示所述三维空间区域的信息来指定构成所述点云的所述三维空间区域。
[0503]
(30)根据(21)所述的信息处理装置，其中，所述第一信息是指示包括所述三维空间区域与用于获取所述图块的信息之间的对应关系的关系是否为静态的信息，所述第二信息是动态的、关于所述三维空间区域的信息且不包括表示所述对应关系的信息，并且所述提取单元基于动态的、关于所述三维空间区域的信息以及静态的、表示所述对应关系的信息，从所述文件提取所述图块的数据。
[0504]
(31)根据(30)所述的信息处理装置，其中，所述第一信息是指示所述对应关系是否为静态的信息。
[0505]
(32)根据(30)所述的信息处理装置，其中，所述第一信息是所述三维空间区域之间的三维空间中的所述位置关系以及指示所述对应关系是否为静态的信息。
[0506]
(33)根据(30)所述的信息处理装置，其中，所述第二信息是动态的、关于所述三维空间区域的信息，还包括静态的、表示所述三维空间区域的数目的信息，并且所述提取单元基于动态的关于所述三维空间区域的信息以及静态的表示所述对应关系的信息，从所述文件提取所述图块的数据。
[0507]
(34)根据(30)所述的信息处理装置，其中，用于获取所述图块的信息是所述图块的标识信息。
[0508]
(35)根据(30)所述的信息处理装置，其中，用于获取所述图块的信息是将所述图块的数据存储在所述文件中的轨道的标识信息。
[0509]
(36)根据(21)所述的信息处理装置，其中，所述提取单元参考存储在用于控制所述文件的再现的控制文件中的第一信息，并且在所述关系为静态的情况下，基于存储在所述文件中的第二信息从所述文件提取所述图块的数据。
[0510]
(37)一种信息处理方法，包括：参考与点云的针对能够独立解码的三维空间区域的关系的变化有关的第一信息，所述第一信息存储在存储有通过对表示具有三维形状的对象的所述点云进行编码而获取的编码数据的比特流的文件中，并且在所述关系为静态的情况下，基于根据所述第一信息生成的关于所述三维空间区域的第二信息，提取构成构造所述点云的所述三维空间区域的图块的数据；以及对所提取的数据进行解码。
[0511]
附图标记列表
[0512]
300文件生成装置
[0513]
311提取单元
[0514]
312编码单元
[0515]
313比特流生成单元
[0516]
314第一信息生成单元
[0517]
315第二信息生成单元
[0518]
316文件生成单元
[0519]
321几何解码单元
[0520]
322属性编码单元
[0521]
323元数据生成单元
[0522]
400再现装置
[0523]
401控制单元
[0524]
411文件获取单元
[0525]
412再现处理单元
[0526]
413呈现处理单元
[0527]
421文件处理单元
[0528]
422解码单元
[0529]
423呈现信息生成单元
[0530]
431比特流提取单元
[0531]
441几何解码单元
[0532]
442属性解码单元
[0533]
451点云构造单元
[0534]
452呈现处理单元。