信息处理设备、再现处理设备、信息处理方法和再现处理方法与流程

1.本公开内容涉及信息处理设备、再现处理设备、信息处理方法和再现处理方法。


背景技术：

2.近年来，运动图片专家组
‑
基于超文本传输协议的动态自适应流(mpeg
‑
dash)和基于其他协议的动态自适应流作为互联网上的流服务的基本技术开始传播。同时，使用mpeg
‑
dash的流中所使用的例如是用于在国际标准化组织基础媒体文件格式(isobmff)文件中存储视频数据或音频数据并分发数据的技术。此处，isobmff是mpeg
‑
4文件格式的标准。
3.同时，mpeg
‑
i第5部分的基于视频的点云压缩(iso/iec 23090
‑
5)指定了点云的压缩方法，点云是三维空间中的具有位置信息和属性信息(尤其是颜色信息)的点的集合。作为压缩方法中的一种方法，将点云分割成多个区域并将每个区域投影到平面中，以生成属性图像(颜色信息等)、几何图像(包括深度信息)、占用图像和元数据(用于根据图块重建点云的信息)。这三种图像由视频编解码器进行编码，并且总共生成四个流(称为分量流)。该方法称为基于视频的点云编码(v
‑
pcc)。
4.当再现v
‑
pcc内容(视频)时(该v
‑
pcc内容是存储了由该v
‑
pcc以isobmff编码的点云的点云文件)，需要提供诸如从内容的期望部分观看、前进或倒回的观看体验以满足如二维(2d)视频那样的观看者的需求。随机访问是用于实现提供这些观看体验的方法。在使用isobmff的情况下，文件生成设备通过向客户端设备提供用于标识作为流的随机可访问部分的随机访问点(rap)的信息来实现随机访问。
5.引文列表
6.非专利文献
7.非专利文献1：“iso/iec 14496
‑
12”，第五版，2015
‑
12
‑
15


技术实现要素：

8.本发明要解决的问题
9.然而，存在以下情况：isobmff内容文件例如像v
‑
pcc内容那样包括单独存储多个分量流诸如第一流、第二流、第三流和第四流的轨道。在随机访问这样的isobmff内容文件的内容的情况下，在解码器侧对每个分量流执行随机访问点(rap)识别，这导致大的开销。
10.因此，本公开内容提供了可以容易地提供满足观看者需求的观看体验的信息处理设备、再现处理设备、信息处理方法和再现处理方法。
11.问题解决方案
12.根据本公开内容，数据获取单元获取包括多个分量流的内容。文件生成单元基于已经由数据获取单元获取的内容的分量流中的每个分量流的随机访问点信息来生成指示内容的随机访问点的内容rap信息。
附图说明
13.图1是分发系统的示例的系统配置图。
14.图2是文件生成设备的框图。
15.图3是示出第一实施方式中的编码状态的图。
16.图4是示出其中存储了根据第一实施方式的v
‑
pcc内容的rap信息的语法的示例的图。
17.图5是客户端设备的框图。
18.图6是根据第一实施方式的由文件生成设备进行的文件生成处理的流程图。
19.图7是由根据第一实施方式的客户端设备执行的再现处理的流程图。
20.图8是示出第二实施方式中的编码状态的图。
21.图9是示出其中存储了根据第二实施方式的v
‑
pcc内容的rap信息的语法的示例的图。
22.图10是示出其中存储了根据第二实施方式的修改1的v
‑
pcc内容的rap信息的语法的示例的图。
23.图11是示出第二实施方式的修改2中的编码状态的图。
24.图12是示出其中存储了根据第二实施方式的修改2的v
‑
pcc内容的rap信息的语法的示例的图。
25.图13是示出第二实施方式的修改3中的编码状态的图。
26.图14是示出其中存储了根据第二实施方式的修改3的v
‑
pcc内容的rap信息的语法的示例的图。
27.图15是示出第三实施方式中的编码状态的图。
28.图16是示出其中存储了根据第三实施方式的v
‑
pcc内容的rap信息的语法的示例的图。
29.图17是示出其中存储了根据第四实施方式的v
‑
pcc内容的rap信息的语法的示例的图。
具体实施方式
30.在下文中，将基于附图详细描述在本技术中公开的信息处理设备、再现处理设备、信息处理方法和再现处理方法的实施方式。注意，本技术中公开的范围不仅包括实施方式中描述的内容，而且还包括在提交时已知的以下非专利文献中描述的内容。
31.非专利文献1：(如上所述)。
32.非专利文献2：“n18059”，wd of storage of v
‑
pcc inisobmff files，第124届mpeg会议，2018年10月，中国澳门特别行政区，澳门。
33.非专利文献3：“n18180”，study text of iso/iec cd 23090
‑
5video based point cloud compression，第125届mpeg会议，2019年1月，摩洛哥马拉喀什。
34.也就是说，以上非专利文献中描述的内容也形成用于确定支持要求的基础。例如，即使在非专利文献1中描述的文件结构中或非专利文献2中描述的基于视频编解码器的点云压缩(v
‑
pcc)的文件结构中使用的术语没有在实施方式中被直接定义的情况下，也认为这些术语在本技术的公开内容的范围内并且应满足权利要求的范围的支持要求。同样，即
使在实施方式中没有直接定义诸如解析、语法和语义的技术术语的情况下，这些术语也在本技术的范围内并且应满足权利要求的范围的支持要求。
35.注意，将按照下面列出的项目的顺序来描述本公开内容。
36.1.第一实施方式
37.2.第二实施方式
38.2.1第二实施方式的修改1
39.2.2第二实施方式的修改2
40.2.3第二实施方式的修改3
41.3.第三实施方式
42.4.第四实施方式
43.5.第五实施方式
44.1.第一实施方式
45.[根据第一实施方式的系统配置]
[0046]
在使用isobmff的情况下，文件生成设备将用于标识作为随机可访问样本的rap的信息提供给再现处理设备，从而实现诸如从内容的期望部分观看、快进或倒回的观看体验。此处，样本是指影片数据的最小访问单位。样本对应于影片数据中的一帧，并且也是解码的单位。存在两种类型的rap：同步样本和开放式随机访问样本。
[0047]
同步样本是能够在从样本开始解码的情况下实现按照解码顺序对该样本后面的样本的正确解码的rap。例如，在syncsmaplebox、trackfragmentrunbox和trackfragmentrandomaccessbox中存储同步样本的信息。另一方面，在开放式随机访问样本中，在从该样本开始解码的情况下，在该样本后面的样本中存在不能以解码顺序正确解码的样本。不能被正确解码的样本例如是双预测图片。开放式随机访问样本的信息例如被存储在随机访问点样本组中。
[0048]
其中由v
‑
pcc进行编码的点云存储在isobmff中的点云文件被称为v
‑
pcc内容。在观看v
‑
pcc内容的情况下，需要提供如二维(2d)视频中那样诸如从内容的期望部分观看、前进或倒回的观看体验。v
‑
pcc内容被配置为单个isobmff文件，在单个isobmff文件中，属性、几何形状、占用率和元数据的四个分量流被存储在四个单独的轨道上。属性、几何形状和占用率由视频编解码器进行编码。元数据具有图块序列和序列参数集。
[0049]
为了识别v
‑
pcc内容的rap，再现处理设备识别在属性、几何形状、占用率和元数据的相应轨道中的rap，然后当所有4个轨道都是rap时，再现处理设备在解码时搜索样本。注意，在随机访问时存在不具有rap的分量流的情况下，再现处理设备难以在随机访问时完全配置当时的v
‑
pcc内容。
[0050]
如上所述，在再现处理设备在解码时执行rap的识别和样本的检测的过程中，存在大的开销。因此，再现的开始被延迟，这不利地影响了用户体验。
[0051]
注意，不仅在v
‑
pcc内容中，而且在对包括同时再现的视频轨道和音频轨道的这样的多个轨道的随机访问中，也存在类似的缺点。在v
‑
pcc内容中，因为由于多个视频分量的随机访问再现过程而导致开销较大，所以缺点是明显的。因此，在本实施方式中，提供了如下的文件生成设备和客户端设备。
[0052]
图1是分发系统的示例的系统配置图。分发系统100包括作为信息处理设备的文件
生成设备1、作为再现处理设备的客户端设备2以及web服务器3。文件生成设备1、客户端设备2和web服务器3被连接至网络4。文件生成设备1、客户端设备2和web服务器3可以经由网络4彼此通信。此处，尽管图1中针对每种设备示出了单件设备，但是分发系统100可以包括多个文件生成设备1和多个客户端设备2。
[0053]
文件生成设备1生成v
‑
pcc内容。文件生成设备1将生成的v
‑
pcc内容上传到web服务器3。在此，在本实施方式中，将描述其中web服务器3向客户端设备2提供v
‑
pcc内容的配置；然而，分发系统100可以采用另一种配置。例如，文件生成设备1可以包括web服务器3的功能、将生成的v
‑
pcc内容存储在文件生成设备1本身中以及将v
‑
pcc内容提供给客户端设备2。
[0054]
web服务器3保持从文件生成设备1上传的v
‑
pcc内容。然后，web服务器3根据来自客户端设备2的请求提供指定的v
‑
pcc内容。
[0055]
客户端设备2向web服务器3发送对v
‑
pcc内容的传输请求。然后，客户端设备2从web服务器3获取在传输请求中指定的v
‑
pcc内容。然后，客户端设备2对v
‑
pcc内容进行解码以生成影片并将该影片显示在诸如监视器的显示装置上。
[0056]
[根据第一实施方式的文件生成设备的配置]
[0057]
接下来，将描述文件生成设备1的细节。图2是文件生成设备的框图。如图2中所示，作为信息处理设备的文件生成设备1包括生成处理单元10和控制单元11。控制单元11执行与生成处理单元10的控制有关的处理。然后，控制单元11执行诸如生成处理单元10的每个单元的操作时序的集成控制。生成处理单元10包括数据获取单元101、转换单元102、编码单元103、流生成单元104、文件生成单元105和传输单元106。
[0058]
数据获取单元101接受点云数据的输入。数据获取单元101将获取的点云数据输出到转换单元102。
[0059]
转换单元102从数据获取单元101接收点云数据的输入。然后，转换单元102将三维点云的数据转换为用于屏幕显示的二维数据，并生成属性图像、几何图像、占用图像和元数据。元数据有时被称为图块序列数据。然后，转换单元102将生成的二维数据输出到编码单元103。
[0060]
编码单元103包括各自与属性图像、几何图像、占用图像和元数据对应的四个编码器。编码单元103从转换单元102接收已经被转换为二维数据的点云数据的输入。然后，编码单元103对点云数据进行编码以生成属性图像、几何图像、占用图像和元数据的各个分量。在下文中，分量中的每种分量将被称为属性分量、几何分量、占用分量或元数据分量。
[0061]
此时，编码单元103执行编码，使得属性、几何形状、占用率和元数据的各个分量流的编码结构相同。更具体地，如图3中所示，编码单元103执行编码，使得各个分量的同步样本和开放式随机访问样本的解码时间戳(dts)和合成时间戳(cts)相同。图3是示出第一实施方式中的编码状态的图。dts指示影片被解码的时间。同时，cts指示影片实际被显示的时间。
[0062]
在图3中，具有对角线图案的样本301与同步样本的rap对应。同时，实心填充的样本302与开放式随机访问样本的rap对应。不具有其他图案的样本303是除了rap之外的非rap样本。而且，样本组311、312和314包括相同dts处的属性、几何形状、占用率和元数据的同步样本的rap，这提供了允许使v
‑
pcc完全再现的rap。同时，样本组313包括相同dts处的
属性、几何形状、占用率和元数据的开放式随机访问样本的rap。在下文中，允许再现v
‑
pcc内容的随机访问点被称为v
‑
pcc内容rap。
[0063]
通过上述编码，同步样本和开放式随机访问样本在各个分量中的位置变得相同，并且各个轨道的rap信息指示整个v
‑
pcc内容的rap。也就是说，通过指定分量之一的rap，剩余分量的rap也被指定。通过使dts和cts相同，可以在相同的时序处执行解码，并且可以通过在相同的时序处解码的数据来完全再现v
‑
pcc内容。编码单元103将已经生成的四种类型的分量输出到流生成单元104。
[0064]
流生成单元104从编码单元103接收属性、几何形状、占用率和元数据的各个分量的输入。然后，流生成单元104布置各个分量的样本，并生成针对属性、几何形状、占用率和元数据的各个分量的分量流。然后，流生成单元104将已经生成的四个分量流输出到文件生成单元105。
[0065]
文件生成单元105从流生成单元104接收属性、几何形状、占用率和元数据的各个分量的各个分量流的输入。然后，文件生成单元105创建来自已经获取的各个分量流的每个段的文件，并生成分量流的段文件。
[0066]
然后，文件生成单元105以isobmff来存储已经生成的四个分量流的段文件。此时，文件生成单元105对vpccgroupbox进行扩展，以便清楚地知道四个分量流的编码结构是相同的并且执行编码以使rap对准，并且文件生成单元105添加指示四个分量流的rap被对准的标志。指示vpccgroupbox已被扩展并且四个分量流的rap被对准的标志可以被认为是v
‑
pcc的rap信息。也就是说，文件生成单元105存储v
‑
pcc的rap信息。
[0067]
在本实施方式中，文件生成单元105对存储在元数据轨道中的vpccgroupbox进行扩展，并指示四个分量流的rap是否对准。此处，在本实施方式中，扩展了元数据轨道的vpccgroupbox；然而，vpccgroupbox不限于此，并且文件生成单元105可以扩展其他三个分量流的任何轨道的vpccgroupbox。在此，文件生成单元105通过使用现有的以isobmff进行存储的方法来存储各个分量流的rap信息。
[0068]
图4是示出其中存储了根据第一实施方式的v
‑
pcc内容的rap信息的语法的示例的图。文件生成单元105生成例如图4中所示的被扩展的vpccgroupbox的语法320。利用图4中的行321，指示了四个分量流的rap是否对准。在本实施方式中，在各个分量流的rap对准并且各个轨道的rap信息指示v
‑
pcc内容的rap信息的情况下，文件生成单元105将rap_aligned的值设置为1。另一方面，在各个分量流的rap没有对准的情况下，文件生成单元105将rap_aligned的值设置为0。
[0069]
注意，可以扩展元数据轨道的sampleentry而不是vpccgroupbox，以指示四个分量流的rap是否对准。
[0070]
然后，文件生成单元105将其中存储了各个分量流的段文件的isobmff文件输出到传输单元106。然后，包括由文件生成单元105生成的被扩展的vpccgroupbox的ibmff文件对应于“其中内容rap信息被存储在文件的元数据区域中的内容文件”的示例。
[0071]
传输单元106从文件生成单元105接收其中存储了各个分量流的段文件的isobmff文件的输入。然后，传输单元106将其中存储了已经获得的各个分量流的段文件的isobmff文件发送至web服务器3并上传v
‑
pcc内容。
[0072]
[根据第一实施方式的客户端设备的配置]
[0073]
图5是客户端设备的框图。如图5中所示，作为再现处理设备的客户端设备2包括再现处理单元20和控制单元21。控制单元21对再现处理单元20的每个单元的操作进行控制。例如，控制单元21全面地控制再现处理单元20的每个单元的操作时序。再现处理单元20包括文件获取单元201、数据分析和解码单元202以及显示单元203。
[0074]
文件获取单元206从web服务器3获取与要再现的v
‑
pcc内容对应的媒体呈现描述(mpd)文件。mpd文件包含v
‑
pcc内容的数据的存储位置的信息或有关影片再现的信息诸如编码速度或图像大小。然后，文件获取单元206将所获取的mpd文件输出到文件处理单元221。然后，文件获取单元201从文件处理单元221接收要再现的v
‑
pcc内容的数据的存储位置的信息的输入。
[0075]
文件获取单元201通过使用所获取的v
‑
pcc内容的数据的存储位置的信息来向web服务器3请求获取v
‑
pcc内容的数据。然后，文件获取单元201获取其中存储了v
‑
pcc内容的数据的各个分量流的段文件的isobmff文件。然后，文件获取单元201将其中存储了v
‑
pcc内容的数据的各个分量流的段文件的isobmff文件输出到数据分析和解码单元202的文件处理单元221。
[0076]
数据分析和解码单元202执行对获取的文件的分析、基于分析结果的对数据的获取请求、数据的解码以及显示数据的生成。数据分析和解码单元202包括文件处理单元221、解码处理单元222和显示信息生成单元223。
[0077]
文件处理单元221从文件获取单元201接收mpd文件的输入。然后，文件处理单元221解析所获取的mpd文件，并从v
‑
pcc内容的适配集合获取要再现的v
‑
pcc内容的数据的存储位置的信息。然后，文件处理单元221将v
‑
pcc内容的数据的存储位置的信息发送到文件获取单元201并进行对数据的获取请求。
[0078]
然后，文件处理单元221从文件获取单元201接收其中存储了v
‑
pcc内容的数据的各个分量流的段文件的isobmff文件的输入。接下来，文件处理单元221解析获取的isobmff文件。然后，文件处理单元221获取v
‑
pcc内容的数据的各个分量流的数据。文件处理单元221还根据isobmff文件的解析结果确认元数据轨道中的vpccgroupbox中包括的标志。然后，文件处理单元221确定v
‑
pcc内容的四个分量流的rap是否对准。然后，文件处理单元221将各个分量流的数据输出到解码处理单元222。此外，文件处理单元221将v
‑
pcc内容的四个分量流的rap是否对准的确定结果通知给解码处理单元222。
[0079]
解码处理单元222从文件处理单元221接收v
‑
pcc内容的四个分量流的数据的输入。此外，解码处理单元222从文件处理单元221接收关于v
‑
pcc内容的四个分量流的rap是否对准的确定结果的通知。
[0080]
解码处理单元222对v
‑
pcc内容的各个分量流进行解码。然后，在四个分量流的rap在随机访问中对准的情况下，解码处理单元222获取四个分量流之一的rap信息、指定rap的样本以及从已识别的样本解码v
‑
pcc内容的各个分量流。
[0081]
另一方面，在四个分量流的rap不对准的情况下，解码处理单元222识别各个分量流的rap。然后，解码处理单元222指定所有分量流的rap位置都匹配的dts的样本。然后，解码处理单元222从已经指定的样本中解码v
‑
pcc内容的各个分量流。然后，解码处理单元222将已经解码的v
‑
pcc内容的各个分量流的数据输出到显示信息生成单元223。
[0082]
显示信息生成单元223从解码处理单元222接收v
‑
pcc内容的各个分量流的数据的
输入。然后，显示信息生成单元223使用v
‑
pcc内容的各个分量流的信息来配置点云、执行渲染并生成显示信息。然后，显示信息生成单元223将显示信息输出到显示单元203。
[0083]
显示单元203包括诸如扬声器或监视器的显示装置。显示单元203接收由数据分析和解码单元202的显示信息生成单元223生成的要显示的音频和图像的输入。然后，显示单元203使显示装置显示已获取的要显示的音频和图像。
[0084]
[根据第一实施方式的文件生成过程]
[0085]
接下来，通过参照图6，将描述由根据第一实施方式的文件生成设备1进行的文件生成过程的流程。图6是由根据第一实施方式的文件生成设备进行的文件生成过程的流程图。
[0086]
数据获取单元101获取点云数据(步骤s1)。然后，数据获取单元101将获取的点云数据输出到转换单元102。
[0087]
转换单元102从数据获取单元101接收点云数据的输入。然后，转换单元102将获取的点云数据的三维数据转换为二维数据，并生成几何图像、属性图像、占用图像和元数据(步骤s2)。然后，转换单元102将几何图像、属性图像、占用图像和元数据输出到编码单元103。
[0088]
编码单元103从转换单元102接收几何图像、属性图像、占用图像和元数据的输入。然后，编码单元103执行编码以使各条数据的rap对准并生成几何形状、属性、占用率和元数据的分量(步骤s3)。然后，编码单元103将已经生成的四个分量输出到流生成单元104。
[0089]
流生成单元104从编码单元103接收四个分量的输入。然后，流生成单元104排列各个分量的样本以生成四个分量流(步骤s4)。然后，流生成单元104将已经生成的四个分量流输出到文件生成单元105。
[0090]
文件生成单元105从流生成单元104接收四个分量流的输入。然后，文件生成单元105将四个分量流和v
‑
pcc内容的rap信息存储在isobmff文件中(步骤s5)。然后，文件生成单元105将生成的isobmff文件输出到传输单元106。
[0091]
传输单元106从文件生成单元105接收其中存储了四个分量流的isobmff文件的输入。然后，传输单元106将获取的isobmff文件发送到web服务器3并上传v
‑
pcc内容(步骤s6)。
[0092]
[根据第一实施方式的再现处理过程]
[0093]
接下来，将参照图7描述由根据本实施方式的客户端设备2执行的再现处理的流程。图7是由根据第一实施方式的客户端设备执行的再现处理的流程图。
[0094]
文件获取单元201将对v
‑
pcc内容的获取请求发送到web服务器3，并获取已经指定的v
‑
pcc内容的mpd文件(步骤s11)。然后，文件获取单元201将mpd文件输出到文件处理单元221。文件处理单元221解析mpd文件、获取要再现的v
‑
pcc内容的数据的存储位置信息以及向文件获取单元201通知该存储位置信息。
[0095]
文件获取单元201从文件处理单元221接收要被再现的v
‑
pcc内容的数据的存储位置信息的通知。然后，文件获取单元201向web服务器3发送对在已获取的存储位置信息中指定的存储位置的数据的获取请求。然后，文件获取单元201从web服务器3获取其中存储了要再现的v
‑
pcc内容的四个分量流的isobmff文件(步骤s12)。文件获取单元201将获取的isobmff文件输出到文件处理单元221。
[0096]
文件处理单元221从文件获取单元201接收其中存储了四个分量流的isobmff文件的输入。然后，文件处理单元221解析所获取的isobmff文件(步骤s13)。
[0097]
接下来，文件处理单元221从元数据轨道的vpccgroupbox获取rap信息，并确定四个分量流的rap是否对准(步骤s14)。在此，将描述四个分量流的rap对准的情况。然后，文件处理单元221将四个分量流的数据和四个分量流的rap对准的信息输出到解码处理单元222。
[0098]
解码处理单元222从isobmff文件中存储的v
‑
pcc内容的rap信息中选择期望时间的rap(步骤s15)。
[0099]
接下来，解码处理单元222提取与所选择的rap对应的四个分量流的样本(步骤s16)。
[0100]
接下来，解码处理单元222对针对四个分量流提取的样本进行解码(步骤s17)。解码处理单元222将解码的样本输出到显示信息生成单元223。
[0101]
显示信息生成单元223根据解码的样本来配置点云，并且进一步执行渲染以生成显示图像(步骤s18)。然后，显示信息生成单元223将生成的显示图像发送到显示单元203，并使显示单元203显示该显示图像。
[0102]
然后，显示信息生成单元223继续正常再现(步骤s19)。
[0103]
如上所述，根据本实施方式的文件生成设备执行编码，以使得内容中包括的多个流的各个随机访问点的时间匹配。结果，通过识别任何一个流的随机访问点，可以识别其中内容中包括的所有流的随机访问点匹配的内容的随机访问点。因此，可以容易地选择内容的随机访问点并减少随机访问中的开销。这可以被容易地实现。通过以这种方式实现即时的随机访问，可以容易地提供满足观看者的需求的观看体验。
[0104]
2.第二实施方式
[0105]
接下来，将描述第二实施方式。在限制编码以使得各个分量流的rap与第一实施方式中相同的情况下，由于图像对于每个分量流是不同的，因此存在编码效率可能劣化的可能性。因此，根据本实施方式的文件生成设备与第一实施方式的不同之处在于：在没有限制编码结构的情况下，在各个分量流中使用相同rap的位置被用作内容的rap。根据本实施方式的文件生成设备1和客户端设备2也由图2和图5的框图表示。在下面的描述中，将省略与第一实施方式的每个单元的功能相似的每个单元的功能的描述。
[0106]
如果可以在各个分量流中布置rap，则根据本实施方式的文件生成设备1的编码单元103为rap设置相同的cts和相同的dts，但是针对每个分量确定rap的类型。例如，如图8中所示，编码单元103对分量中的每个分量进行编码。图8是示出第二实施方式中的编码状态的图。在图8中，阴影样本表示同步样本的rap，而实心样本表示开放式随机访问样本的rap。例如，在样本组401中，所有四个分量流的样本是相同dts处的同步样本的rap。同时，在样本组403中，所有四个分量流的样本是相同dts处的开放式随机访问样本的rap。另一方面，在样本组402和样本组404中，由于没有限制编码结构，因此在同一dts处的几何流中不存在同步样本的rap。在这种情况下，样本组401和样本组403可以用作v
‑
pcc内容的rap。
[0107]
文件生成单元105使用四个分量流中具有相同类型的rap的样本作为v
‑
pcc内容的rap。然后，文件生成单元105将v
‑
pcc内容的rap信息存储在作为v
‑
pcc内容的进入点的元数据轨道的vpccgroupbox中。具体地，文件生成单元105扩展vpccgroupbox并添加标志，该标
志清楚地指示元数据轨道中存储的rap信息是满足如下条件的v
‑
pcc内容的rap信息：在四个分量流中rap是相同类型。在此，文件生成单元105通过使用现有的以isobmff进行存储的方法来存储各个分量流的rap信息。
[0108]
图9是示出其中根据第二实施方式的v
‑
pcc内容的rap信息被存储的语法的示例的图。文件生成单元105生成例如图4中所示的扩展的vpccgroupbox的语法410。文件生成单元105通过语法410中的行411指示元数据轨道中存储的rap信息是否指示v
‑
pcc内容的rap信息。在本实施方式中，在元数据轨道的rap信息指示v
‑
pcc内容的rap信息的情况下，文件生成单元105将rap_aligned的值设置为1。相反，当元数据轨道的rap信息没有指示v
‑
pcc内容的rap信息时，文件生成单元105将rap_aligned的值设置为0。
[0109]
注意，可以扩展元数据轨道的sampleentry而不是扩展vpccgroupbox，以用于指示元数据轨道中存储的rap信息是否指示v
‑
pcc内容的rap信息。
[0110]
此处，在该实施方式中，通过使用元数据轨道的rap信息来指示v
‑
pcc内容的rap信息；然而，可以通过使用另一分量流的rap信息来指示v
‑
pcc内容的rap信息。在那种情况下，文件生成单元105生成清楚地指定存储v
‑
pcc内容的rap的分量流的文件。
[0111]
客户设备2的文件处理单元221解析已获取的isobmff文件、检查元数据轨道的vpccgroupbox的标志以及确定元数据的rap是否表示v
‑
pcc内容的rap。
[0112]
当执行随机访问时，解码处理单元222在被指定为随机访问点的位置处指定与表示v
‑
pcc内容的rap的元数据的rap对应的样本。然后，解码处理单元222对指定的样本进行解码以生成各个分量流。
[0113]
如上所述，根据本实施方式的文件生成设备在不限制编码结构的情况下将在所有分量流中相同类型的rap对准的位置设置为内容的rap。结果，可以在减轻编码效率的劣化的同时实现即时的随机访问，并且可以容易地提供满足观看者的需求的观看体验。
[0114]
[2.1第二实施方式的修改1]
[0115]
在本修改中，定义了新的box以便存储v
‑
pcc内容的rap信息。下面将描述根据本修改的存储v
‑
pcc内容的rap信息的方法。
[0116]
文件生成单元105新生成用于存储v
‑
pcc内容的rap信息的vpccrapinfobox。图10是示出其中存储根据第二实施方式的修改1的v
‑
pcc内容的rap信息的语法的示例的图。例如，文件生成单元105生成具有如图10中所示的语法420的vpccrapinfobox。
[0117]
在此，entry_count指示v
‑
pcc内容的rap的数目。另外，sample_number指示由包括v
‑
pcc内容的rap的各个轨道共享的rap的样本位置。在此，文件生成单元105可以指定syncsamplebox或trackfragmentrandomaccessbox的entry_id而不是sample_number。
[0118]
然后，文件生成单元105将已经生成的vpccrapinfobox设置在例如vpccgroupbox之下。可替选地，文件生成单元105可以将已经生成的vpccrapinfobox设置在moviefragmentbox(moof)/metadatabox(meta)之下。另外，文件生成单元105将各个分量流的rap信息分别存储在不同的轨道中。在这种情况下，各个分量流的rap的类型在被指定为v
‑
pcc内容的rap的位置处可以不同。
[0119]
此外，除了vpccrapinfobox之外，文件生成单元105还可以定义样本组并且指示属于该组的样本是v
‑
pcc内容的rap。
[0120]
客户端设备2的文件处理单元221解析isobmff文件，并从vpccrapinfobox中指定
v
‑
pcc内容的rap。文件处理单元221还检查其中存储了各个分量流的rap信息的轨道，并且在v
‑
pcc内容的指定的rap中指定每个分量流的rap的类型。在rap的类型匹配的情况下，文件处理单元221通过将v
‑
pcc内容的指定的rap通知给解码处理单元222并且使解码处理单元222执行解码来实现随机访问。
[0121]
如上所述，可以通过定义用于存储v
‑
pcc内容的rap信息的新的box来实现随机访问。利用这样的方法，还可以在减轻编码效率的劣化的同时实现即时的随机访问，并且可以容易地提供满足观看者的需求的观看体验。
[0122]
[2.2第二实施方式的修改2]
[0123]
在本修改中，即使在混合了非rap样本的情况下，样本也被认为是v
‑
pcc内容的rap，并且针对非rap样本指定了解码开始位置。下面将描述根据本修改的存储v
‑
pcc内容的rap信息的方法。
[0124]
编码单元103如在第二实施方式中那样执行如图11所示的编码。图11是示出第二实施方式的修改2中的编码状态的图。在这种情况下，在样本组431中，所有四个分量流的样本是相同dts处的同步样本的rap。同时，在样本组434中，所有四个分量流的样本是相同dts处的开放式随机访问样本的rap。另外，样本组432和样本组434包括相同dts处的非rap样本。
[0125]
即使在混合了非rap样本的dst处，文件生成单元105也将样本视为v
‑
pcc内容的rap。然后，文件生成单元105新生成用于存储v
‑
pcc内容的rap信息的vpccrapinfobox。文件生成单元105还扩展了新生成的vpccrapinfobox，并指定用于对v
‑
pcc内容的假设的rap中包含的非rap样本进行解码的解码开始位置。
[0126]
例如，在将图11中的样本组432和样本组434视为v
‑
pcc内容的情况下，文件生成单元105将非rap样本435的解码开始位置与其rap信息一起指定。
[0127]
图12是示出其中存储了根据第二实施方式的修改2的v
‑
pcc内容的rap信息的语法的示例的图。文件生成单元105创建具有如图12中所示的语法440的vpccrapinfobox，并将该vpccrapinfobox设置在例如vpccgroupbox之下。
[0128]
如果语法440中的is_all_rap的值是1，则这指示v
‑
pcc内容的rap中包括的各个分量流的所有样本是rap。同时，如果is_all_rap的值是0，则这指示在v
‑
pcc内容的rap中包括的各个分量流的样本之中存在非rap样本。另外，num_entities_in_group指示v
‑
pcc内容中包括的分量流的数目。此外，num_entities_in_group以进入顺序标识在vpccgroupbox中指示的分量流的类型。此外，如果is_non_rap的值为1，则这意味着分量流的样本不是rap。同时，如果is_non_rap的值为0，则这意味着分量流的样本是rap。另外，距离指示相对于用于解码非rap样本的解码开始位置的样本数之差。在此，该距离是相对于在具有非rap样本的分量流中的目标v
‑
pcc内容的rap之前存在的rap位置的偏移。该距离是基于由sample_number指示的样品位置而获得的。
[0129]
例如，在图11中的样本435的解码开始位置处，文件生成单元105将is_all_rap设置为1，以指示包括作为非rap的样本435。文件生成单元105还将该距离设置为10，以作为用于解码样本435的解码开始位置信息。
[0130]
除此之外，文件生成单元105可以在图12的语法440中的num_entities_in_group的循环中指定除元数据轨道以外的分量流。
[0131]
如上所述，通过在即使混合了非rap样本的情况下也将样本视为v
‑
pcc内容的rap并且为非rap样本指定解码开始位置，可以实现随机访问。在这种情况下，与修改1的情况相比，可以被指定为v
‑
pcc内容的rap的上限可以增加，并且因此v
‑
pcc内容的rap增加。因此，可以改善随机访问，并且可以提供满足观看者的需求的观看体验。
[0132]
[2.3第二实施方式的修改3]
[0133]
在本修改中，即使在混合了非rap样本的情况下，样本也被认为是v
‑
pcc内容的rap，并且在随机访问处使用除非rap样本以外的样本的分量流来开始再现。下面将描述根据本修改的存储v
‑
pcc内容的rap信息的方法。
[0134]
编码单元103如在第二实施方式中那样执行如图13中所示的编码。图13是示出第二实施方式的修改3中的编码状态的图。在这种情况下，在样本组451和样本组454中，所有四个分量流的样本是相同dts处的同步样本的rap。同时，在样本组453中，所有四个分量流的样本是相同dts处的开放式随机访问样本的rap。另外，样本组452在属性的分量流中包括非rap样本。
[0135]
文件生成单元105将即使在混合了非rap样本的dst处的样本也认为是v
‑
pcc内容的rap。然后，文件生成单元105新生成用于存储v
‑
pcc内容的rap信息的vpccrapinfobox。文件生成单元105进一步扩展新生成的vpccrapinfobox，并将具有在v
‑
pcc内容的假设的rap中包含的非rap样本的分量流指示为不需要解码的分量流。结果，文件生成单元105指示：在v
‑
pcc内容的rap处，客户端设备2可以在分量流的下一个rap到达时执行显示添加有分量流的图像的处理。
[0136]
例如，在图13中的样本组452是v
‑
pcc内容的情况下，文件生成单元105生成如下信息：该信息指示属性的分量流是当时不需要与其rap信息一起被解码的分量流。
[0137]
图14是示出其中存储了根据第二实施方式的修改3的v
‑
pcc内容的rap信息的语法的示例的图。文件生成单元105创建了具有如图14中所示的语法460的vpccrapinfobox，并将该vpccrapinfobox设置在例如vpccgroupbox之下。在语法460中，如果is_decode_optional的值为1，则其指示在随机访问时不需要对分量流进行解码。同时，如果is_decode_optional的值为0，则其指示在随机访问时要对分量流进行解码。
[0138]
例如，在随机访问图13中的样本组452的样本的情况下，文件生成单元105针对属性的分量流将is_decode_optional的值设置为1。
[0139]
例如，在随机访问图13的样本组452中的v
‑
pcc内容的rap的情况下，客户端设备2的文件处理单元221解析isobmff并检查vpccrapinfobox。然后，文件处理单元221指示解码处理单元222不对当时is_decode_optional的值为1的分量流进行解码。然后，当要再现的影片到达属性的分量流的rap时，文件处理单元221指示解码处理单元222对所有四个分量流进行解码。
[0140]
例如，在随机访问图13的样本组452中的v
‑
pcc内容的rap的情况下，解码处理单元222对几何形状、占用率和元数据的分量流中的样本组452中包括的样本进行解码。然后，解码处理单元222将解码的几何形状样本、占用率样本和元数据样本输出到显示信息生成单元223。然后，当要再现的影片到达属性的分量流的rap时，解码处理单元222从文件处理单元221接收用于对所有四个分量流进行解码的指令。然后，从那时起，解码处理单元222对所有四个分量流的样本进行解码。解码处理单元222将所有四个分量流的解码样本输出到显
示信息生成单元223。
[0141]
例如，在随机访问图13的样本组452中的v
‑
pcc内容的rap的情况下，显示信息生成单元223从解码处理单元222接收几何形状、占用率和元数据的复合样本的输入。在这种情况下，由于不执行通过属性的着色，因此显示信息生成单元223根据其他三个分量流来配置无色点云，并将该点云作为显示图像显示在显示单元203上。然后，从要再现的影片到达属性的分量流的rap的点开始，显示信息生成单元223从解码处理单元222接收所有四个分量流的样本的输入。然后，显示信息生成单元223从该点开始对着色的点云进行配置，并将该点云作为显示图像显示在显示单元203上。
[0142]
如上所述，通过在即使混合了非rap样本的情况下仍将样本视为v
‑
pcc内容的rap并针对非rap样本从下一rap中获得影片可以实现随机访问。同样，通过这样的配置，与修改1的情况相比，可以被指定为v
‑
pcc内容的rap的上限可以增加，并且因此v
‑
pcc内容的rap增加。因此，可以改善随机访问，并且可以提供满足观看者的需求的观看体验。
[0143]
3.第三实施方式
[0144]
接下来，将描述第三实施方式。根据本实施方式的文件生成设备与第一实施方式和第二实施方式的不同之处在于：没有限制作为各个分量流的rap的样本的dts被匹配。注意，根据本实施方式的文件生成设备1和客户端设备2也由图2和图5的框图表示。在下面的描述中，将省略对与第一实施方式的每个单元的功能相似的每个单元的功能的描述。
[0145]
根据本实施方式的文件生成设备1的编码单元103在作为各个分量流的rap的样本的dts可以不同的条件下执行编码。也就是说，编码单元103以对于每个分量流最佳的编码结构来执行编码。在这种情况下，存在作为各个分量流中的rap的样本的dts不匹配的情况。
[0146]
编码单元103例如对如图15中所示的每个分量进行编码。图15是示出第三实施方式中的编码状态的图。在图15中，阴影样本表示同步样本的rap，而实心样本表示开放式随机访问样本的rap。例如，在样本组501和样本组502中，作为属性流的rap的样本的dts不匹配。
[0147]
文件生成单元105指定各个分量流中具有时间上紧邻的dts的rap。在时间上临近是指在特定范围内——诸如，例如在三个样本内——的dts处存在rap的情况。在存在其中不存在具有时间上紧邻的dst的rap的分量流的情况下，文件生成单元105确定该分量流不存在rap。然后，文件生成单元105将v
‑
pcc内容的rap设置为元数据的内容流的rap。接下来，文件生成单元105将表示v
‑
pcc内容的rap的元数据的内容流的rap的dst设置为参考，并且获得偏离上述dst的分量流的rap的dts的偏移值。然后，文件生成单元105新生成用于存储v
‑
pcc内容的rap信息的vpccrapinfobox。文件生成单元105还在新生成的vpccrapinfobox中存储各个分量流的rap的dts是否匹配的信息。然后，对于rap的dts不匹配的分量流，存储基于元数据的内容流的rap的dts的偏移值。
[0148]
图16是示出其中存储了根据第三实施方式的v
‑
pcc内容的rap信息的语法的示例的图。文件生成单元105生成存储例如图16中所示的语法510的新的vpccrapinfobox。文件生成单元105通过将语法510中的is_dts_aligned的值设置为1来指示分量流的rap的dts与元数据的分量流的rap的dts匹配。另外，文件生成单元105通过将语法510中的is_dts_aligned的值设置为0来指示分量流的rap的dts与元数据流的rap的dts不同。然后，文件生成单元105基于元数据的分量流的rap的dts通过语法510的sample_offset来给出偏移值。
[0149]
此处，尽管在本实施方式中设置了样本的数目的偏移，但是在与元数据的分量流的rap的dts不同的dts处显示具有rap的分量流的rap的位置的方法不限于此。例如，文件生成单元105可以省略语法510的sample_offset，并且按距离指定用于对各个分量流的rap进行解码的编码开始位置。在这种情况下，客户端设备2在解码后对t元数据的rap的cts处的点云进行配置。
[0150]
另外，文件生成单元105可以在语法510中另外设置图14中所示的第二实施方式的修改3中的is_decode_optional。在这种情况下，客户端设备2等待没有被解码的分量流的下一个rap，并从该点开始对分量流进行解码。
[0151]
文件生成单元105还指定如何处理语法460中不存在rap的情况。
[0152]
如上所述，根据本实施方式的文件生成设备通过以对于每个分量最优的编码结构进行编码并且设置距参考位置的偏移值来实现随机访问。结果，可以在提高编码效率的同时容易地提供满足观看者需求的观看体验。
[0153]
4.第四实施方式
[0154]
接下来，将描述第四实施方式。根据本实施方式的文件生成设备1和客户端设备2也由图2和图5的框图表示。在下面的描述中，将省略对与第一实施方式的每个单元的功能相似的每个单元的功能的描述。
[0155]
文件生成单元105可以生成用于解码包括rap的各个分量流的样本所需的样本总数，并将该数目存储在isobmff文件中。图17是示出其中存储了根据第四实施方式的v
‑
pcc内容的rap信息的语法的示例的图。文件生成单元105在新生成的vpccrapinfobox中登记total_distance，该total_distance指示为了解码包括rap的各个分量流的样本而需要被另外解码的样本的总数。该total_distance由内容的创建者提供。该total_distance是关于执行随机访问的处理的难易度的索引。该total_distance越小，处理就越容易。
[0156]
客户端设备2的文件处理单元221从vpccrapinfobox获取total_distance。然后，在将预定时间指定为随机访问的时间的情况下，文件处理单元221检测如下rap：其dts接近该时间，并且通过该rap，v
‑
pcc内容中包括的分量流的解码处理是容易的。
[0157]
如上所述，根据本实施方式的文件生成设备登记关于执行随机访问的处理的难易度的索引。结果，客户端设备可以容易地指定通过其易于解码的rap、减少处理以及从而容易地提供满足观看者需求的观看体验。
[0158]
5.第五实施方式
[0159]
接下来，将描述第五实施方式。根据本实施方式的文件生成设备1和客户端设备2也由图2和图5的框图表示。在下面的描述中，将省略对与第一实施方式的每个单元的功能相似的每个单元的功能的描述。
[0160]
根据本实施方式的文件生成单元105使用替选轨道。替选轨道是对每个分量的轨道可替选的轨道，并且可以用于相似的用途，但也可以用于另外的目的。替选轨道保持与每个分量流的轨道的信息相同的信息，但是具有不同的编解码器。文件生成单元105在替选轨道中存储可以以共享方式在所有分量流的轨道的组合中使用的v
‑
pcc内容的rap信息。替选地，文件生成单元105在替选轨道中存储对于轨道的每个组合不同的v
‑
pcc内容的rap信息。结果，客户端设备2的文件处理单元221可以通过参考替选轨道来获取与要使用的分量流的轨道的组合对应的v
‑
pcc内容的rap信息。客户端设备2可以使用由文件处理单元221指定的
v
‑
pcc内容的rap来执行随机访问。
[0161]
尽管上面已经描述了本公开内容的实施方式，但是本公开内容的技术范围不限于上述实施方式本身，而是可以在不偏离本公开内容的主旨的情况下进行各种修改。另外，可以适当地组合不同实施方式和修改的组成部分。
[0162]
注意，本文中描述的效果仅是示例并因此不受限制。也可以包括其他效果。
[0163]
注意，本技术可以采用如下配置。
[0164]
(1)一种信息处理设备，包括：
[0165]
数据获取单元，其获取包括多个分量流的内容；以及
[0166]
文件生成单元，其基于由所述数据获取单元获取的所述内容的所述分量流的随机访问点来生成指示所述内容的随机访问点的内容rap信息。
[0167]
(2)根据项(1)所述的信息处理设备，其中，所述文件生成单元生成内容文件，在所述内容文件中，所述内容rap信息被存储在所述文件的元数据区域中。
[0168]
(3)根据项(2)所述的信息处理设备，
[0169]
其中，所述内容是v
‑
pcc内容，以及
[0170]
所述内容文件是符合isobmff的文件。
[0171]
(4)根据项(3)所述的信息处理设备，
[0172]
其中，所述分量流被编码以使得每个分量流的随机访问点处的cts相同，以及
[0173]
所述文件生成单元还存储关于在所述各个分量流的所述随机访问点处具有相同dts的随机访问点的信息作为所述内容rap信息。
[0174]
(5)根据项(4)所述的信息处理设备，还包括：
[0175]
编码单元，其通过编码以使得在所有所述分量流中所述随机访问点中的每一个都具有相同的dts来生成所述分量流，
[0176]
其中，所述文件生成单元还存储标识信息作为所述内容rap信息，所述标识信息指示各个分量流的所述随机访问点处的cts相同并且各个分量流的所述随机访问点处的dts也相同。
[0177]
(6)根据项(4)或(5)所述的信息处理设备，其中，所述内容rap信息作为元数据分量流的随机访问点信息被存储。
[0178]
(7)根据项(3)所述的信息处理设备，
[0179]
其中，所述内容包括作为所述分量流的包括在点云帧中的多个分量流，以及
[0180]
在所述点云帧中包括的各个分量流的样本的dts相匹配的情况下，所述文件生成单元生成指示已被编码的分量流都具有随机访问点的第一位置为所述内容的随机访问点的所述内容rap信息，并且存储已在添加到所述内容文件的新的box中生成的所述内容rap信息。
[0181]
(8)根据项(7)所述的信息处理设备，其中，所述文件生成单元生成指示除了所述第一位置之外已被编码的分量流中的每个分量流的一部分不是随机访问点的第二位置也是所述内容的随机访问点的所述内容rap信息，并且存储已在所述新的box中生成的内容rap信息。
[0182]
(9)根据项(8)所述的信息处理设备，
[0183]
其中，所述文件生成单元在所述新的box中存储指示用于对所述第二位置处的样
本不是所述随机访问点的分量流进行解码的解码开始位置的信息。
[0184]
(10)根据项(8)或(9)所述的信息处理设备，其中，在编码后的各个分量流的样本的dts不匹配的情况下，所述文件生成单元通过在所述新的box中存储指示所述分量流中的每个分量流的样本中的作为所述内容的随机访问点的样本的位置的信息来生成所述内容rap信息。
[0185]
(11)根据项(10)所述的信息处理设备，其中，所述文件生成单元通过在所述新的box中存储用于对所述内容的随机访问点进行解码的所述分量流中的每个分量流的样本的总数来生成所述内容rap信息。
[0186]
(12)根据项(8)至(11)中的任一项所述的信息处理设备，其中，所述文件生成单元在所述新的box中存储标志，该标志指示是否能够在不对所述第二位置处的样本不是所述随机访问点的分量流进行解码的情况下创建点云。
[0187]
(13)一种用于使计算机执行处理的信息处理方法，包括以下步骤：
[0188]
获取包括多个分量流的内容；以及
[0189]
基于已经获取的内容的分量流的随机访问点信息，新生成指示所述内容的随机访问点的内容rap信息以作为元数据。
[0190]
(14)一种再现处理设备，包括：
[0191]
文件获取单元，其接收包括多个分量流的内容的信息；
[0192]
文件处理单元，其从已经由所述文件获取单元接收的所述内容的信息中获取指示所述内容的随机访问点的内容rap信息，并根据所述内容rap信息指定所述分量流中的每个分量流的随机访问点；以及
[0193]
显示信息生成单元，其从由所述文件处理单元指定的所述分量流中的每个分量流的随机访问点再现所述内容。
[0194]
(15)一种再现处理方法，使计算机执行包括以下步骤的处理：
[0195]
接收包括多个分量流的内容的信息；
[0196]
从所述内容的信息中获取指示所述内容的随机访问点的内容rap信息；
[0197]
基于已经获取的所述内容rap信息，指定所述分量流中的每个分量流的随机访问点；以及
[0198]
从已经指定的所述分量流中的每个分量流的随机访问点再现所述内容。
[0199]
附图标记列表
[0200]
1 文件生成设备
[0201]
2 客户端设备
[0202]
3 web服务器
[0203]
10 生成处理单元
[0204]
11 控制单元
[0205]
20 再现处理单元
[0206]
21 控制单元
[0207]
101 数据获取单元
[0208]
102 转换单元
[0209]
103 编码单元
[0210]
104 流生成单元
[0211]
105 文件生成单元
[0212]
106 传输单元
[0213]
201 文件获取单元
[0214]
202 数据分析和解码单元
[0215]
203 显示单元
[0216]
221 文件处理单元
[0217]
222 解码处理单元
[0218]
223 显示信息生成单元