信息处理装置和信息处理方法与流程

信息处理装置和信息处理方法
1.本技术是分案申请，其母案申请的申请号为2015800269311，申请日 为2015年5月22日，发明名称为“信息处理装置和信息处理方法”。
技术领域
2.本公开涉及信息处理装置和信息处理方法，并且更具体地，涉及能够 提高在多种类型的音频数据之中获取预定类型的音频数据的效率的信息 处理装置和信息处理方法。


背景技术：

3.最近最流行的流传输服务之一是经由互联网的互联网视频(ott-v)。 通过http的运动图像专家组相位动态自适应流传输(mpeg-dash)被 广泛用作其底层技术(参见，例如非专利文献1)。
4.在mpeg-dash中，传送服务器为一个视频内容项准备具有不同屏 幕尺寸和编码率的一组视频数据，并且播放终端根据传输线路条件请求具 有最佳屏幕尺寸和编码率的一组视频数据，因此实现自适应流传送。
5.引用文献列表
6.非专利文献
7.非专利文献1：mpeg-dash(通过http的动态自适应流传输) (url:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-de scription-and-segment-formats/text-isoiec-23009-12012-dam-1)


技术实现要素：

8.本发明要解决的问题
9.然而，没有考虑到提高在视频内容的多种类型的音频数据之中获取预 定类型的音频数据的效率。
10.本公开鉴于上述情况而做出并能够提高在多种类型的音频数据之中 获取预定类型的音频数据的效率。
11.问题的解决方案
12.根据本公开的第一方面的信息处理装置为包括获取单元的信息处理 装置，该获取单元获取文件的预定轨道中的音频数据，其中，多种类型的 音频数据根据类型被划分为多个轨道并且该轨道被布置。
13.根据本公开的第一方面的信息处理方法对应于根据本公开的第一方 面的信息处理装置。
14.在本公开的第一方面，获取文件中的预定轨道的音频数据，其中，多 种类型的音频数据根据被布置的类型和轨道被划分为多个轨道。
15.根据本公开的第二方面的信息处理装置为包括生成单元的信息处理 装置，该生成单元生成多种类型的音频数据根据被布置的类型和轨道被划 分为多个轨道的文件。
16.根据本公开的第二方面的信息处理方法对应于根据本公开的第二方 面的信息处理装置。
17.在本公开的第二方面，生成多种类型的音频数据根据被布置的类型和 轨道被划分为多个轨道的文件。
18.应指出，根据第一方面和第二方面的信息处理装置可以通过促使计算 机执行程序来实施。
19.此外，为了实现根据第一方面和第二方面的信息处理装置，由计算机 执行的程序可以经由传输介质通过传送程序或通过在记录介质中记录程 序来提供。
20.本发明的效果
21.根据本公开的第一方面，可以获取音频数据。此外，根据本公开的第 一方面，多种类型的音频数据之中的特定类型的音频数据可以被高效获 取。
22.根据本公开的第二方面，可以生成文件。此外，根据本公开的第二方 面，可以生成提高获取多种类型的音频数据之中的特定类型的音频数据的 效率的文件。
附图说明
23.图1为示出应用本公开的信息处理系统的第一示例的概述的示意图。
24.图2为示出文件的示例的示意图。
25.图3为示出对象的示意图。
26.图4为示出对象位置信息的示意图。
27.图5为示出图像帧尺寸信息的示意图。
28.图6为示出mpd文件的结构的示意图。
29.图7为示出在“period”、“representation”和“segment”之间的关系的示 意图。
30.图8为示出mpd文件的分层结构的示意图。
31.图9为示出在mpd文件的结构和时间轴之间的关系的示意图。
32.图10为示出mpd文件的示例性描述的示意图。
33.图11为示出文件生成装置的配置示例的框图。
34.图12为示出文件生成装置的文件生成过程的流程图。
35.图13为示出流播放单元的配置示例的框图。
36.图14为示出流播放单元的流播放过程的流程图。
37.图15为示出mpd文件的示例性描述的示意图。
38.图16为示出mpd文件的另一示例性描述的示意图。
39.图17为示出音频流的布置示例的示意图。
40.图18为示出gsix的示例性描述的示意图。
41.图19为示出指示在样本组条目和对象id之间的对应关系的信息的示 例的示意图。
42.图20为示出audioobjectsamplegroupentry的示例性描述的示意图。
43.图21为示出类型分配盒的示例性描述的示意图。
44.图22为示出应用本公开的信息处理系统的第二示例的概述的示意图。
45.图23为示出应用本公开的信息处理系统的流播放单元的配置示例的 框图。
46.图24为示出确定对象的位置的方法的示意图。
47.图25为示出确定对象的位置的方法的示意图。
48.图26为示出确定对象的位置的方法的示意图。
49.图27为示出在水平角θ
ai
和水平角θ
ai
'之间的关系的示意图。
50.图28为示出在图23中示出的流播放单元的流播放过程的流程图。
51.图29为示出在图28中示出的位置确定过程的细节的流程图。
52.图30为示出在图29中示出的水平角θ
ai
'估算过程的细节的流程图。
53.图31为示出mp4的3d音频文件格式的轨道的概述的示意图。
54.图32为示出moov盒的结构的示意图。
55.图33为示出根据应用本公开的第一实施例的轨道的概述的示意图。
56.图34为示出在图33中示出的基本轨道的样本条目的示例性语法的示 意图。
57.图35为示出在图33中示出的声道轨道的样本条目的示例性语法的示 意图。
58.图36为示出在图33中示出的对象音频轨道的样本条目的示例性语法 的示意图。
59.图37为示出在图33中示出的hoa音频轨道的样本条目的示例性语 法的示意图。
60.图38为示出在图33中示出的对象元数据轨道的样本条目的示例性语 法的示意图。
61.图39为示出片段结构的第一示例的示意图。
62.图40为示出片段结构的第二示例的示意图。
63.图41为示出级别分配盒的示例性描述的示意图。
64.图42为示出在应用本公开的第一实施例中的mdf文件的示例性描述 的示意图。
65.图43为基本属性的定义的示意图。
66.图44为示出在应用本公开的第一实施例中的信息处理系统的概述的 示意图。
67.图45为示出在图44中示出的文件生成装置的配置示例的框图。
68.图46为示出在图45中示出的文件生成装置的文件生成过程的流程 图。
69.图47为示出由在图44中示出的视频播放终端实施的流播放单元的配 置示例的框图。
70.图48为示出在图47中示出的流播放单元的声道音频播放过程的流程 图。
71.图49为示出在图47中示出的流播放单元的对象指定过程的流程图。
72.图50为示出在图47中示出的流播放单元的指定对象音频播放过程的 流程图。
73.图51为示出在应用本公开的第二实施例中的轨道的概述的示意图。
74.图52为示出在图51中示出的基本轨道的样本条目的示例性语法的示 意图。
75.图53为示出基本样本的结构的示意图。
76.图54为示出基本样本的示例性语法的示意图。
77.图55为示出提取器的数据的示例的示意图。
78.图56为示出在应用本公开的第三实施例中的轨道的概述的示意图。
79.图57为示出在应用本公开的第四实施例中的轨道的概述的示意图。
80.图58为示出在应用本公开的第四实施例中的mdf文件的示例性描述 的示意图。
81.图59为示出在应用本公开的第四实施例中的信息处理系统的概述的 示意图。
82.图60为示出在图59中示出的文件生成装置的配置示例的框图。
83.图61为示出在图60中示出的文件生成装置的文件生成过程的流程 图。
84.图62为示出由在图59中示出的视频播放终端实施的流播放单元的配 置示例的框图。
85.图63为示出在图62中示出的流播放单元的声道音频播放过程的示例 的流程图。
86.图64为示出在图62中示出的流播放单元的对象音频播放过程的第一 示例的流程图。
87.图65为示出在图62中示出的流播放单元的对象音频播放过程的第二 示例的流程图。
88.图66为示出在图62中示出的流播放单元的对象音频播放过程的第三 示例的流程图。
89.图67为示出基于优先级选择的对象的示例的示意图。
90.图68为示出在应用本公开的第五实施例中的轨道的概述的示意图。
91.图69为示出在应用本公开的第六实施例中的轨道的概述的示意图。
92.图70为示出3d音频的分层结构的示意图。
93.图71为示出web服务器过程的第一示例的示意图。
94.图72为示出web服务器的轨道划分过程的流程图。
95.图73为示出音频解码处理单元的过程的第一示例的示意图。
96.图74为示出音频解码处理单元的解码过程的第一示例的细节的流程 图。
97.图75为示出音频解码处理单元的过程的第二示例的示意图。
98.图76为示出音频解码处理单元的解码过程的第二示例的细节的流程 图。
99.图77为示出web服务器过程的第二示例的示意图。
100.图78为示出音频解码处理单元的过程的第三示例的示意图。
101.图79为示出音频解码处理单元的解码过程的第三示例的细节的流程 图。
102.图80为示出被设置在基本样本中的配置信息的语法的第二示例的示 意图。
103.图81为用于在图80中示出的ext元件的配置信息的示例性语法。
104.图82为示出用于在图81中示出的提取器的配置信息的示例性语法的 示意图。
105.图83为示出被设置在基本样本中的帧单元的数据语法的第二示例的 示意图。
106.图84为示出在图83中示出的提取器的示例性数据语法的示意图。
107.图85为示出被设置在基本样本中的配置信息的语法的第三示例的示 意图。
108.图86为示出被设置在基本样本中的帧单元的数据语法的第三示例的 示意图。
109.图87为示出在应用本公开的信息处理系统的第七实施例中的音频流 的配置示例的示意图。
110.图88为示出在第七实施例中的轨道的概述的示意图。
111.图89为示出在第七实施例中的文件生成过程的流程图。
112.图90为示出在第七实施例中的音频播放过程的流程图。
113.图91为示出应用本公开的信息处理系统的第八实施例中的轨道的概 述的示意图。
114.图92为示出音频文件的配置示例的示意图。
115.图93为示出音频文件的另一配置示例的示意图。
116.图94为示出音频文件的又一配置示例的示意图。
117.图95为示出计算机的硬件的配置示例的框图。
具体实施方式
118.用于实施本公开的模式(在下文中，称为实施例)将在下面按以下顺 序描述。
119.0.本公开的预述(图1至30)
120.1.第一实施例(图31至50)
121.2.第二实施例(图51至55)
122.3.第三实施例(图56)
123.4.第四实施例(图57至67)
124.5.第五实施例(图68)
125.6.第六实施例(图69)
126.7.3d音频的分层结构的说明(图70)
127.8.web服务器过程的第一示例的说明(图71和72)
128.9.音频解码处理单元的过程的第一示例的说明(图73和74)
129.10.音频解码处理单元的过程的第二示例的说明(图75和76)
130.11.web服务器过程的第二示例的说明(图77)
131.12.音频解码处理单元的过程的第三示例的说明(图78和79)
132.13.基本样本的语法的第二示例(图80至84)
133.14.基本样本的语法的第三示例(图85和86)
134.15.第七实施例(图87至90)
135.16.第八实施例(图91至94)
136.17.第九实施例(图95)
137.《本公开的预述》
138.(信息处理系统的第一示例的概述)
139.图1为示出应用本公开的信息处理系统的第一示例的概述的示意 图。
140.如图1所示的信息处理系统10具有一配置，其中web服务器12(其 被连接到文件生成装置11)以及视频播放终端14经由互联网13连接。
141.在信息处理系统10中，web服务器12通过兼容mpeg-dash的方 法向视频播放终端14传送以瓦片(tile)为单位的视频内容的图像数据(瓦 片流传输)。
142.具体地，文件生成装置11获取视频内容的图像数据并以瓦片为单位 编码图像数据以生成视频流。文件生成装置11将每个瓦片的视频流处理 为时间间隔从几秒到约十秒的文件格式，该文件格式被称为片段。文件生 成装置11向web服务器12上传所得的每个瓦片的图像文件。
143.此外，文件生成装置11获取每个对象的视频内容的音频数据(后面 详细描述)并以对象为单位编码图像数据以生成音频流。文件生成装置11 将每个对象的音频流处理为以片段为单位的文件格式，并向web服务器 12上传所得的每个对象的音频文件。
144.应指出，每个对象为声音源。每个对象的音频数据通过附接到该对象 的麦克风或类似装置来获取。该对象可为诸如固定麦克风支架的物体或可 为诸如人的移动体。
145.文件生成装置11编码音频元数据，该音频元数据包含指示每个对象 的位置(获取音频数据的位置)的对象位置信息(音频位置信息)和作为 对象的唯一id的对象id。文件生成装置11将通过编码音频元数据所获 得的编码数据处理为以片段为单位的文件格式，并向web服务器12上传 所得的音频元文件。
146.此外，文件生成装置11生成媒体表示描述(mpd)文件(控制信息)， 其管理图像文件和音频文件并包含指示视频内容的图像的帧尺寸的图像 帧尺寸信息和指示图像上的每个瓦片的位置的位置信息。文件生成装置11 向web服务器12上传mpd文件。
147.web服务器12存储图像文件、音频文件、音频元文件和从文件生成 装置11上传的mpd文件。
148.在如图1所示的示例中，web服务器12存储由瓦片id为“1”的瓦片 的图像文件组成的多个片段的片段组和由瓦片id为“2”的瓦片的图像文件 组成的多个片段的片段组。web服务器12也存储由对象id为“1”的对象 的音频文件组成的多个片段的片段组和由对象id为“2”的对象的音频文件 组成的多个片段的片段组。虽然未示出，但是也类似地存储由音频元文件 组成的片段组。
149.应指出，瓦片id为i的文件在下文中被称为“瓦片#i”，以及对象id 为i的对象在下文中被称为“对象#i”。
150.web服务器12充当发送器并响应于来自视频播放终端14的请求向视 频播放终端14发送所存储的图像文件、音频文件、音频元文件、mpd文 件等。
151.视频播放终端14执行例如用于控制流传输数据的软件21(在下文中 被称为控制软件)、视频播放软件22和用于超文本传输协议(http)访 问的客户端软件23(在下文中被称为访问软件)。
152.控制软件21为控制经由流传输从web服务器12递送的数据的软件。 具体地，控制软件21允许视频播放终端14从web服务器12获取mpd 文件。
153.此外，控制软件21基于显示区域和被包含在mpd文件中的瓦片位置 信息来指定在显示区域中的瓦片，该显示区域为在图像中的区域，用于显 示由视频播放软件22指示的视频内容。控制软件21命令访问软件23发 出发送指定瓦片的图像文件的请求。
154.此外，控制软件21命令访问软件23发出发送音频元文件的请求。控 制软件21基于显示区域、被包含在mpd文件中的图像帧尺寸信息和被包 含在音频元文件中的对象位置信息来指定对应于在该显示区域中的图像 的对象。控制软件21命令访问软件23发出发送指定对象的音频文件的请 求。
155.视频播放软件22为播放从web服务器12获取的图像文件和音频文 件的软件。具体地，在使用者指定显示区域时，视频播放软件22向控制 软件21指示该指定的显示区域。视频播放软件22响应于该指示来解码从 web服务器12获取的图像文件和音频文件，并且视频播放软件22合成并 输出所解码的文件。
156.访问软件23为控制使用http经由互联网13与web服务器12通信 的软件。具体地，访问软件23允许视频播放终端14响应于控制软件21 的指令发送请求发送图像文件、音频文件和音频元文件的请求。此外，访 问软件23允许视频播放终端14响应于该发送请求接收从web服务器12 所发送的图像文件、音频文件和音频元文件。
157.(瓦片的示例)
158.图2为示出瓦片的示例的示意图。
159.如图2所示，视频内容的图像被划分为多个瓦片。作为从1开始的顺 序号的瓦片id被分配给每个瓦片。在图2所示的示例中，视频内容的图 像被划分为四个瓦片#1至#4。
160.(对象的解释)
161.图3为示出对象的示意图。
162.图3的示例示出获取图像中的八个音频对象作为视频内容的音频。作 为从1开始的顺序号的对象id被分配给每个对象。对象#1至#5为移动体， 以及对象#6至#8为固定物体。此外，在图3的示例中，视频内容的图像 被划分为7(宽度)
×
5(高度)个瓦片。
163.在此情况下，如图3所示，在使用者指定由3(宽度)
×
2(高度)个 瓦片组成的显示区域31时，显示区域31仅包含对象#1、#2和#6。因此， 视频播放终端14仅从web服务器12获取例如对象#1、#2和#6的音频文 件并播放。
164.在显示区域31中的对象可基于图像帧尺寸信息和对象位置信息来指 定，如下所述。
165.(对象位置信息的解释)
166.图4为示出对象位置信息的示意图。
167.如图4所示，对象位置信息包含对象40的水平角θa(-180
°
≤θa≤180
°
)、 垂直角γa(-90
°
≤γa≤90
°
)和距离ra(0《ra)。例如在以下设置时，水平角θa 为由连接对象40和原点o的直线与yz平面形成的在水平方向的角度： 图像的中心的拍摄位置可被设置为原点(基点)o；图像的水平方向被设 置为x方向；图像的垂直方向被设置为y方向；以及垂直于xy平面的 深度方向被设置为z方向。垂直角γa为由连接对象40和原点o的直线与 xz平面所形成的在垂直方向的角度。距离ra为在对象40和原点o之间 的距离。
168.此外，在本文中，假设向左和上旋转的角度被设置为正的角度，以及 向右和下旋转的角度被设置为负的角度。
169.(图像帧尺寸信息的解释)
170.图5为示出图像帧尺寸信息的示意图。
171.如图5所示，图像帧尺寸信息包含在图像帧中的左端的水平角θ
v1
、 右端的水平角θ
v2
、上端的垂直角γ
v1
、下端的垂直角γ
v2
以及距离rv。
172.例如在图像的中心的拍摄位置被设置为原点o；图像的水平方向被设 置为x方向；图像的垂直方向被设置为y方向；以及垂直于xy平面的 深度方向被设置为z方向时，水平角θ
v1
为连接图像帧的左端和原点o的 直线与yz平面形成的在水平方向的角度。水平角θ
v2
为连接图像帧的右 端和原点o的直线与yz平面所形成的在水平方向的角度。因此，通过组 合水平角θ
v1
和水平角θ
v2
获得的角度为水平视角。
173.垂直角γ
v1
为xz平面与连接图像帧的上端以及原点o的直线形成的 角度，以及垂直角γ
v2
为由xz平面与连接图像帧的下端以及原点o的直 线形成的角度。通过组合垂直角γ
v1
和γ
v2
获得的角度变为垂直视角。距离 rv为在原点o和图像平面之间的距离。
174.如上所述，对象位置信息表示对象40和原点o之间的位置关系，以 及图像帧尺寸信息表示图像帧和原点o之间的位置关系。因此，基于对象 位置信息和图像帧尺寸信息检测(识别)每个对象在图像上的位置是可能 的。因此，指定在显示区域31中的对象是可能的。
175.(mpd文件的结构的说明)
176.图6为示出mpd文件的结构的示意图。
177.在mpd文件的分析(解析)中，视频播放终端14从被包含在mpd 文件的“period”(“周期”)中的“representation”(“表示”)的属性之中选择 最佳属性(在图6中的media presentation(“媒体展示”))。
178.通过参考在所选的“representation”(表示)的头部的“initializationsegment”(“初始化片段”)的统一资源定位符(url)等，视频播放终端 14获取文件并处理所获取的文件。接着，通过参考后续“media segment
”ꢀ
(“媒体片段”)的url等，视频播放终端14获取文件并播放所获取的文 件。
179.应指出，在mpd文件中，在period”(周期)、“representation”(表 示)和“segment”(“片段”)之间的关系变为如图7所示。换句话说，单个 视频内容项可通过period”(周期)而以比片段更长的时间单位来被管理， 并且可以由每个period”(周期)中通过“segment”(“片段”)而以片段为 单位来被管理。此外，在每个period”(周期)中，可以通过“representation
”ꢀ
(表示)以流属性为单位来管理视频内容。
180.因此，mpd文件具有如图8所示的从period”(周期)开始的分层结 构。此外，被布置在时间轴上的mpd文件的结构变为如图9所示的配置。 从图9可以清楚看出，在相同片段中存在多个“representation”(表示)元 素。视频播放终端14从这些元素之中自适应地选择任一个，并因此可以 在由使用者所选的显示区域中获取图像文件和音频文件并播放所获取的 文件。
181.(mpd文件的描述的解释)
182.图10为示出mpd文件的描述的示意图。
183.如上所述，在信息处理系统10中，图像帧尺寸信息被包含在mpd文 件中以允许在显示区域中的对象由视频播放终端14指定。如图10所示， 用于定义新的图像帧尺寸信息(视度)的方案 (urn:mpeg:dash:viewingangle:2013)通过利用viewpoint(视点)的 descriptortype元素来扩展，并因此图像帧尺寸信息被布置在用于音频的
ꢀ“
adaptation set”(“自适应集”)中和用于图像的“adaptation set”(“自适应 集”)中。图像帧尺寸信息可只被布置在用于图像的“adaptation set”(“自 适应集”)中。
184.此外，用于音频元文件的“representation”(“表示”)在用于mpd文 件的音频的“adaptation set”(“自适应集”)中描述。作为用于指定音频元 文件(audiometadata.mp4)的信息的url等在“representation”(“表示”) 的“segment”(“片段”)中描述。在此情况下，描述了要在“片段”中指定的 文件为利用role(角色)元素的音频元文件(objectaudiometadata)。
185.用于每个对象的音频元文件的“representation”(“表示”)也在用于 mpd文件的音频的“adaptation set”(“自适应集”)中描述。作为用于指定 每个对象的音频文件(audioobje1.mp4，audioobje5.mp4)的信息的url 等在“representation”(“表示”)的“segment”(“片段”)中描述。在此情况 下，对应于音频文件的对象的对象id(1和5)也通过扩展的viewpoint (视点)来描述。
186.应指出，虽然未示出，瓦片位置信息被布置在用于图像的“adaptationset”(“自适应集”)中。
187.(文件生成装置的配置示例)
188.图11为示出在图1中示出的文件生成装置11的配置示例的框图。
189.如图11所示的文件生成装置11包括屏幕拆分处理单元51、图像编码 处理单元52、图像文件生成单元53、图像信息生成单元54、音频编码处 理单元55、音频文件生成单元56、mpd生成单元57和服务器上传处理 单元58。
190.文件生成装置11的屏幕拆分处理单元51将从外面输入的视频内容的 图像数据拆分为瓦片单元。屏幕拆分处理单元51向图像信息生成单元54 提供瓦片位置信息。此外，屏幕拆分处理单元51向图像编码处理单元提 供以瓦片为单位配置的图像数据。
191.图像编码处理单元52针对每个瓦片对(以瓦片为单位来配置并从屏 幕拆分处理单元51提供的)图像数据进行编码以生成视频流。图像编码 处理单元52向图像文件生成单元53提供每个瓦片的视频流。
192.图像文件生成单元53将从图像编码处理单元52提供的每个瓦片的视 频流处理为以片段为单位的文件格式并向mpd生成单元57提供所得的每 个瓦片的图像文件。
193.图像信息生成单元54向mpd生成单元57提供从屏幕拆分处理单元 51所提供的瓦片位置信息和作为图像信息的从外面输入的图像帧尺寸信 息。
194.音频编码处理单元55针对每个对象，编码音频数据并生成音频流， 该音频数据被配置成以从外面输入的视频内容的对象为单位。此外，音频 编码处理单元55编码从外面输入的每个对象的对象位置信息和包含对象 id等的音频元数据以生成编码数据。音频编码处理单元55向音频文件生 成单元56提供每个对象的音频流和音频元数据的编码数据。
195.音频文件生成单元56充当音频文件生成单元，将从音频编码处理单 元55提供的每个对象的音频流处理为以片段为单位的文件格式并向mpd 生成单元57提供所得的每个对象的音频文件。
196.此外，音频文件生成单元56充当元文件生成单元，将从音频编码处 理单元55提供的音频元数据的编码数据处理为以片段为单位的文件格式 并向mpd生成单元57提供所得的音频元文件。
197.mpd生成单元57确定用于存储从图像文件生成单元53提供的每个 瓦片的图像文件的web服务器12的url等。此外，mpd生成单元57 确定用于存储从音频文件生成单元56提供的每个对象的音频文件和音频 元文件的web服务器12的url等。
198.mpd生成单元57在用于mpd文件的图像的“adaptation set”(“自适 应集”)中布置从图像信息生成单元54提供的图像信息。此外，mpd生 成单元57在用于mpd文件的音频的“adaptation set”(“自适应集”)中布 置图像信息块之中的图像帧尺寸信息。mpd生成单元57在用于瓦片的图 像文件的“representation”(“表示”)的“segment”(“片段”)中布置每个瓦 片的图像文件的url等。
199.mpd生成单元57在用于对象的音频文件的“representation”(“表示”) 的“segment”(“片段”)中布置每个对象的音频文件的url等。此外，mpd 生成单元57充当信息生成单元并在用于音频元文件的“representation
”ꢀ
(“表示”)的“segment”(“片段”)中布置url等作为用于指定音频元文 件的信息。mpd生成单元57向服务器上传处理单元58提供mpd文件、 图像文件、音频文件和音频元文件，其中在mpd文件中，各种类型的信 息如上所述进行布置。
200.服务器上传处理单元58向web服务器12上传从mpd生成单元57 提供的每个瓦片的图像文件、每个对象的音频文件、音频元文件和mpd 文件。
201.(文件生成装置的过程的说明)
202.图12为示出在图11中示出的文件生成装置11的文件生成过程的流 程图。
203.在图12的步骤s11中，文件生成装置11的屏幕拆分处理单元51将 从外面输入的视频内容的图像数据拆分为瓦片单元。屏幕拆分处理单元51 向图像信息生成单元54提供瓦片位置信息。此外，屏幕拆分处理单元51 向图像编码处理单元52提供以瓦片为单位配置的图像数据。
204.在步骤s12中，图像编码处理单元52针对每个瓦片对从屏幕拆分处 理单元51提供的以瓦片为单位配置的图像数据进行编码，以生成每个瓦 片的视频流。图像编码处理单元52向图像文件生成单元53提供每个瓦片 的视频流。
205.在步骤s13中，图像文件生成单元53将从图像编码处理单元52提供 的每个瓦片的视频流处理为以片段为单位的文件格式以生成每个瓦片的 图像文件。图像文件生成单元53向mpd生成单元57提供每个瓦片的图 像文件。
206.在步骤s14中，图像信息生成单元54从外面获取图像帧尺寸信息。 在步骤s15中，图像信息生成单元54生成包含从屏幕拆分处理单元51提 供的瓦片位置信息和图像帧尺寸信息的图像信息，并向mpd生成单元57 提供图像信息。
207.在步骤s16中，音频编码处理单元55针对每个对象编码音频数据并 生成每个对象的音频流，其中该音频数据以从外面输入的视频内容的对象 为单位配置。此外，音频编码处理单元55编码从外面输入的每个对象的 对象位置信息和包含对象id的音频元数据以生成编码数据。音频编码处 理单元55向音频文件生成单元56提供每个对象的音频流和音频元数据的 编码数据。
208.在步骤s17中，音频文件生成单元56将从音频编码处理单元55提供 的每个对象的音频流处理为以片段为单位的文件格式以生成每个对象的 音频文件。此外，音频文件生成单元56将从音频编码处理单元55提供的 音频元数据的编码数据处理为以片段为单位的文件格式以生成音频元文 件。音频文件生成单元56向mpd生成单元57提供每个对象的音频文件 和音频元文件。
209.在步骤s18中，mpd生成单元57生成包含从图像信息生成单元54 提供的图像信息、每个文件的url等的mpd文件。mpd生成单元57向 服务器上传处理单元58提供mpd文件、每个瓦片的图像文件、每个对象 的音频文件和音频元文件。
210.在步骤s19中，服务器上传处理单元58向web服务器12上传从mpd 生成单元57提供的每个瓦片的图像文件、每个对象的音频文件、音频元 文件和mpd文件。接着该过程终止。
211.(视频播放终端的功能配置示例)
212.图13为示出流播放单元的配置示例的框图，该流播放单元以如图1 所示的视频播放终端14执行控制软件21、视频播放软件22和访问软件 23的方式实施。
213.如图13所示的流播放单元90包括mpd获取单元91、mpd处理单 元92、元文件获取单元93、音频选择单元94、音频文件获取单元95、音 频解码处理单元96、音频合成处理单元97、图像选择单元98、图像文件 获取单元99、图像解码处理单元100和图像合成处理单元101。
214.流播放单元90的mpd获取单元91充当接收器、从web服务器12 获取mpd文件并向mpd处理单元92提供该mpd文件。
215.mpd处理单元92从提供自mpd获取单元91的mpd文件提取信息 (诸如在用于音频元文件的“segment”(“片段”)中描述的url)，并向元 文件获取单元93提供所提取的信息。此外，mpd处理单元92从mpd文 件提取在用于图像的“adaptation set”(“自适应集”)中描述的图像帧尺寸 信息并向音频选择单元94提供所提取的信息。mpd处理单元92从mpd 文件提取信息(诸如在用于从音频选择单元94所请求的对象的音频文件 的segment”(“片段”)中描述的url)，并向音频选择单元94提供所提 取的信息。
216.mpd处理单元92从mpd文件提取在用于图像的“adaptation set”(“自 适应集”)中描述的瓦片位置信息并向图像选择单元98提供所提取的信息。 mpd处理单元92从mpd文件提取信息(诸如在用于从图像选择单元98 所请求的瓦片的图像文件的“segment”(“片段”)中描述的url)，并向图 像选择单元98提供所提取的信息。
217.基于信息(诸如从mpd处理单元92提供的url)，元文件获取单元 93请求web服务器12发送由该url指定的音频元文件，并获取该音频 元文件。元文件获取单元93向音频选择单元94提供被包含在该音频元文 件中的对象位置信息。
218.音频选择单元94充当位置确定单元并基于从mpd处理单元92提供 的图像帧尺寸信息和从元文件获取单元93提供的对象位置信息计算在图 像上的每个对象的位置。音频选择单元94基于在图像上的每个对象的位 置选择由使用者指定的显示区域中的对象。音频选择单元94请求mpd处 理单元92发送信息(诸如所选对象的音频文件的url)。音频选择单元 94响应于该请求，向音频文件获取单元95提供信息(诸如从mpd处理 单元92提供的url)。
219.音频文件获取单元95充当接收器。基于诸如从音频选择单元94提供 的url的信息，音频文件获取单元95请求web服务器12发送由url 指定并以对象为单位配置的音频文件，并获取该音频文件。音频文件获取 单元95向音频解码处理单元96提供所获取的以对象为单位的音频文件。
220.音频解码处理单元96解码被包含在从音频文件获取单元95提供并以 对象为单位配置的音频文件中的音频流，以生成以对象为单位的音频数 据。音频解码处理单元96向音频合成处理单元97提供以对象为单位的音 频数据。
221.音频合成处理单元97合成从音频解码处理单元96提供并以对象为单 位配置的音频数据并输出该合成数据。
222.图像选择单元98基于从mpd处理单元92提供的瓦片位置信息选择 由使用者指定的显示区域中的瓦片。图像选择单元98请求mpd处理单元 92发送诸如所选瓦片的图像文件的url的信息。图像选择单元98响应于 该请求，向图像文件获取单元99提供诸如从mpd处理单元92提供的url 的信息。
223.基于诸如从图像选择单元98提供的url的信息，图像文件获取单元 99请求web服务器12发送由url指定并以瓦片为单位配置的图像文件， 并获取该图像文件。图像文件获取单元99向图像解码处理单元100提供 所获取的以瓦片为单位的图像文件。
224.图像解码处理单元100解码视频流(该视频流被包含在从图像文件获 取单元99提供并以瓦片为单位配置的图像文件中)，以生成以瓦片为单位 的图像数据。图像解码处理
单元100向图像合成处理单元101提供以瓦片 为单位的图像数据。
225.图像合成处理单元101合成从图像解码处理单元100提供并以瓦片为 单位配置的图像数据并输出该合成数据。
226.(运动图像播放终端的过程的解释)
227.图14为示出视频播放终端14的流播放单元(图13)的流播放过程的 流程图。
228.在图14的步骤s31中，流播放单元90的mpd获取单元91从web 服务器12获取mpd文件并向mpd处理单元92提供该mpd文件。
229.在步骤s32中，mpd处理单元92从提供自mpd获取单元91的mpd 文件获取在用于图像的“adaptation set”(“自适应集”)中描述的图像帧尺 寸信息和瓦片位置信息。mpd处理单元92向音频选择单元94提供图像 帧尺寸信息并向图像选择单元98提供瓦片位置信息。此外，mpd处理单 元92提取诸如在用于音频元文件的“segment”(“片段”)中描述的url 的信息，并向元文件获取单元93提供所提取的信息。
230.在步骤s33中，基于诸如从mpd处理单元92提供的url的信息， 元文件获取单元93请求web服务器12发送由该url指定的音频元文件， 并获取该音频元文件。元文件获取单元93向音频选择单元94提供被包含 在该音频元文件中的对象位置信息。
231.在步骤s34中，音频选择单元94基于从mpd处理单元92提供的图 像帧尺寸信息和从元文件获取单元93提供的对象位置信息来选择由使用 者指定的在显示区域中的对象。音频选择单元94请求mpd处理单元92 发送诸如所选对象的音频文件的url的信息。
232.mpd处理单元92从mpd文件提取诸如在用于从音频选择单元94所 请求的对象的音频文件的“segment”(“片段”)中描述的url的信息，并 向音频选择单元94提供所提取的信息。音频选择单元94向音频文件获取 单元95提供诸如从mpd处理单元92提供的url的信息。
233.在步骤s35中，基于诸如从音频选择单元94提供的url的信息，音 频文件获取单元95请求web服务器12发送由该url指定的所选对象的 音频文件，并获取该音频文件。音频文件获取单元95向音频解码处理单 元96提供所获取的以对象为单位的音频文件。
234.在步骤s36中，图像选择单元98基于从mpd处理单元92提供的瓦 片位置信息选择由使用者指定的显示区域中的瓦片。图像选择单元98请 求mpd处理单元92发送诸如所选瓦片的图像文件的url的信息。
235.mpd处理单元92从mpd文件提取诸如在用于从图像选择单元98所 请求的对象的图像文件的“segment”(“片段”)中描述的url的信息，并 向图像选择单元98提供所提取的信息。图像选择单元98向图像文件获取 单元99提供诸如从mpd处理单元92提供的url的信息。
236.在步骤s37中，基于诸如从图像选择单元98提供的url的信息，图 像文件获取单元99请求web服务器12发送由该url指定的所选瓦片的 图像文件，并获取该图像文件。图像文件获取单元99向图像解码处理单 元100提供所获取的以瓦片为单位的图像文件。
237.在步骤s38中，音频解码处理单元96解码被包含在从音频文件获取 单元95提供并以对象为单位配置的音频文件中的音频流，以生成以对象 为单位的音频数据。音频解码处理单元96向音频合成处理单元97提供以 对象为单位的音频数据。
238.在步骤s39中，图像解码处理单元100解码被包含在从图像文件获取 单元99提供并以瓦片为单位配置的图像文件中的视频流，以生成以瓦片 为单位的图像数据。图像解码处理单元100向图像合成处理单元101提供 以瓦片为单位的图像数据。
239.在步骤s40中，音频合成处理单元97合成从音频解码处理单元96提 供并以对象为单位配置的音频数据并输出该合成数据。在步骤s41中，图 像合成处理单元101合成从图像解码处理单元100提供并以瓦片为单位配 置的图像数据并输出该合成数据。接着该过程终止。
240.如上所述，web服务器12发送图像帧尺寸信息和对象位置信息。因 此，视频播放终端14可以指定例如在显示区域中的对象以选择性获取所 指定的对象的音频文件，以便该音频文件对应于在该显示区域中的图像。 这允许视频播放终端14仅获取必要的音频文件，这使得传输效率提高。
241.应指出，如图15所示，对象id(指定信息的对象)可在用于mpd 文件的图像的“adaptation set”(“自适应集”)中被描述，作为用于指定对 应于将要与图像同时播放的音频的对象的信息。对象id可通过利用 viewpoint(视点)的descriptortype(描述符类型)元素来定义新对象id 信息(audioobj)的扩展方案(urn:mpeg:dash:audioobj:2013)来描述。 在此情况下，视频播放终端14选择与在用于图像的“adaptation set”(“自 适应集”)中描述的对象id对应的对象的音频文件，并获取该音频文件以 用于播放。
242.作为生成以对象为单位的音频文件的替换，所有对象的编码数据可被 复用为单个音频流以生成单个音频文件。
243.在此情况下，如图16所示，用于音频文件的一个“representation”(“表 示”)被设置在用于mpd文件的音频的“adaptation set”(“自适应集”)中， 以及用于包含所有对象的编码数据的音频文件(audioobje.mp4)的url 等在“segment”(“片段”)中描述。此时，对应于音频文件的所有对象的对 象id(1、2、3、4和5)通过扩展viewpoint(视点)来描述。
244.另外，在此情况下，如图17所示，每个对象的编码数据(音频对象) 作为子样本被布置在通过参考mpd文件的“media segment”(“媒体片段”) 所获取的音频文件(在下文中，在适当时，也被称为音频媒体文件)的 mdat盒(box)中。
245.具体地，数据以子片段为单位被布置在音频媒体文件中，该子片段在 任何时间比片段更短。以子片段为单位的数据的位置由sidx盒指定。此外， 以子片段为单位的数据由moof盒和mdat盒组成。mdat盒由多个样本组 成，以及每个对象的编码数据被布置为该样本的每个子样本。
246.此外，描述关于样本的信息的gsix盒被布置在音频媒体文件的sidx 盒之后。描述关于样本的信息的gsix盒以此方式与moof盒分开设置，并 因此视频播放终端14可以快速获取关于样本的信息。
247.如图18所示，表示样本组条目的类型的grouping_type在gsix盒中描 述，其中，每个样本组条目包含由gsix盒管理的一或多个样本或子样本。 例如，在样本组条目为以对象为单位的编码数据的子样本时，样本组条目 的类型为如图17所示的“obja”。grouping_type的多个gsix盒被布置在音 频媒体文件中。
248.此外，如图18所示，每个样本组条目的索引(entry_index)和作为指 示在音频媒体文件中的位置的数据位置信息的字节范围(range_size)在 gsix盒中描述。应指出，在索引(entry_index)为0时，对应字节范围指 示moof盒的字节范围(在图17的示例中的a1)。
249.指示哪个对象被用于允许每个样本组条目对应于编码数据的子样本 的信息在通过参考mpd文件的“initialization segment”(“初始化片段”) 所获取的音频文件中描述
(本文后面适当地也称为音频初始化文件)。
250.具体地，如图19所示，该信息通过使用mvex盒的类型分配盒(typa) 来指示，该类型分配盒(typa)与在音频初始化文件的sbtl盒中的样本组 描述盒(sgpd)的audioobjectsamplegroupentry相关联的。
251.换句话说，如图20的a所示，对应于被包含在样本中的编码数据的 对象id(audio_object_id)在每个audioobjectsamplegroupentry盒中描述。 例如，如图20b所示，对象id 1、2、3和4在四个 audioobjectsamplegroupentry盒中的每者中描述。
252.另一方面，如图21所示，在类型分配盒中，作为对应于 audioobjectsamplegroupentry的样本组条目的参数 (grouping_type_parameter)的索引被描述以用于每个 audioobjectsamplegroupentry。
253.音频媒体文件和音频初始化文件如上所述进行配置。因此，在视频播 放终端14获取被选择为显示区域中的对象的对象的编码数据时，在其中 描述所选对象的对象id的audioobjectsamplegroupentry被从音频初始化 文件的stbl盒检索出。接着，对应于所检索的audioobjectsamplegroupentry 的样本组条目的索引从mvex盒读取。接着，以子片段为单位的数据的位 置从音频文件的sidx读取，以及读取索引的样本组条目的字节范围从gsix 读取。接着，被布置在mdat中的编码数据基于以子片段为单位的数据的 位置和字节范围来获取。因此，所选对象的编码数据得以获取。
254.虽然在上述的描述中，样本组的索引和audioobjectsamplegroupentry 的对象id通过mvex盒彼此相关联，但是它们可彼此直接相关联。在此情 况下，样本组条目的索引在audioobjectsamplegroupentry中描述。
255.此外，在音频文件由多个轨道组成时，sgpd可以被存储在mvex中， 这允许该sgpd在轨道之间共享。
256.(信息处理系统的第二示例的概述)
257.图22为示出应用本公开的信息处理系统的第二示例的概述的示意图。
258.应指出，在图22中示出的与图3所示相同的元素由相同的附图标号 表示。
259.在图22所示的如同图3的情况的示例中，视频内容的图像被划分为7 (宽度)
×
5(高度)个瓦片，以及对象#1至#8的音频如同视频内容的音 频一样被获取。
260.在此情况下，在使用者指示由3(宽度)
×
2(高度)个瓦片组成的显 示区域31时，显示区域31被转换(扩展)到尺寸与视频内容的图像的尺 寸相同的区域，从而获得在如图22所示的第二示例中的显示图像111。对 象#1至#8的音频基于对象#1至#8在显示图像111中的位置来合成并与显 示图像111一起被输出。换句话说，除了在显示区域31内的对象#1、#2 和#6的音频之外，在显示区域31外面的对象#3至#5、#7和#8的音频也 被输出。
261.(流播放单元的配置示例)
262.应用本公开的信息处理系统的第二示例的配置与图1所示的信息处理 系统10的配置相同，除了流播放单元的配置之外，并因此仅在下面描述 该流播放单元。
263.图23为示出应用本公开的信息处理系统的流播放单元的配置示例的 框图。
264.在图23中示出的与图13所示相同的组件由相同的附图标号表示，并 且在适当时，省略重复的解释。
265.如图23所示的流播放单元120的配置不同于如图13所示的流播放单 元90的配置
之处在于，新提供以分别取代mpd处理单元92、音频合成 处理单元97和图像合成处理单元101的mpd处理单元121、音频合成处 理单元123和图像合成处理单元124以及另外提供的位置确定单元122。
266.流播放单元120的mpd处理单元121从提供自mpd获取单元91的 mpd文件提取诸如在用于音频元文件的“segment”(“片段”)中描述的url 的信息，并向元文件获取单元93提供所提取的信息。此外，mpd处理单 元121从mpd文件提取在用于图像的“adaptation set”(“自适应集”)中 描述的视频内容的图像的图像帧尺寸信息(在下文中，被称为内容图像帧 尺寸信息)并向位置确定单元122提供所提取的信息。mpd处理单元121 从mpd文件提取诸如在用于所有对象的音频文件的“segment”(“片段”) 中描述的url的信息，并向音频文件获取单元95提供所提取的信息。
267.mpd处理单元121从mpd文件提取在用于图像的“adaptation set
”ꢀ
(“自适应集”)中描述的瓦片位置信息并向图像选择单元98提供所提取 的信息。mpd处理单元121从mpd文件提取诸如在用于从图像选择单元 98所请求的瓦片的图像文件的“segment”(“片段”)中描述的url的信息， 并向图像选择单元98提供所提取的信息。
268.位置确定单元122获取被包含在通过元文件获取单元93获得的音频 元文件中的对象位置信息和从mpd处理单元121提供的内容图像帧尺寸 信息。此外，位置确定单元122获取作为由使用者指定的显示区域的图像 帧尺寸信息的显示区域图像帧尺寸信息。位置确定单元122基于对象位置 信息、内容图像帧尺寸信息和显示区域图像帧尺寸信息来确定(识别)每 个对象在显示区域中的位置。位置确定单元122向音频合成处理单元123 提供所确定的每个对象的位置。
269.音频合成处理单元123基于从位置确定单元122提供的对象位置来合 成从音频解码处理单元96提供的以对象为单位的音频数据。具体地，音 频合成处理单元123基于对象位置和输出声音的每个扬声器的位置来确定 针对每个对象分配给每个扬声器的音频数据。音频合成处理单元123针对 每个扬声器合成每个对象的音频数据并输出作为每个扬声器的音频数据 的合成音频数据。基于对象位置合成每个对象的音频数据的方法的详细描 述在例如1997年的《aes期刊》卷45第6期的第456-466页的ville pulkki 的“virtual sound source positioning using vector base amplitude panning (使用矢量基幅值平移的虚拟声源定位)”中公开。
270.图像合成处理单元124合成从图像解码处理单元100提供的以瓦片为 单位的图像数据。图像合成处理单元124充当转换器，并将对应于合成图 像数据的图像尺寸转换成视频内容的尺寸以生成显示图像。图像合成处理 单元124输出该显示图像。
271.(对象位置确定方法的解释)
272.图24至26中的每者示出如图23所示的位置确定单元122的对象位 置确定方法。
273.显示区域31从视频内容提取以及显示区域31的尺寸被转换为该视频 内容的尺寸，以便生成显示图像111。因此，显示图像111的尺寸等同于 如图24所示通过将显示区域31的中心c位移到显示图像111的中心c
′ꢀ
以及如图25所示通过将显示区域31的尺寸转换为视频内容的尺寸所获得 的尺寸。
274.因此，位置确定单元122通过下面的公式(1)计算在显示区域31的 中心o被位移到显示图像111的中心o
′
时的在水平方向的位移量θ
shift
。
275.【数学公式1】
[0276][0277]
在公式(1)中，θ
v1
'表示被包含在显示区域图像帧尺寸信息中的在显 示区域31的左端的水平角，以及θ
v2'
表示被包含在显示区域图像帧尺寸信 息中的在显示区域31的右端的水平角。此外，θ
v1
表示在内容图像帧尺寸 信息中的在左端的水平角，以及θ
v2
表示在内容图像帧尺寸信息中的在右 端的水平角。
[0278]
接下来，位置确定单元122通过下面的公式(2)计算在通过使用位 移量θ
shift
将显示区域31的中心o位移到显示图像111的中心o
′
之后在显 示区域31的左端的水平角θ
v1_shift
'以及在其右端的水平角θ
v2_shift
'。
[0279]
【数学公式2】
[0280]
θ
v1_shift
'＝mod(θ
v1
' θ
shift
180
°
,360
°
)-180
°
[0281]
θ
v2_shift
'＝mod(θ
v2
' θ
shift
180
°
,360
°
)-180
°
...(2)
[0282]
根据公式(2)，水平角θ
v1_shift
'和水平角θ
v2_shift
'被计算以便不超过-180
°ꢀ
至180
°
的范围。
[0283]
应指出，如上所述，显示图像111尺寸等同于通过将显示区域31的 中心o位移到显示图像111的中心o
′
以及通过将显示区域31的尺寸转换 为视频内容的尺寸所获得的尺寸。因此，下面的公式(3)满足水平角θ
v1
和θ
v2
。
[0284]
【数学公式3】
[0285][0286]
位置确定单元122以上述的方式计算位移量θ
shift
、水平角θ
v1_shift
'和水 平角θ
v2_shift
'，并接着计算每个对象在显示图像111中的水平角。具体地， 在通过使用位移量θ
shift
将显示区域31的中心c被位移到显示图像111的 中心c
′
之后，位置确定单元122通过下面的公式(4)计算的对象#i的水 平角θ
ai_shift
。
[0287]
【数学公式4】
[0288]
θ
ai_shift
＝mod(θ
ai
θ
shift
180
°
,360
°
)-180
°
...(4)
[0289]
在公式(4)中，θai表示被包含在对象位置信息中的对象#i的水平角。 此外，根据公式(4)，水平角θ
ai_shift
被计算以便不超过-180
°
至180
°
的范 围。
[0290]
接下来，在对象#i存在于显示区域31中时，即满足θ
v2_shif
'《θ
ai_shift
《 θ
v1_shift
'的条件时，位置确定单元122通过下面的公式(5)计算对象#i在 显示图像111中的水平角θ
a1
'。
[0291]
【数学公式5】
[0292][0293]
根据公式(5)，通过根据显示区域31的尺寸和显示图像111的尺寸 之间的比率扩
展对象#i在显示图像11中的位置和显示图像111的中心c' 之间的距离来计算水平角θ
a1
'。
[0294]
另一方面，在没有对象#i存在于显示区域31中时，即满足-180
°
≤θ
ai_shift
≤θ
v2_shift
'或θ
v1_shift
'≤θai_shift≤180
°
的条件时，位置确定单元122通过下面的 公式(6)计算对象#i在显示图像111中的水平角θ
ai
'。
[0295]
【数学公式6】
[0296][0297]
根据公式(6)，如图26所示，在对象#i存在于显示区域31的右侧的 位置151时(-180
°
≤θ
ai_shift
≤θ
v2_shift
')，通过根据角度r1和角度r2之间的 比率扩展水平角θ
ai_shift
来计算水平角θ
ai
'。应指出，角度r1为从显示图像 111的右端到刚好在观众153后面的位置154而测量的角度，以及角度r2 为从其中心被位移的显示区域31的右端到位置154测量的角度。
[0298]
此外，根据公式(6)，在对象#i存在于显示区域31的左侧的位置155 时(θ
v1_shift
'≤θ
ai_shift
≤180
°
)，通过根据角度r3和角度r4之间的比率扩展 水平角θ
ai_shift
来计算水平角θ
ai
'。应指出，角度r3为从显示图像111的左 端到位置154测量的角度，以及角度r4为从其中心被位移的显示区域31 的左端到位置154测量的角度。
[0299]
另外，位置确定单元122以类似于水平角θ
ai
'的方式计算垂直角γ
ai
'。 具体地，位置确定单元122通过下面的公式(7)计算在显示区域31的中 心c被位移到显示图像111的中心c
′
时，在垂直方向的位移量γ
shift
。
[0300]
【数学公式7】
[0301][0302]
在公式(7)中，γ
v1
'表示包含在显示区域图像帧尺寸信息中的显示区 域31的上端的垂直角，以及γ
v2
′
表示在其下端的垂直角。此外，γ
v1
表示 在内容图像帧尺寸信息中的上端的垂直角，以及γ
v2
表示在内容图像帧尺 寸信息中的下端的垂直角。
[0303]
接下来，位置确定单元122通过下面的公式(8)使用位移量γ
shift
， 计算在显示区域31的中心c被位移到显示图像111的中心c
′
之后，在显 示区域31的上端的垂直角γ
v1_shift
'以及在其下端的垂直角γ
v2_shift
'。
[0304]
【数学公式8】
[0305]
γ
v1_shift
'＝mod(γ
v1
' γ
shift
90
°
,180
°
)-90
°
[0306]
γ
v2_shift
'＝mod(γ
v2
' γ
shift
90
°
,180
°
)-90
°
...(8)
[0307]
根据公式(8)，垂直角γ
v1_shift
'和垂直角γ
v2_shift
'被计算以便不超过-90
°ꢀ
至90
°
的范围。
[0308]
位置确定单元122以上述的方式计算位移量γ
shift
、垂直角γ
v1_shift
'和垂 直角γ
v2_shift
'，并接着计算每个对象在显示图像111中的位置。具体地，位 置确定单元122通过下面的公式(9)使用位移量γ
shift
，计算在显示区域 31的中心c被位移到显示图像111的中心c
′
之后，对象#i的垂直角γ
ai_shift
。
[0309]
【数学公式9】
[0310]
γ
ai_shift
＝mod(γ
ai
γ
shift
90
°
,180
°
)-90
°
...(9)
[0311]
在公式(9)中，γai表示被包含在对象位置信息中的对象#i的垂直角。 此外，根据公式(9)，垂直角γ
ai_shift
被计算以便不超过-90
°
至90
°
的范围。
[0312]
接下来，位置确定单元122通过下面的公式(10)计算对象#i在显示 图像111中的垂直角γ
a1
'。
[0313]
【数学公式10】
[0314][0315]
此外，位置确定单元122确定对象#i在显示图像111中的距离r
a1
'为 被包含在对象位置信息中的对象#i的距离r
a1
。位置确定单元122向音频 合成处理单元123提供如上所述获得并作为对象#i的位置的水平角θ
ai
'、 垂直角γ
a1
'和对象#i的距离r
a1
，作为对象#i的位置。
[0316]
图27为示出在水平角θ
ai
和水平角θ
ai
'之间的关系的示意图。
[0317]
在图27的曲线图中，水平轴线表示水平角θ
ai
，以及垂直轴线表示水 平角θ
ai
'。
[0318]
如图27所示，在满足条件θ
v2
'《θ
ai
《θ
v1
'时，水平角θ
ai
以位移量θ
shift
位移并被扩展，并接着水平角θ
ai
变得等于水平角θ
ai
'。此外，在满足条件
ꢀ‑
180
°
≤θ
ai
≤θ
v2
'orθ
v1
'≤θ
ai
≤180
°
时，水平角θ
ai
以位移量θ
shift
位移并被减少， 并接着水平角θ
ai
变得等于水平角θ
ai
'。
[0319]
(流播放单元的过程的说明)
[0320]
图28为示出在图23中示出的流播放单元120的流播放过程的流程图。
[0321]
在图28的步骤s131中，流播放单元120的mpd获取单元91从web 服务器12获取mpd文件并向mpd处理单元121提供该mpd文件。
[0322]
在步骤s132中，mpd处理单元121从提供自mpd获取单元91的 mpd文件获取在用于图像的“adaptation set”(“自适应集”)中描述的内 容图像帧尺寸信息和瓦片位置信息。mpd处理单元121向位置确定单元 122提供图像帧尺寸信息并向图像选择单元98提供瓦片位置信息。此外， mpd处理单元121提取诸如在用于音频元文件的“segment”(“片段”) 中描述的url的信息，并向元文件获取单元93提供所提取的信息。
[0323]
在步骤s133中，元文件获取单元93基于诸如从mpd处理单元121 提供的url的信息，请求web服务器12发送由该url指定的音频元文 件并获取该音频元文件。元文件获取单元93向位置确定单元122提供被 包含在该音频元文件中的对象位置信息。
[0324]
在步骤s134中，位置确定单元122基于对象位置信息、内容图像帧 尺寸信息和显示区域图像帧尺寸信息来执行用于确定每个对象在显示图 像中的位置的位置确定过程。该位置确定过程将参考在后面描述的图29 来详述。
[0325]
在步骤s135中，mpd处理单元121从mpd文件提取诸如在用于所 有对象的音频文件的“segment”(“片段”)中描述的url的信息，并向 音频文件获取单元95提供所提取的信息。
[0326]
在步骤s136中，音频文件获取单元95基于诸如从mpd处理单元121 提供的url的信息，请求web服务器12发送由该url指定的所有对象 的音频文件并获取该音频文件。音频文件获取单元95向音频解码处理单 元96提供所获取的以对象为单位的音频文件。
[0327]
步骤s137至s140的过程类似于如图14所示的步骤s36至s39的过 程，并因此其描述将被省略。
[0328]
在步骤s141中，音频合成处理单元123基于从位置确定单元122提 供的每个对象的位置来合成从音频解码处理单元96提供的以对象为单位 的音频数据并输出该音频数据。
[0329]
在步骤s142中，图像合成处理单元124合成从图像解码处理单元100 提供的以瓦片为单位的图像数据。
[0330]
在步骤s143中，图像合成处理单元124将对应于合成图像数据的图 像尺寸转换成视频内容的尺寸并生成显示图像。接着，图像合成处理单元 124输出该显示图像，并且该过程终止。
[0331]
图29为示出在图28的步骤s134中的位置确定过程的细节的流程图。 该位置确定过程被执行例如以用于每个对象。
[0332]
在图29的步骤s151中，位置确定单元122执行用于估算在显示图像 中的水平角θ
ai
'的水平角θ
ai
'估算过程。水平角θ
ai
'估算过程的细节将参考 在后面描述的图30来描述。
[0333]
在步骤s152中，位置确定单元122执行用于估算在显示图像中的垂 直角γ
ai
'的垂直角γ
ai
'估算过程。垂直角γ
ai
'估算过程的细节类似于在步骤 s151中的水平角θ
ai
'估算过程的细节，除了使用替代水平方向的垂直方向 之外，并因此其详细描述将被省略。
[0334]
在步骤s153中，过程确定单元122确定在显示图像中的距离r
ai
'为被 包含在从元文件获取单元93提供的对象位置信息中的距离r
ai
。
[0335]
在步骤s154中，位置确定单元122向音频合成处理单元123输出作 为对象#i的位置的水平角θ
ai
'、垂直角γ
a1
'和距离r
a1
。接着，该过程返回 到图28的步骤s134并前进至步骤s135。
[0336]
图30为示出在图29的步骤s151中的水平角θ
ai
'估算过程的细节的流 程图。
[0337]
在如图30所示的步骤s171中，位置确定单元122获取被包含在提供 自元文件获取单元93的对象位置信息中的水平角θ
ai
。
[0338]
在步骤s172中，位置确定单元122获取提供自mpd处理单元121 的内容图像帧尺寸信息和由使用者指定的显示区域图像帧尺寸信息。
[0339]
在步骤s173中，位置确定单元122基于该内容图像帧尺寸信息和显 示区域图像帧尺寸信息通过上述的公式(1)来计算位移量θ
shift
。
[0340]
在步骤s174中，位置确定单元122使用该位移量θ
shift
和显示区域图 像帧尺寸通过上述的公式(2)来计算水平角θ
v1_shift
'和θ
v2_shift
'。
[0341]
在步骤s175中，位置确定单元122使用水平角θ
ai
和位移量θ
shift
通过 上述的公式(4)来计算水平角θ
ai_shift
。
[0342]
在步骤s176中，位置确定单元122确定对象#i是否存在于显示区域 31中(对象#i的水平角在显示区域31的两端的水平角之间)，即，是否满 足θ
v2_shift
'《θ
ai_shift
《θ
v1_shift
'的条件。
[0343]
在步骤s176中确定对象#i存在于显示区域31中时，即在满足条件 θ
v2_shift
'《θ
ai_shift
《θ
v1_shift
'时，该过程前进至步骤s177。在步骤s177中，位 置确定单元122基于内容图像帧尺寸信息、水平角θ
v1_shift
'和θ
v2_shift
'以及水 平角θ
ai_shift
通过上述的公式(5)来计算水平角θ
a1
'。
[0344]
另一方面，在步骤s176中确定对象#i不存在于显示区域31中时，即 在满足条件-180
°
≤θ
ai_shift
≤θ
v2_shift
'或θ
v1_shift
'≤θ
ai_shift
≤180
°
时，该过程前 进至步骤s178。在步骤s178中，位置确定单元122基于内容图像帧尺寸 信息、水平角θ
v1_shift
'或θ
v2_shift
'以及水平角θ
ai_shift
通过上述的公式(6)来 计算水平角θ
ai
'。
[0345]
在步骤s177或步骤s178的过程之后，该过程返回到图29的步骤s151 并前进至步骤s152。
[0346]
应指出，在第二示例中，显示图像的尺寸与视频内容的尺寸相同，但 替代地，显示图像的尺寸可与视频内容的尺寸不同。
[0347]
此外，在第二示例中，所有对象的音频数据未被合成和输出，而是仅 改为合成和输出一些对象(例如，在显示区域中的对象、在显示区域的预 定范围内的对象等)的音频数据。用于选择待输出的音频数据的对象的方 法可被事先确定或可由使用者指定。
[0348]
此外，在上面的描述中，仅使用单位对象的音频数据，但是音频数据 可包含声道音频的音频数据、高阶高保真度(hoa)音频的音频数据、空 间音频对象编码(saoc)的音频数据和音频数据的元数据(场景信息、 动态或静态元数据)。在此情况下，例如不仅每个对象的编码数据而且这 些数据块的编码数据被布置为子样本。
[0349]
《第一实施例》
[0350]
(3d音频文件格式的概述)
[0351]
在描述应用本公开的第一实施例之前，mp4的3d音频文件格式的声 道概述将参考图31来描述。
[0352]
在mp4文件中，视频内容的编解码信息和指示在文件中的位置的位 置信息可以针对每个轨道进行管理。在mp4的3d音频文件格式中，3d 音频(声道音频/对象音频/hoa音频/元数据)的所有音频流(基本流(es)) 被记录为以样本(帧)为单位的一个轨道。此外，3d的
编解码信息(简 况(profile)/级别(level)/音频配置(audio configuration))作为样本条 目来存储。
[0353]
构成3d音频的声道音频为以声道为单位的音频数据；对象音频为以 对象为单位的音频数据；hoa音频为球形音频数据；以及元数据为声道 音频/对象音频/hoa音频的元数据。在此情况下，以对象为单位的音频数 据被用作对象音频，但是替换地可改为使用saoc的音频数据。
[0354]
(moov盒的结构)
[0355]
图32示出mp4文件的moov盒的结构。
[0356]
如图32所示，在mp4文件中，图像数据和音频数据被记录在不同的 轨道中。图32未示出音频数据的轨道的细节，而是示出类似于图像数据 的轨道的音频数据的轨道。样本条目被包含在被布置在moov盒内的stsd 盒中的样本描述中。
[0357]
附带地讲，在广播或本地存储播放中，在解析所有的音频流并输出(再 现)该音频流时，web服务器传送所有的音频流，以及视频播放终端(客 户端)解码必要的3d音频的音频流。在比特率(bitrate)为高时或本地 存储的读取速率存在限制时，存在通过仅获取必要的3d音频的音频流来 降低解码过程的负载的需求。
[0358]
此外，在流播放时，存在以下需求：视频播放终端(客户端)仅获取 必要的3d音频的编码数据，从而获取对于播放环境最佳的编码速率的音 频流。
[0359]
因此，在本公开中，3d音频的编码数据被划分为用于每种类型的数 据的轨道并且该轨道被布置在音频文件中，这使得可以有效地仅获取预定 类型的编码数据。因此，在广播和本地存储播放时在系统上的负载得以降 低。此外，在流播放时，必要的3d音频的最高质量编码数据可以根据频 带来播放。此外，由于仅有必要以子片段的轨道为单位在音频文件内记录 3d文件的音频流的位置信息，因此，与以对象为单位的编码数据被布置 在子样本中的情况相比，可以减少位置信息的量。
[0360]
(轨道的概述)
[0361]
图33为示出在应用本公开的第一实施例中的轨道的概述的示意图。
[0362]
如图33所示，在第一实施例中，构成3d音频的声道音频/对象音频 /hoa音频/元数据分别被设置为不同轨道(声道音频轨道/对象音频轨道 /hoa音频轨道/对象元数据轨道)的音频流。音频元数据的音频流被布置 在对象元数据轨道中。
[0363]
此外，提供作为用于布置关于整个3d音频的信息的轨道的基本轨道 (基本轨道)。在如图33所示的基本轨道中，在没有样本被布置在样本条 目中时，关于整个3d音频的信息被布置在样本条目中。此外，基本轨道、 声道音频轨道、对象音频轨道、hoa音频轨道和对象元数据作为相同的 音频文件(3dauio.mp4)来记录。
[0364]
轨道参考序号(track reference)被布置在例如轨道盒中，并表示在 对应的轨道和另一轨道之间的参考关系。具体地，轨道参考序号表示对于 在其它被参考轨道中的轨道是唯一的id(在下文中，被称为轨道id)。在 图33所示的示例中，基本轨道、声道音频轨道、hoa音频轨道、对象元 数据轨道和对象音频轨道的轨道id分别为1、2、3、4、10、...。基本轨 道的轨道参考序号为2、3、4、10、...，以及声道音频轨道/hoa音频轨道 /对象元数据轨道/对象音频轨道的轨道参考序号为1，其对应于基本轨道 的轨道id。
[0365]
因此，基本轨道和声道音频轨道/hoa音频轨道/对象元数据轨道/对象 音频轨道
具有参考关系。具体地，在播放声道音频轨道/hoa音频轨道/ 对象元数据轨道/对象音频轨道的过程中，基本轨道被参考。
[0366]
(基本轨道的样本条目的示例性语法)
[0367]
图34为示出在图33中示出的基本轨道的样本条目的示例性语法的示 意图。
[0368]
作为关于整个3d音频的信息，如图34所示的configurationversion、 mpeghaudioprofile和mpeghaudiolevel分别表示3d音频的整个音频 流的配置信息、简况(profile)信息和级别(level)信息(正常3d音频 的音频流)。此外，作为关于整个3d音频的信息，如图34所示的宽度和 高度分别表示在视频内容的水平方向的像素的数量和视频内容的垂直方 向的像素的数量。作为关于整个3d音频的信息，θ1、θ2、γ1和γ2分别 表示在视频内容的图像帧尺寸信息中的在图像帧的左端的水平角θv1、在 图像帧的右端的水平角θv2、在图像帧的上端的垂直角γv1和在图像帧的 下端的垂直角γv2。
[0369]
(声道音频轨道的样本条目的示例性语法)
[0370]
图35为示出在图33中示出的声道音频轨道(声道音频轨道)的样本 条目的示例性语法的示意图。
[0371]
图35示出分别表示声道音频的配置信息、简况信息和级别信息的 configurationversion、mpeghaudioprofile和mpeghaudiolevel。
[0372]
(对象音频轨道的样本条目的示例性语法)
[0373]
图36为示出在图33中示出的对象音频轨道(对象音频轨道)的样本 条目的示例性语法的示意图。
[0374]
在被包含在对象音频轨道中的一或多个对象音频中，如图36所示的 configurationversion、mpeghaudioprofile和mpeghaudiolevel分别表 示配置信息、简况信息和级别信息。object_is_fixed指示被包含在对象音 频轨道中的一或多个对象音频对象是否被固定。在object_is_fixed指示1 时，其指示该对象被固定，以及在object_is_fixed指示0时，其指示该对 象被位移。mpegh3daconfig表示被包含在对象音频轨道中的一或多个对象 音频对象的识别信息的配置。
[0375]
此外， objecttheta1/objecttheta2/objectgamma1/objectgamma2/objectrength表示 被包含在对象音频轨道中的一或多个对象音频的对象信息。此对象信息为 在保持object_is_fixed＝1时为有效的信息。
[0376]
maxobjecttheta1、maxobjecttheta2、maxobjectgamma1、 maxobjectgamma2/和maxobjectrength表示在被包含在对象音频轨道中的 一或多个对象音频对象被位移时的对象信息的最大值。
[0377]
(hoa音频轨道的样本条目的示例性语法)
[0378]
图37为示出在图33中示出的hoa音频轨道的样本条目的示例性语 法的示意图。
[0379]
如图37所示的configurationversion、mpeghaudioprofile和 mpeghaudiolevel分别表示hoa音频的配置信息、简况信息和级别信 息。
[0380]
(对象元数据轨道的样本条目的示例性语法)
[0381]
图38为示出在图33中示出的对象元数据轨道(对象元数据轨道)的 样本条目的示例性语法的示意图。
[0382]
如图38所示的configurationversion表示元数据的配置信息。
[0383]
(3d音频的音频文件的片段结构的第一示例)
[0384]
图39为示出在应用本公开的第一实施例中的3d音频的音频文件的片 段结构的第一示例的示意图。
[0385]
在如图39所示的片段结构中，初始片段(initial segment)由ftyp盒 和moov盒组成。用于被包含在音频文件中的每个轨道的trak盒被布置在 moov盒中。mvex盒被布置在moov盒中，其中该mvex盒包含指示每个 轨道的轨道id和在媒体片段(media segment)内的ssix盒中使用的级别 之间的对应关系的信息。
[0386]
此外，媒体片段由sidx盒、ssix盒以及一或多个子片段组成。指示在 每个子片段的音频文件中的位置的位置信息被布置在sidx盒中。ssix盒包 含被布置在mdat盒中的在每个级别的音频流的位置信息。应指出，每个 级别对应于每个轨道。此外，第一轨道的位置信息为由moof盒的音频流 和第一轨道组成的数据的位置信息。
[0387]
关于任何时间长度设置子片段。为所有轨道共用的一对moof盒和 mdat盒被设置在子片段中。在mdat盒中，所有轨道的音频流关于任何时 间长度而集中布置。在moof盒中，布置音频流的管理信息。被布置在mdat 盒中的每个轨道的音频流对于每个轨道来说是连续的。
[0388]
在图39的示例中，轨道id为1的轨道1为基本轨道，以及轨道id 为2至n的轨道2至轨道n分别为声道音频轨道、对象音频轨道、hoa 音频轨道和对象元数据轨道。后面描述的图40的情况同样如此。
[0389]
(3d音频的音频文件的片段结构的第二示例)
[0390]
图40为示出在应用本公开的第一实施例中的3d音频的音频文件的片 段结构的第二示例的示意图。
[0391]
如图40所示的片段结构不同于如图39所示的片段结构之处在于moof 盒和mdat盒被设置用于每个轨道。
[0392]
具体地，如图40所示的初始片段(initial segment)类似于如图39所 示的初始片段。像如图39所示的媒体片段，如图40所示的媒体片段由sidx 盒、ssix盒以及一或多个子片段组成。此外，像如图39所示的sidx盒， 每个子片段的位置信息被布置在sidx盒中。ssix盒包含由moof盒和mdat 盒组成的每个级别的数据的位置信息。
[0393]
关于任何时间长度设置子片段。一对moof盒和mdat盒被设置用于子 片段中的每个轨道。具体地，每个轨道的音频流以任何时间长度被集中布 置(交织并存储)在每个轨道的mdat盒中，以及音频流的管理信息被布 置在moof盒中。
[0394]
如图39和40所示，用于每个轨道的音频流被以任何时间长度而集中 布置，以便与音频流以样本为单位集中布置的情况相比，可以提高经由 http等获取音频流的效率。
[0395]
(mvex盒的示例性描述)
[0396]
图41为示出被布置在如图39和40的mvex盒中的级别分配盒的示例 性描述的示意图。
[0397]
级别分配盒为用于将每个轨道的轨道id与用在ssix盒中使用的级别 相关联的盒。在图41的示例中，轨道id为1的基本轨道与级别0相关联， 以及轨道id为2的声道音频轨道与级别1相关联。此外，轨道id为3的 hoa音频轨道与级别2相关联，以及轨道id为4的对象元数据轨道与级 别3相关联。此外，轨道id为10的对象音频轨道与级别4相关联。
[0398]
(mpd文件的示例性描述)
[0399]
图42为示出在应用本公开的第一实施例中的mdf文件的示例性描述 的示意图。
[0400]
如图42所示，用于管理3d音频的音频文件(3daudio.mp4)的片段 的“representation”(“表示”)、用于管理被包含在片段中的轨道的
ꢀ“
subrepresentation”(“子表示”)等在mpd文件中描述。
[0401]
在“representation”(“表示”)和“subrepresentation”(“子表示”) 中，包含“codecs”(“编解码器”)，其表示在3d音频文件格式中定义的 代码中的对应片段或轨道的编解码器的类型。此外，“representation”(“表 示”)中包含“id”、“associationid”和“assciationtype”。
[0402]“id”表示包含“id”的“representation”(“表示”)的id。“associationid
”ꢀ
表示指示对应轨道和另一轨道之间的参考关系的信息并且表示参考轨道 的“id”。“assciationtype”表示指示关于参考轨道的参考关系(相关性关 系)的含义的代码。例如，使用与mp4的轨道参考序号的值相同的值。
[0403]
此外，在“subrepresentation”(“子表示”)中包含“level”(“级别”)， 其为设置在级别分配盒中的值，作为表示对应轨道和对应级别的值。在
ꢀ“
subrepresentation”(“子表示”)中包含“dependencylevel”，其为表示对 应于具有参考关系(相关性)的另一轨道(在下文中，被称为参考轨道) 的级别的值。
[0404]
此外，“subrepresentation”(“子表示”)包含作为选择3d音频所需的 信息的《essentialproperty schemeiduri＝"urn:mpeg:dash:3daudio:2014" value＝"audiotype,contentkind,priority"》。
[0405]
此外，在对象音频轨道中的“subrepresentation”(“子表示”)包含 《essentialproperty schemeiduri＝"urn:mpeg:dash:viewingangle:2014" value＝"θ,γ,r"》。在对应于“subrepresentation”(“子表示”)的对象被固 定时，θ、γ和r分别表示在对象位置信息中的水平角、垂直角和距离。另 一方面，在对象被位移时，值θ、γ和r分别表示对象位置信息的最大值之 中的水平角的最大值、垂直角的最大值和距离的最大值。
[0406]
图43为示出在图42中示出的基本属性的定义的示意图。
[0407]
在图43的左上侧，定义《essentialproperty schemeiduri＝ "urn:mpeg:dash:3daudio:2014"value＝"audiotype,contentkind,priority"》 的audiotype(音频类型)。audiotype表示对应轨道的3d音频的类型。
[0408]
在图43的示例中，在audiotype指示1时，其指示对应轨道的音频数 据为3d音频的声道音频，以及在audiotype指示2时，其指示对应轨道 的音频数据为hoa音频。此外，在audiotype指示3时，其指示对应轨 道的音频数据为对象音频，以及在audiotype为4时，其指示对应轨道的 音频数据为元数据。
[0409]
此外，在图43的右侧，定义《essentialproperty schemeiduri＝ "urn:mpeg:dash:3daudio:2014"value＝"audiotype,contentkind,priority"》 的contentkind(内容种类)。contentkind表示对应音频的内容。例如，在 图43的示例中，在contentkind指示3时，对应音频为音乐。
[0410]
如图43的左下侧所示，priority(优先级)由23008-3定义并表示对 应对象的处理优先级。仅当值未在音频流的过程中改变时，才描述表示对 象的处理优先级的值，当该值
在音频流的过程中改变时，描述为“0”的值。
[0411]
(信息处理系统的概述)
[0412]
图44为示出根据应用本公开的第一实施例的信息处理系统的概述的 示意图。
[0413]
在图44中示出的与图1所示组件相同的组件由相同的附图标号表示。 在适当时，省略重复的解释。
[0414]
如图44所示的信息处理系统140具有如下配置：(被连接到文件生成 装置141的)web服务器142经由互联网13连接到视频播放终端144的 配置。
[0415]
在信息处理系统140中，web服务器142通过兼容mpeg-dash的 方法以瓦片为单位向视频播放终端144传送视频内容的视频流(瓦片流传 输)。此外，在信息处理系统140中，web服务器142向视频播放终端144 传送与待播放的瓦片对应的对象音频的音频流、声道音频或的hoa音频。
[0416]
信息处理系统140的文件生成装置141类似于如图11所示的文件生 成装置11，除了例如音频文件生成单元56在第一实施例中生成音频文件 以及mpd生成单元57在第一实施例中生成mpd文件之外。
[0417]
具体地，文件生成装置141获取视频内容的图像数据并以瓦片为单位 编码图像数据以生成视频流。文件生成装置141将每个瓦片的视频流处理 为文件格式。文件生成装置141向web服务器142上传作为处理结果获 得的每个瓦片的图像文件。
[0418]
此外，文件生成装置141获取视频内容的3d音频并针对3d音频的 每种类型(声道音频/对象音频/hoa音频/元数据)对3d音频进行编码以 生成音频流。文件生成装置141针对每种类型的3d音频向音频流分配轨 道。文件生成装置141生成如图39或40所示的片段结构(其中，每个轨 道的音频流以子片段为单位来布置)的音频文件并向web服务器142上 传该音频文件，。
[0419]
文件生成装置141生成mpd文件，其包含图像帧尺寸信息、瓦片位 置信息和对象位置信息。文件生成装置141向web服务器142上传mpd 文件。
[0420]
web服务器142存储图像文件、音频文件和从文件生成装置141上传 的mpd文件。
[0421]
在图44的示例中，we服务器142存储由瓦片#1的多个片段的图像 文件形成的片段组和由瓦片#2的多个片段的图像文件形成的片段组。web 服务器142也存储由3d音频的音频文件形成的片段组。
[0422]
web服务器142响应于来自视频播放终端144的请求，向视频播放终 端144发送存储在该web服务器中的图像文件、音频文件、mpd文件等。
[0423]
视频播放终端144执行控制软件161、视频播放软件162、访问软件 163等。
[0424]
控制软件161为用于控制从web服务器142流传输的数据的软件。 具体地，控制软件161促使视频播放终端144从web服务器142获取mpd 文件。
[0425]
此外，控制软件161基于从视频播放软件162命令的显示区域和被包 含在mpd文件中的瓦片位置信息来指定在该显示区域中的瓦片。接着， 控制软件161命令访问软件163发送该瓦片的图像文件的请求。
[0426]
在对象音频待播放时，控制软件161命令访问软件163发送音频文件 中图像帧尺寸信息的请求。此外，控制软件161命令访问软件163发送元 数据的音频流的请求。控制软件161基于图像帧尺寸信息和被包含在元数 据的音频流中的对象位置信息来指定对应于
(“片段”)中布置该音频文件的url等。此外，mpd生成单 元173在用于对象的对象元数据轨道的“subrepresentation”(“子表示”) 中布置从外面输入的每个对象的对象位置信息等。mpd生成单元173向 服务器上传处理单元174提供mpd文件(在mpd文件中，各种信息块 如上所述进行布置)以及图像文件和音频文件。
[0439]
服务器上传处理单元174向web服务器142上传从mpd生成单元173 提供的图像文件、音频文件和每个瓦片的mpd文件。
[0440]
(文件生成装置的过程的解释)
[0441]
图46为示出在图45中示出的文件生成装置141的文件生成过程的流 程图。
[0442]
如图46所示的步骤s191至s195的过程类似于如图12所示的步骤 s11至s15的过程，并因此其描述被省略。
[0443]
在步骤s196中，音频编码处理单元171针对每种类型(声道音频/对 象音频/hoa音频/元数据)将从外面输入的视频内容的3d音频进行编码 以生成音频流。音频编码处理单元171针对每种类型的3d音频向音频文 件生成单元172提供音频流。
[0444]
在步骤s197中，音频文件生成单元172针对每种类型的3d音频向从 音频编码处理单元171提供的音频流分配轨道。
[0445]
在步骤s198中，音频文件生成单元172生成如图39或40所示的片 段结构的音频文件，在所述音频文件中，每个轨道的音频流以子片段为单 位来布置。此时，音频文件生成单元172将从外面输入的图像帧尺寸信息 存储在样本条目中。音频文件生成单元172向mpd生成单元173提供所 生成的音频文件。
[0446]
在步骤s199中，mpd生成单元173生成包含从图像信息生成单元54 提供的图像信息的mpd文件、每个文件的url和对象位置信息。mpd 生成单元173向服务器上传处理单元174提供图像文件、音频文件和mpd 文件。
[0447]
在步骤s200中，服务器上传处理单元174向web服务器142上传从 mpd生成单元173提供的图像文件、音频文件和mpd文件。接着该过程 终止。
[0448]
(视频播放终端的功能配置示例)
[0449]
图47为示出流播放单元的配置示例的框图，该流播放单元以如图44 所示的视频播放终端144执行控制软件161、视频播放软件162和访问软 件163的方式实施。
[0450]
在图47中示出的与图13所示组件相同的组件由相同的附图标号表 示。在适当时，省略重复的解释。
[0451]
如图47所示的流播放单元190的配置不同于如图13所示的流播放单 元90的配置在于：提供mpd处理单元191、音频选择单元193、音频文 件获取单元192、音频解码处理单元194和音频合成处理单元195以取代 mpd处理单元92、音频选择单元94、音频文件获取单元95、音频解码处 理单元96和音频合成处理单元97以及未提供的元文件获取单元93。
[0452]
流播放单元190类似于如图13所示的流播放单元90，除了例如获取 所选对象的待播放音频数据的方法之外。
[0453]
具体地，流播放单元190的mpd处理单元191从提供自mpd获取 单元91的mpd文件提取信息(诸如在用于音频元文件的“segment”(“片 段”)中描述的待播放的片段的音频文件的url)，并向音频文件获取单元 192提供所提取的信息。
[0454]
mpd处理单元191从mpd文件提取在用于图像的“adaptation set
”ꢀ
(“自适应集”)
中描述的瓦片位置信息，并向图像选择单元98提供所提 取的信息。mpd处理单元191从mpd文件提取信息(诸如在用于从图像 选择单元98所请求的瓦片的图像文件的“segment”(“片段”)中描述的 url)，并向图像选择单元98提供所提取的信息。
[0455]
在对象音频待播放时，音频文件获取单元192基于诸如从mpd处理 单元191提供的url的信息，请求web服务器142发送由该url指定 的音频文件中的基本轨道的初始片段(initial segment)并获取该基本轨道 的初始片段。
[0456]
此外，基于诸如音频文件的url的信息，音频文件获取单元192请 求web服务器142发送在由该url指定的音频文件中的对象元数据轨道 的音频流，并获取该对象元数据轨道的音频流。音频文件获取单元192向 音频选择单元193提供被包含在对象元数据轨道的音频流中的对象位置信 息、被包含在基本轨道的初始片段中的图像帧尺寸信息和诸如音频文件的 url的信息。
[0457]
此外，在声道音频待播放时，音频文件获取单元192基于诸如该音频 文件的url的信息，请求web服务器142发送由该url指定的音频文 件中的声道音频轨道的音频流并获取声道音频轨道的音频流。音频文件获 取单元192向音频解码处理单元194提供所获取的声道音频轨道的音频 流。
[0458]
在hoa音频待播放时，音频文件获取单元192执行类似于在声道音 频待播放时执行的过程。因此，hoa音频轨道的音频流被提供给音频解 码处理单元194。
[0459]
应指出，确定对象音频、声道音频和hoa音频中的哪一个例如根据 使用者的指令来播放。
[0460]
音频选择单元193基于图像帧尺寸信息和从音频文件获取单元192提 供的对象位置信息计算在图像上的每个对象的位置。音频选择单元193基 于在图像上的每个对象的位置选择由使用者指定的显示区域中的对象。基 于诸如从音频文件获取单元192提供的音频文件的url的信息，音频选 择单元193请求web服务器142发送在由该url指定的音频文件中的所 选对象的对象音频轨道的音频流，并获取该对象音频轨道的音频流。音频 选择单元193向音频解码处理单元194提供所获取的对象音频轨道的音频 流。
[0461]
音频解码处理单元194解码从音频文件获取单元192提供的声道音频 轨道或hoa音频轨道的音频流，或解码从音频选择单元193提供的对象 音频轨道的音频流。音频解码处理单元194向音频合成处理单元195提供 作为解码的结果所获得的声道音频、hoa音频和对象音频中的一个。
[0462]
在需要时，音频合成处理单元195合成对象音频、声道音频或从音频 解码处理单元194提供的hoa音频并输出该音频。
[0463]
(视频播放终端的过程的解释)
[0464]
图48为示出在图47中示出的流播放单元190的声道音频播放过程的 流程图。例如，在使用者将声道音频选择为待播放的对象时，该声道音频 播放过程被执行。
[0465]
在图48的步骤s221中，mpd处理单元191分析从mpd获取单元 91提供的mpd文件，并基于基本属性和在“subrepresentation”(“子表 示”)中描述的编解码来指定待播放的片段的声道音频的
ꢀ“
subrepresentation”(“子表示”)。此外，mpd处理单元191从mpd文 件提取诸如在用于待播放的片段的音频文件的“segment”(“片段”)中描 述的url的信息，并向音频文件获取单元192提供所提取的信息。
[0466]
在步骤s222中，mpd处理单元191基于在步骤s221中指定的
ꢀ“
subrepresentation”(“子表示”)的dependencylevel指定作为参考轨道 的基本轨道的级别，并向音频文件获取单元192提供基本轨道的指定级别。
[0467]
在步骤s223中，音频文件获取单元192基于诸如从mpd处理单元 191提供的url的信息，请求web服务器142发送待播放的片段的初始 片段并获取该初始片段。
[0468]
在步骤s224中，音频文件获取单元192从初始片段中的级别分配盒 (level assignment box)获取与声道音频轨道和作为参考轨道的基本轨道 的级别对应的轨道id。
[0469]
在步骤s225中，音频文件获取单元192基于声道音频轨道和作为参 考轨道的基本轨道的轨道id获取对应于初始片段的轨道id的轨道盒 (track box)中的初始片段的样本条目。音频文件获取单元192向音频解 码处理单元194提供包含在所获取的样本条目中的编解码信息。
[0470]
在步骤s226中，基于诸如从mpd处理单元191提供的url的信息， 音频文件获取单元192向web服务器142发送请求并从待播放的片段的 音频文件的头部获取sidx盒和ssix盒。
[0471]
在步骤s227中，音频文件获取单元192从在步骤s223中获取的sidx 盒和ssix盒获取待播放的片段的参考轨道和声道音频轨道的位置信息。在 此情况下，由于作为参考轨道的基本轨道并不包含任何音频流，因此不存 在参考轨道的位置信息。
[0472]
在步骤s228中，音频文件获取单元192基于声道音频轨道的位置信 息和诸如待播放的片段的音频文件的url的信息，请求web服务器142 发送被布置在mdat盒中的声道音频轨道的音频流，并获取该声道音频轨 道的音频流。音频文件获取单元192向音频解码处理单元194提供所获取 的声道音频轨道的音频流。
[0473]
在步骤s229中，音频解码处理单元194基于从音频文件获取单元192 提供的编解码信息，解码声道音频轨道的音频流。音频文件获取单元192 向音频合成处理单元195提供作为解码的结果所获得的声道音频。
[0474]
在步骤s230中，音频合成处理单元195输出声道音频。接着该过程 终止。
[0475]
应指出，虽然未示出，用于通过流播放单元190播放hoa音频的hoa 音频播放过程以类似于如图48所示的声道音频播放过程的方式来执行。
[0476]
图49为示出在图47中示出的流播放单元190的对象指定过程的流程 图。例如，在使用者将对象音频选择为待播放的对象并且播放区域被改变 时，该对象指定过程被执行。
[0477]
在图49的步骤s251中，音频选择单元193获取使用者通过使用者的 操作等所指定的显示区域。
[0478]
在步骤s252中，mpd处理单元191分析从mpd获取单元91提供的 mpd文件，并基于基本属性和在“subrepresentation”(“子表示”)中描 述的编解码来指定待播放的片段的元数据的“subrepresentation”(“子表 示”)。此外，mpd处理单元191从mpd文件提取信息(诸如在用于音频 元文件的“segment”(“片段”)中描述的待播放的片段的音频文件的url)， 并向音频文件获取单元192提供所提取的信息。
[0479]
在步骤s253中，mpd处理单元191基于在步骤s252中指定的
ꢀ“
subrepresentation”(“子表示”)的dependencylevel指定作为参考轨道 的基本轨道的级别，并向音频文件获取单元192提供基本轨道的指定级别。
[0480]
在步骤s254中，音频文件获取单元192基于诸如从mpd处理单元 191提供的url的信息，请求web服务器142发送待播放的片段的初始 片段并获取该初始片段。
[0481]
在步骤s255中，音频文件获取单元192从初始片段中的级别分配盒 (level assignment box)获取与对象元数据轨道和作为参考轨道的基本轨 道的级别对应的轨道id。
[0482]
在步骤s256中，音频文件获取单元192基于对象元数据轨道和作为 参考轨道的基本轨道的轨道id获取与初始片段的轨道id对应的轨道盒中 的初始片段的样本条目。音频文件获取单元192向音频选择单元193提供 被包含在作为参考轨道的基本轨道的样本条目中的图像帧尺寸信息。此 外，音频文件获取单元192向音频选择单元193提供初始片段。
[0483]
在步骤s257中，基于诸如从mpd处理单元191提供的url的信息， 音频文件获取单元192向web服务器142发送请求并从待播放的片段的 音频文件的头部获取sidx盒和ssix盒。
[0484]
在步骤s258中，音频文件获取单元192从在步骤s257中获取的sidx 盒和ssix盒获取参考轨道和待播放的子片段的对象元数据轨道的位置信 息。在此情况下，由于作为参考轨道的基本轨道并不包含任何音频流，因 此不存在参考轨道的位置信息。音频文件获取单元192向音频选择单元 193提供sidx盒和ssix盒。
[0485]
在步骤s259中，音频文件获取单元192基于对象元数据轨道的位置 信息和诸如待播放的片段的音频文件的url的信息请求web服务器142 发送被布置在mdat盒中的对象元数据轨道的音频流，并获取该对象元数 据轨道的音频流。
[0486]
在步骤s260中，音频文件获取单元192基于被包含在步骤s256中获 取的样本条目中的编解码信息，解码在步骤s259中获取的对象元数据轨 道的音频流。音频文件获取单元192向音频选择单元193提供包含在作为 解码的结果所获得的元数据中的对象位置信息。此外，音频文件获取单元 192向音频选择单元193提供诸如从mpd处理单元191提供的音频文件 的url的信息。
[0487]
在步骤s261中，音频选择单元193基于图像帧尺寸信息和从音频文 件获取单元192提供的对象位置信息并基于由使用者指定的显示区域来选 择在该显示区域中的对象。接着该过程终止。
[0488]
图50为示出在图49中示出的对象指定过程之后由流播放单元190执 行的指定对象音频播放过程的流程图。
[0489]
在图50的步骤s281中，mpd处理单元191分析从mpd获取单元 91提供的mpd文件，并基于基本属性和在“subrepresentation”(“子表 示”)中描述的编解码来指定所选对象的对象音频的“subrepresentation
”ꢀ
(“子表示”)。
[0490]
在步骤s282中，mpd处理单元191基于在步骤s281中指定的
ꢀ“
subrepresentation”(“子表示”)的dependencylevel指定作为参考轨道 的基本轨道的级别，并向音频文件获取单元192提供基本轨道的指定级别。
[0491]
在步骤s283中，音频文件获取单元192从初始片段中的级别分配盒 (level assignment box)获取与对象音频轨道和作为参考轨道的基本轨道 的级别对应的轨道id，并向音频选择单元193提供该轨道id。
[0492]
在步骤s284中，音频选择单元193基于对象音频轨道和作为参考轨 道的基本轨道
的轨道id获取与初始片段的轨道id对应的轨道盒中的初始 片段的样本条目。该初始片段从如图49所示的步骤s256中的音频文件获 取单元192提供。音频选择单元193向音频解码处理单元194提供包含在 所获取的样本条目中的编解码信息。
[0493]
在步骤s285中，音频选择单元193从步骤s258中从音频文件获取单 元192提供的sidx盒和ssix盒，获取参考轨道和待播放的子片段的所选对 象的对象音频轨道的位置信息。在此情况下，由于作为参考轨道的基本轨 道并不包含任何音频流，因此不存在参考轨道的位置信息。
[0494]
在步骤s286中，音频选择单元193基于对象音频轨道的位置信息和 诸如待播放的片段的音频文件的url的信息请求web服务器142发送被 布置在mdat盒中的所选对象的对象音频轨道的音频流，并获取该对象音 频轨道的音频流。音频选择单元193向音频解码处理单元194提供所获取 的对象音频轨道的音频流。
[0495]
在步骤s287中，音频解码处理单元194基于从音频选择单元193提 供的编解码信息解码对象音频轨道的音频流。音频选择单元193向音频合 成处理单元195提供作为解码的结果所获得的对象音频。
[0496]
在步骤s288中，音频合成处理单元195合成从音频解码处理单元194 提供的对象音频并输出该对象音频。接着该过程终止。
[0497]
如上所述，在信息处理系统140中，文件生成装置141生成音频文件， 其中，3d音频根据3d音频的类型被划分为多个轨道并且布置该轨道。视 频播放终端144在音频文件中的预定类型的3d音频的音频流。因此，视 频播放终端144可以有效获取预定类型的3d音频的音频流。因此，可以 说文件生成装置141生成能够提高获取预定类型的3d音频的音频流的效 率的音频文件。
[0498]
《第二实施例》
[0499]
(轨道的概述)
[0500]
图51为示出在应用本公开的第二实施例中的轨道的概述的示意图。
[0501]
如图51所示，第二实施例不同于第一实施例之处在于基本样本被记 录为基本轨道的样本。基本样本由被声道音频/对象音频/hoa音频/元数据 的样本参考的信息形成。参考包含在基本样本中的参考信息的声道音频/ 对象音频/hoa音频/元数据的样本以参考信息的布置的顺序来布置，从而 使得有可能在3d音频被划分为轨道之前生成该3d音频的音频流。
[0502]
(基本轨道的样本条目的示例性语法)
[0503]
图52为示出在图51中示出的基本轨道的样本条目的示例性语法的示 意图。
[0504]
如图52所示的语法与如图34所示的语法相同，除了描述表示样本条 目为如图51所示的基本轨道的样本条目的“mha2”，而不是描述表示样本 条目为如图33所示的基本轨道的样本条目的“mha1”之外。
[0505]
(基本条目的示例性结构)
[0506]
图53为示出基本样本的示例性结构的示意图。
[0507]
如图53所示，基本样本使用以作为子样本的样本为单位的声道音频/ 对象音频/hoa音频/元数据的提取器来配置。声道音频/对象音频/hoa音 频/元数据的提取器由提取器的类型和对应声道音频轨道/对象音频轨道 /hoa音频轨道/对象元数据轨道的子样本的
偏移和大小组成。该偏移为在 基本样本的子样本的文件中的基本样本的位置和在该样本的文件中的声 道音频轨道/对象音频轨道/hoa音频轨道/对象元数据轨道的位置之间的 差值。换句话说，该偏移为指示与包含该偏移的基本样本的子样本对应的 另一轨道的样本的文件内的位置的信息。
[0508]
图54为示出基本样本的示例性语法的示意图。
[0509]
如图54所示，在基本样本中，用于在对象音频轨道的样本中存储对 象音频的sce元素被用于存储提取器的ext元素代替。
[0510]
图55为示出提取器数据的示例的示意图。
[0511]
如图55所示，提取器的类型和对应的声道音频轨道/对象音频轨道 /hoa音频轨道/对象元数据轨道的子样本的偏移和大小在该提取器中描 述。
[0512]
应指出，提取器可以利用网络抽象层(nal)结构扩展，该nal结 构在高级视频编码(avc)/高效视频编码(hevc)中定义，以便可以存 储音频元素和配置信息。
[0513]
在第二实施例中的信息处理系统和由该信息处理系统执行的过程类 似于第一实施例，并因此省略其描述。
[0514]
《第三实施例》
[0515]
(轨道的概述)
[0516]
图56为示出在应用本公开的第三实施例中的轨道的概述的示意图。
[0517]
如图56所示，第三实施例不同于第一实施例之处在于，基本样本和 元数据的样本被记录为基本轨道的样本并且未提供对象元数据轨道。
[0518]
在第三实施例中的信息处理系统和由该信息处理系统执行的过程类 似于第一实施例，除了基本轨道而不是对象元数据轨道的音频流被获取， 以便获取对象位置信息。因此，省略其描述。
[0519]
《第四实施例》
[0520]
(轨道的概述)
[0521]
图57为示出在应用本公开的第四实施例中的轨道的概述的示意图。
[0522]
如图57所示，第四实施例不同于第一实施例之处在于，轨道被记录 为不同文件 (3da_base.mp4/3da_channel.mp4/3da_object_1.mp4/3da_hoa.mp4/3da_meta .mp4)。在此情况下，只有期望轨道的音频数据可以经由http通过获取 期望轨道的文件才获取。因此，期望轨道的音频数据可以经由http有效 获取。
[0523]
(mpd文件的示例性描述)
[0524]
图58为示出根据应用本公开的第四实施例的mdf文件的示例性描述 的示意图。
[0525]
如图58所示，管理3d音频的每个音频文件 (3da_base.mp4/3da_channel.mp4/3da_object_1.mp4/3da_hoa.mp4/3da_meta .mp4)的片段的“representation”(“表示”)等在mpd文件中描述。
[0526]“representation”(“表示”)包含“codecs”、“id”、“associationid”和
ꢀ“
assciationtype”。此外，声道音频轨道/对象音频轨道/hoa音频轨道/对象 元数据轨道的“representation”(“表示”)也包含"《essentialpropertyschemeiduri＝"urn:mpeg:dash:3daudio:2014"value＝"audiotype, contentkind,priority"》"。此外，对象音频轨道的“representation”(“表示”) 包含《essentialproperty schemeiduri＝"urn:mpeg:
dash:viewingangle:2014" value＝"θ,γ,r"》。
[0527]
(信息处理系统的概述)
[0528]
图59为示出在应用本公开的第四实施例中的信息处理系统的概述的 示意图。
[0529]
在图59中示出的与图1所示组件相同的组件由相同的附图标号表示。 在适当时，省略重复的说明。
[0530]
如图59所示的信息处理系统210具有如下配置：其中连接到文件生 成装置211的web服务器212以及视频播放终端214经由互联网13连接。
[0531]
在信息处理系统210中，web服务器212通过兼容mpeg-dash的 方法向视频播放终端214以瓦片为单位传送视频内容的视频流(瓦片流传 输)。此外，在信息处理系统210中，web服务器212向视频播放终端214 传送对应于待播放文件的对象音频、声道音频或hoa音频的音频文件。
[0532]
具体地，文件生成装置211获取视频内容的图像数据并以瓦片为单位 编码图像数据以生成视频流。文件生成装置211将每个瓦片的视频流处理 为用于每个片段的文件格式。文件生成装置211向web服务器212上传作 为上述处理结果获得的每个文件的图像文件。
[0533]
此外，文件生成装置211获取视频内容的3d音频并针对3d音频的 每种类型(声道音频/对象音频/hoa音频/元数据)每种类型编码3d音频 以生成音频流。文件生成装置211向每种类型的3d音频的音频流分配轨 道。文件生成装置211针对每个轨道生成音频文件(在该音频文件中布置 有音频流)并向web服务器212上传所生成的音频文件。
[0534]
文件生成装置211生成mpd文件，其包含图像帧尺寸信息、瓦片位 置信息和对象位置信息。文件生成装置211向web服务器212上传mpd 文件。
[0535]
web服务器212存储从文件生成装置211上传的图像文件、关于每种 类型的3d音频的音频文件和mpd文件。
[0536]
在图59的示例中，we服务器212存储由瓦片#1的多个片段的图像 文件形成的片段组和由瓦片#2的多个片段的图像文件形成的片段组。web 服务器212也存储由声道音频的音频文件形成的片段组和对象#1的音频 文件的片段组。
[0537]
web服务器212响应于来自视频播放终端214的请求，向视频播放终 端214传送存储在该web服务器中的图像文件、预定类型的3d音频的音 频文件、mpd文件等。
[0538]
视频播放终端214执行控制软件221、视频播放软件222、访问软件 223等。
[0539]
控制软件221为用于控制从web服务器212流传输的数据的软件。 具体地，控制软件221促使视频播放终端214从web服务器212获取mpd 文件。
[0540]
此外，控制软件221基于从视频播放软件222命令的显示区域和被包 含在mpd文件中的瓦片位置信息来指定在该mpd文件中的瓦片。接着， 控制软件221命令访问软件223发送用于传送该瓦片的图像文件的请求。
[0541]
在对象音频待播放时，控制软件221命令访问软件223发送用于发送 基本轨道的音频文件的请求。接着，控制软件221命令访问软件223发送 用于发送对象元数据轨道的音频文件的请求。控制软件221获取基本轨道 的音频文件中的图像帧尺寸信息和被包含在元数据的音频文件中的对象 位置信息，该图像帧尺寸信息根据指令从web服务器142发送。控制软 件221基于图像帧尺寸信息、对象位置信息和显示区域来指定对应于在该 显示区域
中的图像的对象。此外，控制软件221命令访问软件223发送用 于发送该对象的音频文件的请求。
[0542]
此外，在声道音频或hoa音频待播放时，控制软件221命令访问软 件223发送用于发送该声道音频或hoa音频的音频文件的请求。
[0543]
视频播放软件222为用于播放从web服务器212获取的图像文件和 音频文件的软件。具体地，在显示区域由使用者指定时，视频播放软件222 将关于显示区域的指令给予控制软件221。此外，视频播放软件222根据 指令解码从web服务器212获取的图像文件和音频文件。视频播放软件 222合成作为解码的结果所获得的以瓦片为单位的图像数据并输出该图像 数据。此外，在需要时，视频播放软件222合成作为解码的结果所获得的 对象音频、声道音频或hoa音频并输出该音频。
[0544]
访问软件223为用于使用http经由互联网13控制与web服务器212 的通信的软件。具体地，访问软件223促使视频播放终端214响应于来自 控制软件221的指令发送请求发送图像文件和预定的音频文件的请求。此 外，访问软件223促使视频播放终端214根据该传送请求接收从web服 务器212所发送的图像文件和预定的音频文件。
[0545]
(文件生成装置的配置示例)
[0546]
图60为在图59中示出的文件生成装置211的框图。
[0547]
在图60中示出的与图45所示组件相同的组件由相同的附图标号表 示。在适当时，省略重复的解释。
[0548]
如图60所示的文件生成装置211的配置不同于如图45所示的文件生 成装置141的配置之处在于，提供音频文件生成单元241、mpd生成单元 242和服务器上传处理单元243以分别取代音频文件生成单元172、mpd 生成单元173和服务器上传处理单元174。
[0549]
具体地，文件生成装置211的音频文件生成单元241向音频流分配轨 道以用于每种类型的3d音频，该音频流从音频编码处理单元171提供。 音频文件生成单元241针对每个轨道生成音频文件(在该音频文件中布置 有音频流)。此时，音频文件生成单元241将从外面输入的图像帧尺寸信 息存储在基本轨道的样本条目中。音频文件生成单元241向mpd生成单 元242提供用于每种类型的3d音频的音频文件。
[0550]
mpd生成单元242确定存储从图像文件生成单元53提供的每个瓦片 的图像文件的web服务器212的url等。此外，mpd生成单元242针对 每种类型的3d音频，确定存储从音频文件生成单元241提供的音频文件 的web服务器212的url等。
[0551]
mpd生成单元242在用于mpd文件的图像的“adaptation set”(“自 适应集”)中布置从图像信息生成单元54提供的图像信息。此外，mpd 生成单元242在用于瓦片的图像文件的“representation”(“表示”)的
ꢀ“
segment”(“片段”)中布置每个瓦片的图像文件的url等。
[0552]
mpd生成单元242针对每种类型的3d音频，在用于音频文件的
ꢀ“
representation”(“表示”)的“segment”(“片段”)中布置该音频文件 的url等。此外，mpd生成单元242在用于对象的对象元数据轨道的
ꢀ“
representation”(“表示”)中布置从外面输入的每个对象的对象位置信 息等。mpd生成单元242向服务器上传处理单元243提供其中各种信息 块如上所述进行布置的mpd文件、图像文件和用于每种类型的3d音频 的音频文件。
[0553]
服务器上传处理单元243向web服务器212上传从mpd生成单元242 提供的每个瓦
片的图像文件、每种类型的3d音频的音频文件和mpd文 件。
[0554]
(文件生成装置的过程的说明)
[0555]
图61为示出在图60中示出的文件生成装置211的文件生成过程的流 程图。
[0556]
如图61所示的步骤s301至s307的过程类似于如图46所示的步骤 s191至s197的过程，并因此其描述被省略。
[0557]
在步骤s308中，音频文件生成单元241针对每个轨道生成音频文件 (在音频文件中布置有音频流)。此时，音频文件生成单元241将从外面 输入的图像帧尺寸信息存储在基本轨道的音频文件中的样本条目中。音频 文件生成单元241向mpd生成单元242提供所生成的用于每种类型的3d 音频的音频文件。
[0558]
在步骤s309中，mpd生成单元242生成包含从图像信息生成单元54 提供的图像信息的mpd文件、每个文件的url和对象位置信息。mpd 生成单元242向服务器上传处理单元243提供图像文件、用于每种类型的 3d音频的音频文件和mpd文件。
[0559]
在步骤s310中，服务器上传处理单元243向web服务器212上传从 mpd生成单元242提供的图像文件、每种类型的3d音频的音频文件和 mpd文件。接着该过程终止。
[0560]
(视频播放终端的功能配置示例)
[0561]
图62为示出流播放单元的配置示例的框图，该流播放单元以如图59 所示的视频播放终端214执行控制软件221、视频播放软件222和访问软 件223的方式实施。
[0562]
在图62中示出的与图13和47所示组件相同的组件由相同的附图标 号表示。在适当时，省略重复的说明。
[0563]
如图62所示的流播放单元260的配置不同于如图13所示的流播放单 元90的配置在于：提供mpd处理单元261、元文件获取单元262、音频 选择单元263、音频文件获取单元264、音频解码处理单元194和音频合 成处理单元195以分别取代mpd处理单元92、元文件获取单元93、音频 选择单元94、音频文件获取单元95、音频解码处理单元96和音频合成处 理单元97。
[0564]
具体地，在对象音频待播放时，流播放单元260的mpd处理单元261 从提供自mpd获取单元91的mpd文件提取信息(诸如在待播放的片段 的对象元数据轨道的音频文件的“segment”(“片段”)中描述的url)， 并向元文件获取单元262提供所提取的信息。此外，mpd处理单元261 从mpd文件提取信息(诸如在从音频选择单元263所请求的对象的对象 音频轨道的音频文件的“segment”(“片段”)中描述的url)，并向音频 选择单元263提供所提取的信息。此外，mpd处理单元261从mpd文件 提取信息(诸如在待播放的片段的基本轨道的音频文件的“segment”(“片 段”)中描述的url)，并向元文件获取单元262提供所提取的信息。
[0565]
此外，在声道音频或hoa音频待播放时，mpd处理单元261从mpd 文件提取信息(诸如在待播放的片段的声道音频轨道或hoa音频轨道的 音频文件的“segment”(“片段”)中描述的url)。mpd处理单元261经 由音频选择单元263向音频文件获取单元264提供诸如url的信息。
[0566]
应指出，确定对象音频、声道音频和hoa音频中的哪一个将被播放 例如是根据使用者的指令的。
[0567]
mpd处理单元261从mpd文件提取在用于图像的“adaptation set
”ꢀ
(“自适应集”)中描述的瓦片位置信息并向图像选择单元98提供所提取 的瓦片位置信息。mpd处理单元
261从mpd文件提取信息(诸如在用于 从图像选择单元98所请求的瓦片的图像文件的“segment”(“片段”)中 描述的url)，并向图像选择单元98提供所提取的信息。
[0568]
基于诸如从mpd处理单元261提供的url的信息，元文件获取单元 262请求web服务器212发送由该url指定的对象元数据轨道的音频文 件，并获取该对象元数据轨道的音频文件。元文件获取单元93向音频选 择单元263提供被包含在该对象元数据轨道的音频元文件中的对象位置信 息。
[0569]
此外，基于诸如音频文件的url的信息，元文件获取单元262请求 web服务器142发送在由该url指定的基本轨道的音频文件的初始片段， 并获取该初始片段。元文件获取单元262向音频选择单元263提供被包含 在初始片段的样本条目中的图像帧尺寸信息。
[0570]
音频选择单元263基于图像帧尺寸信息和从元文件获取单元262提供 的对象位置信息计算在图像上的每个对象的位置。音频选择单元263基于 在图像上的每个对象的位置选择由使用者指定的显示区域中的对象。音频 选择单元263请求mpd处理单元261发送信息(诸如所选对象的对象音 频轨道的音频文件的url)。音频选择单元263根据该请求，向音频文件 获取单元264提供诸如从mpd处理单元261提供的url的信息。
[0571]
基于信息(诸如从音频选择单元263提供的对象音频轨道、声道音频 轨道或hoa音频轨道的音频文件的url)，音频文件获取单元264请求 web服务器12发送由该url指定的音频文件的音频流，并获取该音频文 件的音频流。音频文件获取单元95向音频解码处理单元194提供所获取 的以对象为单位的音频文件。
[0572]
(视频播放终端的过程的说明)
[0573]
图63为示出在图62中示出的流播放单元260的声道音频播放过程的 流程图。例如，在使用者将声道音频选择为待播放的对象时，该声道音频 播放过程被执行。
[0574]
在图63的步骤s331中，mpd处理单元261分析从mpd获取单元 91提供的mpd文件，并基于基本属性和在“representation”(“表示”) 中描述的编解码来指定待播放的片段的声道音频的“representation”(“表 示”)。此外，mpd处理单元261提取信息(诸如在被包含在“representation
”ꢀ
(“表示”)中的“segment”(“片段”)中描述的用于待播放的片段的声道 音频轨道的音频文件的url)，并经由音频选择单元263向音频文件获取 单元264提供所提取的信息。
[0575]
在步骤s332中，基于在步骤s331中指定的“representation”(“表示”) 的associationid，mpd处理单元261指定作为参考轨道的基本轨道的
ꢀ“
representation”(“表示”)。mpd处理单元261提取信息(诸如在被包 含在“representation”(“表示”)中的“segment”(“片段”)中描述的参 考轨道的音频文件的url)，并经由音频选择单元263向音频文件获取单 元264提供所提取的文件。
[0576]
在步骤s333中，音频文件获取单元264基于诸如从音频选择单元263 提供的url的信息，请求web服务器212发送待播放的片段的声道音频 轨道和参考轨道的音频文件的初始片段并获取该初始片段。
[0577]
在步骤s334中，音频文件获取单元264获取在所获取的初始片段的 trak盒中的样本条目。音频文件获取单元264向音频解码处理单元194提 供包含在所获取的样本条目中的编解码信息。
[0578]
在步骤s335中，音频文件获取单元264基于诸如从音频选择单元263 提供的url的
信息，向web服务器142发送请求，并从待播放的片段的 声道音频轨道的音频文件的头部获取sidx盒和ssix盒。
[0579]
在步骤s336中，音频文件获取单元264从在步骤s333中获取的sidx 盒和ssix盒获取待播放的子片段的位置信息。
[0580]
在步骤s337中，音频选择单元263基于在步骤s337中获取的位置信 息和诸如待播放的片段的声道音频轨道的音频文件的url的信息，请求 web服务器142发送被布置在该音频文件的mdat盒中的声道音频轨道的 音频流，并获取该声道音频轨道的音频流。音频选择单元263向音频解码 处理单元194提供所获取的声道音频轨道的音频流。
[0581]
在步骤s338中，音频解码处理单元194基于从音频文件获取单元264 提供的编解码信息解码从音频选择单元263提供的声道音频轨道的音频 流。音频选择单元263向音频合成处理单元195提供作为解码的结果所获 得的声道音频。
[0582]
在步骤s339中，音频合成处理单元195输出声道音频。接着该过程 终止。
[0583]
虽然未示出，用于通过流播放单元260播放hoa音频的hoa音频 播放过程以类似于如图63所示的声道音频播放过程的方式来执行。
[0584]
图64为示出在图62中示出的流播放单元260的对象音频播放过程的 流程图。例如，在使用者选择对象音频作为待播放的对象并且播放区域被 改变时，该对象音频播放过程被执行。
[0585]
在图64的步骤s351中，音频选择单元263获取使用者通过使用者的 操作等所指定的显示区域。
[0586]
在步骤s352中，mpd处理单元261分析从mpd获取单元91提供的 mpd文件，并基于基本属性和在“representation”(“表示”)中描述的编 解码来指定待播放的片段的元数据的“representation”(“表示”)。此外， mpd处理单元261提取信息(诸如在被包含在“representation”(“表示”) 中的“segment”(“片段”)中描述的待播放的片段的对象元数据轨道的音 频文件的url)，并向元文件获取单元262提供所提取的信息。
[0587]
在步骤s353中，基于在步骤s352中指定的“representation”(“表示”) 的associationid，mpd处理单元261指定作为参考轨道的基本轨道的
ꢀ“
representation”(“表示”)。mpd处理单元261提取信息(诸如在被包 含在“representation”(“表示”)中的“segment”(“片段”)中描述的参 考轨道的音频文件的url)，并向元文件获取单元262提供所提取的信息。
[0588]
在步骤s354中，元文件获取单元262基于诸如从mpd处理单元261 提供的url的信息，请求web服务器212发送待播放的片段的对象元数 据轨道和参考轨道的音频文件的初始片段并获取该初始片段。
[0589]
在步骤s355中，元文件获取单元262获取在所获取的初始片段的trak 盒中的样本条目。元文件获取单元262向音频文件获取单元264提供被包 含在为参考轨道的基本轨道的样本条目中的图像帧尺寸信息。
[0590]
在步骤s356中，元文件获取单元262基于诸如从mpd处理单元261 提供的url的信息，向web服务器142发送请求，并从待播放的片段的 对象元数据轨道的音频文件的头部获取sidx盒和ssix盒。
[0591]
在步骤s357中，元文件获取单元262从在步骤s356中获取的sidx 盒和ssix盒获取
待播放的子片段的位置信息。
[0592]
在步骤s358中，元文件获取单元262基于在步骤s357中获取的位置 信息和诸如待播放的片段的对象元数据轨道的音频文件的url的信息， 请求web服务器142传送被布置在该音频文件的mdat盒中的对象元数据 轨道的音频流，并获取该对象元数据轨道的音频流。
[0593]
在步骤s359中，元文件获取单元262基于被包含在步骤s355中获取 的样本条目中的编解码信息，解码在步骤s358中获取的对象元数据轨道 的音频流。元文件获取单元262向音频选择单元263提供作为解码的结果 所获得的被包含在元数据中的对象位置信息。
[0594]
在步骤s360中，音频选择单元263基于图像帧尺寸信息和从元文件 获取单元262提供的对象位置信息并基于由使用者指定的显示区域来选择 在该显示区域中的对象。音频选择单元263请求mpd处理单元261发送 诸如所选对象的对象音频轨道的音频文件的url的信息。
[0595]
在步骤s361中，mpd处理单元261分析从mpd获取单元91提供的 mpd文件，并基于基本属性和在“representation”(“表示”)中描述的编 解码来指定所选对象的对象音频的“representation”(“表示”)。此外， mpd处理单元261提取信息(诸如在被包含在“representation”(“表示”) 中的“segment”(“片段”)中描述的待播放的片段的所选对象的对象音频 轨道的音频文件的url)，并经由音频选择单元263向音频文件获取单元 264提供所提取的信息。
[0596]
在步骤s362中，基于在步骤s361中指定的“representation”(“表示”) 的associationid，mpd处理单元261指定作为参考轨道的基本轨道的
ꢀ“
representation”(“表示”)。mpd处理单元261提取信息(诸如在被包 含在“representation”(“表示”)中的“segment”(“片段”)中描述的参 考轨道的音频文件的url)，并经由音频选择单元263向音频文件获取单 元264提供所提取的信息。
[0597]
在步骤s363中，音频文件获取单元264基于诸如从音频选择单元263 提供的url的信息，请求web服务器212发送待播放的片段的对象音频 轨道和参考轨道的音频文件的初始片段，并获取该初始片段。
[0598]
在步骤s364中，音频文件获取单元264获取在所获取的初始片段的 trak盒中的样本条目。音频文件获取单元264向音频解码处理单元194提 供包含在样本条目中的编解码信息。
[0599]
在步骤s365中，音频文件获取单元264基于诸如从音频选择单元263 提供的url的信息，向web服务器142发送请求，并从待播放的片段的 对象音频轨道的音频文件的头部获取sidx盒和ssix盒。
[0600]
在步骤s366中，音频文件获取单元264从在步骤s365中获取的sidx 盒和ssix盒获取待播放的子片段的位置信息。
[0601]
在步骤s367中，音频文件获取单元264基于在步骤s366中获取的位 置信息和诸如待播放的片段的对象音频轨道的音频文件的url的信息， 请求web服务器142发送被布置在该音频文件内的mdat盒中的对象音频 轨道的音频流，并获取该对象音频轨道的音频流。音频文件获取单元264 向音频解码处理单元194提供所获取的对象音频轨道的音频流。
[0602]
步骤s368和s369的过程类似于如图50所示的步骤s287和s288的 过程，并因此其描述被省略。
[0603]
应指出，在上面的描述中，音频选择单元263选择显示区域中的所有 对象。然而，音频选择单元263可只选择显示区域中的具有高处理优先级 的对象，或可只选择预定内容的音频对象。
[0604]
图65为示出在音频选择单元263只选择显示区域中的对象之中具有 高处理优先级的对象时，对象音频播放过程的流程图。
[0605]
如图65所示的对象音频播放过程类似于如图64所示的对象音频播放 过程，除了如图65所示的步骤s390的过程被执行以取代如图64所示的 步骤s360。具体地，如图65所示的步骤s381至s389和步骤s391至s399 的过程类似于如图64所示的步骤s351至s359和步骤s361至s369的过 程。因此，下面将只描述步骤s390的过程。
[0606]
在如图65所示的步骤s390中，音频文件获取单元264基于图像帧尺 寸信息、对象位置信息、显示区域和每个对象的优先级来选择该显示区域 中具有高处理优先级的对象。具体地，音频文件获取单元264基于图像帧 尺寸信息、对象位置信息和显示区域来指定该显示区域的每个对象。音频 文件获取单元264从所指定的对象之中选择优先级等于或高于预定值的对 象。应指出，例如，mpd处理单元261分析mpd文件，从而从指定对象 的对象音频的“representation”(“表示”)获取优先级。音频选择单元263 请求mpd处理单元261发送诸如所选对象的对象音频轨道的音频文件的 url的信息。
[0607]
图66为示出在音频选择单元263在选择显示区域中的对象之中只选 择具有高处理优先级的预定内容的音频对象时的对象音频播放过程的流 程图。
[0608]
如图66所示的对象音频播放过程类似于如图64所示的对象音频播放 过程，除了如图66所示的步骤s420的过程被执行以取代如图64所示的 步骤s360。具体地，如图66所示的步骤s381至s389和步骤s391至s399 的过程类似于如图64所示的步骤s411至s419和步骤s421至s429的过 程。因此，下面将只描述步骤s420的过程。
[0609]
在如图66所示的步骤s420中，音频文件获取单元264基于图像帧尺 寸信息、对象位置信息、显示区域、每个对象的优先级以及每个对象的内 容种类来选择该显示区域中具有高处理优先级的预定内容的音频对象。具 体地，音频文件获取单元264基于图像帧尺寸信息、对象位置信息和显示 区域来指定该显示区域中的每个对象。音频文件获取单元264从所指定的 对象之中选择优先级等于或高于预定值并具有由预定值指示的内容种类 的对象。
[0610]
应指出，例如，mpd处理单元261分析mpd文件，从而从指定对象 的对象音频的“representation”(“表示”)获取优先级和内容种类。音频 选择单元263请求mpd处理单元261传送诸如所选对象的对象音频轨道 的音频文件的url的信息。
[0611]
图67为示出基于优先级选择的对象的示例的示意图。
[0612]
在图67的示例中，对象#1(对象1)至#4(对象4)为在显示区域中 的对象，以及优先级等于或低于2的对象从显示区域中的对象之中选择。 假设数值越小，处理优先级越高。此外，在图67中，圆圈中的数值表示 对应对象的优先级的值。
[0613]
在如图67所示的示例中，在对象#1至#4的优先级分别为1、2、3和 4时，对象#1和对象#2被选择。此外，在对象#1至#4的优先级被分别改 变为3、2、1和4时，对象#2和对象#3被选择。此外，在对象#1至#4的 优先级被改变为3、4、1和2时，对象#3和对象#4被选择。
[0614]
如上所述，只有具有高处理优先级的对象的对象音频的音频流从显示 区域中的
对象之中选择性获取，在web服务器142(212)和视频播放终 端144(214)之间的频带被有效利用。同样适用于在对象基于该对象的内 容种类来选择。
[0615]
《第五实施例》
[0616]
(轨道的概述)
[0617]
图68为示出在应用本公开的第五实施例中的轨道的概述的示意图。
[0618]
如图68所示，第五实施例不同于第二实施例之处在于，轨道被记录 为不同文件(3da_base.mp4/3da_channel.mp4/3da_object_1.mp4/3da_hoa.mp4/3da_meta .mp4)。
[0619]
根据第五实施例的信息处理系统和由该信息处理系统执行的过程类 似于第四实施例，并因此省略其描述。
[0620]
《第六实施例》
[0621]
(轨道的概述)
[0622]
图69为示出在应用本公开的第六实施例中的轨道的概况的示意图。
[0623]
如图69所示，第六实施例不同于第三实施例之处在于，轨道被记录 为不同文件 (3da_basemeta.mp4/3da_channel.mp4/3da_object_1.mp4/3da_hoa.mp4)。
[0624]
根据第六实施例的信息处理系统和由该信息处理系统执行的过程类 似于第四实施例，除了基本轨道而不是对象元数据轨道的音频流被获取， 以便获取对象位置信息。因此，省略其描述。
[0625]
应指出，在第一至第三实施例、第五实施例和第六实施例中，在显示 区域中的对象也可以基于该对象的优先级或内容种类来选择。
[0626]
此外，在第一至第六实施例中，流播放单元可获取显示区域外面的对 象的音频流并合成该对象的对象音频且输出该对象音频，如同图23中示 出的流播放单元120。
[0627]
此外，在第一至第六实施例中，对象位置信息从元数据获取，但是替 代地，对象位置信息可从mpd文件获取。
[0628]
《3d音频的分层结构的解释》
[0629]
图70为示出3d音频的分层结构的示意图。
[0630]
如图70所示，对于每个音频数据都不同的音频元素(元素)被用作 3d音频的音频数据。作为音频元素的类型，存在单声道元素(sce)和 声道对元素(cpe)。用于一个声道的音频数据的音频元素的类型为sce， 以及对应于两个声道的音频数据的音频元素的类型为cpe。
[0631]
相同音频类型(声道/对象/saoc对象/hoa)的音频元素形成组。组 类型(grouptype)的示例包含声道、对象、saoc对象和hoa。在需要 时，两组或多组可以形成开关组或组预设。
[0632]
开关组定义待单独播放的音频元素的组。具体地，如图70所示，在 存在用于英语(en)的对象音频组和用于法语(fr)的对象音频组时， 该组中的一者为待播放。因此，开关组由组id为2的用于英语的对象音 频组和组id为3的用于法语的对象音频组形成。因此，用于英语的对象 音频和用于法语的对象音频被单独播放。
[0633]
另一方面，组预设定义由内容生产商预定的组的组合。
[0634]
关于每个元数据都不同的ext元素(ext elements)被用作3d音频的 元数据。ext元素的类型的示例包含对象元数据、saoc 3d元数据、hoa 元数据、drc元数据、
spatialframe和saocframe。对象元数据的ext元 素为对象音频的所有元数据，以及saoc 3d元数据的ext元素为saoc 音频的所有元数据。此外，hoa元数据的ext元素为hoa音频的所有元 数据以及动态范围控制(drc)元数据的ext元素为对象音频、saoc音 频和hoa音频的所有元数据。
[0635]
如上所述，3d音频的音频数据以音频元素、组类型、组、开关组和 组预设(group preset)为单位划分。因此，音频数据可被划分为音频元素、 组、开关组或组预设，以替代如同第一至第六实施例所述的针对每种组类 型将音频数据划分为轨道(然而，在此情况下，对象音频针对每个对象被 划分)。
[0636]
此外，3d音频的元数据被划分为以ext元素类型(extelementtype) 为单位或以对应于元数据的音频元素为单位。因此，元数据可针对对应于 该元数据的每个音频元素而划分，以取代如同第一至第六实施例所述的针 对每种类型的ext元素来划分元数据。
[0637]
假设在下面的描述中，音频数据针对每个音频元素而划分；元数据针 对每种类型的ext元素而划分；以及不同轨道的数据被布置。使用其它划 分单位时，也同样适用。
[0638]
《web服务器过程的第一示例的说明》
[0639]
图71为示出web服务器142(212)的过程的第一示例的示意图。
[0640]
在图71的示例中，对应于从文件生成装置141(211)上传的音频文 件的3d音频由五个声道的声道音频、三个对象的对象音频和对象音频的 元数据(对象元数据)组成。
[0641]
五个声道的声道音频被划分为前中心(fc)声道的声道音频、前左/ 前右(fl,fr)声道的声道音频和后左/后右(rl,rr)声道的声道音频， 这些声道音频被布置为不同轨道的数据。此外，每个对象的对象音频被布 置为不同轨道的数据。此外，对象元数据被布置为一个轨道的数据。
[0642]
此外，如图71所示，3d音频的每个音频流由配置信息和以帧(样本) 为单位的数据组成。在图71的示例中，在音频文件的音频流中，五个声 道的声道音频、三个对象的对象音频和对象元数据的配置信息被集中布 置，以及每个帧的数据项被集中布置。
[0643]
在此情况下，如图71所示，web服务器142(212)针对每个轨道划 分从文件生成装置141(211)上传的音频文件的音频流并生成七个轨道的 音频流。具体地，web服务器142(212)根据诸如ssix盒的信息从音频 文件的音频流提取每个轨道的配置信息和音频数据，并生成每个轨道的音 频流。每个轨道的音频流由该轨道的配置信息和每个帧的音频数据组成。
[0644]
图72为示出web服务器142(212)的轨道划分过程的流程图。例如， 在从文件生成装置141(211)上传音频文件时，开始该轨道划分过程。
[0645]
在如图72所示的步骤s441中，web服务器142(212)存储从文件 生成装置141上传的音频文件。
[0646]
在步骤s442中，web服务器142(212)根据诸如音频文件的ssix盒 的信息针对每个轨道来划分构成音频文件的音频流。
[0647]
在步骤s443中，web服务器142(212)保持每个轨道的音频流。接 着该过程终止。在音频流被从视频播放终端144(214)的音频文件获取单 元192(264)请求时，该音频流从web服务器142(212)被传送至视频 播放终端144(214)。
[0648]
《音频解码处理单元的过程的第一示例的说明》
[0649]
图73为示出在web服务器142(212)执行上述参考图71和72的过 程时的音频解码处理单元194的过程的第一示例的示意图。
[0650]
在图73的示例中，web服务器142(212)保持如图71所示的每个 轨道的音频流。待播放的轨道为前左/前右声道的声道音频、后左/后右声 道的声道音频、第一对象的对象音频和对象元数据的轨道。后面描述的图 75的情况同样如此。
[0651]
在此情况下，音频文件获取单元192(264)获取前左/前右声道的声 道音频、后左/右声道的声道音频、第一对象的对象音频和对象元数据的轨 道。
[0652]
音频解码处理单元194首先从由音频文件获取单元192(264)获取的 对象元数据的轨道的音频流提取第一对象的对象音频的元数据的音频流。
[0653]
接下来，如图73所示，音频解码处理单元194合成待播放的音频轨 道的音频流和所提取的元数据的音频流。具体地，音频解码处理单元194 生成音频流，其中，被包含在所有音频流中的配置信息项被集中布置，以 及每个帧的数据项被集中布置。此外，音频解码处理单元194解码所生成 的音频流。
[0654]
如上所述，在待播放音频流除了一个声道音频轨道的音频流之外还包 括音频流时，两个或多个轨道的音频流待播放。因此，音频流在解码之前 被合成。
[0655]
另一方面，只有一个声道音频的轨道的音频流待播放时，不需要合成 该音频流。因此，音频解码处理单元194直接解码由音频文件获取单元192 (264)获取的音频流。
[0656]
图74为示出在web服务器142(212)执行上述参考图71和72的过 程时的音频解码处理单元194的解码过程的第一示例的细节的流程图。该 解码过程为待播放轨道除了一个声道音频轨道之外还包括轨道时所执行 的如图48所示的步骤s229和如图50所示的步骤s287的过程中的至少一 者。
[0657]
在图74的步骤s461中，音频解码处理单元194将表示被包含在所生 成的音频流中的元素数量的所有元素数量设置为“0”。在步骤s462中， 音频解码处理单元194将指示被包含在所生成的音频流中的元素类型的所 有元素类型信息复位(清除)。
[0658]
在步骤s463中，音频解码处理单元194将待播放轨道之中的未被确 定为待处理轨道的轨道设置为待处理轨道。在步骤s464中，音频解码处 理单元194从例如待处理的轨道的音频流获取被包含在待处理的轨道中的 元素的数量和类型。
[0659]
在步骤s465中，音频解码处理单元194将所获取的元素的数量添加 至总的元素数量。在步骤s466中，音频解码处理单元194将所获取的元 素的类型添加至所有的元素类型信息。
[0660]
在步骤s467中，音频解码处理单元194确定待播放的所有轨道是否 被设置为待处理的轨道。在步骤s467中确定不是所有的待播放轨道被设 置为待处理的轨道时，该过程返回到步骤s463，并且步骤s463至s467 的过程被重复直到所有的待播放轨道被设置为待处理的轨道。
[0661]
另一方面，在步骤s467中确定所有的待播放轨道被设置为待处理的 轨道时，该过程前进至步骤s468。在步骤s468中，音频解码处理单元194 在所生成的音频流上的预定位置处布置总的元素数量和所有的元素类型 信息。
[0662]
在步骤s469中，音频解码处理单元194将待播放的轨道之中未被确 定为待处理轨道的轨道，设置为待处理的轨道。在步骤s470中，在元素 待处理时，音频解码处理单元194
将被包含在待处理的轨道中的还未被确 定为待处理的元素的元素，设置为待处理的元素。
[0663]
在步骤s471中，音频解码处理单元194从待处理的轨道的音频流获 取待处理的元素的配置信息并将该配置信息布置在所生成的音频流上。此 时，待播放的所有轨道的所有元素的配置信息项被连续布置。
[0664]
在步骤s472中，音频解码处理单元194确定被包含在待处理的轨道 中的所有元素是否被设置为待处理的元素。在步骤s472中确定不是所有 的元素被设置为待处理的元素时，该过程返回到步骤s470，并且步骤s470 至s472的过程被重复直到所有的元素被设置为待处理的元素。
[0665]
另一方面，在步骤s472中确定所有元素被设置为待处理的元素时， 该过程前进至步骤s473。在步骤s473中，音频解码处理单元194确定待 播放的所有轨道是否被设置为待处理的轨道。在步骤s473中确定不是所 有的待播放轨道被设置为待处理的轨道时，该过程返回到步骤s469，并 且步骤s469至s473的过程被重复直到所有的待播放轨道被设置为待处理 的轨道。
[0666]
另一方面，在步骤s473中确定所有的待播放轨道被设置为待处理的 轨道时，该过程前进至步骤s474。在步骤s474中，音频解码处理单元194 确定待处理的帧。在第一时间的步骤s474的过程中，头帧被确定为待处 理的帧。在第二时间和后续时间的步骤s474的过程中，紧接着待处理的 当前帧的帧被确定为待处理的新帧。
[0667]
在步骤s475中，音频解码处理单元194将待播放的轨道之中未被确 定为的待处理的轨道的轨道设置为待处理的轨道。在步骤s476中，音频 解码处理单元194将被包含在待处理的轨道中的元素之中的还未被确定为 待处理的元素的元素，设置为待处理的元素。
[0668]
在步骤s477中，音频解码处理单元194确定待处理的元素是否为ext 元素。在步骤s477中确定待处理的元素不是ext元素时，该过程前进到 步骤s478。
[0669]
在步骤s478中，音频解码处理单元194从待处理的轨道的音频流获 取待处理的元素的待处理帧的音频数据并将该音频数据布置在所生成的 音频流上。此时，待播放的所有轨道的所有元素的相同帧中的数据被连续 布置。在步骤s478的过程之后，该过程前进到步骤s481。
[0670]
另一方面，在步骤s477中确定待处理的元素是ext元素时，该过程 前进到步骤s479。在步骤s479中，音频解码处理单元194从待处理的轨 道的音频流获取待处理的元素的待处理帧中的所有对象的元数据。
[0671]
在步骤s480中，音频解码处理单元194在所生成的音频流上布置所 获取的所有对象的元数据之中待播放的对象的元数据。此时，待播放的所 有轨道的所有元素的相同帧中的数据项被连续布置。在步骤s480的过程 之后，该过程前进到步骤s481。
[0672]
在步骤s481中，音频解码处理单元194确定被包含在待处理的轨道 中的所有元素是否被设置为待处理的元素。在步骤s481中确定不是所有 的元素被设置为待处理的元素时，该过程返回到步骤s476，并且步骤s476 至s481的过程被重复直到所有的元素被设置为待处理的元素。
[0673]
另一方面，在步骤s481中确定所有元素被设置为待处理的元素时， 该过程前进至步骤s482。在步骤s482中，音频解码处理单元194确定待 播放的所有轨道是否被设置为待处理的轨道。在步骤s482中确定不是所 有的待播放轨道被设置为待处理的轨道时，该过程
返回到步骤s475，并 且步骤s475至s482的过程被重复直到所有的待播放轨道被设置为待处理 的轨道。
[0674]
另一方面，在步骤s482中确定所有的待播放轨道被设置为待处理的 轨道时，该过程前进至步骤s483。
[0675]
在步骤s483中，音频解码处理单元194确定所有帧是否被设置为待 处理的帧。在步骤s483中确定不是所有的帧被设置为待处理的帧时，该 过程返回到步骤s474，并且步骤s474至s483的过程被重复直到所有的 帧被设置为待处理的帧。
[0676]
另一方面，在步骤s483中确定所有帧被设置为待处理的帧时，该过 程前进至步骤s484。在步骤s484中，音频解码处理单元194解码所生成 的音频流。具体地，音频解码处理单元194解码音频流，在该音频流中， 总的元素数、所有元素类型信息、配置信息、音频数据和待播放的对象的 元数据被布置。音频解码处理单元194向音频合成处理单元195提供作为 解码的结果所获得的音频数据(对象音频、声道音频、hoa音频)。接着 该过程终止。
[0677]
《音频解码处理单元的过程的第二示例的解释》
[0678]
图75为示出在web服务器142(212)执行上述参考图71和72的过 程时，音频解码处理单元194的过程的第二示例的示意图。
[0679]
如图75所示，音频解码处理单元194的过程的第二示例不同于第一 示例之处在于，所有轨道的音频流被布置在所生成的音频流上以及指示零 解码结果流或标记(在下文中，被称为零流)被布置作为不播放的轨道的 音频流。
[0680]
具体地，音频文件获取单元192(264)获取被包含在保持在web服 务器142(212)中的所有轨道的音频流中的配置信息以及被包含在待播放 的轨道的音频流中的每个帧的数据。
[0681]
如图75所示，音频解码处理单元194将所有轨道的配置信息项集中 布置在所生成的音频流上。此外，音频解码处理单元194将待播放的轨道 的每个帧的数据和作为不播放的轨道的每个帧的数据的零流布置在所生 成的音频流上。
[0682]
如上所述，由于音频解码处理单元194将作为不播放的轨道的音频流 的零流布置在所生成的音频流上，所以也存在不播放的对象的音频流。因 此，可在所生成的音频流中包含不播放的对象的元数据。这消除了音频解 码处理单元194从对象元数据的轨道的音频流提取待播放的对象的元数据 的音频流的需要。
[0683]
应指出，零流可被布置作为不播放的轨道的配置信息。
[0684]
图76为示出在web服务器142(212)执行上述参考图71和72的过 程时的音频解码处理单元194的解码过程的第二示例的细节的流程图。该 解码过程为在待播放轨道除了一个声道音频轨道外还包括轨道时所执行 的，如图48所示的步骤s229的过程和如图50所示的步骤s287的过程中 的至少一者。
[0685]
如图76所示的步骤s501和s502的过程类似于如图74所示的步骤 s461至s462的过程，并因此其描述被省略。
[0686]
在步骤s503中，音频解码处理单元194将对应于在web服务器142 (212)中保持的音频流的轨道之中未被确定为待处理的轨道的轨道，设 置为待处理的轨道。
[0687]
步骤s504至s506的过程类似于步骤s464至s466的过程，并因此其 描述将被省略。
[0688]
在步骤s507中，音频解码处理单元194确定对应于保持在web服务 器142(212)中
的音频流的所有轨道是否被设置为待处理的轨道。在步骤 s507中确定不是所有的轨道被设置为待处理的轨道时，该过程返回到步 骤s503，并且步骤s503至s507的过程被重复直到所有的轨道被设置为 待处理的轨道。
[0689]
另一方面，在步骤s507中确定所有轨道被设置为待处理的轨道时， 该过程前进至步骤s508。在步骤s508中，音频解码处理单元194在所生 成的音频流上的预定位置布置总的元素数量和所有的元素类型信息。
[0690]
在步骤s509中，音频解码处理单元194将对应于在web服务器142 (212)中保持的音频流的轨道之中未被确定为待处理的轨道的轨道，设 置为待处理的轨道。在步骤s510中，音频解码处理单元194将被包含在 待处理的轨道中的元素之中未被确定为待处理的元素的元素，设置为待处 理的元素。
[0691]
在步骤s511中，音频解码处理单元194从待处理的轨道的音频流获 取待处理的元素的配置信息并在所生成的音频流上生成该配置信息。此 时，对应于被保持在web服务器142(212)中的音频流的所有轨道的所 有元素的配置信息项被连续布置。
[0692]
在步骤s512中，音频解码处理单元194确定被包含在待处理的轨道 中的所有元素是否被设置为待处理的元素。在步骤s512中确定不是所有 的元素被设置为待处理的元素时，该过程返回到步骤s510，并且步骤s510 至s512的过程被重复直到所有的元素被设置为待处理的元素。
[0693]
另一方面，在步骤s512中确定所有元素被设置为待处理的元素时， 该过程前进至步骤s513。在步骤s513中，音频解码处理单元194确定对 应于保持在web服务器142(212)中的音频流的所有轨道是否被设置为 待处理的轨道。在步骤s513中确定不是所有的轨道被设置为待处理的轨 道时，该过程返回到步骤s509，并且步骤s509至s513的过程被重复直 到所有的轨道被设置为待处理的轨道。
[0694]
另一方面，在步骤s513中确定所有轨道被设置为待处理的轨道时， 该过程前进至步骤s514。在步骤s514中，音频解码处理单元194确定待 处理的帧。在第一时间的步骤s514的过程中，头帧被确定为待处理的帧。 在第二时间和后续时间的步骤s514的过程中，紧接着待处理的当前帧的 帧被确定为待处理的新帧。
[0695]
在步骤s515中，音频解码处理单元194将对应于在web服务器142 (212)中保持的音频流的轨道之中未被确定为待处理的轨道的轨道设置 为待处理的轨道。
[0696]
在步骤s516中，音频解码处理单元194确定待处理的轨道是否为待 播放的轨道。在步骤s516中确定待处理的轨道是待播放的轨道时，该过 程前进到步骤s517。
[0697]
在步骤s517中，音频解码处理单元194将被包含在待处理的轨道中 的元素之中未被确定为待处理的元素的元素设置为待处理的元素。
[0698]
在步骤s518中，音频解码处理单元194从待处理的轨道的音频流获 取待处理的元素的待处理帧的音频数据并将该音频流布置在所生成的音 频流上。此时，对应于被保持在web服务器142(212)中的音频流的所 有轨道的所有元素的相同帧中的数据项被连续布置。
[0699]
在步骤s519中，音频解码处理单元194确定被包含在待处理的轨道 中的所有元素是否被设置为待处理的元素。在步骤s519中确定不是所有 的元素被设置为待处理的元素时，该过程返回到步骤s517，并且步骤s517 至s519的过程被重复直到所有的元素被设置为待处理的元素。
[0700]
另一方面，在步骤s519中确定所有元素被设置为待处理的元素时， 该过程前进至步骤s523。
[0701]
此外，在步骤s516中确定待处理的轨道不是待播放的轨道时，该过 程前进到步骤s520。在步骤s520中，音频解码处理单元194将被包含在 待处理的轨道中的元素之中未被确定为待处理的元素的元素设置为待处 理的元素。
[0702]
在步骤s521中，音频解码处理单元194将作为待处理的元素的待处 理帧的数据的零流布置在所生成的音频流上。此时，对应于被保持在web 服务器142(212)中的音频流的所有轨道的所有元素的相同帧中的数据项 被连续布置。
[0703]
在步骤s522中，音频解码处理单元194确定被包含在待处理的轨道 中的所有元素是否被设置为待处理的元素。在步骤s522中确定不是所有 的元素被设置为待处理的元素时，该过程返回到步骤s520，并且步骤s520 至s522的过程被重复直到所有的元素被设置为待处理的元素。
[0704]
另一方面，在步骤s522中确定所有元素被设置为待处理的元素时， 该过程前进至步骤s523。
[0705]
在步骤s523中，音频解码处理单元194确定对应于保持在web服务 器142(212)中的音频流的所有轨道是否被设置为待处理的轨道。在步骤 s522中确定不是所有的轨道被设置为待处理的轨道时，该过程返回到步 骤s515，并且步骤s515至s523的过程被重复直到所有的待播放轨道被 设置为待处理的轨道。
[0706]
另一方面，在步骤s523中确定所有轨道被设置为待处理的轨道时， 该过程前进至步骤s524。
[0707]
在步骤s524中，音频解码处理单元194确定所有帧是否被设置为待 处理的帧。在步骤s524中确定不是所有的帧被设置为待处理的帧时，该 过程返回到步骤s514，并且步骤s514至s524的过程被重复直到所有的 帧被设置为待处理的帧。
[0708]
另一方面，在步骤s524中确定所有帧被设置为待处理的帧时，该过 程前进至步骤s525。在步骤s525中，音频解码处理单元194解码所生成 的音频流。具体地，音频解码处理单元194解码音频流，在音频流中，总 的元素数、所有元素类型信息和配置信息以及对应于被保持在web服务 器142(212)中的音频流的所有轨道的数据被布置。音频解码处理单元 194向音频合成处理单元195提供作为解码的结果所获得的音频数据(对 象音频、声道音频、hoa音频)。接着该过程终止。
[0709]
《web服务器过程的第二示例的解释》
[0710]
图77为示出web服务器142(212)的过程的第二示例的示意图。
[0711]
如图77所示的web服务器142(212)的过程的第二示例与图71所 示的第一示例相同，除了每个对象的对象元数据作为不同轨道的数据被布 置在音频文件中之外。
[0712]
因此，如图77所示，web服务器142(212)针对每个轨道划分从文 件生成装置141(211)上传的音频文件的音频流并生成九个轨道的音频流。
[0713]
在此情况下，web服务器142(212)的轨道划分过程类似于图72所 示的轨道划分过程，并因此省略其描述。
[0714]
《音频解码处理单元的第三示例的说明》
[0715]
图78为示出在web服务器142(212)执行上述参考图77的过程时， 音频解码处理单
元194的过程的示意图。
[0716]
在图78的示例中，web服务器142(212)保持如图77所示的每个 轨道的音频流。待播放的轨道为前左/前右声道的声道音频、后左/后右声 道的声道音频、第一对象的对象音频和第一对象的对象元数据。
[0717]
在此情况下，音频文件获取单元192(264)获取前左/前右声道的声 道音频、后左/后右声道的声道音频、第一对象的对象音频和第一对象的对 象元数据的轨道的音频流。音频解码处理单元194合成所获取的待播放的 轨道的音频流并解码所生成的音频流。
[0718]
如上所述，在对象元数据被布置为用于每个对象的不同轨道的数据 时，对于音频解码处理单元194，不需要提取待播放的对象的对象元数据 的音频流。因此，音频解码处理单元194可以很容易生成待解码的音频流。
[0719]
图79为示出在web服务器142(212)执行上述参考图77的过程时 的音频解码处理单元194的解码过程的细节的流程图。该解码过程为在待 播放轨道除了一个声道音频轨道外还包含轨道时所执行的如图48所示的 步骤s229的过程和如图50所示的步骤s287的过程中的一者。
[0720]
如图79所示的解码过程类似于如图74所示的解码过程，除了步骤 s477、s479和s480中的过程未被执行以及不仅音频数据而且元数据也被 布置在步骤s478的过程中之外。具体地，如图79所示的步骤s541至s556 的过程类似于如图74所示的步骤s461至s476的过程。在如图79所示的 步骤s557的过程中，待处理的元素的待处理帧的数据如同步骤s478中的 过程进行布置。此外，步骤s558至s561的过程类似于如图74所示的步 骤s481至s484的过程。
[0721]
应指出，在上述过程中，视频播放终端144(214)生成待解码的音频 流，但是替代地，web服务器142(212)可生成被假设为待播放的轨道 的组合的音频流的组合。在此情况下，只有通过从web服务器142(212) 获取具有待播放的轨道的组合的音频流并解码该音频流，视频播放终端 144(214)才可以播放待播放的轨道的音频。
[0722]
此外，音频解码处理单元194可针对每个轨道解码从web服务器142 (212)获取的待播放的轨道的音频流。在此情况下，音频解码处理单元 194需要合成作为解码的结果所获得的音频数据和元数据。
[0723]
《基本样本的语法的第二示例》
[0724]
(被布置在基本样本中的配置信息的语法的第二示例)
[0725]
图80为示出被布置在基本样本中的配置信息的语法的第二示例的示 意图。
[0726]
在图80的示例中，被布置在基本样本中的元素数量(numelements) 被描述为配置信息。此外，作为被布置在基本样本中的每种元素的类型 (usacelementtype)，表示ext元素的“id_usac_ext”被描述以及用于 每个元素的ext元素的配置信息(mpegh3daextelementcongfig)也被描述。
[0727]
图81为示出用于在图80中示出的ext元素的配置信息 (mpegh3daextelementcongfig)的示例性语法的示意图。
[0728]
如图81所示，表示作为ext元素的类型的提取器的
ꢀ“
id_ext_ele_extractor”被描述为用于如图80所示的ext元素的配 置信息(mpegh3daextelementcongfig)。此外，描述用于提取器的配置信 息(extractorconfig)。
[0729]
图82为示出用于在图81中示出的提取器的配置信息 (extractorconfig)的示例性语法的示意图。
[0730]
如图82所示，作为用于如图81所示的提取器的配置信息 (extractorconfig)，有待通过该提取器参考的元素的类型(usac elementtype extractor)被描述。此外，在元素类型(usac element type extractor) 为表示ext元素的“id_usac_ext”时的ext元素的类型 (usacextelementtypeextractor)被描述。此外，待参考的元素(子样本) 的配置信息的大小(configlength)和位置(configoffset)被描述。
[0731]
(被布置在基本样本中的帧单元的数据语法的第二示例)
[0732]
图83为示出被布置在基本样本中的帧单元中的数据语法的第二示例 的示意图。
[0733]
如图83所示，作为被布置在基本样本中的帧单元中的数据，表示作 为ext元素的类型的提取器的“id_ext_ele_extractor”被描述，其 中，该ext元素为数据元。提取器数据(extractor metadata)也被描述。
[0734]
图84为示出在图83中示出的提取器数据(extractor metadata)的示 例性语法的示意图。
[0735]
如图84所示，待通过提取器参考的元素的数据的大小(elementlength) 和位置(elementoffset)被描述为如图83所示的提取器数据(extractormetadata)。
[0736]
《基本样本的语法的第三示例》
[0737]
(被布置在基本样本中的配置信息的语法的第三示例)
[0738]
图85为示出被布置在基本样本中的配置信息的语法的第三示例的示 意图。
[0739]
在图85的示例中，被布置在基本样本中的元素数量(numelements) 被描述为配置信息。此外，指示提取器的“1”被描述作为提取器标记(flagextractor)，其指示配置信息被布置在其中的样本是否为提取器。此外，“1
”ꢀ
被描述作为elementlengthpresent。
[0740]
此外，待通过元素参考的元素类型被描述为被布置在基本样本中的每 个元素的类型(usacelementtype)。在元素类型(usacelementtype)为表 示ext元素的“id_usac_ext”时，ext元素的类型(usacextelementtype) 被描述。此外，待参考的元素的配置信息的大小(configlength)和位置 (configoffset)被描述。
[0741]
(被布置在基本样本中的帧单元中的数据语法的第三示例)
[0742]
图86为示出被布置在基本样本中的帧单元中的数据语法的第三示例 的示意图。
[0743]
如图86所示，作为被布置在基本样本中的帧单元中的数据，待通过 数据参考的元素的数据的大小(elementlength)和位置(elementoffset) 被描述。
[0744]
《第七实施例》
[0745]
(音频流的配置示例)
[0746]
图87为示出被存储在应用本公开的信息处理系统的第七实施例中的 音频文件中的音频流的配置示例的示意图。
[0747]
如图87所示，在第七实施例中，音频文件针对每种组类型以3d音频 的样本为单位存储编码数据(然而，在此情况下，对象音频被存储以用于 每个对象)和被布置为子样本的音频流(3d音频流)。
[0748]
此外，音频文件存储线索流(3d音频提示流)，其中提取器被设置为 子样本，所述提取器包含以用于每种组类型的3d音频的样本为单位的编 码数据的大小、位置和组类型。
该提取器的配置类似于上述的配置，以及 该组类型被描述为提取器的类型。
[0749]
(轨道的概述)
[0750]
图88为示出在第七实施例中的轨道的概述的示意图。
[0751]
如图88所示，在第七实施例中，不同的轨道被分别分配给音频流和 线索流。对应线索流的轨道的轨道id“2”被描述为音频流的轨道的轨道参 考序号。此外，相应音频流的轨道的轨道id“1”被描述为线索流的轨道的 轨道参考序号。
[0752]
音频流的轨道的样本条目的语法为如图34所示的语法，以及线索流 的轨道的样本条目的语法包含如图35至38所示的语法。
[0753]
(文件生成装置的过程的解释)
[0754]
图89为示出在第七实施例中的文件生成装置的文件生成过程的流程 图。
[0755]
应指出，根据第七实施例的文件生成装置与如图45所示的文件生成 装置141相同，除了音频编码处理单元171和音频文件生成单元172的过 程之外。因此，根据第七实施例的文件生成装置、音频编码处理单元和音 频文件生成单元在下文中分别被称为文件生成装置301、文件编码处理单 元341和音频文件生成单元342。
[0756]
如图89所示的步骤s601至s605的过程类似于如图46所示的步骤 s191至s195的过程，并因此其描述被省略。
[0757]
在步骤s606中，音频编码处理单元341针对每种组类型编码从外面 输入的视频内容的3d音频并生成如图87所示的音频流。音频编码处理单 元341向音频文件生成单元342提供所生成的音频流。
[0758]
在步骤s607中，音频文件生成单元342从提供自音频编码处理单元 341的音频流获取子样本信息。该子样本信息指示以每种组类型的3d音 频的样本为单位的编码数据的大小、位置和组类型。
[0759]
在步骤s608中，音频文件生成单元342基于该子样本信息生成如图 87所示的线索流。在步骤s609中，音频文件生成单元342将音频流和线 索流复用为不同轨道并生成音频文件。此时，音频文件生成单元342将从 外面输入的图像帧尺寸信息存储在样本条目中。音频文件生成单元342向 mpd生成单元173提供所生成的音频文件。
[0760]
步骤s610和s611的过程类似于如图46所示的步骤s199和s200的 过程，并因此其描述被省略。
[0761]
(视频播放终端的过程的解释)
[0762]
图90为示出在第七实施例中的视频播放终端的流播放单元的音频播 放过程的流程图。
[0763]
应指出，根据第七实施例的流播放单元与如图47所示的流播放单元 190相同，除了mpd处理单元191、音频文件获取单元192和音频解码处 理单元194的过程是不同的并且未提供音频选择单元193之外。因此，根 据第七实施例的流播放单元、mpd处理单元、音频文件获取单元和音频 解码处理单元在下文中分别被称为流播放单元360、mpd处理单元381、 音频文件获取单元382和音频解码处理单元383。
[0764]
在如图90所示的步骤s621中，流播放单元360的mpd处理单元381 分析从mpd获取单元91提供的mpd文件、获取诸如待播放的片段的音 频文件的url的信息，并向音频文件获取单元382提供所获取的信息。
[0765]
在步骤s622中，音频文件获取单元382基于诸如从mpd处理单元 381提供的url的信息，请求web服务器发送待播放的片段的初始片段 并获取该初始片段。
[0766]
在步骤s623中，音频文件获取单元382从在初始片段中的moov盒 的线索流的轨道(在下文中被称为线索轨道)的样本条目获取作为参考轨 道的音频流的轨道的轨道id。
[0767]
在步骤s624中，音频文件获取单元382基于诸如从mpd处理单元 381提供的url的信息，请求web服务器从待播放的片段的媒体片段的 头部发送sidx盒和ssix盒并获取该sidx盒和ssix盒。
[0768]
在步骤s625中，音频文件获取单元382从在步骤s624中获取的sidx 盒和ssix盒获取线索轨道的位置信息。
[0769]
在步骤s626中，音频文件获取单元382基于在步骤s625中获取的线 索轨道的位置信息，请求web服务器发送该线索流并获取该线索流。此 外，音频文件获取单元382从该线索流获取待播放的3d音频的组类型的 提取器。应指出，在待播放的3d音频为对象音频时，待播放的对象基于 图像帧尺寸信息和对象位置信息来选择。
[0770]
在步骤s627中，音频文件获取单元382从在步骤s624中获取的sidx 盒和ssix盒获取参考轨道的位置信息。在步骤s628中，音频文件获取单 元382基于在步骤s627中获取的参考轨道的位置信息和被包含在所获取 的提取器中的子样本信息来确定待播放的3d音频的组类型的音频流的位 置信息。
[0771]
在步骤s629中，音频文件获取单元382基于在步骤s627确定的位置 信息请求web服务器发送待播放的3d音频的组类型的音频流并获取该音 频流。音频文件获取单元382向音频解码处理单元383提供所获取的音频 流。
[0772]
在步骤s630中，音频解码处理单元383解码从音频文件获取单元382 提供的音频流，并向音频合成处理单元195提供作为解码结果所获得的音 频数据。
[0773]
在步骤s631中，音频合成处理单元195输出音频数据。接着该过程 终止。
[0774]
应指出，在第七实施例中，音频流的轨道和线索轨道被存储在相同音 频文件中，但是可被存储在不同文件中。
[0775]
《第八实施例》
[0776]
(轨道的概述)
[0777]
图91为示出应用本公开的信息处理系统的第八实施例中的轨道的概 述的示意图。
[0778]
第八实施例的音频文件不同于第七实施例的音频文件之处在于所存 储的线索流为用于每种组类型的流。具体地，针对每种组类型生成第八实 施例的线索流，并且包含以每种组类型的3d音频的样本为单位的编码数 据的大小、位置和组类型的提取器被布置为在每个线索流中的样本。应指 出，在3d音频包含多个对象的对象音频时，提取器被布置为用于每个对 象的子样本。
[0779]
此外，如图91所示，在第八实施例中，不同的轨道被分配给音频流 和每个线索流。该音频流的轨道与如图88所示的音频流的轨道相同，并 因此省略其描述。
[0780]
作为组类型为“声道”、“对象”、“hoa”和“元数据”的线索轨道的轨道 参考序号，相应的音频流的轨道的轨道id“1”被描述。
[0781]
组类型“声道”、“对象”、“hoa”和“元数据”中的每者的线索轨道的样 本条目的语
法与如图35至38所示的语法相同，除了指示样本条目的类型 的信息之外。指示组类型“声道”、“对象”、“hoa”和“元数据”中的每者的 线索轨道的样本条目的类型的信息与如图35至38所示的信息相同，除该 信息的编号“1”被替换成“2”之外。编号“2”表示线索轨道的样本条目。
[0782]
(音频文件的配置示例)
[0783]
图92为示出音频文件的配置示例的示意图。
[0784]
如图92所示，音频文件存储如图91所示的所有轨道。具体地，音频 文件存储每种组类型的音频流和线索流。
[0785]
根据第八实施例的文件生成装置的文件生成过程类似于如图89所示 的文件生成过程，除了与如图87所示的线索流相反，线索流针对每种组 类型而被生成之外。
[0786]
此外，根据第八实施例的视频播放终端的流播放单元的音频播放过程 类似于如图90所示的音频播放过程，除了待播放的组类型的线索轨道的 轨道id以及在步骤s623中获取的参考轨道的轨道id；在步骤s625中的 待播放的组类型的线索轨道的位置信息被获取；以及待播放的组类型的线 索流在步骤s626中被获取之外。
[0787]
应指出，在第八实施例中，音频流的轨道和线索轨道被存储在相同音 频文件中，但是可被存储在不同文件中。
[0788]
例如，如图93所示，音频流的轨道可被存储在一个音频文件(3d音 频流mp4文件)中，以及线索轨道可被存储在一个音频文件(3d音频提 示流mp4文件)中。此外，如图94所示，线索轨道可被划分为待存储的 多个音频文件。在图94的示例中，线索轨道被存储在不同的音频文件中。
[0789]
此外，在第八实施例中，针对每种组类型生成线索流，甚至在该组类 型指示对象时。然而，在组类型指示对象时，可针对每个对象生成线索流。 在此情况下，不同的轨道被分配给每个对象的线索流。
[0790]
如上所述，在第七和第八实施例的音频文件中，3d音频的音频流被 存储在一个轨道中。因此，视频播放终端可以通过获取轨道来播放3d音 频的所有音频流。
[0791]
此外，线索流被存储在第七和第八实施例的音频文件中。因此，视频 播放终端仅获取3d音频的所有音频流之中的期望组类型的音频流而不参 考moof盒，其中，在该moof盒中描述了使子样本与该子样本的大小或位 置相关联的表格，从而使得有可能播放该音频流。
[0792]
此外，在第七和第八实施例的音频文件中，视频播放终端可以被促使 仅通过存储3d音频的所有音频流和线索流来获取每种组类型的音频流。 因此，不需要出于广播或本地存储的目的，针对每种组类型与所有生成的 3d音频的音频流分离地准备3d音频的音频流，以便能够获取用于每种组 类型的音频流。
[0793]
应指出，在第七和第八实施例中，提取器被生成以用于每种组类型， 但是可以音频元素、组、开关组或组预设为单位来生成。
[0794]
在提取器以组为单位生成时，第八实施例的每个线索轨道的样本条目 包含关于相应组的信息。关于组的信息例如由指示组的id的信息和被分 类为组的元素的数据的内容组成。在组形成开关组时，该组的线索轨道的 样本条目也包含关于开关组的信息。关于开关组的信息由例如开关组的id 和形成开关组的组的id组成。第七实施例的线索轨道的
样本条目包含被 包含在第八实施例的所有线索轨道的样本条目中的信息。
[0795]
此外，在第七和第八实施例中的片段结构与如图39和40所示的片段 结构相同。
[0796]
《第九实施例》
[0797]
(应用本公开的计算机的解释)
[0798]
上述的web服务器的一系列过程也可以由硬件或软件执行。在该系 列过程由软件执行时，构成软件的程序被安装在计算机中。计算机的示例 包含并入专用硬件的计算机和通过安装各种程序能够执行各种功能的通 用个人计算机。
[0799]
图95为示出通过使用程序执行web服务器的一系列过程的计算机的 硬件的配置示例的框图。
[0800]
在计算机中，中央处理单元(cpu)601、只读存储器(rom)602 和随机存取存储器(ram)603经由总线604互连。
[0801]
总线604也被连接到输入/输出接口605。输入/输出接口605被连接 到输入单元606、输出单元607、存储单元608、通信单元609和驱动器 610中的每者。
[0802]
输入单元606由键盘、鼠标、麦克风等形成。输出单元607由显示器、 扬声器等形成。存储单元608由硬件、非易失性存储器等形成。通信单元 609由网络接口等形成。驱动器610驱动可移除介质611，诸如磁盘、光 盘、磁光盘或半导体存储器。
[0803]
在如上所述进行配置的计算机中，cpu 601例如经由输入/输出接口 605和总线604加载存储在存储单元608在ram 603中的程序并执行该程 序，从而执行上述的系列过程。
[0804]
由计算机(cpu 601)执行的程序可以被设置记录在用作例如包装介 质等的可移除介质611中。此外，程序可以经由有线或无线传输介质，诸 如局域网、互联网或数字卫星广播来提供。
[0805]
程序可以通过在驱动器610中加载可移除介质611经由输入/输出接口 605被安装在存储单元608中。此外，程序可以经由有线或无线传输介质 通过通信单元609来接收并被安装在存储单元608中。此外，程序可以被 事先安装在rom 602或存储单元608中。
[0806]
应指出，由计算机执行的程序可为以在本描述中所述的次序的时间序 列的方式执行该过程的程序，或可为例如并行或在被恳求时在必要的时间 执行该过程的程序。
[0807]
上述的视频播放终端可具有类似于如图95所示的计算机的硬件配置。 在此情况下，例如cpu 601可以执行控制软件161(221)、视频播放软件 162(222)和访问软件163(223)。视频播放终端144(214)的过程可由 硬件执行。
[0808]
在本描述中，系统具有一组多个组件(诸如装置或模块(部件))，并 且并未考虑所有的组件是否在相同的壳体中。因此，系统可为可被存放在 单独的壳体中并通过网络进行连接的多个装置以及在单个壳体内的多个 模块。
[0809]
应指出，本公开的实施例并不局限于上述的实施例，并且在不脱离本 公开的要点的情况下可以进行各种更改。
[0810]
例如，文件生成装置141(211)可通过复用所有瓦片的编码数据以生 成一个图像文件而不是生成以瓦片为单位的图像文件来生成视频流。
[0811]
本公开不仅可以被应用于mpeg-h 3d音频，而且可以被应用于能够 形成每个对象的流的通用音频编解码。
[0812]
此外，本公开也可以被应用于执行广播和本地存储播放以及流播放的 信息处理系统。
[0813]
此外，本公开可具有下列配置。
[0814]
(1)
[0815]
信息处理装置，其包括获取文件中的预定轨道的音频数据的获取单 元，在该文件中，多种类型的音频数据根据类型被划分为多个轨道并且该 轨道被布置。
[0816]
(2)
[0817]
根据上述项(1)所述的信息处理装置，其中，该类型被配置为音频 数据的元素、元素的类型或元素被分类的组。
[0818]
(3)
[0819]
根据上述项(1)或(2)所述的信息处理装置，另外包括解码由获取 单元获取的预定轨道的音频数据的解码单元。
[0820]
(4)
[0821]
根据上述项(3)所述的信息处理装置，其中，在存在多个预定轨道 时，该解码单元合成由该获取单元获取的预定轨道的音频数据并解码所合 成的音频数据。
[0822]
(5)
[0823]
根据上述项(4)所述的信息处理装置，其中
[0824]
所述文件以如下方式配置：以多个对象为单位的音频数据被划分为关 于每个对象而不同的所述轨道并且所述轨道被布置，并且以对象为单位的 所有音频数据的元数据项被集中布置在与所述轨道不同的轨道中，
[0825]
所述获取单元被配置成获取待播放的所述对象的所述轨道的音频数 据以作为所述预定轨道的音频数据并获取所述元数据，以及
[0826]
所述解码单元被配置成从由所述获取单元获取的所述元数据提取待 播放的所述对象的元数据，并合成所述元数据和由所述获取单元获取的音 频数据。
[0827]
(6)
[0828]
根据上述项(4)所述的信息处理装置，其中
[0829]
所述文件以如下方式配置：以多个对象为单位的音频数据被划分为关 于每个对象而不同的所述轨道并且所述轨道被布置，并且以对象为单位的 所有所述音频数据的元数据项被集中布置在与所述轨道不同的轨道中，
[0830]
获取单元被配置成获取待播放的对象的轨道的音频数据以作为预定 轨道的音频数据并获取元数据，以及
[0831]
解码单元被配置成将零数据和音频数据以及由获取单元获取的元数 据合成，该零数据指示作为未被播放的轨道的音频数据的零的解码结果。
[0832]
(7)
[0833]
根据上述项(4)所述的信息处理装置，其中
[0834]
所述文件以如下方式配置：以多个对象为单位的音频数据被划分为关 于每个对象而不同的轨道并且所述轨道被布置，以对象为单位的所述音频 数据的元数据项被布置在关于每个对象而不同的轨道中，
[0835]
获取单元被配置成获取待播放的对象的轨道的音频数据以作为预定 轨道的音频
数据并获取待播放的对象的元数据，以及
[0836]
解码单元被配置成合成音频数据和由该获取单元获取的元数据。
[0837]
(8)
[0838]
根据上述项(1)至(7)中的任一项所述的信息处理装置，其中，多 个轨道的音频数据项被配置成被布置在一个文件中。
[0839]
(9)
[0840]
根据上述项(1)至(7)中的任一项所述的信息处理装置，其中，多 个轨道的音频数据项被配置成被布置在关于每个轨道而不同的文件中。
[0841]
(10)
[0842]
根据上述项(1)至(9)中的任一项所述的信息处理装置，其中，所 述文件以如下方式配置：关于所述多种类型的所述音频数据的信息被布置 为不同于所述多个轨道的轨道。
[0843]
(11)
[0844]
根据上述项(10)所述的信息处理装置，其中，关于多种类型的音频 数据的信息被配置成包含指示对应于音频数据的图像数据的图像帧尺寸 的图像帧尺寸信息。
[0845]
(12)
[0846]
根据上述项(1)至(9)中的任一项所述的信息处理装置，其中，该 文件以如下方式配置：作为不同于多个轨道的轨道的音频数据，指示对应 于音频数据的另一轨道的音频数据的位置的信息被布置。
[0847]
(13)
[0848]
根据上述项(1)至(9)中的任一项所述的信息处理装置，其中，该 文件以如下方式配置：作为不同于多个轨道的轨道的数据，指示对应于其 它轨道的音频数据的数据和元数据的另一轨道的音频数据的位置的信息 被布置。
[0849]
(14)
[0850]
根据上述项(13)所述的信息处理装置，其中，音频数据的元数据被 配置成包含指示音频数据被获取的位置的信息。
[0851]
(15)
[0852]
根据上述项(1)至(14)中的任一项所述的信息处理装置，其中， 该文件被配置成包含指示轨道和其它轨道之间的参考关系的信息。
[0853]
(16)
[0854]
根据上述项(1)至(15)中的任一项所述的信息处理装置，其中， 该文件被配置成包含每个轨道的音频数据的编解码信息。
[0855]
(17)
[0856]
根据上述项(1)至(16)中的任一项所述的信息处理装置，其中， 预定类型的音频数据为指示另一类型的音频数据被获取的位置的信息。
[0857]
(18)
[0858]
信息处理方法，其包含通过信息处理装置获取文件中的预定轨道的音 频数据的获取步骤，在所述文件中多种类型的音频数据根据类型被划分为 多个轨道并且所述轨道被布置。
[0859]
(19)
[0860]
信息处理装置，其包括生成文件的生成单元，在所述文件中，多种类 型的音频数据根据所述类型被划分为多个轨道并且所述轨道被布置。
[0861]
(20)
[0862]
信息处理方法，其包含由信息处理装置生成文件的生成步骤，在所述 文件中，多种类型的音频数据根据所述类型被划分为多个轨道并且所述轨 道被布置。
[0863]
附图标记列表
[0864]
141 文件生成装置
[0865]
144 运动图像播放终端
[0866]
172 音频文件生成单元
[0867]
192 音频文件获取单元
[0868]
193 音频选择单元
[0869]
211 文件生成装置
[0870]
214 运动图像播放终端
[0871]
241 音频文件生成单元
[0872]
264 音频文件获取单元。