编码设备、编码方法、发送设备以及接收设备与流程

编码设备、编码方法、发送设备以及接收设备
1.本技术是分案申请，其母案申请的申请号为201480051418.3，申请日为2014年8月8日，发明名称为“编码设备、编码方法、发送设备以及接收设备”。
技术领域
2.本技术涉及编码设备、编码方法、发送设备以及接收设备。具体而言，本技术涉及分层编码构成运动图像数据的每个图片的图像数据的编码设备等。


背景技术：

3.如果由广播或者通过互联网提供用于提供压缩运动图像的服务，例如，根据接收器的解码能力，限制可以再现的帧频率的上限。因此，服务提供商需要考虑广泛使用的接收器的再现能力，或者需要同时提供具有多个帧频率的服务，即，高帧频率和低帧频率。
4.接收器需要很大的成本来支持具有高帧频率的服务，这成为早期广泛使用接收器的抑制因素。如果仅仅专用于具有低帧频率的服务的廉价服务器在早期广泛使用，并且服务提供商在未来开始具有高帧频率的服务，那么在没有新接收器的情况下完全不能看到，这是广泛使用新服务的抑制因素。
5.例如，提出了时间方向可扩展性，其中，构成运动图像数据的每个图片的图像数据在h.265/hevc(高效率视频编码)内分层编码(参照非专利文档1)。在接收侧上，可以根据插入nal(网络抽象层)单元的报头内的时间id(temporal_id)，识别每个图片的层，因此，对与解码能力对应的层执行选择性解码。
6.非专利文献1：gary j.sullivan、jens-rainer ohm、woo-jin han以及thomas wiegand,“overview of the high efficiency video coding(hevc)standard”,ieee transactions on circuits and systems for video tecnorogy,vol.22,no.12,pp.1649-1668,2012.12。


技术实现要素：

7.本发明要解决的问题
8.本技术的一个目标在于，在接收侧上执行有利的解码处理。
9.解决问题的手段
10.本技术的概念是一种发送设备，包括：图像编码单元，被配置为：将构成运动图像数据的每个图片的图像数据分成多个层、编码每个分类的层中的图片的图像数据、将多个层划分成预定数量的层组、并且生成具有在每个划分的层组内的图片的编码图像数据的预定数量的视频流；以及发送单元，被配置为发送具有预定格式的包括生成的预定数量的视频流的内容；所述图像编码单元执行编码，以便在至少最低层组内的图片的编码图像数据的解码间隔是规则间隔。
11.在本技术中，图像编码单元将构成运动图像数据的每个图片的图像数据编码，从而生成预定数量的视频流。在这种情况下，将构成运动图像数据的每个图片的图像数据分
成多个层并且编码。然后，将所述多个层分成预定数量的层组，并且生成预定数量的视频流，每个视频流具有在划分的层组内的图片的编码图像数据。
12.在图像编码单元中执行编码，以便在至少最低层组内的图片的编码图像数据的解码间隔是规则间隔。例如，图像编码单元执行编码，以便在高于最低层组的层组内的图片的编码图像数据的解码定时是在低于所述层组的所有层组内的图片的编码图像数据的解码定时的平均定时。因此，例如，在接收器具有不仅解码在最低层组内的而且解码在比该最低层组更高的层组内的图片的编码图像数据的解码能力的情况下，允许接收器对每个图片依次并且平稳地执行解码处理。
13.而且，例如，所述图像编码单元可将所述多个层分成预定数量的层组，以便所述最低层组包括多个层并且高于所述最低层组的层组包括一个层。因此，例如，在接收器具有解码能力以对在最低层组的多个层内的图片的编码图像数据执行处理情况下，仅需要仅选择具有在最低层组内的图片的编码图像数据的视频流、将该视频流收入在缓冲器内并且对该视频流执行解码处理的配置，并且例如不需要对多个视频流执行组合处理的复杂配置。
14.通过发送单元，发送包括预定数量的视频数据的具有预定格式的内容。例如，内容可以是由数字广播标准采用的传输流(mpeg-2ts)。进一步，例如，内容可以是具有用于在互联网上传送的mp4等格式的内容。
15.如上所述，在本技术中，执行解码，以便至少在最低层组内的图片的编码图像数据的解码间隔是规则间隔。因此，在接收器具有对最低层组内的多个层内在图片的编码图像数据执行处理的解码能力的情况下，可以对每个图片的编码图像数据连续地并且轻松地执行解码处理。
16.此外，本技术的另一个概念是一种发送设备，包括：图像编码单元，被配置为将构成运动图像数据的每个图片的图像数据分成多个层、编码在每个分类的层中的所述图片的图像数据、将所述多个层分成预定数量的层组、并且生成具有在每个划分的层组内的图片的编码图像数据的预定数量的视频流；发送单元，配置为发送具有预定格式的包括所生成的预定数量的视频流的内容；以及识别信息插入单元，配置为将识别信息插入所述内容的层内，所述识别信息用于识别预定数量的视频流中的每个是具有在最低层组内的图片的编码图像数据的基础流还是具有在高于所述最低层组的层组内的图片的编码图像数据的增强流。
17.在本技术中，图像编码单元将构成运动图像数据的每个图片的图像数据编码，以生成预定数量的视频流。在这种情况下，将构成运动图像数据的每个图片的图像数据分成多个层并且编码。然后，将所述多个层分成预定数量的层组，并且生成预定数量的视频流，每个视频流具有在划分的层组内的图片的编码图像数据。
18.例如，所述图像编码单元可执行编码，以便至少在最低层组内的图片的编码图像数据的解码间隔是规则间隔。在这种情况下，例如，所述图像编码单元可执行编码，以便在高于最低层组的层组内的图片的编码图像数据的解码定时是在低于该层组的所有层组内的图片的编码图像数据的解码定时的平均定时。
19.通过发送单元，发送包括预定数量的视频流的具有预定格式的内容。例如，内容可以是由数字广播标准采用的传输流(mpeg-2ts)。而且，例如，内容可以是具有用于在互联网上传送的mp4等格式的内容。
20.通过识别信息插入单元，将识别信息插入所述内容的层内。该识别信息是用于识别预定数量的视频流中的每个是具有在最低层组内的图片的编码图像数据的基础流还是具有在高于所述最低层组的层组内的图片的编码图像数据的增强流的识别信息。
21.例如，具有多个增强流，识别信息能够识别每个增强流。而且，例如，内容可能是传输流，并且识别信息插入单元可将识别信息作为流类型插入视频基本流回路内，所述视频基本流回路设置为在节目映射表之下对应于预定数量的视频流。
22.如上所述，在本技术中，用于识别预定数量的视频流中的每个是基础流还是增强流的识别信息插入所述内容的层内。因此，在接收器侧上，可以例如通过使用识别信息仅仅选择基础流，并且容易和选择性解码在更低层组内的图片的编码图像数据。
23.此外，本技术的另一个概念是一种发送设备，包括：图像编码单元，配置为将构成运动图像数据的每个图片的图像数据分成多个层、编码在每个分类的层中的所述图片的图像数据、将所述多个层分成预定数量的层组、并且生成具有在每个划分的层组内的图片的编码图像数据的预定数量的视频流；发送单元，配置为发送具有预定格式的包括所生成的预定数量的视频流的内容；以及配置信息插入单元，配置为将对应于包含在所述内容内的预定数量视频流中的每个的视频流的配置信息插入所述内容的层内。
24.在本技术中，通过图像编码单元，将构成运动图像数据的每个图片的图像数据编码，并且生成预定数量的视频流。在这种情况下，将构成运动图像数据的每个图片的图像数据分成多个层并且编码。然后，将所述多个层分成预定数量的层组，并且生成预定数量的视频流，每个视频流具有在划分的层组内的图片的编码图像数据。然后，通过发送单元，发送具有预定格式的包括预定数量的视频流的内容。
25.通过配置信息插入单元，视频流的配置信息插入在与包含在内容内的所述预定数量的视频流中的每个对应的内容的层内。例如，内容可以是传输流，并且配置信息插入单元可将配置信息作为描述符插入视频基本流回路内，所述视频基本流回路设置为在节目映射表之下对应于所述预定数量的视频流中的每个。
26.例如，所述配置信息可包括表示所述视频流所属的服务组的信息。而且，所述配置信息可包括表示在流之间的依赖关系的信息，所述流从具有在最低层组内的图片的编码图像数据的基础流开始。而且，例如，所述配置信息可包括表示由所述图像编码单元分类的多个层的层数量的信息。
27.如上所述，在本技术中，视频流的配置信息插入在与包含在内容内的所述预定数量的视频流中的每个对应的内容的层内。因此，例如，在接收器侧上，可以容易知道包含在内容内的视频流属于哪组、具有什么流相关关系、在分层编码中具有多少层等。
28.此外，本技术的另一个概念是一种接收设备，包括：接收单元，配置为接收具有在预定数量的层组的一个层组内的图片的编码图像数据的预定数量的视频流，通过将构成运动图像数据的图片的图像数据分成多个层并且编码所述图像数据来获得所述编码图像数据，将所述多个层分成预定数量的层组；以及处理单元，配置为处理所述接收的预定数量的视频流，其中，至少编码预定数量的视频流中的具有最低层组内的图片的编码图像数据的视频流，以便每个图片的解码间隔是规则间隔。
29.在本技术中，通过接收器将构成运动图像数据的每个图片的图像数据分成多个层并编码并且接收预定数量的视频流，每个视频流具有通过将多个层分成预定数量的层组获
得的层组内的图片的编码图像数据。然后，由处理单元处理接收的预定数量的视频流。
30.在这种情况下，至少编码预定数量的视频流中的具有在最低层组内图片的编码图像数据的视频流，以便每个图片的解码间隔是规则间隔。因此，例如，通过处理在最低层组内的多个层内的图片的编码图像数据的解码能力，可以对每个图片的编码图像数据连续地并且轻松地执行解码处理。
31.应注意的是，在本技术中，例如，可编码预定数量的视频流，以便在高于最低层组的层组内的图片的编码图像数据的解码定时是在低于该层组的所有层组内的图片的编码图像数据的解码定时的平均定时。因此，例如，通过不仅解码在最低层组内的且解码在比该最低层组更高的层组内的图片的编码图像数据的解码能力，可以对每个图片平稳地并且依次执行解码处理。
32.此外，本技术的另一个概念是一种接收设备，包括：接收单元，配置为接收具有在预定数量的层组的一个层组内的图片的编码图像数据的预定数量的视频流，编码图像数据通过将构成运动图像数据的图片的图像数据分成多个层并且编码图像数据来获得所述，将所述多个层分成预定数量的层组；以及图像解码单元，配置为：根据解码能力从包含在所接收的内容内的预定数量的视频流中，将在等于或低于的预定层的层内的图片的编码图像数据选择性收入在缓冲器内；解码收入在缓冲器内的图片的编码图像数据；并且获取在等于或低于预定层的层内的图片的图像数据，其中，至少编码预定数量的视频流中具有在最低层组内的图片的编码图像数据的视频流，以便每个图片的解码间隔是规则间隔。
33.在本技术中，通过接收器接收具有预定格式的内容。该内容包括具有在一个或多个层内的图片的编码图像数据的预定数量的视频流，通过将构成运动图像数据的每个图片的图像数据分成多个层、编码图像数据、并且将多个层分成预定数量的层组来获得编码图像数据。
34.通过图像解码单元，根据解码能力从包含在所接收的内容内的预定数量的视频流中，将在等于或低于的预定层组的层内的图片的编码图像数据选择性收入在缓冲器内，并且解码收入在所述缓冲器内的图片的编码图像数据，以获取在等于或低于预定层的层内的图片的图像数据。例如，在预定的层组内的图片的编码图像数据包含在多个视频流内的情况下，图像解码单元可基于解码定时信息，将每个图片的编码图像数据解码为一个流。
35.在这种情况下，至少编码预定数量的视频流中具有在最低层组内的图片的编码图像数据的视频流，以便每个图片的解码间隔是规则间隔。因此，例如，通过处理最低层组内的多个层内的图片的编码图像数据的解码能力，可以对每个图片的编码图像数据连续地并且轻松地执行解码处理。
36.应注意的是，在本技术中，例如，可将识别信息插入所述内容的层内，所述识别信息用于识别预定数量的视频流中的每个是包括在最低层组内的图片的编码图像数据的基础流还是包括在高于所述最低层组的层组内的图片的编码图像数据的增强流，并且所述图像解码单元可基于所述识别信息根据解码能力，从包括所述基础流的预定数量的视频流中，将预定层组内的图片的编码图像数据选择性收入在缓冲器内，并且解码所述编码图像数据。在这种情况下，可以例如通过使用识别信息仅仅选择基础流，并且容易和选择性解码在更低层组内的图片的编码图像数据。
37.此外，在本技术中，例如，可进一步提供后处理单元，其被配置为使在所述图像解
码单元内获取的每个图片的图像数据的帧速率与显示能力匹配。在这种情况下，即使在解码能力低的情况下，可以通过与高显示能力匹配的帧速率获取图像数据。
38.本发明的效果
39.根据本技术，能够在接收侧上执行有利的解码处理。不必限制在本文中描述的效果，而是可以是在本文中描述的任何效果。
附图说明
40.[图1]是示出根据实施方式的发送/接收系统的配置实例的方框图；
[0041]
[图2]是示出发送设备的配置实例的方框图；
[0042]
[图3]是示出在编码器内执行的分层编码的实例的示图；
[0043]
[图4]是示出nal单元报头的结构实例以及在结构实例中的主要参数的内容的示图；
[0044]
[图5]是用于解释在hevc中的每个图片的编码图像数据的配置的示图；
[0045]
[图6]是示出在分层编码时的编码、解码、显示顺序以及延迟的实例的示图；
[0046]
[图7]是示出在指定层内的分层编码和显示期望(显示顺序)内的编码流的示图；
[0047]
[图8]是用于解释预定数量的视频流(2个流)的图片的编码定时(解码定时)的示图；
[0048]
[图9]是示出在生成基础流和增强流这两个视频流的情况下的每个图片的编码定时(解码定时)的一个实例的示图；
[0049]
[图10]是示出在生成基础流和增强流这两个视频流的情况下的每个图片的编码定时(解码定时)的另一个实例的示图；
[0050]
[图11]是用于解释预定数量的视频流(3个流)的图片的编码定时(解码定时)的示图；
[0051]
[图12]是示出在生成基础流和两个增强流这三个视频流的情况下的每个图片的编码定时(解码定时)的一个实例的示图；
[0052]
[图13]是示出在生成基础流和两个增强流这三个视频流的情况下的每个图片的编码定时(解码定时)的另一个实例的示图；
[0053]
[图14]是示出编码器的hrd(假设参考解码器)控制的实例的示图；
[0054]
[图15]是示出编码器的配置实例的方框图；
[0055]
[图16]是示出编码器的处理流程的实例的示图；
[0056]
[图17]是示出hevc描述符(hevc_descriptor)的结构实例的示图；
[0057]
[图18]是示出多流描述符(multistream_descriptor)的结构实例的示图；
[0058]
[图19]是示出在多流描述符(multistream_descriptor)的结构实例中的主要信息的内容的示图；
[0059]
[图20]是示出在传输流ts包括(例如)服务1和2的视频流组的情况下“stream_type”、“group_id”、“max/min layer”、“max_layer_in_group”以及“stream_dependency_ordering”的一个实例的示图；
[0060]
[图21]是示出多路复用器的一个配置实例的方框图；
[0061]
[图22]是示出多路复用器的处理流程的一个实例的示图；
[0062]
[图23]是示出在2流传送中的传输流ts的一个配置实例的示图；
[0063]
[图24]是示出在3流传送中的传输流ts的一个配置实例的示图；
[0064]
[图25]是示出接收设备的一个配置实例的方框图；
[0065]
[图26]是示出多路复用器的一个配置实例的方框图；
[0066]
[图27]是示出流选择的一个实例的示图；
[0067]
[图28]是示出多路复用器的处理流程的一个实例的示图；
[0068]
[图29]是示出解码器的一个配置实例的方框图；
[0069]
[图30]是示出流组合的一个实例的示图；
[0070]
[图31]是示出后处理单元的一个配置实例的示图；
[0071]
[图32]是示出后处理单元的处理流程的一个实例的示图。
具体实施方式
[0072]
在后文中，描述用于执行本发明的模式(在后文中称为实施方式)。应注意的是，按照以下顺序进行描述。
[0073]
1、实施方式
[0074]
2、变形例
[0075]
《1、实施方式》
[0076]
【发送/接收系统】
[0077]
图1示出根据一个实施方式的发送/接收系统10的一个配置实例。发送/接收系统10包括发送设备100和接收设备200。
[0078]
发送设备100使得用作内容的传输流ts携载在广播波上以进行传输。传输流ts包括预定数量的视频流，每个视频流具有在层组内的图片的图像数据，通过将构成运动图像数据的每个图片的图像数据分成多个层、编码图像数据、并且将多个层分成预定数量的层组，来获得预定数量的视频流。在这种情况下，例如，执行h.264/avc和h.265/hevc等编码，以便参考图片属于自身层和/或比自身层更低的层。
[0079]
在该实施方式中，在多个层分成预定数量的层组的情况下，进行划分，以便最低层组包括多个层，并且比最低层组更高的层组包括一个层。例如，如果接收器具有处理包含在最低层组内的多个层的图片的编码图像数据的解码能力，则这种划分允许接收器仅仅选择具有在最低层组内的图片的编码图像数据的视频流以将其收入在在缓冲器内，并且对该视频流执行解码处理。
[0080]
为每个图片将用于识别所属层的层识别信息加入在每个层中的图片的编码图像数据中。在该实施方式中，在每个图片的nal单元(nal_unit)的报头部分内设置层识别信息(“nuh_temporal_id_plus1”，其表示temporal_id)。通过如上所述加入层识别信息，接收器可以在nal单元的层内识别每个图片的层，并且选择性取出在等于或低于预定层的层中的编码图像数据以对其执行解码处理。
[0081]
在这个实施方式中，至少编码在预定数量的视频流中的具有最低层组的图片的编码图像数据的视频流，以便在图片之间的解码间隔是规则间隔。如果接收器具有处理包含在最低层组内的多个层的图片的编码图像数据的解码能力，则该编码允许接收器对每个图片的编码图像数据连续地并且轻松地执行解码处理。
[0082]
在这个实施方式中，执行编码，以便在高于最低层组的层组内的图片的编码图像数据的解码定时设置为在低于该层组的所有层组内的图片的编码定时的平均定时。如果接收器具有不仅解码在最低层组内的而且解码在比该最低层组更高的层组内的图片的编码图像数据的解码能力，则该编码允许接收器对每个图片依次并且平稳地执行解码处理。
[0083]
在这个实施方式中，将识别信息插入传输流ts的层内，所述识别信息用于识别预定数量的视频流中的每个是具有在最低层组内的图片的编码图像数据的基础流还是具有在高于所述最低层组的层组内的图片的编码图像数据的增强流。将该识别信息作为流类型插入视频基本流回路内，所述回路设置为在节目映射表之下对应于所述预定数量的视频流中的每个。识别信息允许接收器容易仅选择基础流，以选择性解码在较低层组内的图片的编码图像数据。
[0084]
在这个实施方式中，在传输流ts的层内插入对应于包含在其内的预定数量的视频流中的每个的视频流的配置信息。将所述配置信息作为描述符插入视频基本流回路内，所述回路设置为在节目映射表之下对应于所述预定数量的视频流。该配置信息允许接收器容易了解包含在内容内的视频流属于哪组、具有什么流相关关系、在分层编码中具有多少层等。
[0085]
接收设备200接收在广播波上传送的并且从发送设备100中发送的上述传输流ts。接收设备200从包含在传输流ts内的预定数量的视频流中将在等于或低于预定层的层中的图片的编码图像数据选择性收入在缓冲器内(该选择根据解码能力选择)，解码编码图像数据，获取每个图片的图像数据，并且执行图像再现。
[0086]
如上所述，传输流ts的层包括用于识别预定数量的视频流是基础流还是增强流的识别信息。基于该识别信息，根据解码能力从包括基础流的预定数量的视频流中将在预定层组内的编码图像数据收入在的缓冲器内以进行处理。
[0087]
此外，接收设备200执行后处理，其中，由上述解码获得的每个图片的图像数据的帧速率与显示能力匹配。根据该后处理，即使解码能力较低，也能够获得具有与高显示能力匹配的帧速率的图像数据。
[0088]“发送设备的配置”[0089]
图2示出发送设备100的一个配置实例。该发送设备100包括cpu(中央处理单元)101、编码器102、压缩数据缓冲器(cpb：编码图片缓冲器)103、多路复用器104以及发送单元105。cpu 101是控制器，并且控制发送设备100的相应单元的操作。
[0090]
编码器102输入未压缩的运动图像数据，并且分层编码。编码器102将构成运动图像数据的图片的图像数据分成多个层。然后，编码器102编码在每个分类的层内的图片的图像数据，以生成具有在每个层内的图片的编码图像数据的视频流。编码器102执行编码，例如，h.264/avc和h.265/hevc。此时，编码器102进行编码，以便要参考的图片(参考图片)属于自身层和/或比自身层更低的层。
[0091]
图3示出在编码器102中执行的分层编码的一个实例。这是其中图像数据分成0到4这5个层并且对每个层内的图片的图像数据进行编码的一个实例。
[0092]
垂直轴表示层。数字0到4分别设置为temporal_id(层识别信息)，其设置在构成在层0到4内的图片的编码图像数据的nal单元(nal_unit)的报头部分内。另一方面，水平轴表示显示顺序(poc：成分的图片顺序)。左边表示更早的显示时间，并且右边表示更晚的显示
时间。
[0093]
图4(a)示出nal单元报头的结构实例(语法)，并且图4(b)示出在结构实例中的主要参数的内容(语义)。在1位字段“forbidden_zero_bit”中，0必不可少。6位字段“nal_unit_type”表示nal单元的类型。在6位字段“nuh_layer_id”中，采用0。3位字段“nuh_temporal_id_plus1”表示temporal_id，并且具有通过加上1所获得的值(1到7)。
[0094]
现在，返回参照图3，每个矩形帧表示图片，并且数字表示编码的图片的顺序，即，编码顺序(在接收侧上的解码顺序)。例如，子图片组由“2”到“17”这16个图片构成，并且“2”是子图片组的顶部图片。“1”是前一个子图片组的图片。收集一些子图片组，以构成gop(图片组)。
[0095]
如图5中所示，gop的顶部图片的编码图像数据包括aud、vps、sps、pps、psei、slice、ssei以及eos的nal单元。另一方面，除了gop的顶部图片以外的图片包括aud、pps、psei、slice、ssei以及eos的nal单元。可以给每次序列(gop)传输一次vps和sps，并且可以给每个图片传输pps。
[0096]
现在，返回图3，返回图3，由实线显示的箭头表示在编码中的图片的参考关系。例如，图片“2”是p图片，并且参考图片“1”编码。而且，图片“3”是b图片，并且参考图片“1”和“3”编码。同样，其他图片按照显示顺序参考附近图片编码。应注意的是，不从其他图片中参考在层4中的图片。
[0097]
编码器102将多个层分成预定数量的层组，以生成具有在层组内的图片的编码图像数据的视频。例如，编码器102执行划分，以便最低层组包括多个层，并且比最低层组更高的层组包括一个层。
[0098]
例如，在图3的分层编码的实例中，编码器102将所述多个层分成2个层组，包括作为最低层组的层0到3以及作为比最低层组更高的层组的层4，如交替的长短虚线所示。在这种情况下，编码器102生成具有在层组内的图片的编码图像数据的两个视频流(编码流)。
[0099]
而且，例如，在图3的分层编码的实例中，编码器102将所述多个层分成3个层组，包括作为最低层组的层0到2、作为比最低层组更高的层组的层3，以及作为比该层更高的层的层4，如交替的长短虚线和长虚线双短虚线所示。在这种情况下，编码器102生成具有层组的图片的编码图像数据的3个视频流(编码视频流)。
[0100]
在这种情况下，具有在最低层组内的图片的编码图像数据的视频流是基础流，并且流类型是“0x24”。而且，包括在比最低层组更高的层组内的图片的编码图像数据的视频流是增强流，并且流类型重新限定为“0x25”。
[0101]
应注意的是，在具有多个增强流的情况下，可以重新限定流类型，以便所有增强流的流类型不是“0x25”，但是可以识别每个增强流。例如，在具有2个增强流的情况下，第一增强流的流类型是“0x25”，并且第二增强流的流类型是“0x26”。
[0102]
该流类型构成识别信息，用于识别预定数量的视频流中的每个是基础流还是增强流。该流类型插入传输流ts的层内。具体而言，该流类型插入视频基本流回路(video elementary stream loop)内，视频基本流回路设置为在节目映射表(pmt：节目映射表)之下对应于预定数量的视频流中的每个。
[0103]
图6示出在分层编码时的编码、解码、显示顺序以及延迟的一个实例。这个实例对应于在图3中示出的分层编码的上述实例。这个实例显示了所有层(所有层)通过全时间分
辨率分层编码的情况。图6的(a)示出编码器输入。如图6的(b)中所示，利用对应于16个图片的延迟量，每个图片按照编码顺序编码从而获得编码流。而且，图6的(b)表示解码器输入，并且每个图片按照解码顺序解码。然后，如图6的(c)中所示，利用对应于4个图片的延迟量，每个图片的图像数据按照显示顺序获得。
[0104]
图7的(a)示出与在上述图6的(b)中显示的编码流相似的编码流，具有层的的三个划分阶段，即，层0到2、层3以及层4。在此处，“tid”表示temporal_id。图7的(b)表示在层0到2(即，具有0到2的tid的部分层)的每个图片选择性解码的情况下的期望显示(显示顺序)。而且，图7的(c)表示在层0到3(即，具有0到3的tid的部分层)的每个图片选择性解码的情况下的期望显示(显示顺序)。而且，图7的(d)表示在层0到4(即，具有0到4的tid的部分层)的每个图片选择性解码的情况下的期望显示(显示顺序)。
[0105]
在根据解码能力对图7的(a)中显示的编码流执行解码处理的情况下，需要通过具有全速率的时间分辨率的解码能力。然而，在执行具有0到2的tid的解码的情况下，具有编码的全时间分辨率的1/4解码能力的解码器应该能够执行解码。而且，在执行具有0到3的tid的解码的情况下，具有编码的全时间分辨率的1/2解码能力的解码器应该能够执行解码。
[0106]
然而，如果在分层编码中参考的低层中的图片以具有全时间分辨率的时序依次编码，那么该编码超过执行部分解码的解码器的能力。在图7的(a)中由a显示的周期对应于该情况。由于解码具有0到2的tid或0到3的tid的部分层的解码器执行解码并且通过时间轴的1/4或1/2的能力显示，所以不能依次解码在周期a中具有编码的全时间分辨率的图片。
[0107]
ta表示在解码0到2的tid的解码器内为每个图片解码处理需要的时间。tb表示在解码0到3的tid的解码器内为每个图片解码处理需要的时间。tc表示在解码0到4的tid(所有层)的解码器内每个图片解码处理需要的时间。在这些时间周期之间的关系中，以下等式成立：是ta》tb》tc。
[0108]
在这个实施方式中，编码器102执行解码，以便至少在最低层组内的图片的编码图像数据的解码间隔是规则间隔。图8的(a)示出了在图3中示出的分层编码的实例中以120hz的定时(timing)并且通过全时间分辨率编码每个图片的情况，并且分成2个层组，其中，层0到3是构成基础流(b流)的最低层组，并且层4是比构成增强流(e流)的层组更高的层组。
[0109]
在这种情况下，在最低层组内的图片的时间分辨率是60fps，并且具有以120hz的定时依次编码的图片。具有60fps的解码能力的解码器不能依次并且可靠地执行解码处理。因此，如图8的(b)中所示，在构成基础流的最低层组中的图片的编码定时调整为60hz，并且执行编码，以便在最低层组中的图片的编码图像数据的解码间隔是规则间隔。因此，具有解码能力60fps的解码器可以对构成基础流的最低层组中的图片的编码图像数据执行解码处理。
[0110]
而且，如图8的(b)中所示，执行解码，以便在构成增强流(e流)的层组内的图片的编码定时以及因此图片的编码图像数据的解码定时是在构成基础流(b流)的最低层组内的图片的解码定时的平均定时。因此，在接收器具有不仅解码构成基础流而且构成增强流的层组内的图片的编码图像数据的能力的情况下，可以对每个图片连续地并且平稳地执行解码处理。
[0111]
图9示出在图3中示出的分层编码的实例中生成基础流(b流)和增强流(e流)这两
个视频流的情况下每个图片的编码定时(解码定时)的一个实例。这是其中增强流的解码延迟比基础流减少的一个实例。在这种情况下的解码延迟对应于在全时间分辨率的编码间隔下的8个图片(基础流的编码间隔的1/2)。
[0112]
在该实例中，基础流(b流)的图片的编码定时是偶数时间，并且增强流(e流)的图片的编码定时是奇数时间。然后，在该实例中，在基础流(b流)的最高层的编码命令之后，立即编码增强流(e流)。具体而言，增强流(e流)的图片“9”刚好在基础流(b流)的图片“8”之后编码。
[0113]
图10示出在图3中示出的分层编码的实例中生成基础流(b流)和增强流(e流)这两个视频流的情况下每个图片的编码定时(解码定时)的一个实例。这是其中增强流的解码延迟比基础流增大的一个实例。在这种情况下的解码延迟对应于在全时间分辨率的编码间隔下的16个图片(基础流的编码间隔的1/2)。在解码延迟如上所述增大的情况下，需要在非压缩数据缓冲器(dpb：解码图片缓冲器)内具有大容量的参考内存。
[0114]
在该实例中，基础流(b流)的图片的编码定时是偶数时间，并且增强流(e流)的图片的编码定时是奇数时间。然后，在该实例中，在基础流(b流)的最高层的编码完成之后，编码增强流(e流)。具体而言，增强流(e流)的图片“17”刚好在基础流(b流)的图片“16”之后编码。
[0115]
如上所述，可以相对基础流减小或者增大增强流的延迟量。通过限制具有编码效率优先级或者实现低延迟的目的地图片，可以调整该延迟量。
[0116]
图11的(a)示出了在图3中示出的分层编码的实例中以120hz的定时和全时间分辨率编码每个图片的情况，并且分成3个层组，其中，层0到2是构成基础流(b流)的最低层组，层3是比构成增强流(e流1)的层组更高的层组，并且层4是比构成增强流(e流2)的层组更高的层组。
[0117]
在这种情况下，在最低层组内的图片的时间分辨率是30fps，并且具有以120hz的定时依次编码的图片。具有30fps的解码能力的解码器不能依次并且可靠地执行解码处理。因此，如图11的(b)中所示，在构成基础流的最低层组中的图片的编码定时调整为30hz，并且执行编码，以便在最低层组中的图片的编码图像数据的解码间隔是规则间隔。因此，具有解码能力30fps的解码器可以对构成基础流的最低层组中的图片的编码图像数据执行解码处理。
[0118]
而且，如图11的(b)中所示，执行解码，以便在构成增强流(e流1)的层组内的图片的编码定时以及因此图片的编码图像数据的解码定时是在构成基础流(b流)的最低层组内的图片的解码定时的平均定时。而且，如图11的(b)中所示，执行解码，以便在构成增强流(e流2)的层组内的图片的编码定时以及因此图片的编码图像数据的解码定时是在构成基础流(b流)和增强流(e流1)的最低层组内的图片的解码定时的平均定时。因此，在接收器具有解码不仅构成基础流而且构成两个增强流的层组内的图片的编码图像数据的能力的情况下，可以对每个图片连续地并且平稳地执行解码处理。
[0119]
图12示出在图3中示出的分层编码的实例中生成基础流(b流)、增强流(e流1)以及增强流(e流2)这3个视频流的情况下每个图片的编码定时(解码定时)的一个实例。这是一个实例，其中，增强流的解码延迟比基础流减少。在这种情况下的解码延迟对应于具有全时间分辨率的编码间隔的12个图片(基础流的编码间隔的1/4)。
[0120]
在该实例中，基础流(b流)的图片的编码定时是4的倍数的定时，并且增强流(e流1)的编码定时是4的倍数的基础流(b流)的图片的编码定时的平均定时。而且，增强流(e流1)的编码定时是奇数定时。
[0121]
然后，在该实例中，在基础流(b流)的最高层的编码命令之后，立即编码增强流(e流1)。具体而言，增强流(e流1)的图片“10”刚好在基础流(b流)的图片“8”之后编码。而且，在该实例中，在增强流(e流1)的编码命令之后，立即编码增强流(e流2)。具体而言，增强流(e流2)的图片“10”刚好在基础流(b流)的图片“8”之后编码。而且，在该实例中，在增强流(e流1)的编码命令之后，立即编码增强流(e流2)。具体而言，增强流(e流2)的图片“11”刚好在增强流(e流1)的图片“10”之后编码。
[0122]
图13示出在图3中示出的分层编码的实例中生成基础流(b流)、增强流(e流1)以及增强流(e流2)这3个视频流的情况下每个图片的编码定时(解码定时)的另一个实例。这是一个实例，其中，增强流的解码延迟比基础流增大。在这种情况下的解码延迟对应于以全时间分辨率的编码间隔(基础流的编码间隔的1/4)的27个图片。在解码延迟如上所述增大的情况下，需要在非压缩数据缓冲器(dpb：解码图片缓冲器)内具有大容量的参考内存。
[0123]
在该实例中，基础流(b流)的图片的编码定时是4的倍数的定时，并且增强流(e流1)的编码定时是4的倍数的基础流(b流)的图片的编码定时的平均定时。而且，增强流(e流1)的编码定时是奇数定时。
[0124]
然后，在该实例中，在基础流(b流)的最高层编码之后，编码增强流(e流1)。具体而言，增强流(e流1)的图片“14”刚好在基础流(b流)的图片“12”之后编码。而且，在该实例中，在增强流(e流1)编码之后，编码增强流(e流2)。具体而言，增强流(e流2)的图片“27”刚好在增强流(e流1)的图片“26”之后编码。
[0125]
图14示出编码器102的hrd(假设参考解码器)控制的一个实例。这是一个实例，其中，生成基础流(b流)和增强流(e流)这两个视频流。在此处，进行描述，基础流作为子流1(子流1)和增强流作为子流2(子流2)。
[0126]
具有阶梯状形状的实线a1表示由编码(编码)生成的子流1的数据量的移动，并且每个阶梯对应于一个图片的单元。阶梯的高度表示由编码生成的数据量。
[0127]
定时p01表示第一图片的编码图像数据的第一字节输入cpb1(编码图片缓冲器1：压缩数据缓冲器)的定时。r1表示第一图片的编码图像数据的cpb1的输入位速率。在此处，如果在时间t1输入cpb1中的编码数据的量是q1，那么以下方程成立：r1＝q1/t1。应注意的是，在图中示出的实例中，示出了到另一个图片的编码图像数据的cpb1的输入位速率也是r1的情况。
[0128]
具有阶梯状形状的实线b1表示由在cpb1中解码所消耗的数据量的移动，并且每个阶梯对应于一个图片的单元。阶梯的高度表示由解码消耗的数据量。qcpb1表示cpd1的占有量。执行编码，以便该占有量在任何时间都不超过cpb1的尺寸(内存容量)。
[0129]
而且，具有阶梯状形状的实线a1表示由编码(编码)生成的子流2的数据量的移动，并且每个阶梯对应于一个图片的单元。阶梯的高度表示由编码生成的数据量。
[0130]
定时p02表示第一图片的编码图像数据的第一字节输入cpb2(编码图片缓冲器2：压缩数据缓冲器)的定时。r2表示第一图片的编码图像数据的cpb2的输入位速率。在此处，如果在时间t2输入cpb2中的编码数据的量是q2，那么以下方程成立：r2＝q2/t2。应注意的
是，在图中示出的实例中，示出了到另一个图片的编码图像数据的cpb2的输入位速率也是r2的情况。
[0131]
具有阶梯状形状的实线b2表示由在cpb2中解码所消耗的数据量的移动，并且每个阶梯对应于一个图片的单元。阶梯的高度表示由解码消耗的数据量。qcpb2表示cpd2的占有量。执行编码，以便该占有量在任何定时处都不超过cpb2的尺寸(内存容量)。
[0132]
在图中示出的实例中，按照图片顺序“1-0”、“1-1”、“1-2”、“1-3
”…
为子流1，按照图片顺序“2-0”、“2-1”、“2-2”、“2-3
”…
为子流2，执行解码，如上所述，交替地解码子流1的图片和子流2的图片。每个图片的解码图像数据输入dpb(编码图片缓冲器：未压缩数据)中。在该实例中，从执行解码时到开始显示时的延迟图片的数量是4个图片。
[0133]
应注意的是，在上文中，r1和r2表示固定位速率的实例(constant_bit_rate)。然而，不限于此，并且相同的理念可以应用于可变位速率(variable_bit_rate)中。
[0134]
图15示出编码器102的一个配置实例。编码器102包括时间id生成单元121、缓冲延迟控制器122、hrd(假设参考解码器)设置单元123、参数组/sei编码单元124、切片编码单元125以及nal打包单元126。
[0135]
将关于层的数量(层数)的信息从cpu 101中供应给时间id生成单元121的供应。时间id生成单元121基于关于层的数量的信息根据层的数量生成temporal_id。例如，在图3中示出的分层编码的实例中，生成temporal_id 0到4。
[0136]
将最小解码能力(minimum_target_decoder_level_idc)的信息从cpu101中供应给缓冲延迟控制器122，并且供应在时间id生成单元121中生成的temporal_id。缓冲延迟控制器122计算作为每个视频流的cpb缓冲的初始值的“initial_cpb_removal_delay”以及用于每个图片的“cpb_removal_delay”和“dpb_output_delay”。
[0137]
缓冲延迟控制器122为每个子流(子流)在cpb缓冲器内控制“cpb_removal_delay”。缓冲延迟控制器122执行控制，以便在cpb缓冲器内在解码器的解码定时与显示时间之间不发生缓冲故障。在这种情况下，控制“cpb_removal_delay”，以便最低层组的图片的解码定时是规则间隔。而且，在这种情况下，控制“cpb_removal_delay”，以便在比最低层组更高的层组内的图片的解码定时是比层组更低的所有层组的图片的编码图像数据的编码定时的平均定时。而且，控制“cpb_removal_delay”，以便不发生cpb缓冲器故障。应注意的是，编码定时表示在接收器侧上与从压缩数据缓冲器(cpb：编码图片缓冲器)中读取的解码定时相同的意义。
[0138]
将在缓冲延迟控制器122内计算的每个视频流的图片的“cpb_removal_delay”和“dpb_output_delay”供应给hrd(假设参考解码器)设置单元123，并且从cpu 101中供应关于流的数量(流数量)的信息。hrd设置单元123根据该信息执行hrd设置。
[0139]
将hrd设置信息和temporal_id供应给参数组/sei编码单元124。参数组/sei编码单元124根据要编码的流的数量，生成每个层的参数组，(例如，vps、sps以及pps)以及sei。
[0140]
例如，生成包括“cpb_removal_delay”和“dpb_output_delay”的图片定时sei(图片定时sei)。此外，例如，生成包括“initial_cpb_removal_time”的缓冲周期sei(缓冲周期sei)。生成缓冲周期sei，对应于gop的顶部图片(访问单元)。
[0141]“初始cpb去除时间”表示用于解码的从压缩的数据缓冲器(cpb)中取出gop(图片组)的顶部图片的编码图像数据的时间(初始时间)。“cpb_removal_delay”表示从压缩的数
据缓冲器(cpb)中取出每个图片的编码图像数据的时间，并且与“initial_cpb_removal_time”一起确定该时间。而且，“dpb_output_delay”表示在解码和进入压缩的数据缓冲器(dpb)之后取出的时间。
[0142]
切片编码单元125编码每个层的图片的图像数据，以获得切片数据(切片段报头、切片段数据)。切片编码单元125使用帧缓冲器，来将“ref_idx_l0_active”(ref_idx_l1_active)(其表示由“预测单元”预测的图片的索引)作为表示时间方向的预测状态的信息插入“切片段报头”内。因此，在执行解码时，确定由temporal_id显示的层等级以及参考源图片。而且，切片编码单元125将当前切片的索引作为“short_term_ref_pic_set_idx”或“it_idx_sps”插入“切片段报头”内。
[0143]
nal打包单元(packetizing unit)126根据由参数组/sei编码单元124生成的参数组和sei以及由切片编码单元125生成的切片数据量，生成每个层的图片的编码图像数据，以根据流的数量输出视频流(编码流)。
[0144]
此时，将表示层的temporal_id加入每个图片的nal单元报头内(见图4)。而且，占用属于由temporal_id显示的层的图片，作为子层(sub_layer)，并且每个子层的位速率的等级指定值“level_idc”被视为“sublayer_level_idc”，并且插入vps或sps内。
[0145]
图16示出编码器102的处理流程的一个实例。编码器102在步骤st1中开始过程，然后，执行步骤st2的处理。在步骤st2中，编码器102在分层编码中设置层的数量n。接下来，编码器102在步骤st3中将每个层的图片的temporal_id设置为0到(n-1)。
[0146]
接下来，在步骤st4中，编码器102将在目标解码器之中具有最小能力的解码器可以执行解码的层的等级k设置为在0到(n-1)。然后，在步骤st5中，编码器102在缓冲延迟控制器122中在每个层组中设置图片编码间隔和编码定时。
[0147]
接下来，在步骤st6中，编码器102将在步骤st5中获得的图片编码间隔和编码定时反应为“cpb_removal_delay”和“dpb_output_delay”，执行hrd设置、参数组/sei的编码以及切片编码，并且将其作为nal单元传递给多路复用模块。然后，在步骤st7中，编码器102完成该处理。
[0148]
现在，返回图2，压缩的数据缓冲器(cpb)103暂时储存视频流，包括由编码器102生成的每个层的图片的编码数据。多路复用器104读取在压缩的数据缓冲器103内储存的视频流，将视频流pes包格式化，将视频流传输包格式化并且多路复用视频流，以获得用作多路复用流的传输流ts。
[0149]
如上所述，传输流ts包括具有通过划分多个层所获得的每个层组的图片的编码图像数据的预定数量的视频流。多路复用器104将识别信息插入传输流ts内，所述识别信息用于识别预定数量的视频流中的每个是基础流还是增强流。在这种情况下，在视频基本流回路(视频es回路)内作为流类型插入识别信息，该回路设置为在节目映射表之下对应于所述预定数量的视频流中的每个。
[0150]
在这种情况下，基础流的流类型是“0x24”。而且，重新限定增强流的流类型。例如，增强流的流类型是“0x25”。应注意的是，在具有多个增强流的情况下，所有增强流的流类型不需要相同，并且可重新限定多个流类型，作为增强流的流类型，以便可以识别每个增强流。例如，在具有两个增强流的情况下，第一增强流的流类型是“0x25”，并且第二增强流的流类型是“0x26”。
[0151]
多路复用器104在传输流ts的层内插入视频流的配置信息，以便对应于预定数量的流。在多路复用器104将配置信息作为描述符插入视频基本流回路内，所述回路设置为在节目映射表(pmt：节目映射表)下对应于所述预定数量的视频流中的每个。
[0152]
多路复用器104插入重新限定的多流描述符(multistream_descriptor)以及hevc描述符(hevc_descriptor)。图17示出hevc描述符(hevc_descriptor)的一个结构实例(语法)。8位字段“descriptor_tag”表示描述符的类型，在此处表示hevc描述符。8位字段“descriptor_length”表示描述符的长度(尺寸)，并且表示后续字节的数量，作为描述符的长度。
[0153]
8位字段“level_idc”表示位速率的等级指定值。而且，在“temporal_layer_subset_flag＝1”的情况下，具有5位字段“temporal_id_min”和5位字段“temporal_id_max”。“temporal_id_min”表示在包含在相应视频流内的分层编码数据的最低层中的temporal_id的值。“temporal_id_max”表示在相应视频流的分层编码数据的最高层内的temporal_id的值。
[0154]
图18示出多流描述符(multistream_descriptor)的一个结构实例(语法)。而且，图19示出在结构实例中的主要信息的内容(语义)。
[0155]
8位字段“multistream_descriptor_tag”表示描述符的类型，在此处表示多流描述符。8位字段“multistream_descriptor_length”表示描述符的长度(尺寸)，表示后续字节的数量，作为描述符的长度。在此处，表示2个字节。4位字段“group_id”表示在一系列服务中相关联的组。在这种情况下，基于其的基础流(基础流)和所有非基础流(非基础流＝增强流)具有相同的id。
[0156]
4位字段“stream_dependency_ordering”按照升序从基础流(基础流)开始在流之间限定依赖关系。“0001”表示基础流。“0010”表示从基础流开始的第二流(增强流)。“0011”表示从基础流开始的第三流。“max_layer_in_group”表示在该组内编码的层中的最大值。
[0157]
图20示出在传输流ts包括(例如)服务1(服务1)和服务2(服务2)的视频流组的情况下“stream_type”、“group_id”、“max/min layer”、“max_layer_in_group”以及“stream_dependency_ordering”的一个实例。
[0158]
在该实例中，作为服务1的视频流，包括基础流(基础流)、增强流(增强流1)以及增强流(增强流2)这三个视频流。在服务1中，“group_id”的值是“0”。而且，在服务1中，层的数量是5，并且“max/min layer”的值是“4”，与在图3中示出的分层编码的实例相似。
[0159]
而且，服务1分成三个层组。基础流的“stream_type”的值设置为“0x24”，并且hevc描述符的“max/min layer”表示为包括在层0到2中的图片。而且，增强流(增强流1)的“stream_type”的值设置为“0x25”，并且hevc描述符的“max/min layer”表示为包括在层3中的图片。而且，增强流(增强流2)的“stream_type”的值设置为“0x25”，并且hevc描述符的“max/min layer”表示为包括在层4中的图片。
[0160]
而且，在该实例中，作为服务2的视频流，包括基础流(基础流)、增强流(增强流1)以及增强流(增强流2)这三个视频流。在服务2中，“group_id”的值是“1”。而且，例如，在服务2中，层的数量是4，并且“max/min layer”的值是“3”。
[0161]
而且，服务2分成三个层组。基础流的“stream_type”的值设置为“0x24”，并且hevc描述符的“max/min layer”表示为包括在层0到1中的图片。而且，增强流(增强流1)的“stream_type”的值设置为“0x25”，并且hevc描述符的“max/min layer”表示为包括在层2中的图片。而且，增强流(增强流2)的“stream_type”的值设置为“0x25”，并且hevc描述符的“max/min layer”表示为包括在层3中的图片。
[0162]
图21示出多路复用器104的一个配置实例。多路复用器104包括部分编码单元142、pes打包单元143-1到143-n、切换单元144以及传输打包单元145。
[0163]
pes打包单元143-1到143-n分别读取在压缩的数据缓冲器103内储存的视频流1到n，并且生成pes数据包。在此处，视频流1到n均包括一个基础流和至少一个增强流。
[0164]
此时，pes打包单元143-1到143-n分别根据视频流1到n的hrd信息，将dts(解码定时戳)和pts(呈现时间戳)加入pes报头中。在这种情况下，参考每个图片的“cpu_removal_delay”和“dpb_output_delay”，通过与stc(系统时钟)时间同步的精度，生成dts和pts，并且dts和pts设置在pes报头内的预定位置内。
[0165]
切换单元(switching unit)144根据数据包标识符(pid)，选择性取出在pes打包单元143-1到143-n中生成的pes数据包，并且将其发送给传输打包单元145。传输打包单元145生成在有效载荷内包括pes数据包的ts数据包，以获得传输流ts。
[0166]
部分编码单元142生成各种部分数据，以插入传输流ts内。将层的数量(层数)和流的数量(流的数量)等信息从cpu 101中供应给部分编码单元142。根据该信息，部分编码单元142生成上述hevc描述符(hevc_descriptor)和多流描述符(multistream_descriptor)。
[0167]
部分编码单元142将所述各种部分数据发送给传输打包单元145。传输打包单元145生成包括部分数据的ts数据包，并且将其插入传输流ts内。应注意的是，此时，在视频基本流回路(视频es回路)内也插入流类型，该回路设置为对应于每个视频流。在这种情况下，例如，基础流的流类型是“0x24”，并且增强流的流类型最近限定为“0x25”。
[0168]
图22示出多路复用器104的处理流程。多路复用器104在步骤st11中开始处理，然后，执行步骤st12的处理。在步骤st12中，多路复用器104参考hrd信息(cpu_removal_delay、dpb_output_delay)，以确定dts和pts，并且在pes报头内的预定位置中插入dts和pts。
[0169]
接下来，在步骤st13中，多路复用器104确定是否是多流，即，n是复数。如果是多流，那么在步骤st14中，多路复用器104通过多个pid执行多路复用处理。然后，在步骤st15中，多路复用器104确定是否是基础流。
[0170]
如果是基础流，那么在步骤st16中，多路复用器104将流类型设置为“0x27”，随后，执行步骤st10的处理。另一方面，如果是增强流，那么在步骤st17中，多路复用器104将流类型设置为表示增强流的值，即，最近限定为“0x28”，随后，执行步骤st18的处理。
[0171]
应注意的是，如果在步骤st13中不是多流，那么多路复用器104在步骤st19中通过一个pid执行多路复用处理，随后，执行步骤st18的处理。
[0172]
在步骤st18中，多路复用器104对hevc描述符、多流描述符等执行部分编码，将编码流(视频基础流)插入pes有效载荷内，用于pes包格式化。然后，在步骤st20中，多路复用器104执行传输包格式化，以获得传输流ts。然后，在步骤st21中，多路复用器104完成处理。
[0173]
图23示出在通过两个流传送服务的情况下传输流ts的一个配置实例。传输流ts包括基础流和增强流这两个视频流。具体而言，在该配置实例中，具有基础流的pes数据包的“视频pes1”和增强流的pes数据包的“视频pes2”。
[0174]
而且，传输流ts包括pmt(节目映射表)，作为一个psi(节目专用信息)。这个psi是表示包含在传输流内的每个基础流属于哪个节目的信息。
[0175]
在pmt中，具有节目回路(节目回路)，与整个节目相关的信息写入该回路中。而且，在pmt中，具有基本流回路，其具有与每个视频流相关的信息。在这个配置实例中，具有对应于基础流的视频基本流回路“视频es1回路”和对应于增强流的音频基本流回路“音频es2回路”。
[0176]
在“视频es1回路”上，设置流类型和数据包标识符(pid)等信息，对应于基础流(视频pes1)，并且也设置描述符，与视频流相关的信息写入该描述符中。该流类型是表示基础流的“0x24”。而且，作为一个描述符，插入上述hevc描述符和多流描述符。
[0177]
而且，在“视频es2回路”上，设置流类型和数据包标识符(pid)等信息，对应于增强流(视频pes2)，并且也设置描述符，与视频流相关的信息写入该描述符中。例如，该流类型最近限定为表示增强流的“0x25”。而且，作为一个描述符，插入上述hevc描述符和多流描述符。
[0178]
图24示出在通过3个流传送服务的情况下传输流ts的一个配置实例。传输流ts包括基础流和两个增强流这3个视频流。具体而言，在该配置实例中，具有基础流的pes数据包“视频pes1”和增强流的pes数据包的“视频pes2”和“视频pes3”。
[0179]
而且，在pmt中，具有基本流回路，其具有与每个视频流相关的信息。在这个配置实例中，具有对应于基础流的视频基本流回路“视频es1回路”和对应于两个增强流的音频基本流回路“音频es2回路”和音频基本流回路“音频es3回路”。
[0180]
在“视频es1回路”上，设置流类型和数据包标识符(pid)等信息，对应于基础流(视频pes1)，并且也设置描述符，与视频流相关的信息写入该描述符中。该流类型是表示基础流的“0x24”。而且，作为一个描述符，插入上述hevc描述符和多流描述符。
[0181]
而且，在“视频es2回路”上，设置流类型和数据包标识符(pid)等信息，对应于增强流(视频pes2)，并且也设置描述符，与视频流相关的信息写入该描述符中。例如，该流类型最近限定为表示增强流的“0x25”。而且，作为一个描述符，插入上述hevc描述符和多流描述符。
[0182]
而且，在“视频es3回路”上，设置流类型和数据包标识符(pid)等信息，对应于增强流(视频pes3)，并且也设置描述符，与视频流相关的信息写入该描述符中。例如，该流类型最近限定为表示增强流的“0x25”或“0x26”。而且，作为一个描述符，插入上述hevc描述符和多流描述符。
[0183]
现在，返回图2，发送单元105通过适合于广播的调制方式(例如，qpsk/ofdm)调制传输流ts，并且传输来自传输天线的rf调制信号。
[0184]
简单描述在图2中显示的发送设备100的操作。将未压缩的运动图像数据输入给编码器102。编码器102对运动图像数据执行分层编码。换言之，在编码器102中，将构成运动图像数据的每个图片的图像数据分成多个层并且编码，以生成具有在每个层内的图片的编码图像数据的视频流。此时，执行编码，以便参考图片属于自身层和/或比自身层更低的层。
[0185]
在编码器102中，多个层分成预定数量的层组，并且生成具有每个层组的图片的编码图像数据的预定数量的视频流。在这种情况下，生成具有在最低层组内的图片的编码图像数据的基础流，并且生成具有在比最低层组更高的层组内的图片的编码图像数据的预定
数量的增强流。
[0186]
将在编码器102中生成的预定数量的视频流供应给编码图片缓冲器(cpb)103并且暂时储存。在多路复用器104中，读取储存在编码图片缓冲器103内的每个视频流，将视频流pes包格式化，将视频流传输包格式化并且多路复用视频流，以获得用作多路复用流的传输流ts。
[0187]
而且，在多路复用器104中，将识别信息插入传输流ts的层内，所述识别信息用于识别预定数量的视频流是基础流还是增强流。识别信息是在视频基本流回路(视频es回路)内插入的流类型，该回路设置为对应于每个视频流。在这种情况下，基础流的流类型是“0x24”，并且增强流的流类型最近限定为“0x25”。
[0188]
而且，在多路复用器104中，将视频流的配置信息插入传输流ts的层内，对应于预定数量的视频流。具体而言，在多路复用器104中，将hevc描述符和多流描述符插入对应于每个视频流的视频基本流回路内。
[0189]
在多路复用器104中生成的传输流ts传输给发送单元105。在发送单元105中，在适合于广播的调制方法(例如，qpsk/ofdm)中调制传输流ts，并且从发送天线中发送rf调制信号。
[0190]
【接收设备的配置】
[0191]
图25示出接收设备200的一个配置实例。接收设备200包括中央处理单元(cpu)201、接收单元202、多路复用器203以及压缩数据缓冲器(cpb：编码图片缓冲器)204。而且，接收设备200包括解码器205、未压缩数据缓冲器(dpb：解码图片缓冲器)206以及后处理单元207。cpu201构成控制单元，并且控制接收设备200的相应单元的操作。
[0192]
接收单元202解调由接收天线接收的rf调制信号，以获取传输流ts。多路复用器203根据解码能力(解码器时间层能力)，从传输流ts中选择性取出在层组内的图片的编码图像数据，并且将该数据发送给压缩数据缓冲器(cpb：编码图片缓冲器)204。
[0193]
图26示出多路复用器203的一个配置实例。多路复用器203包括ts适配字段提取单元231、时钟信息提取单元232、ts有效载荷提取单元233、部分提取单元234、psi表格/描述符提取单元235以及pes数据包提取单元236。而且，多路复用器203包括pes报头提取单元237、时间戳提取单元238、pes有效载荷提取单元240以及流配置单元(流组合器)241。
[0194]
ts适配字段提取单元231从具有传输流ts的适配字段的ts数据包中提取适配字段。时钟信息提取单元232从包括pcr的适配字段中提取pcr(节目时钟参考)，并且将pcr传输给cpu 201。
[0195]
ts有效载荷提取单元233从包括ts有效载荷的ts数据包中提取传输流ts的ts有效载荷。部分提取单元234从包括部分数据的ts有效载荷中提取部分数据。psi表格/描述符提取单元235分析由部分提取单元234提取的部分数据并且提取psi表格或描述符。然后，psi表格/描述符提取单元235将temporal_id的最小值(min)和最大值(max)、最大层数、流依赖关系、组id等传输给cpu 201并且传输给流配置单元241。
[0196]
pes数据包提取单元236从包括pes数据包的ts有效载荷中提取pes数据包。pes报头提取单元237从由pes数据包提取单元236提取的pes数据包中提取pes报头。时间戳提取单元232提取为每个图片插入pes报头内的时间戳(dts、pts)，并且将时间戳传输给cpu 201和流配置单元241。
[0197]
pes有效载荷提取单元240从由pes数据包提取单元236提取的pes数据包中提取pes有效载荷，即，在每个层中的图片的编码图像数据。流配置单元241从在由pes有效载荷提取单元240取出的每个层中的图片的编码图像数据中选择性取出预定数量的增强流的图片的仅仅基础流或编码图像数据，并且将其传输给压缩数据缓冲器(cpb:编码图片缓冲器)204。在这种情况下，例如，流配置单元241参考psi表格/描述符提取单元235获取的层信息。
[0198]
例如，讨论包含在传输流ts内的预定数量的视频流(编码流)的帧速率是120fps的情况。例如，多个层分成最低层组和更高层组这两个层组，并且在层组内的图片的帧速率是60fps。例如，在图3中显示的分层编码的上述实例中，层0到3是更低层组，并且支持60fps的level_idc的解码器可以执行解码。而且，层4是高层组，并且支持120fps的level_idc的解码器可以执行解码。
[0199]
在解码能力支持120fps的情况下，流配置单元241基于数据包id(pid)取出基础流和增强流的编码图像数据，并且将编码图像数据传输给压缩数据缓冲器(cpb：编码图片缓冲器)204。另一方面，在解码能力不支持120fps，而是支持60fps的情况下，流配置单元241基于数据包id(pid)仅仅取出基础流的图片的编码图像数据，并且将编码图像数据传输给压缩数据缓冲器(cpb：编码图片缓冲器)204。
[0200]
图27示出在传输流ts包括基础流和增强流这两个视频流(编码流)的情况下流配置单元241的图片(切片)选择的一个实例。基础流的数据包标识符(pid)是pid a，并且增强流的数据包标识符(pid)是pid b。在图中显示的实例对应于在图9中显示的上述实例，并且仅仅示出第n个子图片组(图片的子组)的部分，并且加入由矩形帧示出的每个图片的数字表示解码顺序(在发送侧上的编码顺序)。
[0201]
在解码能力支持120fps的情况下，流配置单元241基于数据包标识符(pid)执行过滤，取出作为pid a的基础流和作为pid b的增强流的图片的编码图像数据，并且将编码图像数据传输给压缩数据缓冲器(cpb：编码图片缓冲器)204。在这种情况下，基础流的图片的编码图像数据储存在区域1(cpb_1)内，并且增强流的图片的编码图像数据储存在区域2(cpb_2)内。
[0202]
另一方面，在解码能力不支持120fps，而是支持60fps的情况下，流配置单元241根据数据包标识符(pid)，进行过滤，仅仅取出作为pid a的基础流的图片的编码图像数据，将编码图像数据传输给压缩数据缓冲器(cpb：编码图片缓冲器)204，并且储存在区域1(cpb_1)。
[0203]
图28示出多路复用器203的处理流程的一个实例。这个处理流程示出了以下情况下：传输流ts包括在最低层组内具有图片的编码图像数据的基础流以及在比最低层组更高的预定数量的层组内具有图片的编码图像数据的预定数量的增强流。
[0204]
多路复用器203在步骤st41中开始处理，然后，执行步骤st42的处理。在步骤st42中，从cpu 201中设置解码能力(解码器时间层能力)。接下来，多路复用器203在步骤st43中确定是否可以在所有层(层)上执行解码。
[0205]
在可以对所有层执行解码的情况下，在步骤st44中，多路复用器203通过pid滤波器选择构成所有层的所有流，并且执行部分解析(部分解析)。然后，多路复用器203执行步骤st45的处理。
[0206]
在步骤st43中不能对所有层执行解码的情况下，多路复用器203选择预定数量的
流，包括构成可以解码的更低层的基础流，并且在步骤st46中，执行相关的部分解析(部分解析)。然后，多路复用器203执行步骤st45的处理。
[0207]
在步骤st45中，多路复用器203在目标pid部分中读取hevc描述符和多流描述符，以获得在该组内的流的依赖关系、最大层数量以及temporal_id的最大值和最小值。
[0208]
接下来，多路复用器203在步骤st47中将在步骤st44或步骤st46中选择的流的图片的编码图像数据传输给压缩数据缓冲器(cpb：编码图片缓冲器)204。在步骤st47的处理之后，多路复用器203在步骤st48中完成处理。
[0209]
现在，返回图25，压缩数据缓冲器(cpb)204暂时储存由多路复用器203取出的视频流(编码流)。解码器205从在压缩数据缓冲器204中储存的视频流中取出在指定为要解码的层的层中的图片的编码图像数据。然后，解码器205在图片的解码定时，解码这样取出的每个图片的编码图像数据，并且将该数据发送给未压缩数据缓冲器(dpb)206。
[0210]
在此处，在解码器205中，从cpu 201中给要解码的层指定temporal_id。指定的层被视为包含在由多路复用器203取出的视频流(编码流)内的所有层或更低层的一部分，并且由cpu 201自动设置或者根据用户操作设置为。而且，根据dts(解码定时戳)，从cpu 201中给解码器205提供解码定时。应注意的是，在解码每个图片的编码图像数据时，解码器205必要时读取并且使用来自未压缩数据缓冲器206的参考图片的图像数据。
[0211]
图29示出解码器205的一个配置实例。解码器205包括时间id分析单元251、目标层选择单元252、流组合单元253以及解码单元254。时间id分析单元251读取在压缩数据缓冲器204内储存的视频流(编码流)，并且分析插入每个图片的编码图像数据的nal单元报头内的temporal_id。
[0212]
目标层选择单元252根据从时间id分析单元251中获得的分析结果，从压缩数据缓冲器204中读取的视频流中取出指定为要解码的层的层的图片的编码图像数据。在这种情况下，根据从压缩数据缓冲器204中读取的视频流的数量以及指定层，从目标层选择单元252中输出一个或多个视频流(编码流)。
[0213]
流组合单元253将从目标层选择单元252中输出的视频流(编码流)组合在一起。应注意的是，虽然与在图显示的不同，但是流组合单元253可将从cpb缓冲器204中输出的视频流(编码流)组合在一起。在这种情况下，流组合单元253同时执行目标层选择和时间id分析。流组合单元253根据解码定时信息将图片的编码图像数据组合在一起。图30示出了流组合的一个实例。
[0214]
该实例对应于在图9中示出的上述实例，并且是一个实例，其中，具有60hz间隔的基础流的图片和具有60hz间隔的增强流的图片组合在一起。在这种情况下，每个图片被视为时间戳120hz的一个流。
[0215]
应注意的是，一个流传输给解码单元254，并且图片的每个编码图像数据在解码定时解码并且储存在dpb(未压缩数据缓冲器)206内，如后所述。然后，在图片重新排序之后，从未压缩数据缓冲器206中依次读取每个图片的编码图像数据。在图中显示的实例中，首先读取在子图片组(由向下倾斜的虚线显示)内的图片，然后，读取在下一个子图片组(由向上倾斜的虚线显示)内的图片。在解码之后，在显示在子图片组内的图片时，在下一个子图片组内的图片储存在未压缩数据缓冲器206内，并且变成后续引用的图片。
[0216]
应注意的是，多个流的图片的组合处理本身可为在上述多路复用器203中的多个
所选流执行，并且可传输给压缩数据缓冲器(cpb：编码图片缓冲器)204，作为一个流。而且，同样根据解码定时信息，执行在此时的组合处理，在这种情况下，不需要在解码器中执行组合处理。
[0217]
解码单元254在解码定时依次解码由流组合单元253组合的视频流(编码流)的每个图片的编码图像数据，并且将该数据发送给未压缩数据缓冲器(dpb)206。
[0218]
在这种情况下，解码单元254分析vps和sps，了解每个子层的位速率的等级指定值“sublayer_level_idc”，例如，以检查通过解码能力是否可以解码。而且，在这种情况下，解码单元254执行sei分析，了解(例如)“initial_cpb_removal_time”和“cpb_removal_delay”，并且检查cpu 201的解码定时是否合适。
[0219]
在解码切片(切片)时，解码单元254从切片报头(切片报头)中获取“ref_idx_l0_active”(ref_idx_l1_active)，作为表示时间方向的预测目的地的信息，以预测时间方向。应注意的是，处理在解码之后的图片，作为另一个图片的参考，将从切片报头(切片报头)中获取的“short_term_ref_pic_set_idx”或“it_idx_sps”用作索引。
[0220]
现在，返回图25，未压缩数据缓冲器(dpb)206暂时储存由解码器205解码的每个图片的图像数据。后处理单元207在显示时间执行处理，以使依次从未压缩数据缓冲器(dpb)206中读取的每个图片的图像数据的帧速率与显示能力匹配。在这种情况下，根据pts(呈现时间戳)，从cpu201中提供显示时间。
[0221]
例如，如果在解码之后的每个图片的图像数据的帧速率是120fps并且显示能力是120fps，那么后处理单元207将在解码之后的每个图片的图像数据照原样发送给显示器。而且，例如，如果在解码之后的每个图片的图像数据的帧速率是120fps并且显示能力是60fps，那么后处理单元207执行二次采样处理，以便时间方向分辨率比在解码之后的每个图片的图像数据减少一半，并且将该数据发送给显示器，作为60fps的图像数据。
[0222]
而且，例如，如果在解码之后的每个图片的图像数据的帧速率是60fps并且显示能力是120fps，那么后处理单元207执行插入处理，以便时间方向分辨率是在解码之后的每个图片的图像数据的两倍，并且将该数据发送给显示器，作为120fps的图像数据。例如，如果在解码之后的每个图片的图像数据的帧速率是60fps并且显示能力是60fps，那么后处理单元207将在解码之后的每个图片的图像数据照原样发送给显示器。
[0223]
图31示出后处理单元207的一个配置实例。这是一个实例，其中，能够处理一下情况：如上所述，在解码之后的每个图片的图像数据的帧速率是120fps或60fps，并且显示能力是120fps或60fps。
[0224]
后处理单元207包括插入单元271、二次采样单元272以及切换单元273。将来自未压缩数据缓冲器206的在解码之后的每个图片的图像数据直接输入切换单元273中，在帧速率由插入单元271翻倍之后，输入切换单元273中，或者在帧速率由二次采样单元272减少一半之后，输入切换单元273中。
[0225]
将选择信息从cpu 201中供应给切换单元273。这个选择信息由cpu201参照显示能力自动生成或者根据用户的操作生成。切换单元273根据选择信息选择性输出任何输入。因此，在显示时间依次从未压缩数据缓冲器(dpb)206中读取的每个图片的图像数据的帧速率被视为与显示能力匹配的帧速率。
[0226]
图32示出解码器205和后处理单元207的处理流程的一个实例。解码器205和后处
理单元207在步骤st51中开始处理，然后，执行步骤st52的处理。在该步骤st52中，解码器205读取在压缩数据缓冲器(cpb：编码图片缓冲器)204内储存的作为解码目标的视频流，并且根据temporal_id，从cpu 201中选择在指定作为目标的层中的图片。
[0227]
接下来，解码器205在解码定时依次解码每个所选图片的编码图像数据，将在解码之后的每个图片的图像数据传输给未压缩数据缓冲器(dpb)206，并且在步骤st53中暂时储存数据。接下来，后处理单元207在步骤st54中在显示时间从未压缩数据缓冲器(dpb)206中读取每个图片的图像数据。
[0228]
接下来，后处理单元207确定每个图片的所读取的图像数据的帧速率是否与显示能力匹配。如果帧速率与显示能力不匹配时，那么后处理单元207在步骤st56中使帧速率与显示能力匹配，并且将帧速率发送给显示器，在步骤st57中完成处理。另一方面，如果帧速率与显示能力匹配，那么后处理单元207在步骤st58中将帧速率照原样发送给显示器，然后，在步骤st57中完成处理。
[0229]
简单描述在图25中显示的接收设备200的操作。在接收单元202中，解调由接收天线接收的rf调制信号，以获取传输流ts。将这个传输流ts发送给多路复用器203。在多路复用器203中，根据解码能力(解码器时间层能力)，从传输流ts中pid过滤所有或一部分视频流。
[0230]
例如，如果解码能力高，那么选择基础流和增强流的所有视频流。而且，例如，如果解码能力低，那么选择包括可解码的层的预定数量的视频流和基础流。然后，所选的视频流的图片的编码图像数据从多路复用器203中传输给压缩数据缓冲器(cpb：编码图片缓冲器)204，并且暂时储存。
[0231]
在解码器205中，从在压缩数据缓冲器204中储存的视频流中取出在指定为要解码的层的层中的编码图像数据。然后，在解码器205中，以解码定时解码这样取出的每个图片的编码图像数据，将该数据发送给未压缩数据缓冲器(dpb)206，并且暂时储存。在这种情况下，在每个图片的编码图像数据解码时，必要时从未压缩数据缓冲器206中读取参考图片的图像数据，并且使用该数据。
[0232]
将以显示定时依次从未压缩数据缓冲器(dpb)206中读取的图片的图像数据发送给后处理单元207。在后处理单元207中，执行插入或者二次采样，用于使每个图片的图像数据的帧速率与显示能力匹配。将在后处理单元207中处理的每个图片的图像数据供应给显示器，并且显示每个图片的图像数据的运动图像。
[0233]
如上所述，在图1中显示的发送/接收系统10中，在接收侧上，执行编码，以便在最低层组内的图片的编码图像数据的解码间隔至少是规则间隔。因此，在接收器具有对最低层组的多个层内的图片的编码图像数据上执行处理的解码能力的情况下，例如，可以对每个图片的编码图像数据连续地并且轻松地执行解码处理。
[0234]
而且，在图1中显示的发送/接收系统10中，在发送侧上执行编码，以便在高于最低层组的层组内的图片的编码图像数据的解码定时是在低于所述层组的所有层组内的图片的编码图像数据的平均解码定时。因此，在接收器具有不仅解码在最低层组内的而且解码在比该最低层组更高的层组内的图片的编码图像数据的解码能力的情况下，可以对每个图片依次并且平稳地执行解码处理。
[0235]
而且，在图1中显示的发送/接收系统10中，在发送侧上，在多个层分成预定数量的
层组的情况下，进行划分，以便最低层组包括多个层，并且比最低层组更高的层组包括一个层。因此，例如，在接收器具有对最低层组内的多个层内的图片的编码图像数据执行处理的解码能力的情况下，仅仅需要仅仅选择在最低层组内具有图片的编码图像数据的视频流，在缓冲器内采用该视频流，并且对该视频流执行解码处理的配置，并且不需要对多个视频流执行组合处理的复杂配置。
[0236]
而且，在图1中显示的发送/接收系统10中，在发送侧上，用于识别预定数量的视频流中的每个是基础流还是增强流的识别信息插入传输流ts的层内。因此，接收器可以容易选择基础流，并且选择性解码在更低层组内的图片的编码图像数据，例如，通过使用识别信息。
[0237]
而且，在图1中显示的发送/接收系统10中，在发送侧上，视频流的配置信息插入传输流ts的层内，对应于包含在传输流ts内的预定数量的视频流。因此，例如，接收器可以容易了解包含在传输流ts内的每个视频流属于哪组、在视频流之间具有什么流依赖关系以及层的数量。
[0238]
而且，在图1中显示的发送/接收系统10中，在接收器侧上，从所接收的视频流中，根据解码能力(解码器时间层能力)，在压缩数据缓冲器204中选择性取出在等于或低于预定层的层内的图片的编码图像数据，并且解码。因此，例如，根据解码能力，可以执行适当的解码处理。
[0239]
而且，在图1中显示的发送/接收系统10中，在接收器侧上，使在解码之后的每个图片的图像数据的帧速率与在后处理单元207中的显示能力。因此，即使解码能力低，例如，也能够获取与显示能力匹配的帧速率的图像数据。
[0240]
《2、变形例》
[0241]
应注意的是，在上述实施方式中，作为层最大值的信息的“max_layer_in_group”写入多流描述符中(见图18)中，并且发送给接收器。然而，并未将层最大值的信息写入描述符中并且将其供应给接收器，可以描述在文件或书面标准的表面上“指定最大层”，以提前指定或者设置在接收设备中的层最大值。而且，在这种情况下，接收器引用层最大值的信息，根据自身解码能力，对包括层的流执行滤波，并且执行解码处理，与如上所述从传输器侧中给其供应描述符的情况相似。
[0242]
而且，在上述实施方式中，描述时间可扩展性(时间可扩展性)的一个实例，并且多流描述符用于将每个流的配置信息发送给接收器。然而，虽然省略了详细描述，但是可以在服务中应用上述多流描述符，其中，基础流(基础流)和扩展流(增强流)共存，涉及可扩展性，例如，空间可扩展性和位速率可扩展性。具体而言，在执行多流编码时，上述多流描述符表示一种有用的信令方法。
[0243]
而且，在上述实施方式中，描述了包括发送设备100和接收设备200的发送/接收系统10。然而，可以应用本技术的发送/接收系统的配置不限于此。例如，接收设备200部分可具有由数字接口(例如，hdmi(高清晰度多媒体接口)连接的机顶盒和显示器的配置。应注意的是，“hdmi”是是注册商标。
[0244]
而且，在上述实施方式中，描述了内容是传输流(mpeg-2ts)的实例。然而，本技术可以同样适用于系统中，该系统具有使用网络(例如，互联网)执行到接收终端的传送的配置。在使用互联网传送的情况下，由内容通过mp4等格式执行传送。换言之，具有各种格式
(例如，由数字广播标准和mp4采用的传输流(mpeg-2ts))以及由互联网传送的mp4对应于内容。
[0245]
而且，本技术可以采用以下配置。
[0246]
(1)一种编码设备，包括：
[0247]
图像编码单元，配置为：
[0248]
将构成运动图像数据的每个图片的图像数据分类成多个层，
[0249]
编码每个分类的层中的图片的图像数据，
[0250]
将多个层划分成预定数量的层组，并且
[0251]
生成具有每个划分的层组内的图片的编码图像数据的预定数量的视频流，图像编码单元执行编码，以便在至少最低层组内的图片的编码图像数据的解码间隔是规则间隔。
[0252]
(2)根据以上(1)所述的编码设备，其中，
[0253]
图像编码单元执行编码，以便在高于最低层组的层组内的图片的编码图像数据的解码定时是在低于该层组的所有层组内的图片的编码图像数据的解码定时的平均定时。
[0254]
(3)根据以上(1)或(2)所述的编码设备，其中，
[0255]
图像编码单元将多个层划分成预定数量的层组，以便最低层组包括多个层并且高于最低层组的层组包括一个层。
[0256]
(4)一种编码方法，包括：
[0257]
由图像编码单元将构成运动图像数据的每个图片的图像数据分类成多个层；
[0258]
编码每个分类的层中的图片的图像数据；
[0259]
将多个层划分成预定数量的层组；并且
[0260]
生成具有每个划分的层组内的图片的编码图像数据的预定数量的视频流，图像编码单元执行编码，以便在至少最低层组内的图片的编码图像数据的解码间隔是规则间隔。
[0261]
(5)一种发送设备，包括：
[0262]
图像编码单元，配置为：
[0263]
将构成运动图像数据的每个图片的图像数据分类成多个层，
[0264]
编码每个分类的层中的图片的图像数据，
[0265]
将多个层划分成预定数量的层组，并且
[0266]
生成具有每个划分的层组内的图片的编码图像数据的预定数量的视频流；以及
[0267]
发送单元，配置为发送具有预定格式的包括所生成的预定数量的视频流的内容，图像编码单元执行编码，以便在至少最低层组内的图片的编码图像数据的解码间隔是规则间隔。
[0268]
(6)一种发送设备，包括：
[0269]
图像编码单元，配置为：
[0270]
将构成运动图像数据的每个图片的图像数据分类成多个层，
[0271]
编码每个分类的层中的图片的图像数据，
[0272]
将多个层划分成预定数量的层组，并且
[0273]
生成具有每个划分的层组内的图片的编码图像数据的预定数量的视频流；
[0274]
发送单元，配置为发送具有预定格式的包括所生成的预定数量的视频流的内容；以及
[0275]
识别信息插入单元，配置为将识别信息插入内容的层内，所述识别信息用于识别预定数量的视频流中的每个是具有在最低层组内的图片的编码图像数据的基础流还是具有在高于最低层组的层组内的图片的编码图像数据的增强流。
[0276]
(7)根据以上(6)所述的发送设备，其中，
[0277]
所述内容是传输流，并且
[0278]
识别信息插入单元将识别信息作为流类型插入视频基本流回路内，视频基本流回路设置为对应于节目映射表下的预定数量的视频流中的每个。
[0279]
(8)根据以上(6)或(7)所述的发送设备，其中，
[0280]
图像编码单元执行编码，以便在至少最低层组内的图片的编码图像数据的解码间隔是规则间隔。
[0281]
(9)根据以上(8)所述的发送设备，其中，
[0282]
图像编码单元执行编码，以便在高于最低层组的层组内的图片的编码图像数据的解码定时是在低于该层组的所有层组内的图片的编码图像数据的解码定时的平均定时。
[0283]
(10)一种发送设备，包括：
[0284]
图像编码单元，配置为：
[0285]
将构成运动图像数据的每个图片的图像数据分类成多个层，
[0286]
编码每个分类的层中的图片的图像数据，
[0287]
将多个层划分成预定数量的层组，并且
[0288]
生成具有每个划分的层组内的图片的编码图像数据的预定数量的视频流；
[0289]
发送单元，配置为发送具有预定格式的包括所生成的预定数量的视频流的内容；以及
[0290]
配置信息插入单元，配置为将对应于包含在所述内容内的预定数量视频流中的每个的视频流的配置信息插入所述内容的层内。
[0291]
(11)根据以上(10)所述的发送设备，其中，
[0292]
配置信息包括表示视频流所属的服务组的信息。
[0293]
(12)根据以上(10)或(11)所述的发送设备，其中，
[0294]
配置信息包括表示在流之间的依赖关系的信息，所述流从具有在最低层组内的图片的编码图像数据的基础流开始。
[0295]
(13)根据以上(10)到(12)中任一项所述的发送设备，其中，
[0296]
配置信息包括表示由图像编码单元分类的多个层的层数量的信息。
[0297]
(14)根据以上(10)到(13)中任一项所述的发送设备，其中，
[0298]
所述内容是传输流，并且
[0299]
配置信息插入单元将配置信息作为描述符插入视频基本流回路内，视频基本流回路设置为在节目映射表下对应于预定数量的视频流中的每个。
[0300]
(15)一种接收设备，包括：
[0301]
接收单元，配置为接收具有预定数量的层组的一个层组内的图片的编码图像数据的预定数量的视频流，通过将构成运动图像数据的图片的图像数据划分成多个层并且编码图像数据来获得编码图像数据，多个层被分类成预定数量的层组；以及
[0302]
处理单元，配置为处理接收的预定数量的视频流，其中，编码具有在最低层组内的
图片的编码图像数据的预定数量的视频流的至少一个视频流，以便每个图片的解码间隔是规则间隔。
[0303]
(16)根据以上(15)所述的接收设备，其中，
[0304]
编码预定数量的视频流，以便在高于最低层组的层组内的图片的编码图像数据的解码定时是在低于该层组的所有层组内的图片的编码图像数据的解码定时的平均定时。
[0305]
(17)一种接收设备，包括：
[0306]
接收单元，配置为接收具有在预定数量的层组的一个层组内的图片的编码图像数据的预定数量的视频流，通过将构成运动图像数据的图片的图像数据划分成多个层并且编码图像数据来获得编码图像数据，多个层被划分类成预定数量的层组；以及
[0307]
图像解码单元，配置为：
[0308]
根据解码能力，从包含在所接收的内容内的预定数量的视频流中，将在等于或低于预定层的层内的图片的编码图像数据选择性收入在缓冲器中；
[0309]
解码收入在缓冲器内的图片的编码图像数据；并且
[0310]
获取在等于或低于预定层的层内的图片的图像数据，至少编码预定数量的视频流中的具有在最低层组内的图片的编码图像数据的视频流，以便每个图片的解码间隔是规则间隔。
[0311]
(18)根据以上(17)所述的接收设备，其中，
[0312]
将识别信息插入所述内容的层内，所述识别信息用于识别预定数量的视频流中的每个是具有在最低层组内的图片的编码图像数据的基础流还是具有在高于所述最低层组的层组内的图片的编码图像数据的增强流，并且
[0313]
图像解码单元基于识别信息根据解码能力从包括基础流的预定数量的视频流中，将预定层组内的图片的编码图像数据选择性收入在缓冲器内，并且解码编码图像数据。
[0314]
(19)根据以上(17)或(18)所述的接收设备，其中，
[0315]
在多个视频流内包括在预定层组内的图片的编码图像数据的情况下，图像解码单元基于解码定时信息将每个图片的编码图像数据作为一个流解码。
[0316]
(20)根据以上(17)到(19)中任一项所述的接收设备，进一步包括：
[0317]
后处理单元，配置为使在图像解码单元内获取的每个图片的图像数据的帧速率与显示能力匹配。
[0318]
本技术的主要特征在于，如果接收器具有处理包含在最低层组内的多个层的图片的编码图像数据的解码能力，则通过执行解码，以便在最低层组内的图片的编码图像数据的解码间隔至少是规则间隔，允许接收器对每个图片的编码图像数据上连续地并且轻松地执行解码处理(见图8、图11)。
[0319]
此外，本技术的主要特征在于，例如，通过将识别信息插入传输流ts的层内，由接收器使用用于识别预定数量的视频流中的每个是基础流还是增强流的识别信息，仅仅选择性并且容易解码基础流(见图20、图23)。
[0320]
此外，本技术的主要特征在于，通过将对应于包含在传输流ts内的预定数量的视频流中的每个的视频流的配置信息插入传输流ts的层内，允许容易了解包含在传输流ts内的视频流属于哪组、具有什么流相关关系、在分层编码中具有多少层等(见图20、图23)。
[0321]
参考符号说明
[0322]
10：发送/接收系统
[0323]
100：发送设备
[0324]
101：cpu
[0325]
102：编码器
[0326]
103：压缩数据缓冲器(cpb)
[0327]
104：多路复用器
[0328]
105：发送单元
[0329]
121：时间id生成单元
[0330]
122：缓冲延迟控制器
[0331]
123：hrd设置单元
[0332]
124：参数组/sei编码单元
[0333]
125：切片编码单元
[0334]
126：nal打包单元
[0335]
142：部分编码单元
[0336]
143-1到143-n：pes打包单元
[0337]
144：切换单元
[0338]
145：传输打包单元
[0339]
200：接收设备
[0340]
201：cpu
[0341]
202：接收单元
[0342]
203：解多路复用器
[0343]
204：压缩数据缓冲器(cpb)
[0344]
205：解码器
[0345]
206：非压缩数据缓冲器(dpb)
[0346]
207：后处理单元
[0347]
231：ts适配字段提取单元
[0348]
232：时钟信息提取单元
[0349]
233：ts有效载荷提取单元
[0350]
234：部分提取单元
[0351]
235：psi表格/描述符提取单元
[0352]
236：pes数据包提取单元
[0353]
237：pes报头提取单元
[0354]
238：时间戳提取单元
[0355]
240：pes有效载荷提取单元
[0356]
241：流配置单元
[0357]
251：时间id分析单元
[0358]
252：目标层选择单元
[0359]
253：流组合单元
[0360]
254：解码单元
[0361]
271：插入单元
[0362]
272：二次采样单元
[0363]
273：切换单元。