图像处理装置和方法与流程

1.本公开内容涉及图像处理装置和方法，并且更具体地，涉及能够抑制子图片的图像的分辨率控制的自由度的降低的图像处理装置和方法。


背景技术：

2.已经提出了用于导出运动图像的预测残差、执行系数变换、量化和编码的传统编码方法(例如，参见非专利文献1)。在非专利文献1中描述的通用视频编码(vvc)中，实现了用于通过改变图片间分辨率来执行图片间预测的被称为参考图片重新采样(rpr)的功能。此外，在vvc中，实现了被称为子图片的功能，其中对应于图片的图像区域被划分为多个部分区域并被使用。
3.此外，已经提出了通过切换被分配给该部分区域的切片数据来对每个子图片id执行rpr处理(例如，参见非专利文献2)。
4.引用列表
5.非专利文献
6.非专利文献1：benjamin bross,jianle chen,shan liu,ye-kui wang,“versatile video coding(draft 7)”,jvet-p2001-ve,joint video experts team(jvet)of itu-t sg 16wp3 and iso/iec jtc 1/sc 29/wg 11 16th meeting:geneva,ch,1-11oct 2019
7.非专利文献2：miska m.hannuksela,alireza aminlou,kashyap kammachi-sreedhar,“ahg8/ahg12:subpicture-specific reference picture resampling”,jvet-p0403,joint video experts team(jvet)of itu-t sg 16wp 3and iso/iec jtc 1/sc 29/wg 11 16th meeting:geneva,ch,1-11october 2019


技术实现要素：

8.本发明要解决的问题
9.然而，在非专利文献2中公开的方法的情况下，由于要作为子图片的部分区域的布局是固定的，所以存在子图片的图像的分辨率控制的自由度降低的可能性。
10.本公开内容是鉴于这种情况而提出的，并且旨在抑制子图片的图像的分辨率控制的自由度的降低。
11.问题的解决方案
12.根据本技术的一个方面的图像处理装置是一种图像处理装置，包括：编码单元，该编码单元以在时间方向上可变的分辨率对固定子图片的图像进行编码以生成编码数据，固定子图片是作为通过划分图片获得的部分区域的子图片中的、基准像素的位置在时间方向上固定的子图片。
13.根据本技术的一个方面的图像处理方法是一种图像处理方法，包括：以在时间方向上可变的分辨率对固定子图片的图像进行编码以生成编码数据，固定子图片是作为通过
划分图片获得的部分区域的子图片中的、基准像素的位置在时间方向上固定的子图片。
14.根据本技术的另一方面的图像处理装置是一种图像处理装置，包括：解码单元，该解码单元对通过以在时间方向上可变的分辨率编码固定子图片的图像获得的编码数据进行解码来生成固定子图片的分辨率的图像，固定子图片是作为通过划分图片获得的部分区域的子图片中的、基准像素的位置在时间方向上固定的子图片。
15.根据本技术的另一方面的图像处理方法是一种图像处理方法，包括：对通过以在时间方向上可变的分辨率编码固定子图片的图像获得的编码数据进行解码来生成固定子图片的分辨率的图像，固定子图片是作为通过划分图片获得的部分区域的子图片中的、基准像素的位置在时间方向上固定的子图片。
16.在根据本技术的一个方面的图像处理装置和方法中，以在时间方向上可变的分辨率对固定子图片的图像进行编码，固定子图片是作为通过划分图片获得的部分区域的子图片中的、基准像素的位置在时间方向上固定的子图片。
17.根据本技术的另一方面的图像处理装置和方法，对通过以在时间方向上可变的分辨率编码固定子图片的图像获得的编码数据进行解码来生成固定子图片的分辨率的图像，固定子图片是作为通过划分图片获得的部分区域的子图片中的、基准像素的位置在时间方向上固定的子图片。
附图说明
18.图1是示出比特流的配置示例的图。
19.图2是示出子图片映射信息的示例的图。
20.图3是示出子图片id映射信息的示例的图。
21.图4是示出每个子图片的分辨率控制的示例的图。
22.图5是示出控制子图片的图像的分辨率的方法的图。
23.图6是示出固定子图片的图像的分辨率控制的示例的图。
24.图7是示出子图片映射信息的示例的图。
25.图8是示出子图片id映射信息的示例的图。
26.图9是示出非子图片区域存在标志的示例的图。
27.图10是示出有效区域信息的示例的图。
28.图11是示出非编码区域存在标志的示例的图。
29.图12是示出非编码区域存在标志的示例的图。
30.图13是示出固定子图片的图像的分辨率控制的示例的图。
31.图14是示出子图片映射信息的示例的图。
32.图15是示出无切片数据标志的示例的图。
33.图16是示出rpr应用子图片使能标志的示例的图。
34.图17是示出rpr应用子图片使能标志的示例的图。
35.图18是示出rpr应用子图片使能标志的示例的图。
36.图19是示出图像编码装置的主要配置示例的框图。
37.图20是示出编码处理流程的示例的流程图。
38.图21是示出图像解码装置的主要配置示例的框图。
39.图22是示出解码处理流程的示例的流程图。
40.图23是示出控制子图片的图像的分辨率的方法的图。
41.图24是示出子图片窗口和填充样本的示例的图。
42.图25是示出子图片渲染信息的示例的图。
43.图26是示出子图片设置信息的示例的图。
44.图27是示出子图片设置信息的示例的图。
45.图28是示出子图片设置信息的示例的图。
46.图29是示出重新缩放禁止标志的示例的图。
47.图30是示出编码处理流程的示例的流程图。
48.图31是示出解码处理流程的示例的流程图。
49.图32是示出控制子图片的图像的分辨率的方法的图。
50.图33是示出子图片渲染信息的示例的图。
51.图34是示出子图片渲染信息的示例的图。
52.图35是示出子图片渲染信息的示例的图。
53.图36是示出子图片渲染信息的示例的图。
54.图37是示出子图片渲染信息的示例的图。
55.图38是示出子图片渲染信息的示例的图。
56.图39是示出子图片渲染信息的示例的图。
57.图40是示出子图片渲染信息的示例的图。
58.图41是示出子图片渲染信息的示例的图。
59.图42是示出matroska媒体容器的配置示例的图。
60.图43是示出子图片渲染信息的示例的图。
61.图44是示出子图片渲染信息的示例的图。
62.图45是示出图像处理系统的主要配置示例的图。
63.图46是示出文件生成装置的主要配置示例的图。
64.图47是示出客户端装置的主要配置示例的图。
65.图48是示出文件生成处理流程的示例的流程图。
66.图49是示出再现处理流程的示例的流程图。
67.图50是示出计算机的主要配置示例的框图。
具体实施方式
68.在下文中，将描述用于实现本公开内容的模式(在下文中称为实施方式)。注意，将按以下顺序给出描述。
69.1.子图片的图像的分辨率控制1
70.2.第一实施方式(编码)
71.3.第二实施方式(解码)
72.4.子图片的图像的分辨率控制2
73.5.第三实施方式(编码)
74.6.第四实施方式(解码)
75.7.子图片的图像的分辨率控制3
76.8.第五实施方式(图像处理系统)
77.9.补充说明
78.《1.子图片的图像的分辨率控制1》
79.《支持技术内容和技术术语的文献》
80.在本技术中公开的范围不仅包括在实施方式中描述的内容，还包括在提交时已知的以下非专利文献等中描述的内容、在以下非专利文献中引用的其他文献的内容等。
81.非专利文献1：(上述)
82.非专利文献2：(上述)
83.非专利文献3：recommendation itu-t h.264(04/2017)“advanced video coding for generic audiovisual services”,april 2017
84.非专利文献4：recommendation itu-t h.265(02/18)“high efficiency video coding”,february 2018
85.非专利文献5：ye-kui wang,miska m.hannuksela,karsten gruneberg,“wd of carriage of vvc in isobmff”,iso/iec jtc 1/sc 29/wg 11n18856,geneva,ch-october 2019
86.非专利文献6：“information technology.dynamic adaptive streaming over http(dash).part 1:media presentation description and segment formats”,iso/iec 23009-1:2012(e),iso/iec jtc1/sc 29/wg 11,2012-01-05
87.非专利文献7：https://www.matroska.org/index.html
88.即，上述非专利文献中描述的内容也用作用于确定支持要求的基础。例如，即使在示例中没有直接描述在上述非专利文献中描述的四叉树块结构和四叉树加二叉树(qtbt)块结构的情况下，四叉树块结构和qtbt块结构也落入本技术的公开范围内并且满足权利要求的支持要求。此外，例如，即使在示例中没有直接描述的情况下，诸如解析、语法和语义的技术术语也类似地在本技术的公开范围内，并且满足权利要求的支持要求。
89.此外，在本说明书中，除非另有说明，否则用于描述图像(图片)的部分区域或处理单元的“块”(不是表示处理单元的块)指示图片中的任意部分区域，并且其尺寸、形状、特性等不受限制。例如，“块”包括任意部分区域(处理单元)，例如上述非专利文献中描述的变换块(tb)、变换单元(tu)、预测块(pb)、预测单元(pu)、最小编码单元(scu)、编码单元(cu)、最大编码单元(lcu)、编码树块(ctb)、编码树单元(ctu)、子块、宏块、图块或切片。
90.此外，当指定这种块的尺寸时，除了直接指定块尺寸之外，还可以间接指定块尺寸。例如，可以使用用于标识尺寸的标识信息来指定块尺寸。此外，例如，可以通过与参考块(例如，lcu或scu)的尺寸的比率或差来指定块尺寸。例如，在用于指定块尺寸的信息作为语法元素等被发送的情况下，如上所述的用于间接指定尺寸的信息可以用作该信息。因此，可以减少信息的信息量，并且在一些情况下可以提高编码效率。此外，块尺寸的指定还包括块尺寸的范围的指定(例如，可允许的块尺寸的范围的指定)。
91.《rpr》
92.在非专利文献1中描述的通用视频编码(vvc)中，实现了用于通过改变图片间分辨率来执行图片间预测的被称为参考图片重新采样(rpr)的功能。通过改变图片之间的分辨
率，可以在保持图像质量的同时减少编码量。
93.《子图片》
94.此外，在vvc中，实现了被称为子图片的功能，其中对应于图片的图像区域被划分为多个部分区域并被使用。
95.图1是示出vvc比特流的主要配置示例的图，vvc比特流是通过vvc编码方法对图像进行编码而生成的比特流。图1所示的vvc比特流10是包括多个帧图像的运动图像的编码数据。vvc比特流10包括编码视频序列(cvs)的一组编码数据11。cvs是预定时间段中的一组图片。该图片是特定时间的帧图像。即，cvs的编码数据11由在预定时间段内的每个时间的图片的一组编码数据12配置。
96.图片的编码数据12包括子图片的一组编码数据13。子图片是通过划分图片(即，与图片对应的图像区域)获得的部分区域。
97.在非专利文献1中描述的vvc中，图片和子图片具有以下特征。图像和子图片是矩形的。图片中不存在不具有编码数据的像素。在子图片之间没有交叠。图片中不存在不被包括在任何子图片中的像素。
98.子图片是旨在实现对每个子图片的解码(分布式处理)或通过将多个图片或子图片合并成一个图片来减少解码器的实例的功能。
99.例如，通过将全向视频(6自由度(dof)内容)的六个表面的图像中的每一个分配给子图片，有利于各种类型的控制，例如独立地处理各个表面的图像或者以合并的方式处理图像。注意，由于子图片不是诸如切片或图块的编码单元，因此例如在编码时可以参考另一子图片。
100.为了实现这样的子图片，用信号通知图片划分信息(子图片映射信息)(即，将该信息从编码侧装置发送到解码侧装置)。
101.子图片映射信息是在cvs中固定的信息(不能改变的信息)。例如，子图片映射信息在序列参数集(sps)中用信号通知，该序列参数集是如图2的a所示的语法中的每个序列的参数集。
102.子图片映射信息是指示要作为子图片的每个部分区域的布局的信息。如图2的b所示，子图片映射信息通过基准像素(例如，左上端处的像素)的位置信息(例如，xy坐标)和尺寸信息来表示每个划分的区域。在图2的示例的情况下，以ctu为单位指示子图片的左上端像素的水平方向位置(subpic_ctu_top_left_x)和竖直方向位置(subpic_ctu_top_left_y)作为基准像素的位置信息。此外，以ctu为单位指示子图片的宽度(subpic_width_minus1)和高度(subpic_height_minus1)作为尺寸信息。
103.此外，为了实现这样的子图片，用信号通知子图片的标识信息(子图片id映射信息)，子图片的标识信息(子图片id映射信息)用于确定被分配给由子图片映射信息表示的每个部分区域的图像数据(切片数据)。子图片id映射信息是分配给每个部分区域的子图片的标识信息的列表。
104.子图片id映射信息是针对每个图片可以改变的信息(可变信息)。例如，如图3的a所示，可以在sps中用信号通知子图片id映射信息。此外，如图3的b所示，也可以在图片参数集(pps)中用信号通知子图片id映射信息，该图片参数集是以图片为单位的参数集。此外，如图3的c所示，可以在图片报头(ph)中用信号通知子图片id映射信息。
105.在这样的子图片id映射信息中，相同的子图片id被分配给在图片之间被分配了相同切片的图像数据的部分区域，并且从而，部分区域被识别为相同的子图片。
106.《对每个子图片应用rpr技术的方法》
107.非专利文献2已经提出了通过切换分配给该部分区域的切片数据来对每个子图片id执行rpr处理。子图片映射信息在cvs中是固定的，并且子图片id映射信息在时间方向上是可变的。即，通过在pps或ph中用信号通知子图片id映射信息，可以针对每个图片切换要分配给由子图片映射信息指示的每个部分区域的切片数据。
108.例如，如图4所示，在时间t＝0的图片和时间t＝1的图片中，子图片id被分配给每个部分区域。即，在时间t＝0的图片中，具有子图片id＝0的子图片是最大的。具有子图片id＝1的子图片的图像和具有子图片id＝2的子图片的图像的分辨率是具有子图片id＝0的子图片的图像的分辨率的一半。
109.另一方面，在时间t＝1的图片中，具有子图片id＝1的子图片是最大的，并且具有子图片id＝0的子图片的图像的分辨率是具有子图片id＝1的子图片的图像的分辨率的一半。具有子图片id＝2的子图片的图像的分辨率不改变。在这样的序列中，对每个子图片id应用rpr处理。
110.然而，在该方法中，子图片的图像的分辨率限于要作为子图片的部分区域的尺寸。然后，由于部分区域的布局是固定的，因此进一步限制了子图片的图像的分辨率。即，有可能降低子图片的图像的分辨率控制的自由度。例如，在图4的示例的情况下，由于仅有两种类型的部分区域尺寸，所以子图片的图像的分辨率也限于这两种类型，并且难以设置其他分辨率。
111.此外，在这种方法的情况下，由于分配了相同子图片id的部分区域在时间方向上被切换，所以子图片的位置在整个序列中极大地改变。因此，存在对每个子图片执行rpr处理的编码器或解码器的处理负荷增加的可能性。
112.《固定子图片的rpr处理》
113.因此，如图5中的表的最上部分所示，在基准像素的位置在时间方向上固定的子图片中执行rpr处理。基准像素的位置在时间方向上固定的子图片也被称为固定子图片。
114.即，代替如在非专利文献2中描述的方法中那样切换分配给每个部分区域的子图片id，如在图6中示出的示例中那样，在其中分配的子图片id在时间方向上固定的部分区域中控制图像的分辨率。
115.在图6的示例的情况下，在时间t＝0的图片和时间t＝1的图片两者中，将子图片id＝1的切片数据分配给中心部分区域，即，subpicidlist[1]的部分区域。即，该图片是固定子图片。在该固定子图片中，在时间t＝1的图片中图像的分辨率小于在时间t＝0的图片中图像的分辨率。即，图像的分辨率被控制为在时间方向上可变。
[0116]
例如，在图像处理方法(编码处理)中，以在时间方向上可变的分辨率对固定子图片的图像进行编码，固定子图片是作为通过划分图片获得的部分区域的子图片中的、基准像素的位置在时间方向上固定的子图片。
[0117]
例如，在图像处理装置(图像编码装置)中，提供了编码单元，该编码单元以在时间方向上可变的分辨率对固定子图片的图像进行编码，该固定子图片是作为通过划分图片获得的部分区域的子图片中的、基准像素的位置在时间方向上固定的子图片。
[0118]
例如，在图像处理方法(解码方法)中，对通过以在时间方向上可变的分辨率编码固定子图片的图像获得的编码数据进行解码以生成固定子图片的分辨率的图像，固定子图片是作为通过划分图片获得的部分区域的子图片中的、基准像素的位置在时间方向上固定的子图片。
[0119]
例如，在图像处理装置(图像解码装置)中，提供了解码单元，该解码单元对通过以在时间方向上可变的分辨率编码固定子图片的图像获得的编码数据进行解码以生成固定子图片的分辨率的图像，固定子图片是作为通过划分图片获得的部分区域的子图片中的、基准像素的位置在时间方向上固定的子图片。
[0120]
因此，由于子图片的图像的分辨率不限于部分区域的尺寸，所以可以抑制子图片的图像的分辨率控制的自由度的降低。例如，在通过立方体映射方法将360度视频设置为每个表面的子图片的情况下，在以高分辨率对包括在推荐观看方向中的表面进行编码并且以低分辨率对其他表面进行编码的情况下，可以自由地确定分辨率。
[0121]
此外，由于子图片的位置是固定的，所以可以抑制用于对每个子图片执行rpr处理的编码处理和解码处理的负荷的增加。
[0122]
《方法1》
[0123]
为了实现这种控制，如图5中的表的从顶部起的第二行所示，可以针对每个子图片用信号通知子图片rpr信息和子图片渲染信息，子图片rpr信息是用于解码rpr功能的信息，子图片渲染信息是用于渲染解码数据的信息(方法1)。
[0124]
因此，解码侧装置可以更容易地对每个子图片执行rpr处理。此外，解码侧装置可以更容易地渲染解码的子图片的图像。
[0125]
《方法1-1》
[0126]
例如，如图5中的表的从顶部起的第三行所示，作为子图片rpr信息，可以用信号通知子图片分辨率信息以在时间方向上是可变的，子图片分辨率信息是指示子图片的图像的分辨率的信息(方法1-1)。例如，可以在pps中用信号通知子图片分辨率信息。在图7的b中的示例的情况下，在pps中用信号通知以ctu为单位指示子图片的宽度的subpic_width_minus1和以ctu为单位指示子图片的高度的subpic_height_minus1。
[0127]
即，编码侧装置可以针对每个图片发送子图片分辨率信息，该子图片分辨率信息是指示子图片的图像的分辨率的信息。此外，解码侧装置可以分析针对每个图片用信号通知的子图片分辨率信息，对编码数据进行解码，并且生成具有由分析的子图片分辨率信息指示的分辨率的固定子图片的图像。
[0128]
因此，可以使子图片的图像的分辨率在等于或小于最大分辨率的范围内在时间方向上可变。因此，与在非专利文献2中描述的方法相比，可以抑制子图片的分辨率控制的自由度的降低。此外，通过控制固定子图片的分辨率，其分辨率将被控制的子图片的位置不会很大地改变，并且因此，与在非专利文献2中描述的方法相比，可以抑制编码处理和解码处理的负荷的增加。
[0129]
另一方面，在子图片映射信息之中，作为指示子图片的基准像素的位置的信息的子图片基准像素位置信息、作为指示子图片的最大分辨率(最大尺寸)的信息的子图片最大分辨率信息、以及作为子图片的标识信息的列表的子图片id映射信息可以在时间方向上固定(可以在时间方向上不改变)。
[0130]
例如，可以在sps中用信号通知这些信息。在图7的a中的示例的情况下，作为子图基准像素位置信息，在sps中用信号通知以ctu为单位指示基准像素的水平方向位置的subpic_ctu_top_left_x和以ctu为单位指示基准像素的竖直方向位置的subpic_ctu_top_left_y。此外，作为子图片最大分辨率信息，在sps中用信号通知以ctu为单位指示cvs中子图片的最大宽度的subpic_max_width_minus1和以ctu为单位指示cvs中子图片的最大高度的subpic_max_height_minus1。此外，利用如图3的a所示的语法在sps中用信号通知子图片id映射信息。
[0131]
即，编码侧装置可以针对每个序列用信号通知子图片基准像素位置信息、子图片最大分辨率信息和子图片id映射信息。此外，解码侧装置可以分析针对每个序列用信号通知的子图片基准像素位置信息、子图片最大分辨率信息和子图片id映射信息，基于分析的子图片基准像素位置信息、子图片最大分辨率信息和子图片id映射信息对编码数据进行解码，并且生成具有固定子图片的分辨率的图像。
[0132]
解码侧装置可以基于子图片基准像素位置信息和子图片id映射信息指定基准像素的位置不改变的固定子图片。即，解码侧装置可以控制固定子图片的分辨率。此外，解码侧装置可以基于子图片最大分辨率信息在等于或小于最大分辨率的范围内控制固定子图片的分辨率。
[0133]
注意，为了在cvs中固定子图片id映射信息，可以添加以下规则，使得总是在sps中用信号通知子图片id映射信息。
[0134]
即，将sps子图片id存在标志(sps_subpic_id_present_flag)设置为假(值“0”)(sps_subpic_id_present_flag＝0)，或者将sps子图片信令存在标志(sps_subpic_id_signalling_present_flag)设置为真(值“1”)(sps_subpic_id_signalling_present_flag＝1)。
[0135]
sps子图片id存在标志指示在sps或pps中不存在子图片id的信令。在这种情况下，子图片映射索引是子图片id。sps子图片信令存在标志是指示在sps中是否存在要被用信号通知的子图片id的标志信息。
[0136]
此外，可以明确地指示子图片id映射信息在cvs中是固定的(未改变)。例如，编码侧装置可以用信号通知子图片id固定标志，该子图片id固定标志是指示作为子图片的标识信息的列表的子图片id映射信息在序列中是否未改变的标志信息。此外，解码侧装置可以分析用信号通知的子图片id固定标志，基于所分析的子图片id固定标志对编码数据进行解码，并且生成具有固定子图片的分辨率的图像。
[0137]
图8的a示出了sps的示例。此外，图8的b示出pps的示例。在图8的a所示的sps中，用信号通知sps_subpic_id_mapping_fixed_flag作为子图片id固定标志。在sps_subpic_id_mapping_fixed_flag为真(值“1”)的情况下，其指示子图片id在cvs中是固定的(未改变)。此外，在sps_subpic_id_mapping_fixed_flag为假(值“0”)的情况下，其指示子图片id在cvs中是可变的。
[0138]
然后，在图8的a所示的sps中，在sps_subpic_id_mapping_fixed_flag为真的情况下，指示在sps中用信号通知子图片id映射信息。此外，在图8的b所示的ph中，在sps_subpic_id_mapping_fixed_flag为假的情况下，指示在pps中用信号通知子图片id映射信息。
[0139]
例如，在子图片id固定标志为真的情况下，由于子图片映射信息在cvs中是固定的，所以解码侧装置可以省略对每个图片的子图片id映射信息的分析。因此，能够抑制解码处理的负荷的增加。
[0140]
例如，编码侧装置可以用信号通知非子图片区域存在标志，该非子图片区域存在标志是指示图片中是否存在作为不包括在子图片中的区域的非子图片区域的标志信息。此外，解码侧装置可以分析用信号通知的非子图片区域存在标志，基于所分析的非子图片区域存在标志对编码数据进行解码，并且生成具有固定子图片的分辨率的图像。
[0141]
图9示出了sps的示例。在图9所示的sps中，用信号通知no_rect_picture_flag作为非子图片区域存在标志。在no_rect_picture_flag为真(值“1”)的情况下，其指示当从所指示的子图片生成图片时，在图片中可以存在不包括在子图片中的区域。在假(值“0”)的情况下，其指示在图片中不存在不包括在子图片中的区域。
[0142]
注意，可以省略子图片最大分辨率信息的信令。在这种情况下，在合并多个图片(或子图片)的用例中，当确定子图片映射信息时，需要在每个图片(或子图片)的cvs中搜索最大分辨率。
[0143]
《方法1-1-1》
[0144]
例如，如图5中的表的从顶部起的第四行所示，可以将有效区域信息定义为子图片渲染信息，有效区域信息是指示其中存在像素数据的解码图片的区域(有效区域)的信息，并且可以在补充增强信息(sei)中用信号通知该有效区域信息(方法1-1-1)。
[0145]
例如，编码侧装置可以用信号通知有效区域信息，该有效区域信息是关于有效区域的信息，该有效区域是图片的存在像素数据的区域。此外，解码侧装置可以分析用信号通知的有效区域信息，基于分析的有效区域信息渲染解码的有效区域的图像数据，并且生成显示图像。
[0146]
图10的a示出了有效区域信息的语法的示例。有效区域由一组矩形有效区域指示。display_area_num_minus1是指示矩形有效区域的数目的参数。display_area_***是指示每个矩形有效区域的左上坐标、高度和宽度的参数。然而，在pps的conformance_window_flag＝1的情况下，不允许该区域存在。
[0147]
注意，有效区域信息可以存储在pps中。图10的b示出了在这种情况下pps的语法的示例。在display_area_flag为真(值“1”)的情况下，其指示存在有效区域信息。通过使用该标志信息，可以利用一致性窗口明确地执行排他处理。
[0148]
此外，可以用信号通知无效区域而不是有效区域。如在图6的示例中，无效区域是在降低子图片的图像的分辨率的情况下生成的不存在像素数据的区域(图6中的黑色填充区域)。该信息可以存储在sei或pps中。
[0149]
此外，可以执行信令，使得可以选择和指示有效区域和无效区域。例如，可以用信号通知指示是否选择有效区域的标志信息(或者指示是否选择无效区域的标志信息)。该信息可以存储在sei或pps中。
[0150]
如上所述，通过用信号通知有效区域信息，解码侧装置可以基于有效区域信息仅显示有效区域。此外，通过基于有效区域信息指定有效区域，在数据被包括在有效区域中但不存在的情况下，解码侧装置可以确定数据是损坏的数据。
[0151]
注意，有效区域可以是可以用于显示的区域(可以用于渲染的区域)，而不管是否
存在像素数据。例如，可以将即使存在像素数据但不用于显示的区域设置为无效区域。
[0152]
《方法1-1-2》
[0153]
例如，如图5中的表的从顶部起的第五行中所示，可以用信号通知非编码区域存在标志作为子图片rpr信息，该非编码区域存在标志是指示在图片中是否存在包括不具有编码数据的像素的非编码区域的标志信息(方法1-1-2)。
[0154]
例如，编码侧装置可以用信号通知非编码区域存在标志，该非编码区域存在标志是指示在图片中是否存在包括不具有编码数据的像素的非编码区域的标志信息。此外，解码侧装置可以分析用信号通知的非编码区域存在标志，基于分析的非编码区域存在标志对编码数据进行解码，并且生成固定子图片的图像。
[0155]
例如，可以在ph中用信号通知该非编码区域存在标志。图11示出了在这种情况下图片报头的语法的示例。图11所示的uncoded_area_exist_flag是非编码区域存在标志。在该标志为真(值“1”)的情况下，其指示在图片中可以存在包括不具有编码数据的像素的非编码区域。在该标志为假(值“0”)的情况下，不存在非编码区域。考虑到在解码处理中参考不具有编码数据的像素的情况，将该像素设置为由非专利文献1(jvet-p2001)的8.3.4.2generation of one unavailable picture指示的样本值。
[0156]
在图片中存在不具有编码数据的像素(非编码区域)的情况下，通常在非编码区域中出现错误。然而，在如上所述的子图片的图像的分辨率控制的情况下，解码侧装置可以通过子图片分辨率信息等指定像素数据存在的区域，并且因此可以仅解码该区域。因此，通过如上所述用信号通知非编码区域存在标志，解码侧装置可以参考非编码区域存在标志而容易地掌握解码是否可行(是否要执行解码)。即，通过用信号通知非编码区域存在标志，即使图片具有非编码区域，也可以明确地指示解码侧装置是否可以对图片进行解码(是否对图片进行解码)。
[0157]
因此，通过用信号通知非编码区域存在标志，当对具有非编码区域的图片进行编码时，不必用某个值来填充非编码区域中的像素，并且因此，可以抑制编码量的增加。
[0158]
注意，该非编码区域存在标志也可以应用于未被划分成子图片的图片。
[0159]
此外，可以在sps中用信号通知该非编码区域存在标志。然而，在这种情况下，非编码区域存在标志为真的事实意味着在cvs中包括的一部分图片中存在具有不具有编码数据的像素的图片。即，不能针对每个图片确定是否存在不具有编码数据的像素。
[0160]
《方法1-1-2-1》
[0161]
例如，如图5中的表的从顶部起的第六行所示，可以针对每个子图片用信号通知非编码区域存在标志作为子图片rpr信息。即，可以指示在每个子图片中是否存在非编码区域(方法1-1-2-1)。
[0162]
例如，编码侧装置可以用信号通知非编码区域存在标志，该非编码区域存在标志是指示在子图片中是否存在包括不具有编码数据的像素的非编码区域的标志信息。此外，解码侧装置可以分析用信号通知的非编码区域存在标志，基于分析的非编码区域存在标志对编码数据进行解码，并且生成固定子图片的图像。
[0163]
例如，可以在ph中用信号通知这种情况下的非编码区域存在标志。图12的a示出了在这种情况下图片报头的语法的示例。图12的a中示出的uncoded_area_exist_flag[i]是非编码区域存在标志。在该标志为真(值“1”)的情况下，其指示在第i个子图片中存在包括
不具有编码数据的像素的非编码区域。在该标志为假(值“0”)的情况下，其指示在子图片中不存在非编码区域。
[0164]
通过参考这种非编码区域存在标志，解码侧装置可以容易地掌握是否可以解码每个子图片(是否解码每个子图片)。例如，针对通过合并多个图片或子图片而形成的图片，可以在《方法1-1-2》中正确地设置上述非编码区域存在标志。
[0165]
注意，可以在sps中用信号通知该非编码区域存在标志。图12的b示出了在这种情况下sps的语法的示例。然而，在这种情况下，非编码区域存在标志为真的事实意味着在cvs中包括的一部分子图片中存在具有不具有编码数据的像素的图片。即，不能针对每个图片确定在子图片中是否存在不具有编码数据的像素。
[0166]
此外，可以在sei中用信号通知该非编码区域存在标志。图12的c示出了这种情况下sei的语法的示例。在这种情况下，可以针对每个图片用信号通知sei，或者可以针对每个cvs用信号通知sei。此外，可以由标志明确地指示是两者中的哪一个。
[0167]
在cvs中存在公共信息的情况下(即，如上所述在cvs中执行信令的情况下)，在对所获得的图像进行编码并且如在现场分发等中那样立即发送所生成的编码数据的情况下，可能难以重写如图11的b所示的sps。在这种情况下，仅需要在sei中用信号通知非编码区域存在标志。
[0168]
《方法1-2》
[0169]
例如，如图5中的表的从顶部起的第七行所示，无效区域可以被制成子图片。然后，作为子图片rpr信息，子图片映射信息可以在序列中在时间方向上是可变的(方法1-2)。
[0170]
例如，如图13所示，在每个时间点的图片中，新形成仅包括不具有像素数据的无效区域的子图片，该无效区域以灰色示出。即，在这种情况下，无效区域和有效区域被分配给不同的子图片。
[0171]
即，在这种情况下，如图13所示，子图片的布局可以在时间方向上改变。即，在序列中，子图片映射信息在时间方向上是可变的。因此，在pps中用信号通知在这样的序列中可变的关于子图片映射信息的信息。可以在sps中用信号通知序列中的固定信息。
[0172]
例如，编码侧装置可以针对每个图片用信号通知子图片基准像素位置信息，该子图片基准像素位置信息指示在时间方向上可变的子图片的基准像素的位置。此外，解码侧装置可以分析子图片基准像素位置信息，并基于分析结果对编码数据进行解码。
[0173]
图14的a示出了在这种情况下sps的语法的示例，并且图14的b示出了pps的语法的示例。在sps中，用信号通知具有基准像素(左上端处的像素)的固定坐标的固定子图片的子图片映射信息。例如，在sps中用信号通知固定子图片的子图片基准像素位置信息(图14的a中的部分x)。此外，在sps中，用信号通知子图片id固定标志(sps_subpic_id_mapping_fixed_flag)。在子图片id固定标志(sps_subpic_id_mapping_fixed_flag)为真(值“1”)的情况下，其指示固定子图片的子图片id在cvs中不改变。在该标志为假(值“0”)的情况下，其指示固定子图片的子图片id可以改变。
[0174]
另一方面，在pps中用信号通知在时间方向上可变的信息(图14的b)。例如，在pps中用信号通知不是固定子图片的子图片(也称为可变子图片)等的子图片映射信息。例如，在如上所述形成仅包括无效区域的子图片的情况下，由于子图片的分辨率控制(子图片的分辨率的改变)，存在子图片的数目在时间方向上增加或减少或者基准像素的位置改变的
可能性。因此，在pps中用信号通知关于这种可变子图片的信息。在pps中，现有语义与子图片映射信息相同。
[0175]
因此，可以获得与以上在《方法1-1》中描述的效果类似的效果。
[0176]
《方法1-2-1》
[0177]
例如，如图5中的表的从顶部起的第八行所示，可以通过sei用信号通知有效区域信息(方法1-2-1)。因此，可以获得与以上在《方法1-1-1》中描述的效果类似的效果。
[0178]
《方法1-2-2》
[0179]
例如，如图5中的表的从顶部起的第九行中所示，可以针对每个图片用信号通知非编码区域存在标志(方法1-2-2)。因此，可以获得与以上在《方法1-1-2》中描述的效果类似的效果。
[0180]
《方法1-2-3》
[0181]
例如，如图5中的表的从顶部起的第十行所示，作为子图片rpr信息，可以用信号通知无切片数据标志，该无切片数据标志是指示其是在所有像素中不具有编码数据的子图片的标志信息。例如，可以在pps中用信号通知该无切片数据标志(方法1-2-3)。
[0182]
图15示出了在这种情况下pps的语法的示例。在图15中，no_slice_data_flag是无切片数据标志，并且在该标志为真(值“1”)的情况下，其指示与该标志对应的子图片是在所有像素中不具有编码数据的子图片。此外，在该标志为假(值“0”)的情况下，其指示与该标志对应的子图片是其中存在编码数据的子图片。
[0183]
例如，编码侧装置可以用信号通知这样的无切片数据标志。此外，解码侧装置可以分析用信号通知的无切片数据标志，并且基于分析结果对编码数据进行解码。
[0184]
因此，解码侧装置可以容易地掌握每个子图片中是否存在编码数据，并且可以更准确地识别是否解码每个子图片。例如，解码侧装置可以基于无切片数据标志容易地指定在所有像素中不具有编码数据的子图片，并且省略(跳过)该子图片的解码处理。因此，可以抑制解码处理的负荷的增加。
[0185]
《方法2》
[0186]
例如，如图5中的表的从顶部起的第十一行所示，可以用信号通知rpr应用子图片使能标志作为子图片rpr信息，该rpr应用子图片使能标志是指示是否包括固定子图片(即，应用rpr的子图片)的标志信息(方法2)。
[0187]
例如，编码侧装置用信号通知rpr应用子图片使能标志，该rpr应用子图片使能标志是指示是否包括固定子图片的标志信息。编码侧装置例如在sps中用信号通知rpr应用子图片使能标志。即，在这种情况下，rpr应用子图片使能标志指示在序列中是否包括固定子图片。
[0188]
图16的a示出了在该情况下sps的语法的示例。在图16的示例中，用信号通知ref_subpic_resampleating_enabled_flag作为上述rpr应用子图片使能标志。在该标志为真(值“1”)的情况下，其指示可以存在应用rpr的子图片。此外，在该标志为假(值“0”)的情况下，其指示不存在应用rpr的子图片。
[0189]
解码侧装置分析rpr应用子图片使能标志，并且基于分析结果对编码数据进行解码。即，如图16的b所示，在rpr应用子图片使能标志为真的情况下，解码侧装置对每个子图片应用rpr处理。即，解码侧装置对每个子图片执行解码处理。此外，在rpr应用子图片使能
标志为假的情况下，解码侧装置不需要应用rpr处理(rpr处理可以省略(跳过))。即，解码侧装置可以作为图片执行解码处理，或者可以针对每个子图片执行解码处理。
[0190]
因此，解码侧装置可以基于rpr应用子图片使能标志容易地确定是否需要以子图片为单位进行rpr处理。
[0191]
注意，可以针对每个图片用信号通知rpr应用子图片使能标志。在此情况下，可以在ph中用信号通知rpr应用子图片使能标志。
[0192]
此外，在rpr应用子图片使能标志为假的情况下，可以省略(跳过)pps中的子图片rpr信息的信令。例如，在图7的b中的示例的情况下，已经描述了在pps中用信号通知subpic_width_minus1和subpic_height_minus1，但是如图17所示，在rpr应用子图片使能标志为假的情况下，可以跳过这些信息的信令。
[0193]
因此，在不针对每个子图片使用重新采样的情况下，可以跳过pps的信令，并且可以抑制编码量的增加。
[0194]
《方法2-1》
[0195]
例如，如图5中的表的底部所示，可以针对每个子图片指示是否包括固定子图片。即，可以针对每个子图片用信号通知rpr应用子图片使能标志(方法2-1)。
[0196]
图18示出了在这种情况下sps的语法的示例。在图18的示例中，针对每个子图片，用信号通知ref_subpic_resampling_enabled_flag[i]作为rpr应用子图片使能标志。在ref_subpic_resampling_enabled_flag[i]为真(值“1”)的情况下，其指示将rpr应用于子图片(即，子图片是固定子图片)。此外，在ref_subpic_resampling_enabled_flag[i]为假(值“0”)的情况下，其指示rpr未被应用于子图片(即，子图片不是固定子图片)。
[0197]
注意，也可以针对每个图片用信号通知这种情况下的rpr应用子图片使能标志。在这种情况下，可以在ph中用信号通知rpr应用子图片使能标志。
[0198]
此外，可以在sei中用信号通知这种情况下的rpr应用子图片使能标志。图18的b示出了在这种情况下sei的语法的示例。在cvs中存在公共信息的情况下(即，如上所述在cvs中执行信令的情况下)，在对所获得的图像进行编码并且如在现场分发等中那样立即发送所生成的编码数据的情况下，可能难以重写如图18的a所示的sps。在这种情况下，仅需要在ph或sei中用信号通知rpr应用子图片使能标志。
[0199]
《2.第一实施方式》
[0200]
《图像编码装置》
[0201]
在《1.子图片的图像的分辨率控制1》中描述的本技术的各种方法(方法1、方法1-1、方法1-1-1、方法1-1-2、方法1-1-2-1、方法1-2、方法1-2-2、方法1-2-3、方法2、方法2-1以及每种方法的修改和应用等)可以应用于任何装置。例如这些方法可以应用于编码侧装置。图19是示出作为应用本技术的图像处理装置的模式的图像编码装置的配置的示例的框图。图19所示的图像编码装置100是编码侧装置的示例，并且是对图像编码的装置。图像编码装置100通过应用符合例如在非专利文献1中描述的vvc的编码方法来执行编码。
[0202]
然后，图像编码装置100通过应用参照图5等描述的本技术的各种方法来执行编码。即，图像编码装置100在其中基准像素的位置在时间方向上固定的子图片中执行rpr处理。
[0203]
注意，在图19中，示出了主处理单元、数据流等，并且图19中示出的这些不一定是
全部。即，在图像编码装置100中，可以存在未在图19中示出为块的处理单元，或者可以存在未在图19中示出为箭头等的处理或数据流。
[0204]
如图19所示，图像编码装置100包括编码单元101、元数据生成单元102和比特流生成单元103。
[0205]
编码单元101执行与图像编码相关的处理。例如，编码单元101获取输入到图像编码装置100的运动图像的图片。编码单元101通过应用符合例如在非专利文献1中描述的vvc的编码方案来对获取的图片进行编码。此时，编码单元101应用参照图5等描述的本技术的各种方法，并且在其中基准像素的位置在时间方向上固定的子图片中执行rpr处理。即，编码单元101以在时间方向上可变的分辨率对固定子图片的图像进行编码，以生成编码数据。注意，固定子图片是其中基准像素的位置在时间方向上固定的子图片。子图片是通过划分图片获得的部分区域。
[0206]
编码单元101将通过对图像进行编码而生成的编码数据提供给比特流生成单元103。此外，编码单元101可以在编码时适当地向元数据生成单元102发送任意信息并且从元数据生成单元102接收任意信息。
[0207]
元数据生成单元102执行与元数据的生成相关的处理。例如，元数据生成单元102向编码单元101发送任意信息并且从编码单元101接收任意信息，并且生成元数据。例如，元数据生成单元102可以生成子图片rpr信息和子图片渲染信息作为元数据。
[0208]
子图片rpr信息和子图片渲染信息可以包括在《1.子图片的图像的分辨率控制1》中描述的各种类型的信息。例如，元数据生成单元102可以生成以下信息：例如，子图片分辨率信息、子图片基准像素位置信息、子图片最大分辨率信息、子图片id映射信息、子图片id固定标志、非子图片区域存在标志、有效区域信息、非编码区域存在标志、无切片数据标志和rpr应用子图片使能标志。当然，由元数据生成单元102生成的信息是任意的，并且不限于这些示例。例如，元数据生成单元102还可以生成在非专利文献2中描述的元数据，例如子图片映射信息。元数据生成单元102将生成的元数据提供给比特流生成单元103。
[0209]
比特流生成单元103执行与比特流的生成相关的处理。例如，比特流生成单元103获取从编码单元101提供的编码数据。此外，比特流生成单元103获取从元数据生成单元102提供的元数据。比特流生成单元103生成包括所获取的编码数据和元数据的比特流。比特流生成单元103将比特流输出到图像编码装置100的外部。
[0210]
比特流经由例如存储介质或通信介质提供给解码侧装置。即，用信号通知在《1.子图片的图像的分辨率控制1》中描述各种类型的信息。
[0211]
因此，解码侧装置可以基于用信号通知的信息执行解码处理。因此，可以获得与在《1.子图片的图像的分辨率控制1》中描述的效果类似的效果。
[0212]
例如，解码侧装置可以更容易地对每个子图片执行rpr处理。此外，解码侧装置可以基于用信号通知的信息更容易地渲染解码的子图片的图像。
[0213]
此外，由于图像编码装置100在其中基准像素的位置在时间方向上固定的子图片中执行rpr处理，所以应用rpr处理的子图片的位置不会显著改变。因此，可以抑制用于对每个子图片执行rpr处理的编码处理和解码处理的负荷的增加。
[0214]
《编码处理的流程》
[0215]
接下来，将参考图20的流程图描述由图像编码装置100执行的编码处理的流程的
示例。
[0216]
当编码处理开始时，在步骤s101中，图像编码装置100的编码单元101将图片划分为子图片。
[0217]
在步骤s102中，编码单元101针对每个子图片开启rpr并且执行编码。此时，编码单元101应用在《1.子图片的图像的分辨率控制1》中描述的本技术，并且在其中基准像素的位置在时间方向上固定的子图片中执行rpr处理。
[0218]
在步骤s103中，元数据生成单元102生成子图片rpr信息和子图片渲染信息。此时，元数据生成单元102通过应用本技术来执行处理。即，如上所述，元数据生成单元102可以生成在《1.子图片的图像的分辨率控制1》中描述的各种类型的信息。
[0219]
在步骤s104中，比特流生成单元103通过使用在步骤s102中生成的编码数据以及在步骤s103中生成的子图片rpr信息和子图片渲染信息来生成比特流。即，比特流生成单元103生成包括这些信息的比特流。
[0220]
当生成比特流时，编码处理结束。
[0221]
通过如上所述执行编码处理，用信号通知在《1.子图片的图像的分辨率控制1》中描述的各种类型的信息。
[0222]
因此，解码侧装置可以基于用信号通知的信息执行解码处理。因此，可以获得与在《1.子图片的图像的分辨率控制1》中描述的效果类似的效果。
[0223]
例如，解码侧装置可以更容易地对每个子图片执行rpr处理。此外，解码侧装置可以基于用信号通知的信息更容易地渲染解码的子图片的图像。
[0224]
此外，由于在步骤s102中在其中基准像素的位置在时间方向上固定的子图片中执行rpr处理，所以应用rpr处理的子图片的位置不会显著改变。因此，可以抑制用于对每个子图片执行rpr处理的编码处理和解码处理的负荷的增加。
[0225]
《3.第二实施方式》
[0226]
《图像解码装置》
[0227]
本技术还可以应用于解码侧装置。图21是示出作为应用本技术的图像处理装置的模式的图像解码装置的配置的示例的框图。图21所示的图像解码装置200是解码侧装置的示例，并且是对编码数据进行解码并生成图像的装置。图像解码装置200通过应用符合例如在非专利文献1中描述的vvc的解码方法来执行解码。
[0228]
然后，图像解码装置200通过应用参照图5等描述的本技术的各种方法来执行解码。即，图像解码装置200在其中基准像素的位置在时间方向上固定的子图片中执行rpr处理。例如，图像解码装置200对由图像编码装置100生成的比特流进行解码。
[0229]
注意，在图21中，示出了主处理单元、数据流等，并且图21中示出的这些不一定是全部。即，在图像解码装置200中，可以存在未在图21中示出为块的处理单元，或者可以存在未在图21中示出为箭头等的处理或数据流。
[0230]
如图21所示，图像解码装置200包括分析单元201、提取单元202，解码单元203和渲染单元204。
[0231]
分析单元201执行与元数据的分析相关的处理。例如，分析单元201获取输入到图像解码装置200的比特流。分析单元201分析包括在比特流中的元数据。例如，分析单元201可以通过应用在《1.子图片的图像的分辨率控制1》中描述的本技术来分析作为元数据的子
图片rpr信息和子图片渲染信息。
[0232]
子图片rpr信息和子图片渲染信息可以包括在《1.子图片的图像的分辨率控制1》中描述的各种类型的信息。例如，分析单元201可以分析以下信息：例如，子图片分辨率信息、子图片基准像素位置信息、子图片最大分辨率信息、子图片id映射信息、子图片id固定标志、非子图片区域存在标志、有效区域信息、非编码区域存在标志、无切片数据标志和rpr应用子图片使能标志。当然，由分析单元201分析的信息是任意的，并且不限于这些示例。例如，分析单元201还可以分析在非专利文献2中描述的元数据，例如子图片映射信息。分析单元201将元数据的分析结果和比特流提供给提取单元202。
[0233]
提取单元202基于从分析单元201提供的分析结果从由分析单元201提供的比特流中提取期望的信息。例如，提取单元202从比特流中提取图像的编码数据、子图片rpr信息、子图片渲染信息等。子图片rpr信息和子图片渲染信息可以包括由分析单元201分析的各种类型的信息。提取单元202将从比特流中提取的信息等提供给解码单元203。
[0234]
解码单元203执行与解码相关的处理。例如，解码单元203获取从提取单元202提供的信息。解码单元203基于所获取的元数据对所获取的编码数据进行解码以生成图片。此时，解码单元203可以适当地应用参照图5等描述的本技术的各种方法，并且在其中基准像素的位置在时间方向上固定的子图片中执行rpr处理。即，解码单元203基于可以包括在《1.子图片的图像的分辨率控制1》中描述的各种类型的信息的子图片rpr信息来生成每个子图片的图像。解码单元203将生成的图片(每个子图片的图像)提供给渲染单元204。此外，解码单元203可以将子图片渲染信息提供给渲染单元204。
[0235]
渲染单元204执行与渲染相关的处理。例如，渲染单元204获取从解码单元203提供的图片和子图片渲染信息。渲染单元204基于子图片渲染信息渲染图片中的期望子图片，并且生成显示图像。即，渲染单元204基于可以包括在《1.子图片的图像的分辨率控制1》中描述的各种类型的信息的子图片渲染信息来执行渲染。渲染单元204将生成的显示图像输出到图像解码装置200的外部。经由任意存储介质、通信介质等将显示图像提供给图像显示装置(未示出)并且在图像显示装置上进行显示。
[0236]
如上所述，图像解码装置200分析从编码侧装置用信号通知的在《1.子图片的图像的分辨率控制1》中描述的各种类型的信息，并且基于该信息执行解码处理。即，图像解码装置200可以应用在《1.子图片的图像的分辨率控制1》中描述的本技术，并且在其中基准像素的位置在时间方向上固定的子图片中执行rpr处理。因此，可以获得与在《1.子图片的图像的分辨率控制1》中描述的效果类似的效果。
[0237]
例如，图像解码装置200可以更容易地对每个子图片执行rpr处理。此外，图像解码装置200可以基于用信号通知的信息更容易地渲染解码的子图片的图像。
[0238]
此外，由于编码侧装置在其中基准像素的位置在时间方向上固定的子图片中执行rpr处理，所以应用rpr处理的子图片的位置不会显著改变。因此，图像解码装置200可以抑制用于对每个子图片执行rpr处理的解码处理的负荷的增加。
[0239]
《解码处理的流程》
[0240]
将参考图22的流程图描述由图像解码装置200执行的解码处理的流程的示例。
[0241]
当开始解码处理时，在步骤s201中，图像解码装置200的分析单元201分析包括在比特流中的元数据。此时，分析单元201应用在《1.子图片的图像的分辨率控制1》中描述的
本技术，并且分析元数据中包括的在《1.子图片的图像的分辨率控制1》中描述的各种类型的信息。
[0242]
在步骤s202中，提取单元202基于步骤s201的分析结果从比特流中提取编码数据、子图片rpr信息和子图片渲染信息。子图片rpr信息可以包括在《1.子图片的图像的分辨率控制1》中描述的各种类型的信息。此外，子图片渲染信息可以包括在《1.子图片的图像的分辨率控制1》中描述的各种类型的信息。
[0243]
在步骤s203中，解码单元203使用在步骤s202中从比特流中提取的子图片rpr信息对在步骤s202中从比特流中提取的编码数据进行解码，并且生成图片(图片中包括的每个子图片)。此时，解码单元203应用在《1.子图片的图像的分辨率控制1》中描述的本技术。即，解码单元203基于在《1.子图片的图像的分辨率控制1》中描述的各种类型的信息在其中基准像素的位置在时间方向上固定的子图片中执行rpr处理。
[0244]
在步骤s204中，渲染单元204使用在步骤s202中从比特流中提取的子图片渲染信息来渲染在步骤s203中生成的图片(或子图片)的解码数据，并且生成显示图像。此时，渲染单元204应用在《1.子图片的图像的分辨率控制1》中描述的本技术。即，渲染单元204基于《1.子图片的图像的分辨率控制1》中描述的各种类型的信息来执行渲染。
[0245]
当生成显示图像时，解码处理结束。
[0246]
通过如上所述执行解码处理，基于用信号通知的在《1.子图片的图像的分辨率控制1》中描述的各种类型的信息来执行解码和渲染。因此，在图像解码装置200中，可以获得与在《1.子图片的图像的分辨率控制1》中描述的描述类似的效果。
[0247]
例如，图像解码装置200可以更容易地对每个子图片执行rpr处理。此外，图像解码装置200可以基于用信号通知的信息更容易地渲染解码的子图片的图像。
[0248]
此外，由于在编码侧装置中在其中基准像素的位置在时间方向上固定的子图片中执行rpr处理，所以应用rpr处理的子图片的位置不会显著改变。因此，图像解码装置200可以抑制用于对每个子图片执行rpr处理的解码处理的负荷的增加。
[0249]
《4.子图片的图像的分辨率控制2》
[0250]
《方法3》
[0251]
在《1.子图片的图像的分辨率控制1》中，已经描述了根据子图片的图像的分辨率控制来改变子图片的尺寸。然而，如图23中的表的最上行所示，子图片可以包括具有比子图片的尺寸低的分辨率的图像区域(子图片窗口)和除了该图像区域之外的作为非显示区域的填充样本(方法3)。
[0252]
即，如图24所示，即使在子图片的图像的分辨率被减小到小于子图片的尺寸的情况下，子图片的尺寸也不被调整到图像的分辨率，如图6的示例中那样。例如，子图片映射信息在cvs中是固定的，以便在时间方向上不改变。即，每个子图片的位置和尺寸是固定的。然后，将子样本的图像的区域(在图24中由虚线包围的区域)管理为子图片窗口(显示区域)。
[0253]
如上所述，当使子图片的图像的分辨率小于子图片的尺寸时，如图24所示，在子图片中生成除了子图片窗口之外的非显示区域(图24中用灰色指示的区域)。在这种情况下，将填充样本插入到非显示区域中的像素中。填充样本是可选的。例如，可以使用改善压缩效率的相同颜色如黑色。
[0254]
例如，类似于在非专利文献2中描述的方法，在sps中用信号通知子图片映射信息。
然后，针对每个图片分别用信号通知子图片窗口信息作为子图片渲染信息，子图片窗口信息是关于子图片窗口的信息。此外，用信号通知作为关于子图片的设置的信息的子图片设置信息。
[0255]
例如，编码侧装置用信号通知子图片窗口信息，该子图片窗口信息是关于子图片窗口的信息，子图片窗口是具有固定子图片的分辨率的图像的区域。解码侧装置分析子图片窗口信息，基于分析的子图片窗口信息渲染固定子图片的图像，并且生成显示图像。
[0256]
因此，子图片的分辨率可以以子图片窗口的形式在cvs中改变。因此，与不改变子图片的分辨率的情况相比，可以提高压缩效率。
[0257]
可以在pps中用信号通知子图片窗口信息。此外，子图片窗口信息的内容可以是任何信息，只要它与子图片窗口相关即可。例如，在子图片窗口信息中可以包括图片中子图片窗口存在标志，该图片中子图片窗口存在标志是指示存在子图片窗口的子图片是否可以存在于图片中的标志信息。此外，在子图片窗口信息中可以包括子图片窗口存在标志，该子图片窗口存在标志是针对每个子图片用信号通知的并且指示子图片窗口是否可以存在于子图片中的标志信息。此外，在子图片窗口信息中可以包括子图片窗口尺寸信息，该子图片窗口尺寸信息是关于子图片窗口的尺寸的信息。例如，在子图片窗口尺寸信息中可以包括子图片窗口宽度信息，该子图片窗口宽度信息是指示子图片窗口的宽度的信息。此外，在子图片窗口尺寸信息中可以包括子图片窗口高度信息，该子图片窗口高度信息是指示子图片窗口的高度的信息。
[0258]
图25示出了用信号通知子图片窗口信息的pps的语法的示例。在图25的示例中，用信号通知pps_subpic_window_exists_in_pic_flag作为图片中子图片窗口存在标志。在该标志为真(值“1”)的情况下，其指示在图片中可以存在其中存在子图片窗口的子图片。此外，在该标志为假(值“0”)的情况下，其指示在图片中不存在其中存在子图片窗口的子图片。
[0259]
此外，用信号通知pps_subpic_window_exists_flag[i]作为子图片窗口存在标志。在该标志为真(值“1”)的情况下，其指示在第i个子图片中可以存在子图片窗口。此外，在该标志为假(值“0”)的情况下，其指示在第i个子图片中不存在子图片窗口。
[0260]
此外，用信号通知subpic_window_width_minus1[i]作为子图片窗口宽度信息。该信息以ctu为单位指示第i个子图片的宽度。此外，用信号通知subpic_window_height_minus1[i]作为子图片窗口高度信息。该信息以ctu为单位指示第i个子图片的高度。
[0261]
如上所述，可以用信号通知关于子图片窗口的各种子图片渲染信息。
[0262]
注意，子图片窗口尺寸信息可以以样本单位来指示子图片窗口的宽度和高度(可以以除ctu单位之外的任何单位来指示)。这使得可以在不依赖于ctu单元的情况下改变分辨率。
[0263]
此外，子图片窗口的基准像素的位置可能与存储该子图片窗口的子图片的基准像素的位置不一致。在这种情况下，仅需要用信号通知子图片窗口的基准像素位置信息和子图片基准像素位置信息两者。
[0264]
此外，可以在sei中用信号通知上述子图片窗口信息。
[0265]
《方法3-1》
[0266]
如图23中的表的从顶部起的第二行所示，可以省略(跳过)对显示不必要的填充样
本的解码处理(方法3-1)。例如，在编码中，子图片窗口的边界和切片的边界被匹配，并且仅子图片窗口可以被解码。将填充样本设置为黑色。然后，仅子图片窗口被解码，并且将指示对于其他区域不需要解码的标志信息用信号通知给sps。在解码中，填充样本被处理为黑色而不被解码，并且仅子图片窗口被解码。
[0267]
例如，编码侧装置用信号通知子图片窗口解码控制标志作为子图片设置信息，该子图片窗口解码控制标志是关于子图片窗口的编码数据的解码控制的标志信息。解码侧装置分析子图片窗口解码控制标志，并且基于分析结果对编码数据进行解码。
[0268]
因此，可以省略(跳过)不必要的解码处理，即，对填充样本的解码。因此，可以抑制解码处理的负荷的增加。
[0269]
子图片设置信息是任意的，只要它是关于子图片的设置的信息即可。例如，子图片设置信息中可以包括子图片窗口解码控制标志，该子图片窗口解码控制标志是与子图片窗口的编码数据的解码控制相关的标志信息。
[0270]
子图片窗口解码控制标志是任意的，只要它是关于子图片窗口的编码数据的解码控制的标志信息即可。例如，在子图片窗口解码控制标志中可包括图片中子图片窗口存在标志，该图片中子图片窗口存在标志是指示在图片中是否可以存在子图片窗口的标志信息。此外，在子图片窗口解码控制标志中可以包括子图片窗口独立标志，该子图片窗口独立标志是指示子图片窗口是否独立的标志信息。此外，在子图片窗口解码控制标志中可以包括子图片窗口存在标志，该子图片窗口存在标志是指示在第i个子图片中是否存在子图片窗口的标志信息。此外，在子图片窗口解码控制标志中可以包括子图片窗口参考控制标志，该子图片窗口参考控制标志是关于子图片窗口的参考关系的控制的标志信息。此外，在子图片窗口解码控制标志中可以包括子图片窗口环路滤波器控制标志，该子图片窗口环路滤波器控制标志是关于子图片窗口的环路滤波器的控制的标志信息。
[0271]
例如，可以在sps中用信号通知子图片窗口解码控制标志。图26是示出在该情况下sps的语法的示例的图。在图26的示例中，用信号通知sps_subpic_window_exists_in_pic_flag作为图片中子图片窗口存在标志。在该标志为真(值“1”)的情况下，其指示在序列中可以存在子图片窗口。此外，在该标志为假(值“0”)的情况下，其指示在序列中不存在子图片窗口。因此，解码侧装置可以基于该标志针对不具有子图片窗口的序列跳过其中基准像素的位置在时间方向上固定的子图片中的rpr处理。因此，可以抑制解码处理的负荷的增加。
[0272]
此外，用信号通知sps_subpic_win_independent_in_pic_flag作为子图片窗口独立标志。在该标志为真(值“1”)的情况下，其指示子图片窗口是独立的。即，子图片窗口可以等效于图片来处理，并且在子图片窗口的边界处不应用环路滤波器。此外，在该标志为假(值“0”)的情况下，其指示子图片窗口可能不是独立的。
[0273]
此外，用信号通知sps_subpic_window_exists_flag[i]作为子图片窗口存在标志。在该标志为真(值“1”)的情况下，其指示在第i个子图片中存在子图片窗口。此外，在该标志为假(值“0”)的情况下，其指示在第i个子图片中没有子图片窗口。解码侧装置可以基于标志信息跳过对不具有子图片窗口的子图片的rpr处理。因此，可以抑制解码处理的负荷的增加。
[0274]
此外，用信号通知subpic_win_treated_as_pic_flag[i]作为子图片窗口参考控制标志。在该标志为真(值“1”)的情况下，其指示子图片可以等效于图片来处理。例如，禁止
超出参考子图片窗口的边界的帧间预测。此外，禁止超出子图片窗口的边界的帧间预测和帧内预测。此外，在该标志为假(值“0”)的情况下，其指示不能单独解码子图片窗口。
[0275]
此外，用信号通知oop_filter_across_subpic_win_boundary_enabled_flag[i]作为子图片窗口环路滤波器控制标志。在该标志为真(值“1”)的情况下，其指示在子图片窗口的边界处应用环路滤波器。此外，在该标志为假(值“0”)的情况下，其指示在子图片窗口的边界处不应用环路滤波器。
[0276]
例如，在如上所述的子图片窗口解码控制标志满足以下两个条件之一的情况下，在第i个子图片中可以仅解码子图片窗口。
[0277]
1.sps_subpic_win_independent_in_pic_flag＝0
[0278]
2.subpic_win_treated_as_pic_flag[i]＝1且loop_filter_across_subpic_win_boundary_enabled_flag[i]＝0
[0279]
如上所述，解码侧装置可以通过基于子图片窗口解码控制标志控制解码处理来跳过不必要的处理。因此，可以抑制解码处理的负荷的增加。
[0280]
注意，在sps中，可以用信号通知指示是否存在解码不必要切片的标志信息，并且可以在切片报头中用信号通知指示对于每个切片是否不需要解码的标志信息。此外，可以在sps中用信号通知指定填充样本的颜色的信息。
[0281]
《方法3-1-1》
[0282]
如图23中的表的从顶部起的第三行所示，在将子图片提取到另一比特流中的情况下，可以利用cvs中的最大子图片窗口来提取子图片(方法3-1-1)。即，可以对cvs中的子图片进行编码以实现这种提取。然后，可以在sps中用信号通知最大子图片窗口的分辨率信息。然后，解码侧装置可以仅提取包括在最大子图片窗口中的切片数据。
[0283]
例如，编码侧装置用信号通知子图片窗口最大尺寸信息，该子图片窗口最大尺寸信息是指示子图片窗口的最大尺寸的信息。解码侧装置分析子图片窗口最大尺寸信息，并且基于分析结果对编码数据进行解码。
[0284]
子图片设置信息是任意的，只要它是关于子图片的设置的信息即可。例如，子图片设置信息可以包括作为关于子图片的提取的信息的提取信息。
[0285]
提取信息是任意的，只要它是关于子图片的提取的信息即可。例如，提取信息可以包括图片中子图片窗口存在标志、子图片窗口存在标志和子图片窗口最大尺寸信息，该子图片窗口最大尺寸信息是指示cvs中的子图片窗口的最大尺寸的信息。注意，图片中子图片窗口存在标志和子图片窗口存在标志是如在《方法3-1》中描述的信息。子图片窗口最大尺寸信息可以包括子图片窗口最大宽度信息和子图片窗口最大高度信息，子图片窗口最大宽度信息是指示cvs中的子图片窗口的最大宽度的信息，子图片窗口最大高度信息是指示cvs中的子图片窗口的最大高度的信息。
[0286]
例如，可以在sps中用信号通知提取信息。图27是示出在该情况下sps的语法的示例的图。在图27的示例中，用信号通知sps_subpic_window_exists_in_pic_flag作为图片中子图片窗口存在标志。此外，用信号通知sps_subpic_window_exists_flag[i]作为子图片窗口存在标志。这些标志如《方法3-1》中所述。
[0287]
此外，用信号通知subpic_window_max_width_minus1[i]作为子图片窗口最大宽度信息。该信息是以ctu为单位指示第i个子图片的子图片窗口的最大宽度的信息。此外，用
信号通知subpic_window_max_height_minus1[i]作为子图片窗口最大高度信息。该信息是以ctu为单位指示第i个子图片的子图片窗口的最大高度的信息。
[0288]
解码侧装置可以通过基于提取信息提取子图片来生成尽可能不包括不必要数据的比特流。
[0289]
注意，可以用信号通知指示子图片窗口最大尺寸信息(subpic_window_max_width_minus1[i]、subpic_window_max_height_minus1[i])是否存在于语法中的标志信息。此外，在省略子图片窗口最大尺寸信息的信令的情况下，子图片窗口的宽度和高度的最大值可以等于子图片的尺寸。由于如上所述可以省略子图片窗口最大尺寸信息的信令，所以可以抑制编码量的增加。
[0290]
此外，可以用信号通知指示可以提取比特流而无需重新创建比特流的信息。例如，可以用信号通知指示是否不需要校正切片数据的标志信息或指示由最大值指示的区域是否可以等效于图片来处理的标志信息。
[0291]
《方法3-1-2》
[0292]
如图23中的表的从顶部起的第四行所示，在将子图片提取到另一比特流中的情况下，可以使子图片窗口能够以子图片窗口尺寸来提取。即，可以使仅子图片窗口能够被提取(方法3-1-2)。
[0293]
编码侧装置可以对cvs中的子图片进行编码，以实现这种提取。即，编码侧装置使用rpr功能对子图片窗口执行编码。然后，在sps中用信号通知指示在子图片窗口的解码处理中是否需要rpr处理的提取信息。在这种情况下，解码侧装置必须以子图片为单位执行解码。即，解码侧装置可以基于提取信息仅提取子图片窗口的切片数据，并且可以使用rpr功能将提取的比特流设置为图片的比特流。
[0294]
即，编码侧装置用信号通知参考子图片窗口重新采样信息作为提取信息，该参考子图片窗口重新采样信息是关于需要对参考子图片窗口重新采样的子图片窗口的信息。解码侧装置分析参考子图片窗口重新采样信息，并且基于分析结果对编码数据进行解码。
[0295]
提取信息是任意的，只要它是关于子图片的提取的信息即可。例如，提取信息可以包括参考子图片重新采样信息，参考子图片重新采样信息是关于参考子图片窗口的重新采样处理的信息。
[0296]
参考子图片重新采样信息的内容是任意的，只要参考子图片重新采样信息是关于参考子图片窗口的重新采样处理的信息即可。例如，参考子图片重新采样信息可以包括参考子图片窗口重新采样存在标志，参考子图片窗口重新采样存在标志是指示是否可以存在需要对参考子图片窗口进行重新采样处理的子图片窗口的标志信息。此外，参考子图片重新采样信息可以包括参考子图片重新采样标志，参考子图片重新采样标志是指示第i个子图片的子图片窗口是否需要对参考子图片窗口进行重新采样处理的标志信息。
[0297]
例如，可以在sps中用信号通知提取信息。图28是示出在该情况下sps的语法的示例的图。在图28的示例中，用信号通知subpic_win_reference_resampling_in_pic_flag作为参考子图片窗口重新采样存在标志。在该标志为真(值“1”)的情况下，其指示可以存在需要对参考子图片窗口进行重新采样处理的子图片窗口。在该标志为假(值“0”)的情况下，其指示不存在需要对参考子图片窗口进行重新采样处理的子图片窗口。
[0298]
此外，用信号通知subpic_win_reference_resampling_flag[i]作为参考子图片
重新采样标志。在该标志为真(值“1”)的情况下，第i个子图片的子图片窗口指示对参考子图片窗口进行重新采样处理是必要的。在该标志为假(值“0”)的情况下，第i个子图片的子图片窗口指示对参考子图片窗口进行重新采样处理是不必要的。
[0299]
解码侧装置可以通过基于提取信息提取子图片来生成不包括不必要数据的比特流。注意，这种情况下的解码处理需要以子图片为单位执行。
[0300]
《方法3-1-3》
[0301]
在将子图片提取到另一比特流中的情况下，可以仅提取子图片窗口。即，如图23中的表的最低行所示，可以仅编码子图片(方法3-1-3)。
[0302]
因此，编码侧装置执行编码以仅能够在子图片窗口中解码。解码侧装置从比特流中仅提取子图片窗口的切片数据。
[0303]
然而，从其中仅提取子图片窗口的比特流不使用rpr功能，但是图片的分辨率可以针对每个帧改变。因此，解码侧装置用信号通知指示图片是否不针对每个帧改变但不使用rpr功能的标志信息。即，解码侧装置针对提取的比特流设置这样的标志信息。因此，解码侧装置可以生成仅所提取的数据的比特流。
[0304]
对仅所提取的数据的比特流进行解码的解码侧装置分析重新缩放禁止标志并且基于分析结果对比特流进行解码，该重新缩放禁止标志是指示是否禁止对参考图片的分辨率进行重新缩放的标志信息。
[0305]
例如，可以在sps中用信号通知该标志信息。图29是示出在该情况下sps的语法的示例的图。在图29的示例中，用信号通知no_ref_pic_rescaling_flag作为重新缩放禁止标志。在该标志为真(值“1”)的情况下，其指示即使图片的分辨率改变也禁止用于使参考图片的分辨率与当前图片的分辨率相同的重新缩放。在该标志为假(值“0”)的情况下，其指示需要根据图片的分辨率改变将参考图片的分辨率重新缩放为与当前图片的分辨率相同。
[0306]
通过执行这样的信令，在提取子图片时，可以生成不包括不必要数据的比特流。
[0307]
《5.第三实施方式》
[0308]
《图像编码装置》
[0309]
在《4.子图片的图像的分辨率控制2》中描述的本技术的各种方法(方法3、方法3-1、方法3-1-1、方法3-1-2、方法3-1-3以及每种方法的修改和应用等)可以应用于任何装置。例如，这些方法可以应用于参照图19描述的图像编码装置100(编码侧装置)。
[0310]
在这种情况下，图像编码装置100通过应用参照图23等描述的本技术的各种方法来执行编码。即，图像编码装置100在其中基准像素的位置在时间方向上固定的子图片中执行rpr处理。
[0311]
在这种情况下，编码单元101通过应用符合例如在非专利文献1中描述的vvc的编码方案来编码所获取的图片。此时，编码单元101应用参照图23等描述的本技术的各种方法，并且在其中基准像素的位置在时间方向上固定的子图片中执行rpr处理。
[0312]
元数据生成单元102可以生成子图片设置信息和子图片渲染信息作为元数据。
[0313]
子图片设置信息和子图片渲染信息可以包括在《4.子图片的图像的分辨率控制2》中描述的各种类型的信息。例如，元数据生成单元102可以生成以下信息：例如，图片中子图片窗口存在标志、子图片窗口存在标志、子图片窗口宽度信息、子图片窗口高度信息、图片中子图片窗口存在标志、子图片窗口独立标志、子图片窗口存在标志、子图片窗口参考控制
标志、子图片窗口环路滤波器控制标志、子图片窗口最大宽度信息、子图片窗口最大高度信息、参考子图片窗口重新采样存在标志、参考子图片重新采样标志和重新缩放禁止标志。当然，由元数据生成单元102生成的信息是任意的，并且不限于这些示例。例如，元数据生成单元102还可以生成在非专利文献2中描述的元数据，例如子图片映射信息。
[0314]
然后，比特流生成单元103生成包括元数据和编码数据的比特流，所述元数据包括这些信息。比特流经由例如存储介质或通信介质被提供给解码侧装置。即，用信号通知在《4.子图片的图像的分辨率控制2》中描述的各种类型的信息。
[0315]
因此，解码侧装置可以基于用信号通知的信息执行解码处理。因此，可以获得与在《4.子图片的图像的分辨率控制2》中描述的效果类似的效果。
[0316]
例如，解码侧装置可以以子图片窗口的形式改变cvs中的子图片的分辨率。因此，与不改变子图片的分辨率的情况相比，可以提高压缩效率。此外，解码侧装置可以基于用信号通知的信息更容易地渲染解码的子图片的图像。
[0317]
《编码处理流程》
[0318]
接下来，将参照图30中的流程图描述在这种情况下由图像编码装置100执行的编码处理的流程的示例。
[0319]
当编码处理开始时，在步骤s301中，图像编码装置100的编码单元101将图片划分成子图片。
[0320]
在步骤s302中，编码单元101基于与子图片相关的设置对图片进行编码。此时，编码单元101应用在《4.子图片的图像的分辨率控制2》中描述的本技术，并且在其中基准像素的位置在时间方向上固定的子图片中执行rpr处理。
[0321]
在步骤s303中，元数据生成单元102生成子图片设置信息和子图片渲染信息。此时，元数据生成单元102通过应用本技术来执行处理。即，如上所述，元数据生成单元102可以生成在《4.子图片的图像的分辨率控制2》中描述的各种类型的信息。
[0322]
在步骤s304中，比特流生成单元103通过使用在步骤s302中生成的编码数据和在步骤s303中生成的子图片设置信息和子图片渲染信息来生成比特流。即，比特流生成单元103生成包括这些信息的比特流。
[0323]
当生成比特流时，编码处理结束。
[0324]
通过如上所述执行编码处理，用信号通知在《4.子图片的图像的分辨率控制2》中描述的各种类型的信息。
[0325]
因此，解码侧装置可以基于用信号通知的信息执行解码处理。因此，可以获得与在《4.子图片的图像的分辨率控制2》中描述的效果类似的效果。
[0326]
例如，解码侧装置可以以子图片窗口的形式改变cvs中的子图片的分辨率。因此，与不改变子图片的分辨率的情况相比，可以提高压缩效率。此外，解码侧装置可以基于用信号通知的信息更容易地渲染解码的子图片的图像。
[0327]
《6.第四实施方式》
[0328]
《图像解码装置》
[0329]
例如，在《4.子图片的图像的分辨率控制2》中描述的本技术的各种方法(方法3、方法3-1、方法3-1-1、方法3-1-2、方法3-1-3以及每种方法的修改和应用等)可以应用于参照图21描述的图像解码装置200(解码侧装置)。
[0330]
在这种情况下，图像解码装置200通过应用参照图23等描述的本技术的各种方法来执行解码。即，图像解码装置200在其中基准像素的位置在时间方向上固定的子图片中执行rpr处理。例如，图像解码装置200解码由图像编码装置100生成的比特流。
[0331]
在这种情况下，分析单元201分析包括在比特流中的元数据。例如，分析单元201可以通过应用在《4.子图片的图像的分辨率控制2》中描述的本技术来分析作为元数据的子图片设置信息和子图片渲染信息。
[0332]
子图片设置信息和子图片渲染信息可以包括在《4.子图片的图像的分辨率控制2》中描述的各种类型的信息。例如，元数据生成单元102可以生成以下信息：例如，图片中子图片窗口存在标志、子图片窗口存在标志、子图片窗口宽度信息、子图片窗口高度信息、图片中子图片窗口存在标志、子图片窗口独立标志、子图片窗口存在标志、子图片窗口参考控制标志、子图片窗口环路滤波器控制标志、子图片窗口最大宽度信息、子图片窗口最大高度信息、参考子图片窗口重新采样存在标志、参考子图片重新采样标志和重新缩放禁止标志。当然，由分析单元201分析的信息是任意的，并且不限于这些示例。例如，分析单元201还可以分析在非专利文献2中描述的元数据，例如子图片映射信息。
[0333]
提取单元202基于从分析单元201提供的分析结果从由分析单元201提供的比特流中提取期望的信息。例如，提取单元202从比特流中提取图像的编码数据、子图片设置信息、子图片渲染信息等。子图片设置信息和子图片渲染信息可以包括由分析单元201分析的各种类型的信息。提取单元202将从比特流中提取的信息等提供给解码单元203。
[0334]
解码单元203基于元数据对编码数据进行解码以生成图片。此时，解码单元203可以适当地应用参照图23等描述的本技术的各种方法，并且在其中基准像素的位置在时间方向上固定的子图片中执行rpr处理。即，解码单元203基于可以包括在《4.子图片的图像的分辨率控制2》中描述的各种类型的信息的子图片设置信息来生成每个子图片的图像。
[0335]
渲染单元204基于可以包括在《4.子图片的图像的分辨率控制2》中描述的各种类型的信息的子图片渲染信息来执行渲染。渲染单元204将生成的显示图像输出到图像解码装置200的外部。显示图像经由任意存储介质、通信介质等被提供给图像显示装置(未示出)并在图像显示装置上进行显示。
[0336]
如上所述，图像解码装置200分析从编码侧装置用信号通知的在《4.子图片的图像的分辨率控制2》中描述的各种类型的信息，并且基于该信息执行解码处理。即，图像解码装置200可以应用在《4.子图片的图像的分辨率控制2》中描述的本技术，并且在其中基准像素的位置在时间方向上固定的子图片中执行rpr处理。因此，可以获得与在《4.子图片的图像的分辨率控制2》中描述的效果类似的效果。
[0337]
例如，图像解码装置200可以以子图片窗口的形式改变cvs中的子图片的分辨率。因此，与不改变子图片的分辨率的情况相比，可以提高压缩效率。此外，图像解码装置200可以基于用信号通知的信息更容易地渲染解码的子图片的图像。
[0338]
《解码处理的流程》
[0339]
接下来，将参照图22中的流程图描述由图像解码装置200执行的解码处理的流程的示例。
[0340]
当开始解码处理时，在步骤s401中，图像解码装置200的分析单元201分析包括在比特流中的元数据。此时，分析单元201应用在《4.子图片的图像的分辨率控制2》中描述的
本技术，并且分析包括在元数据中的在《4.子图片的图像的分辨率控制2》中描述的各种类型的信息。
[0341]
在步骤s402中，提取单元202基于步骤s401的分析结果从比特流中提取编码数据、子图片设置信息和子图片渲染信息。子图片设置信息可以包括在《4.子图片的图像的分辨率控制2》中描述的各种类型的信息。此外，子图片渲染信息可以包括在《4.子图片的图像的分辨率控制2》中描述的各种类型的信息。
[0342]
在步骤s403中，解码单元203使用在步骤s402中从比特流中提取的子图片设置信息来解码在步骤s402中从比特流中提取的编码数据，并且生成图片(包括在图片中的每个子图片)。此时，解码单元203应用在《4.子图片的图像的分辨率控制2》中描述的本技术。即，解码单元203基于在《4.子图片的图像的分辨率控制2》中描述的各种类型的信息，在其中基准像素的位置在时间方向上固定的子图片中执行rpr处理。
[0343]
在步骤s404中，渲染单元204使用在步骤s402中从比特流中提取的子图片渲染信息来渲染在步骤s403中生成的图片(或子图片)的解码数据，并且生成显示图像。此时，渲染单元204应用在《4.子图片的图像的分辨率控制2》中描述的本技术。即，渲染单元204基于在《4.子图片的图像的分辨率控制2》中描述的各种类型的信息来执行渲染。
[0344]
当生成显示图像时，解码处理结束。
[0345]
通过如上所述执行解码处理，基于用信号通知的在《4.子图片的图像的分辨率控制2》中描述的各种类型的信息来执行解码和渲染。因此，在图像解码装置200中，可以获得与在《4.子图片的图像的分辨率控制2》中描述的效果类似的效果。
[0346]
例如，图像解码装置200可以以子图片窗口的形式改变cvs中的子图片的分辨率。因此，与不改变子图片的分辨率的情况相比，可以提高压缩效率。此外，图像解码装置200可以基于用信号通知的信息更容易地渲染解码的子图片的图像。
[0347]
《7.子图片的图像的分辨率控制3》
[0348]
《isobmff》
[0349]
非专利文献5定义了一种将vvc比特流存储在国际标准化组织基本媒体文件格式(isobmff)中的方法。在该文件格式中，在vvcsamleentry中设置编码名称(codingname)
‘
vvc1’或
‘
vvi1’，并且存储vvcconfigurationbox，其是用于对vvc进行解码的信息。
[0350]
vvcconfigurationbox包括vvcdecoderconfigurationrecord，并且用信号通知诸如简档、等级(tier)或级别(level)的信息。此外，还可以用信号通知参数集、sei等。
[0351]
在实现vvc的编码器的情况下，将元数据和图像数据输入到编码器，并从编码器输出比特流。元数据是否存储在比特流中取决于编码器的实现方式。sei可以是不直接影响编码的信息，并且可以不由编码器实现，并且可以不包括在比特流中。例如，假设比特流以容器格式存储，则存在不在sei中存储元数据的编码器。
[0352]
在实现vvc解码器的情况下，将比特流输入到解码器，并且将解码的图像从解码器输出并输入到渲染器。渲染器使用解码的图像执行渲染以生成并输出显示图像。
[0353]
此时，如果解码器输出从编码器用信号通知的元数据并且将元数据提供给渲染器，则渲染器可以使用元数据执行渲染。即，可以从编码器侧控制渲染。
[0354]
然而，不存在与从解码器输出的元数据相关的调节。例如，解码器是否具有接口取决于解码器的实现方式，该接口提供包括在诸如解码图像的图像尺寸信息或sei的参数集
中的信息。
[0355]
因此，存在渲染器不能从解码器获取渲染所需的元数据的可能性。例如，在实现不能创建包括特定元数据的比特流的编码器或实现不具有用于输出元数据的接口的解码器的情况下，存在渲染器不能获取显示所需的信息的可能性。例如，在《1.子图片的图像的分辨率控制1》和《4.子图片的图像的分辨率控制2》中，已经描述了可以用信号通知子图片渲染信息，但是存在渲染器由于上述原因而不能获取子图片渲染信息的可能性。
[0356]
《方法4》
[0357]
因此，使用在非专利文献5中描述的技术在isobmff中存储通过应用在《1.子图片的图像的分辨率控制1》至《6.第四实施方式》中描述的本技术而生成的比特流。然后，如图32中的表的最上行所示，在isobmff中用信号通知要用于渲染的子图片渲染信息(方法4)。例如，作为子图片渲染信息，在isobmff中用信号通知子图片映射信息、渲染时的显示尺寸信息、重新采样尺寸信息等。
[0358]
例如，编码侧装置在文件中存储编码数据和子图片渲染信息，该子图片渲染信息是关于子图片的渲染的信息。解码侧装置从文件中提取编码数据和子图片渲染信息，基于子图片渲染信息渲染解码的图像，并且生成显示图像。
[0359]
可以将subpicturemappingbox(
‘
sbpm’)定义为序列中的固定信息(不改变的信息)，并且可以将子图片映射信息和渲染时的显示尺寸信息存储在样本条目(sample entry)中。此外，重新采样尺寸信息可以存储在样本组(sample group)的subpicturesizeentry中，使得可以针对每个样本用信号通知它。然后，在渲染时，可以根据渲染时的显示尺寸信息来显示由重新采样尺寸信息指示的像素。
[0360]
例如，如图33的a所示，可以在样本条目中用信号通知子图片映射信息和渲染时的显示尺寸信息。在样本条目的subpicturemappingbox(
‘
sbpm’)中，参数num_subpics_minus1指示子图片的数目-1。此外，参数subpic_top_left_x指示子图片的左上端处的像素的x坐标，并且参数subpic_top_left_y指示子图片的左上端处的像素的y坐标。此外，参数subpic_display_width指示子图片的显示尺寸的宽度，并且参数subpic_display_height指示子图片的显示尺寸的高度。
[0361]
此外，如图33的b所示，可以在样本组中用信号通知子图片的重新采样尺寸信息。在该示例中，参数num_subpics_minus1指示子图片的数目-1，subpic_width指示重新采样尺寸的宽度，并且subpic_height指示重新采样尺寸的高度。
[0362]
因此，即使在不能从解码器获取子图片的尺寸调整信息的情况下，渲染器也可以从isobmff获取信息，并且可以调整尺寸并执行渲染。此外，例如，在设置num_subpics_minus1＝0的情况下，这也可以应用于对图片执行rpr处理的情况。
[0363]
此外，可以将子图片映射信息、重新采样尺寸信息和渲染时的显示尺寸信息存储在subpicturemappingbox中，并且可以将subpicturemappingbox存储在rinf的方案信息框(scheme information box)中(方法4的第一修改)。图34示出了在这种情况下subpicturemappingbox的语法的示例。该信令可以减小在子图片映射信息、重新采样尺寸信息和渲染时的显示尺寸信息在时间方向上固定的情况下用信号通知的数据尺寸。这在重新采样尺寸信息频繁改变的情况下是可用的。然而，在发生改变时必须生成和存储包括方案信息框的样本条目信息，并且因此，不必要的数据被包括。
[0364]
此外，定时元数据轨道可以用于信号通知(方法4的第二修改)。在这种情况下，新定义样本条目的编码名称和初始值信息以及样本的结构。例如，如图35的a所示的文件结构中那样，在moviedbox的trackbox中提供subpicturemappingmetadatasampleentry(
‘
sbps’)。此外，在mediadatabox中提供subpicsizemetadatasample。图35的b示出了subpicturemappingmetadatasampleentry的语法的示例。将子图片映射信息和渲染时的显示尺寸信息存储在初始值信息中，并且将重新采样尺寸信息存储在样本中。图33的a中的subpicturemappingbox()与图34中的subpicturemappingbox()相同。图35的b中的subpicturesizestruct()与图33的b中的subpicturesizestruct()相同。定时元数据轨道可以通过使用track_reference与vvc轨道相关联。
[0365]
因此，即使在不能从解码器获取子图片的尺寸调整信息的情况下，渲染器也可以从isobmff获取信息，并且可以调整尺寸并执行渲染。此外，例如，在vvc比特流包括元信息并且解码侧装置不使用isobmff的信息的情况下，可以不获取该轨道。
[0366]
《方法4-1》
[0367]
如图32中的表的从顶部起的第二行所示，可以在isobmff中用信号通知子图片重新采样标志作为子图片渲染信息(方法4-1)。子图片重新采样标志是指示解码图片的一部分是否需要被调整尺寸的标志信息。例如，可以在vvcdecodercofigurationrecord中用信号通知该子图片重新采样标志。
[0368]
图36示出了在这种情况下vvcdecodercofigurationrecord的语法的示例。在图36中，在作为子图片重新采样标志用信号通知的subpicture_is_resampled_flag为真(值“1”)的情况下，其指示可以存在调整尺寸的子图片。此外，在该标志为假(值“0”)的情况下，其指示不存在应用rpr的调整尺寸的子图片。
[0369]
通过如上所述在isobmff中用信号通知子图片重新采样标志，解码侧装置的渲染器可以获取子图片重新采样标志。因此，渲染器可以容易地掌握与样本条目相关联的图片是否需要部分调整尺寸。因此，渲染器可以更容易地识别例如是否可以再现解码的图像。
[0370]
注意，在图33的a所示的subpicturemappingstruct或图34所示的subpicturemappingstruct中，可以用信号通知该子图片重新采样标志。在这种情况下，可以针对每个图片用信号通知需要对图片的一部分调整尺寸。
[0371]
《方法4-1-1》
[0372]
如图32中的表的从顶部起的第三行所示，可以在isobmff中用信号通知重新采样标志作为子图片渲染信息(方法4-1-1)。该重新采样标志是指示子图片是否需要被调整尺寸的标志信息。例如，在图33的a所示的subpicturemappingstruct或图34所示的subpicturemappingbox中，可以用信号通知重新采样标志。
[0373]
图37的a示出了在这种情况下subpicturemappingstruct的语法的示例。此外，图37的b示出了在这种情况下subpicturemappingbox的语法的示例。作为重新采样标志用信号通知的resampling_flag[i]是指示第i个子图片是否需要被调整尺寸的标志。例如，在该标志为真(值“1”)的情况下，其指示需要调整尺寸。即，其指示子图片被重新采样并且可能发生尺寸改变。此外，在该标志为假(值“0”)的情况下，其指示在子图片中没有发生尺寸改变，并且不需要调整尺寸。
[0374]
如上所述，通过在isobmff中用信号通知重新采样标志，渲染器可以获取重新采样
标志。因此，在再现一些子图片的情况下，渲染器可以更容易地掌握子图片是否需要被调整尺寸。即，渲染器可以基于重新采样标志更容易地识别是否可以再现子图片。
[0375]
此外，在isobmff中用信号通知重新采样标志允许渲染器在将多个子图片或图片合并成一个图片时更容易地设置上述子图片重新采样标志。
[0376]
《方法4-2》
[0377]
如图32中的表的从顶部起的第四行所示，可以在isobmff中用信号通知有效区域信息作为子图片渲染信息(方法4-2)。有效区域信息是关于有效区域的信息。例如，渲染器执行渲染以便不绘制不包括在有效区域信息中的区域(无效区域)。因此，渲染器可以隐藏最初不包括像素信息的部分或者包括像素信息但在解码图像中不必要的部分。针对该信息，可以在调整尺寸之后用信号通知该有效区域信息。
[0378]
例如，可以在样本组显示区域条目(sample group displayareaentry)中用信号通知有效区域信息。例如，如图38的a所示，可以在visualsamplegroupentrybox中定义displayareastruct，并且如图38的b所示，可以在displayareastruct中用信号通知有效区域信息。
[0379]
在该displayareastruct中，将有效区域表达为一组多个矩形。display_area_num_minus1是指示有效区域数目-1的参数。display_area_left和display_area_top是指示有效区域的左上端处的像素的位置信息(坐标)的参数。display_area_width是指示有效区域的宽度的参数，并且display_area_height是指示有效区域的高度的参数。
[0380]
注意，可以用信号通知无效区域而不是有效区域。此外，可以从无效区域和有效区域中选择信号目标。此外，有效区域或无效区域可以是调整尺寸之前的信息。此外，该信息可以是调整尺寸之前的信息或调整尺寸之后的信息。在这种情况下，可以用信号通知指示有效区域或无效区域是调整尺寸之前的信息还是调整尺寸之后的信息的标志信息。
[0381]
通过在isobmff中用信号通知这种有效区域信息，即使在不能从解码器获取有效区域信息的情况下，渲染器也可以从isobmff获取有效区域信息。因此，渲染器可以执行渲染以便仅显示有效区域。此外，通过与以上在《1.子图片的图像的分辨率控制1》中描述的有效区域信息相结合，渲染器还可以获得针对每个子图片的有效区域信息。
[0382]
注意，包括有效区域信息的displayareabox可以存储在rinf的方案信息框中。图39的a示出了该情况下的displayareabox的语法的示例。可以如图38的b中所示的定义该displayareabox。该信令在有效区域信息在时间方向上固定的情况下是有效的。即使在有效区域信息频繁改变的情况下，也可以使用该信令。然而，在发生改变时必须生成和存储包括方案信息框的样本条目信息，并且因此，不必要的数据被包括。
[0383]
此外，可以使用定时元数据轨道来用信号通知有效区域信息。在这种情况下，新定义样本条目的编码名称和样本的结构。例如，如在图39的b中所示的文件结构中，在moviedbox的trackbox中提供displayareametadatasampleentry(
‘
diam’)。此外，在mediadatabox中提供displayareametadatasample。图39的c示出了displayareametadatasampleentry的语法的示例。将有效区域信息存储在样本中。可以如图38的b中所示的定义该displayareastruct。
[0384]
因此，即使在不能从解码器获取有效区域信息的情况下，渲染器也可从isobmff获取有效区域信息。因此，渲染器可以执行渲染以便仅显示有效区域。此外，例如，在vvc比特
流包括元信息并且解码侧装置不使用isobmff的信息的情况下，可以不获取该轨道。
[0385]
《方法4-2-1》
[0386]
如图32中的表的从顶部起的第五行所示，可以在isobmff中用信号通知有效区域信息存在标志作为子图片渲染信息(方法4-2-1)。有效区域信息存在标志是指示有效区域信息是否存在的标志信息。例如，可以在vvcdecoderconfigurationrecord中用信号通知该有效区域信息存在标志。
[0387]
图40示出了这种情况下的vvcdecoderconfigurationrecord的语法的示例。在图40的示例中，在作为有效区域信息存在标志用信号通知的display_area_exist_flag为真(值“1”)的情况下，其指示显示区域信息(有效区域信息)可以存在。此外，在该标志为假(值“0”)的情况下，其指示不存在显示区域信息(有效区域信息)。在这种情况下，可以原样显示解码的图片。
[0388]
注意，可以在图33的a中示出的subpicturemappingstruct或图34中示出的subpicturemappingbox中用信号通知有效区域信息存在标志。在这种情况下，可以针对每个图片用信号通知显示区域信息(有效区域信息)是否存在。
[0389]
注意，代替有效区域信息存在标志，可以用信号通知指示无效区域是否可以存在的无效区域信息存在标志。此外，可以从有效区域信息存在标志和无效区域信息存在标志中选择要用信号通知的目标。此外，有效区域或无效区域可以是调整尺寸之前的信息。此外，该信息可以是调整尺寸之前的信息或调整尺寸之后的信息。在这种情况下，可以用信号通知指示有效区域或无效区域是调整尺寸之前的信息还是调整尺寸之后的信息的标志信息。
[0390]
《方法4-2-1-1》
[0391]
如图32中的表的从顶部起的第六行所示，可以在isobmff中用信号通知子图片有效区域信息存在标志作为子图片渲染信息(方法4-2-1-1)。该子图片有效区域信息存在标志是针对每个子图片指示有效区域信息是否存在的标志信息。可以例如在图33的a中示出的subpicturemappingstruct或图34中示出的subpicturemappingbox中用信号通知该子图片有效区域信息存在标志。
[0392]
图41的a示出了这种情况下的subpicturemappingstruct的语法的示例。此外，图41的b示出了这种情况下的subpicturemappingbox的语法的示例。
[0393]
在作为子图片有效区域信息存在标志用信号通知的subpic_display_area_exist_flag为真(值“1”)的情况下，其指示显示区域信息(有效区域信息)可以存在于子图片中。在该标志为假(值“0”)的情况下，在子图片中不存在显示区域信息(有效区域信息)。在这种情况下，可以原样显示解码的子图片。
[0394]
通过如上所述在isobmff中用信号通知子图片有效区域信息存在标志，当将多个子图片或图片合并成一个图片时，渲染器可以容易地设置有效区域信息存在标志。
[0395]
注意，代替子图片有效区域信息存在标志，可以用信号通知子图片无效区域信息存在标志，其针对每个子图片指示无效区域是否可以存在。此外，可以从子图片有效区域信息存在标志和子图片无效区域信息存在标志中选择要用信号通知的目标。此外，有效区域或无效区域可以是调整尺寸之前的信息。此外，该信息可以是调整尺寸之前的信息或调整尺寸之后的信息。在这种情况下，可以用信号通知指示有效区域或无效区域是调整尺寸之
前的信息还是调整尺寸之后的信息的标志信息。
[0396]
《方法4-3》
[0397]
用于用信号通知子图片渲染信息的文件的文件格式是任意的，并且不限于isobmff。可以在任何文件格式的文件中用信号通知子图片渲染信息。例如，如图32中的表的从顶部起的第七行所示，子图片渲染信息可以存储在matroska媒体容器中(方法4-3)。matroska媒体容器是在非专利文献7中描述的文件格式。图42是示出matroska媒体容器的主要配置示例的图。
[0398]
在以上描述的方法4、方法4的第一修改和方法4-1的情况下，subpicturemappingbox用信号通知轨道条目(track entry)元素作为新的subpicturemapping元素。此外，subpicturesizeentry用信号通知轨道条目元素作为新的subpicturesizeentry元素。
[0399]
在以上描述的方法4的第二修改的情况下，除了以上描述的subpicturemapping元素之外，编码名称通过轨道条目元素的codecid和codecname用信号通知，并且subpicsizemetadatasample被存储为块数据。
[0400]
同样，在以上描述的方法4-2、方法4-2-1和方法4-2-1-1中，可以以与上述情况的方式类似的方式定义和存储轨道条目元素、轨道条目元素的codecid和codecname以及块数据。
[0401]
《方法5》
[0402]
此外，如图32中的表的从顶部起的第8行所示，可以使用在非专利文献6中描述的技术将子图片渲染信息存储在基于http的运动图片专家组阶段动态自适应流(mpeg dash)的媒体呈现描述(mpd)文件中(方法5)。
[0403]
例如，定义有效区域信息存在信息，并且在mpd文件的supplementalproperty中用信号通知该有效区域信息存在信息。有效区域信息存在信息是指示有效区域信息是否包括在dash段文件中的信息。图43示出了mpd文件的描述示例。如图43所示，supplementalpropertyschemeiduri＝“display_area_exist”被设置，并且在adaptationset中用信号通知。在存在该supplementalproperty的情况下，这意味着有效区域信息包括在段文件中。
[0404]
因此，在选择段文件时不能使用有效区域信息的情况下，解码侧装置可以从选择候选中排除有效区域信息。
[0405]
注意，代替adaptationset，可以在representation或subrepresentation中用信号通知有效区域信息存在信息。
[0406]
此外，可以使用在adaptationset等中用信号通知的@codecs来执行信令。在这种情况下，包括使用有效区域信息的isobmff的品牌例如“disp”被定义并且用信号通知为@codecs＝
‘
resv.disp.vvc1’等。此外，包括有效区域信息的视频简档例如“pdsp”可以被定义并且用信号通知为@mimetype＝
‘
video/mp4profiles＝“pdsp
”’
。
[0407]
《方法5-1》
[0408]
此外，如图32中的表的最低行所示，可以在mpd文件中用信号通知子图片重新采样标志作为子图片渲染信息(方法5-1)。子图片重新采样标志是指示重新采样信息是否包括在dash段文件中的标志信息。例如，子图片重新采样标志被定义，并且在mpd文件的
supplementalproperty中用信号通知。图44示出了mpd文件的描述示例。如图44所示，supplementalproperty的schemeiduri＝“subpicture_is_resampled_flag”被设置，并且在adaptationset中用信号通知。在存在该supplementalproperty的情况下，这意味着需要对包括在段文件中的图片的一部分调整尺寸。
[0409]
因此，在选择段文件时不能执行调整尺寸的情况下，解码侧装置可以从选择候选中排除有效区域信息。
[0410]
注意，代替adaptationset，可以在representation或subrepresentation中用信号通知子图片重新采样标志。
[0411]
此外，可以使用在adaptationset等中用信号通知的@codec来执行信令。在这种情况下，包括使用调整尺寸信息的isobmff的品牌例如“disp”被定义并且用信号通知为@codecs＝
‘
resv.disp.vvc1’等。此外，包括调整尺寸信息的视频简档例如“pdsp”可以被定义并且用信号通知为@mimetype＝
‘
video/mp4profiles＝“pdsp
”’
。
[0412]
《8.第五实施方式》
[0413]
《图像处理系统》
[0414]
在《7.子图片的图像的分辨率控制3》中描述的本技术的各种方法(方法4、方法4-1、方法4-1-1、方法4-2、方法4-2-1、方法4-2-1-1、方法4-3、方法5、方法5-1以及每种方法的修改和应用等)可以应用于任何装置。例如，这些方法可以应用于图像处理系统。图45是示出应用本技术的图像处理系统的一个方面的配置的示例的框图。
[0415]
图45所示的图像处理系统500是分发图像数据的系统。在图像处理系统500中，例如，通过使用诸如在非专利文献1中描述的vvc的运动图像编码方法将图片划分为子图片来对图像数据进行编码，并且将比特流存储在诸如isobmff的分发文件格式的文件中并进行分发。此外，诸如mpeg dash的分发技术也可以应用于该比特流的分发。
[0416]
如图45所示，图像处理系统500包括文件生成装置501、分发服务器502和客户端装置503。文件生成装置501、分发服务器502和客户端装置503经由网络504彼此可通信地连接。
[0417]
文件生成装置501是编码侧装置的示例，对图像数据进行编码，并且生成存储比特流的文件。文件生成装置501经由网络504将所生成的文件提供给分发服务器502。
[0418]
分发服务器502执行与文件的分发相关的处理。例如，分发服务器502获取并存储从文件生成装置501提供的文件。此外，分发服务器502从客户端装置503接收分发请求。在接收到分发请求时，分发服务器502读取所请求的文件并经由网络504将该文件提供给作为请求源的客户端装置503。
[0419]
客户端装置503是解码侧装置的示例，经由网络504访问分发服务器502，并且从在分发服务器502中累积的文件中请求期望的文件。当分发服务器502响应于分发请求而分发文件时，客户端装置503获取并解码该文件，执行渲染，并且显示图像。
[0420]
网络504是任意通信介质。例如，网络504可以包括因特网或lan。此外，可以由有线通信网络、无线通信网络或者有线通信网络和无线通信网络的组合来配置网络504。
[0421]
注意，图45示出了一个文件生成装置501、一个分发服务器502和一个客户端装置503作为图像处理系统500的配置示例，但是这些装置的数目是任意的。图像处理系统500可以包括多个文件生成装置501、多个分发服务器502和多个客户端装置503。此外，文件生成
装置501的数目、分发服务器502的数目和客户端装置503的数目可以相同或可以彼此不同。此外，图像处理系统500可以包括除了文件生成装置501、分发服务器502和客户端装置503以外的装置。
[0422]
《文件生成装置》
[0423]
图46是示出文件生成装置501的主要配置示例的框图。如图46所示，文件生成装置501包括控制单元511和文件生成处理单元512。控制单元511控制文件生成处理单元512以执行与文件生成相关的控制。文件生成处理单元512执行与文件生成相关的处理。
[0424]
文件生成处理单元512包括预处理单元521、编码单元522、文件生成单元523、存储单元524和上传单元525。
[0425]
预处理单元521基于输入到文件生成装置501的图像数据生成要在文件中用信号通知的子图片渲染信息。此时，预处理单元521生成以上在《7.子图片的图像的分辨率控制3》中描述的各种类型的信息作为子图片渲染信息。例如，预处理单元521可以生成子图片映射信息、渲染时的显示尺寸信息、重新采样尺寸信息、子图片重新采样标志、重新采样标志、有效区域信息、有效区域信息存在标志、子图片有效区域信息存在标志等。
[0426]
预处理单元521将生成的子图片渲染信息提供给文件生成单元523。此外，预处理单元521将图像数据等提供给编码单元522。
[0427]
编码单元522对从预处理单元521提供的图像数据进行编码以生成比特流。编码单元522可以通过应用以上在《1.子图片的图像的分辨率控制1》至《6.第四实施方式》中描述的本技术的各种方法来执行该编码。即，图像编码装置100(图19)可以应用于编码单元522。换言之，编码单元522具有与图像编码装置100的配置类似的配置，并且可以执行类似的处理。编码单元522将生成的比特流提供给文件生成单元523。
[0428]
文件生成单元523将从编码单元522提供的比特流存储在分发文件格式的文件中。例如，文件生成单元523生成存储比特流的isobmff文件。此外，文件生成单元523通过应用以上在《7.子图片的图像的分辨率控制3》中描述的技术来生成文件。即，文件生成单元523将从预处理单元521提供的子图片渲染信息存储在文件中。即，文件生成单元523在文件中用信号通知由预处理单元521生成的上述各种类型的信息。文件生成单元523将生成的文件提供给存储单元524。
[0429]
存储单元524存储从文件生成单元523提供的文件。上传单元525在预定定时处从存储单元524获取文件，并且将该文件提供(上传)给分发服务器502。
[0430]
如上所述，文件生成装置501使得在文件中用信号通知子图片渲染信息。因此，作为解码侧装置的客户端装置503可以从文件中获取子图片渲染信息，并且使用该子图片渲染信息以用于渲染。因此，由于可以从文件生成装置501控制渲染，所以客户端装置503可以更适当地执行渲染。例如，客户端装置503可以生成具有更高图像质量的显示图像。换言之，文件生成装置501可以抑制用于生成具有相同图像质量的显示图像的编码量的增加。
[0431]
《客户端装置》
[0432]
图47是示出客户端装置503的主要配置示例的框图。客户端装置503包括控制单元551和再现处理单元552。控制单元551控制再现处理单元552以执行与运动图像的再现相关的控制。再现处理单元552执行与运动图像的再现相关的处理。
[0433]
再现处理单元552包括文件获取单元561、文件处理单元562、解码单元563、渲染单
元564、显示单元565、测量单元566和显示控制单元567。
[0434]
文件获取单元561执行与获取从分发服务器502分发的文件相关的处理。例如，文件获取单元561基于控制单元551的控制请求分发服务器502分发期望的文件。此外，文件获取单元561获取响应于该请求而分发的文件，并且将该文件提供给文件处理单元562。
[0435]
文件处理单元562执行与文件相关的处理。例如，文件处理单元562获取从文件获取单元561提供的文件。该文件是由文件生成装置501生成的文件。即，该文件存储包括图像数据的编码数据的比特流。文件处理单元562从文件中提取比特流，并且将比特流提供给解码单元563。
[0436]
此外，该文件例如是诸如isobmff的分发文件格式的文件，并且用信号通知子图片渲染信息。文件处理单元562通过应用以上在《7.子图片的图像的分辨率控制3》中描述的本技术来执行处理，并且从该文件中提取子图片渲染信息。例如，文件处理单元562提取以上在《7.子图片的图像的分辨率控制3》中描述的各种类型的信息作为子图片渲染信息。例如，文件处理单元562可以提取子图片映射信息、渲染时的显示尺寸信息、重新采样尺寸信息、子图片重新采样标志、重新采样标志、有效区域信息、有效区域信息存在标志、子图片有效区域信息存在标志等。文件处理单元562将提取的子图片渲染信息提供给渲染单元564。
[0437]
解码单元563对从文件处理单元562提供的比特流进行解码以生成解码的图像。此时，解码单元563可以通过应用以上在《1.子图片的图像的分辨率控制1》至《6.第四实施方式》中描述的本技术的各种方法来执行该解码。解码单元563将生成的解码图像提供给渲染单元564。
[0438]
渲染单元564使用从解码单元563提供的解码图像执行渲染，以生成显示图像。此时，渲染单元564可以通过应用以上在《7.子图片的图像的分辨率控制3》中描述的本技术来执行处理。即，渲染单元564可以通过使用从文件处理单元562提供的子图片渲染信息来执行渲染。例如，渲染单元564可以使用以上在《7.子图片的图像的分辨率控制3》中描述的各种类型的信息作为子图片渲染信息来执行渲染。例如，渲染单元564可以通过使用子图片映射信息、渲染时的显示尺寸信息、重新采样尺寸信息、子图片重新采样标志、重新采样标志、有效区域信息、有效区域信息存在标志、子图片有效区域信息存在标志等来执行渲染。渲染单元564将由这种渲染生成的显示图像提供给显示单元565。
[0439]
显示单元565包括显示图像的监视器，并且在监视器上显示从渲染单元564提供的显示图像。测量单元566例如测量诸如时间的任意参数，并且将测量结果提供给文件处理单元562。显示控制单元567通过控制文件处理单元和渲染单元54来控制显示单元565的图像显示。
[0440]
图像解码装置200(图21)可以应用于由虚线571包围的解码单元563和渲染单元564。解码单元563和渲染单元564具有与图像解码装置200的配置类似的配置，并且可以执行类似的处理。即，渲染单元564可以通过使用由文件处理单元562提取的子图片渲染信息来执行渲染，或者可以从解码单元563获取包括在比特流中的子图片渲染信息并通过使用子图片渲染信息来执行渲染。
[0441]
如上所述，客户端装置503可以通过使用在文件中用信号通知的子图片渲染信息来执行渲染。因此，由于可以从文件生成装置501控制渲染，所以客户端装置503可以更适当地执行渲染。例如，客户端装置503可以生成具有更高图像质量的显示图像。换言之，文件生
成装置501可以抑制用于生成具有相同图像质量的显示图像的编码量的增加。
[0442]
《文件生成处理的流程》
[0443]
接下来，将参考图48的流程图描述由文件生成装置501执行的文件生成处理的流程的示例。
[0444]
当开始文件生成处理时，在步骤s511中，文件生成装置501的预处理单元521生成以上在《7.子图片的图像的分辨率控制3》中描述的各种类型的信息作为子图片渲染信息。
[0445]
在步骤s512中，编码单元522编码图像数据以生成比特流。编码单元522通过应用以上在《1.子图片的图像的分辨率控制1》至《6.第四实施方式》中描述的本技术的各种方法来执行该编码。即，编码单元522执行图20的编码处理或图30的编码处理以生成比特流。
[0446]
在步骤s513中，文件生成单元523使用比特流和子图片渲染信息生成文件。文件生成单元523通过应用以上在《7.子图片的图像的分辨率控制3》中描述的本技术来生成文件。即，文件生成单元523将从预处理单元521提供的子图片渲染信息存储在文件中。
[0447]
当步骤s513结束时，文件生成处理结束。
[0448]
通过执行如上所述的各处理，文件生成装置501使得在文件中用信号通知子图片渲染信息。因此，作为解码侧装置的客户端装置503可以从文件中获取子图片渲染信息，并且使用子图片渲染信息以用于渲染。因此，由于可以从文件生成装置501控制渲染，所以客户端装置503可以更适当地执行渲染。例如，客户端装置503可以生成具有更高图像质量的显示图像。换言之，文件生成装置501可以抑制用于生成具有相同图像质量的显示图像的编码量的增加。
[0449]
《再现处理的流程》
[0450]
接下来，将参考图49的流程图描述由客户端装置503执行的再现处理的流程的示例。
[0451]
当再现处理开始时，在步骤s561中，客户端装置503的文件获取单元561从分发服务器502获取文件。
[0452]
在步骤s562中，文件处理单元562从在步骤s561中获取的文件中提取比特流和子图片渲染信息。文件处理单元562通过应用以上在《7.子图片的图像的分辨率控制3》中描述的本技术来执行处理，并且从文件中提取子图片渲染信息。例如，文件处理单元562提取以上在《7.子图片的图像的分辨率控制3》中描述的各种类型的信息作为子图片渲染信息。
[0453]
在步骤s563中，解码单元563解码比特流。此时，解码单元563可以通过应用以上在《1.子图片的图像的分辨率控制1》至《6.第四实施方式》中描述的本技术的各种方法来执行该解码。此外，渲染单元564使用子图片渲染信息来渲染解码数据以生成显示图像。此时，渲染单元564可以通过应用以上在《7.子图片的图像的分辨率控制3》中描述的本技术来执行处理。
[0454]
在步骤s564中，显示单元565显示由步骤s563中的处理生成的显示图像。
[0455]
当步骤s564结束时，再现处理结束。
[0456]
通过执行如上所述的各处理，客户端装置503可以从用信号通知的文件中获取子图片渲染信息，并且使用该子图片渲染信息以用于渲染。因此，客户端装置503可以更适当地执行渲染。例如，客户端装置503可以生成具有更高图像质量的显示图像。换言之，文件生成装置501可以抑制用于生成具有相同图像质量的显示图像的编码量的增加。
[0457]
《9.补充说明》
[0458]
《计算机》
[0459]
上述一系列处理也可以由硬件执行或者可以由软件执行。在由软件执行一系列处理的情况下，构成该软件的程序安装在计算机中。此处，计算机包括并入专用硬件中的计算机和能够通过安装例如各种程序来执行各种功能的通用个人计算机等。
[0460]
图50是示出通过程序执行上述一系列处理的计算机的硬件配置的配置示例的框图。
[0461]
在图50所示的计算机900中，中央处理单元(cpu)901、只读存储器(rom)902和随机存取存储器(ram)903通过总线904相互连接。
[0462]
输入和输出接口910也连接至总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接至输入和输出接口910。
[0463]
输入单元911包括例如键盘、鼠标、麦克风、触摸面板、输入终端等。输出单元912例如包括显示器、扬声器、输出端子等。存储单元913例如包括硬盘、ram盘、非易失性存储器等。通信单元914包括例如网络接口。驱动器915驱动可移除介质921，例如磁盘、光盘、磁光盘或半导体存储器。
[0464]
在如上所述配置的计算机中，例如，cpu 901经由输入和输出接口910和总线904将存储在存储单元913中的程序加载到ram 903中，并且执行程序，使得执行上述一系列处理。此外，ram 903还适当地存储cpu 901执行各种处理所需的数据等。
[0465]
例如，由计算机执行的程序可以通过记录在作为封装介质的可移除介质921等上来应用。在这种情况下，通过将可移除介质921安装到驱动器915，可以经由输入和输出接口910将程序安装在存储单元913中。
[0466]
此外，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。在这种情况下，程序可以由通信单元914接收并且安装在存储单元913中。
[0467]
另外，该程序可以预先安装在rom 902或存储单元913中。
[0468]
《本技术的应用目标》
[0469]
本技术可以应用于任何图像编码/解码方法。即，只要与上述本技术没有矛盾，与图像编码/解码相关的各种处理(例如变换(逆变换)、量化(逆量化)、编码(解码)和预测)的规范是任意的，并且不限于上述示例。此外，只要与上述本技术没有矛盾，可以省略这些处理中的一些处理。
[0470]
此外，本技术可以应用于对包括多个视点(视图)的图像的多视图图像进行编码/解码的多视图图像编码/解码系统。在这种情况下，将本技术应用于每个视点(视图)的编码/解码就足够了。
[0471]
此外，本技术可以应用于分层图像编码(可缩放编码)/解码系统，该系统对层级化的(分层的)分层图像进行编码/解码，以具有针对预定参数的可缩放功能。在这种情况下，将本技术应用于每层的编码/解码就足够了。
[0472]
此外，在以上描述中，图像编码装置100、图像解码装置200和图像处理系统500(文件生成装置501和客户端装置503)已被描述为本技术的应用示例，但本技术可以应用于任意配置。
[0473]
例如，本技术可以应用于各种电子装置，例如，卫星广播、诸如有线电视的有线广
播、因特网上的分发以及通过蜂窝通信至终端的分发中的发射器和接收器(例如，电视接收器和移动电话)，或者在诸如光盘、磁盘和闪存的介质上记录图像或从存储介质再现图像的装置(例如，硬盘记录器和相机)。
[0474]
此外，例如，本技术还可以被实现为装置的部分配置，例如作为系统大规模集成(lsi)等的处理器(例如，视频处理器)、使用多个处理器等的模块(例如，视频模块)、使用多个模块等的单元(例如，视频单元)、或通过向单元进一步添加其他功能而获得的设备(例如，视频设备)。
[0475]
此外，例如，本技术还可以应用于包括多个装置的网络系统。例如，本技术可以被实现为其中多个装置经由网络执行共享和协作处理的云计算。例如，本技术可以在向诸如计算机、视听(av)装置、便携式信息处理终端或物联网(iot)装置的任意终端提供与图像(运动图像)相关的服务的云服务中实现。
[0476]
注意，在本说明书中，系统是指一组多个组成元件(装置、模块(部件)等)，并且所有组成元件是否在同一外壳中无关紧要。因此，容纳在分开的外壳中并经由网络连接的多个装置，以及其中多个模块容纳在一个外壳中的一个装置两者都是系统。
[0477]
《本技术适用的领域和应用》
[0478]
应用本技术的系统、装置、处理单元等可以用于任意领域，例如交通、医疗护理、犯罪预防、农业、畜牧业、采矿、美容、工厂、家用电器、天气和自然环境监控。此外，本技术的应用也是任意的。
[0479]
例如，本技术可以应用于提供用于鉴赏等的内容而提供的系统或装置。此外，例如，本技术还可以应用于针对交通例如交通状况监视和自动驾驶控制而提供的系统或装置。此外，例如，本技术还可以应用于针对安全而提供的系统或装置。此外，例如，本技术可以应用于针对机器等的自动控制而提供的系统或装置。此外，例如，本技术还可以应用于针对农业和畜牧业而提供的系统或装置。此外，例如，本技术还可以应用于监视诸如火山、森林和海洋的自然环境状态、野生动物等的系统或装置。此外，例如，本技术还可以应用于针对体育运动而提供的系统和装置。
[0480]
《其他》
[0481]
注意，在本说明书中，“标志”是用于标识多个状态的信息，并且不仅包括用于标识真(1)和假(0)两个状态的信息，还包括能够标识三个或更多状态的信息。因此，“标志”可以采用的值可以是例如二元的(1/0)或者三元的或更多。即，构成该“标志”的比特数是任意的，并且可以是一个比特或多个比特。此外，由于假定标识信息(包括标志)不仅包括比特流中的标识信息，而且包括比特流中的标识信息相对于特定参考信息的差信息，因此在本说明书中，“标志”和“标识信息”不仅包括信息，而且包括相对于参考信息的差信息。
[0482]
此外，可以以任何形式传输或记录与编码数据(比特流)相关的各种类型的信息(元数据等)，只要该信息与编码数据相关联即可。此处，术语“关联”意味着，例如当处理一数据时，能够使用(链接)另一数据。即，可以将彼此相关联的数据收集为一条数据或者其可以是单独的数据。例如，可以在与编码数据(图像)的传输路径不同的传输路径上传输与编码数据(图像)相关联的信息。此外，例如，与编码数据(图像)相关联的信息可以被记录在与编码数据(图像)不同的记录介质(或同一记录介质的另一记录区域)中。注意，可以对数据的部分而不是整个数据执行该“关联”。例如，图像和对应于该图像的信息可以以诸如多个
帧、一帧或帧中的一部分的任意单位彼此相关联。
[0483]
注意，在本说明书中，诸如“组合”、“复用”、“添加”、“集成”、“包括”、“存储”、“插入”和“插入到”的术语意味着将多个项目组合成一个，例如将编码数据和元数据组合成一条数据，并且意味着上述“关联”的一种方法。
[0484]
此外，本技术的实施方式不限于上述实施方式，并且在不脱离本技术的要旨的情况下可以进行各种修改。
[0485]
例如，描述为一个装置(或处理单元)的配置可以被划分并被配置为多个装置(或处理单元)。相反，在上文中，描述为多个装置(或处理单元)的配置可以被集成并被配置为一个装置(或处理单元)。此外，当然可以将除了上述配置之外的配置添加到每个装置(或每个处理单元)的配置中。此外，当作为整体的系统的配置和操作基本相同时，特定装置(或处理单元)的配置的一部分可以包括在另一装置(或另一处理单元)的配置中。
[0486]
此外，例如，上述程序可以被使得能够在任何设备中执行。在这种情况下，该装置具有必要的功能(功能块等)以便可以获取必要的信息就足够了。
[0487]
此外，例如，一个流程图的每个步骤可以由一个装置执行，或者可以由多个装置共享和执行。此外，在多个处理被包括在一个步骤中的情况下，包括在一个步骤中的多个处理可以由一个装置执行，或者由多个装置共享和执行。换言之，包括在一个步骤中的多个处理可以作为多个步骤执行。相反，被描述为多个步骤的处理可以作为一个步骤被共同地执行。
[0488]
此外，例如，由计算机执行的程序可以被配置为使得用于编写该程序的步骤的处理按照本说明书中描述的顺序以时间序列执行，或者可以在必要的定时(例如并行地或在进行调用时)单独地执行。即，只要不发生矛盾，每个步骤的处理可以以与上述顺序不同的顺序执行。此外，用于编写程序的步骤的处理可以与另一程序的处理并行执行，或者可以与另一程序的处理组合执行。
[0489]
此外，例如，根据本技术的多种技术可以独立地实现为单个单元，除非出现矛盾。当然，可以组合使用多个任意的本技术。例如，在任何实施方式中描述的本技术的一部分或全部可以与在其他实施方式中描述的本技术的一部分或全部结合实现。此外，上面描述的本技术的一部分或全部可以与上面没有描述的其他技术结合实现。
[0490]
注意，本技术还可以采用以下配置。
[0491]
(1)一种图像处理装置，包括：
[0492]
解码单元，其对通过以在时间方向上可变的分辨率编码固定子图片的图像获得的编码数据进行解码以生成所述固定子图片的分辨率的图像，所述固定子图片是作为通过划分图片获得的部分区域的子图片中的、基准像素的位置在时间方向上固定的子图片。
[0493]
(2)根据(1)所述的图像处理装置，还包括：
[0494]
分析单元，其分析子图片分辨率信息，所述子图片分辨率信息是指示所述分辨率的信息并且是针对每个所述图片设置的，
[0495]
其中，所述解码单元对所述编码数据进行解码，并且生成具有由所述分析单元分析的所述子图片分辨率信息指示的分辨率的固定子图片的图像。
[0496]
(3)根据(2)所述的图像处理装置，
[0497]
其中，所述分析单元分析子图片基准像素位置信息、子图片最大分辨率信息和子图片id映射信息，所述子图片基准像素位置信息是指示所述子图片的基准像素的位置的信
息，所述子图片最大分辨率信息是指示所述子图片的最大分辨率的信息，所述子图片id映射信息是所述子图片的标识信息的列表，所述子图片基准像素位置信息、所述子图片最大分辨率信息和所述子图片id映射信息是针对每个序列设置的，并且
[0498]
所述解码单元基于由所述分析单元分析的所述子图片基准像素位置信息、所述子图片最大分辨率信息和所述子图片id映射信息对所述编码数据进行解码，并且生成具有所述固定子图片的分辨率的图像。
[0499]
(4)根据(2)或(3)所说的图像处理装置，
[0500]
其中，所述分析单元分析子图片id固定标志，所述子图片id固定标志是指示作为所述子图片的标识信息的列表的子图片id映射信息是否在序列中未改变的标志信息，并且
[0501]
所述解码单元基于由所述分析单元分析的所述子图片id固定标志对所述编码数据进行解码，并且生成具有所述固定子图片的分辨率的图像。
[0502]
(5)根据(2)至(4)中任一项所述的图像处理装置，
[0503]
其中，所述分析单元分析非子图片区域存在标志，所述非子图片区域存在标志是指示作为不包括在所述子图片中的区域的非子图片区域是否存在于序列中的任何所述图片中的标志信息，并且
[0504]
所述解码单元基于由所述分析单元分析的所述非子图片区域存在标志对所述编码数据进行解码，并且生成具有所述固定子图片的分辨率的图像。
[0505]
(6)根据(2)至(5)中任一项所述的图像处理装置，
[0506]
其中，所述分析单元分析有效区域信息，所述有效区域信息是关于所述图片中的作为存在像素数据的区域的有效区域的信息，并且
[0507]
所述图像处理装置还包括渲染单元，所述渲染单元基于由所述分析单元分析的所述有效区域信息渲染由所述解码单元获得的所述有效区域的图像数据，并且生成显示图像。
[0508]
(7)根据(2)至(6)中任一项所述的图像处理装置，
[0509]
其中，所述分析单元分析非编码区域存在标志，所述非编码区域存在标志是指示在所述图片中是否存在不具有编码数据的像素的标志信息，并且
[0510]
所述解码单元基于由所述分析单元分析的所述非编码区域存在标志对所述编码数据进行解码，并且生成具有所述固定子图片的分辨率的图像。
[0511]
(8)根据(2)至(7)中任一项所述的图像处理装置，
[0512]
其中，所述分析单元分析指示所述子图片的基准像素的位置的位置信息，所述位置信息是针对每个所述图片设置的，并且
[0513]
所述解码单元基于由所述分析单元分析的所述位置信息对所述编码数据进行解码，并且生成具有所述固定子图片的分辨率的图像。
[0514]
(9)根据(2)至(8)中任一项所述的图像处理装置，
[0515]
其中，所述分析单元分析无切片数据标志，所述无切片数据标志是指示是否是所有像素不具有编码数据的子图片的标志信息，并且
[0516]
所述解码单元基于由所述分析单元分析的所述无切片数据标志对所述编码数据进行解码，并且生成具有所述固定子图片的分辨率的图像。
[0517]
(10)根据(2)至(9)中任一项所述的图像处理装置，
[0518]
其中，所述分析单元分析rpr应用子图片使能标志，所述rpr应用子图片使能标志是指示是否包括所述固定子图片的标志信息，并且
[0519]
所述解码单元基于由所述分析单元分析的所述rpr应用子图片使能标志对所述编码数据进行解码，并且生成具有所述固定子图片的分辨率的图像。
[0520]
(11)根据(2)至(10)中任一项所述的图像处理装置，
[0521]
其中，所述分析单元分析子图片窗口信息，所述子图片窗口信息是关于子图片窗口的信息，所述子图片窗口是具有所述固定子图片的分辨率的图像的区域，并且
[0522]
所述图像处理装置还包括渲染单元，所述渲染单元基于由所述分析单元分析的所述子图片窗口信息来渲染具有所述固定子图片的分辨率的图像，并且生成显示图像。
[0523]
(12)根据(11)所述的图像处理装置，
[0524]
其中，所述子图片窗口信息包括子图片窗口存在标志，所述子图片窗口存在标志是指示所述子图片窗口是否存在的标志信息。
[0525]
(13)根据(11)或(12)所述的图像处理装置，
[0526]
其中，所述分析单元分析子图片窗口解码控制标志，所述子图片窗口解码控制标志是与所述子图片窗口的编码数据的解码控制相关的标志信息，并且
[0527]
所述解码单元基于由所述分析单元分析的所述子图片窗口解码控制标志对所述编码数据进行解码，并且生成具有所述固定子图片的分辨率的图像。
[0528]
(14)根据(11)至(13)中任一项所述的图像处理装置，
[0529]
其中，所述分析单元分析子图片窗口最大尺寸信息，所述子图片窗口最大尺寸信息是指示所述子图片窗口的最大尺寸的信息，并且
[0530]
所述解码单元基于由所述分析单元分析的所述子图片窗口最大尺寸信息对所述编码数据进行解码，并且生成具有所述固定子图片的分辨率的图像。
[0531]
(15)根据(11)至(14)中任一项所述的图像处理装置，
[0532]
其中，所述分析单元分析参考子图片窗口重新采样信息，所述参考子图片窗口重新采样信息是关于需要对参考子图片窗口进行重新采样的所述子图片窗口的信息，并且
[0533]
所述解码单元基于由所述分析单元分析的所述参考子图片窗口重新采样信息对所述编码数据进行解码，并且生成具有所述固定子图片的分辨率的图像。
[0534]
(16)根据(11)至(15)中任一项所述的图像处理装置，
[0535]
其中，所述分析单元分析重新缩放禁止标志，所述重新缩放禁止标志是指示是否禁止重新缩放参考图片的分辨率的标志信息，并且
[0536]
所述解码单元基于由所述分析单元分析的所述重新缩放禁止标志对所述编码数据进行解码，并且生成具有所述固定子图片的分辨率的图像。
[0537]
(17)根据(1)至(16)中任一项所述的图像处理装置，还包括：
[0538]
提取单元，其从文件中提取所述编码数据和作为关于所述子图片的渲染的信息的子图片渲染信息；以及
[0539]
渲染单元，其基于由所述提取单元从所述文件中提取的所述子图片渲染信息，渲染通过所述解码单元对由所述提取单元从所述文件中提取的所述编码数据进行解码而生成的具有所述固定子图片的分辨率的图像，并且生成显示图像。
[0540]
(18)一种图像处理方法，包括：
[0541]
对通过以在时间方向上可变的分辨率编码固定子图片的图像获得的编码数据进行解码以生成所述固定子图片的分辨率的图像，所述固定子图片是作为通过划分图片获得的部分区域的子图片中的、基准像素的位置在时间方向上固定的子图片。
[0542]
(21)一种图像处理装置，包括：
[0543]
编码单元，其以在时间方向上可变的分辨率对固定子图片的图像进行编码以生成编码数据，所述固定子图片是作为通过划分图片获得的部分区域的子图片中的、基准像素的位置在时间方向上固定的子图片。
[0544]
(22)根据(21)所述的图像处理装置，还包括：
[0545]
元数据生成单元，其针对每个所述图片生成作为指示所述分辨率的信息的子图片分辨率信息作为元数据；以及
[0546]
比特流生成单元，其生成包括由所述编码单元生成的所述编码数据和由所述元数据生成单元生成的所述子图片分辨率信息的比特流。
[0547]
(23)根据(22)所述的图像处理装置，
[0548]
其中，所述元数据生成单元针对每个序列生成子图片基准像素位置信息、子图片最大分辨率信息和子图片id映射信息作为所述元数据，所述子图片基准像素位置信息是指示所述子图片的基准像素的位置的信息，所述子图片最大分辨率信息是指示所述子图片的最大分辨率的信息，所述子图片id映射信息是所述子图片的标识信息的列表，并且
[0549]
所述比特流生成单元生成包括由所述元数据生成单元生成的所述子图片基准像素位置信息、所述子图片最大分辨率信息和所述子图片id映射信息的比特流。
[0550]
(24)根据(22)或(23)所述的图像处理装置，
[0551]
其中，所述元数据生成单元生成子图片id固定标志作为所述元数据，所述子图片id固定标志是指示作为所述子图片的标识信息的列表的子图片id映射信息是否在序列中未改变的标志信息，并且
[0552]
所述比特流生成单元生成包括由所述元数据生成单元生成的所述子图片id固定标志的比特流。
[0553]
(25)根据(22)至(24)中任一项所述的图像处理装置，
[0554]
其中，所述元数据生成单元生成非子图片区域存在标志作为所述元数据，所述非子图片区域存在标志是指示作为不包括在所述子图片中的区域的非子图片区域是否存在于序列中的任何所述图片中的标志信息，并且
[0555]
所述比特流生成单元生成包括由所述元数据生成单元生成的所述非子图片区域存在标志的比特流。
[0556]
(26)根据(22)至(25)中任一项所述的图像处理装置，
[0557]
其中，所述元数据生成单元生成有效区域信息作为所述元数据，所述有效区域信息是关于所述图片中的作为存在像素数据的区域的有效区域的信息，并且
[0558]
所述比特流生成单元生成包括由所述元数据生成单元生成的所述有效区域信息的比特流。
[0559]
(27)根据(22)至(26)中任一项所述的图像处理装置，
[0560]
其中，所述元数据生成单元生成非编码区域存在标志作为所述元数据，所述非编码区域存在标志是指示在所述图片中是否存在不具有编码数据的像素的标志信息，并且
[0561]
所述比特流生成单元生成包括由所述元数据生成单元生成的所述非编码区域存在标志的比特流。
[0562]
(28)根据(22)至(27)中任一项所述的图像处理装置，
[0563]
其中，所述元数据生成单元针对每个所述图片生成指示所述子图片的基准像素的位置的位置信息作为所述元数据，并且
[0564]
所述比特流生成单元生成包括由所述元数据生成单元生成的所述位置信息的比特流。
[0565]
(29)根据(22)至(28)中任一项所述的图像处理装置，
[0566]
其中，所述元数据生成单元生成无切片数据标志，所述无切片数据标志是指示是否是所有像素不具有编码数据的子图片的标志信息，并且
[0567]
所述比特流生成单元生成包括由所述元数据生成单元生成的所述无切片数据标志的比特流。
[0568]
(30)根据(22)至(29)中任一项所述的图像处理装置，
[0569]
其中，所述元数据生成单元生成rpr应用子图片使能标志，所述rpr应用子图片使能标志是指示是否包括所述固定子图片的标志信息，并且
[0570]
所述比特流生成单元生成包括由所述元数据生成单元生成的所述rpr应用子图片使能标志的比特流。
[0571]
(31)根据(22)至(30)中任一项所述的图像处理装置，
[0572]
其中，所述元数据生成单元生成子图片窗口信息，所述子图片窗口信息是关于子图片窗口的信息，所述子图片窗口是具有所述固定子图片的分辨率的图像的区域，并且
[0573]
所述比特流生成单元生成包括由所述元数据生成单元生成的所述子图片窗口信息的比特流。
[0574]
(32)根据(31)所述的图像处理装置，
[0575]
其中，所述子图片窗口信息包括子图片窗口存在标志，所述子图片窗口存在标志是指示所述子图片窗口是否存在的标志信息。
[0576]
(33)根据(31)或(32)所述的图像处理装置，
[0577]
其中，所述元数据生成单元生成子图片窗口解码控制标志，所述子图片窗口解码控制标志是与所述子图片窗口的编码数据的解码控制相关的标志信息，并且
[0578]
所述比特流生成单元生成包括由所述元数据生成单元生成的所述子图片窗口解码控制标志的比特流。
[0579]
(34)根据(31)至(33)中任一项所述的图像处理装置，
[0580]
其中，所述元数据生成单元生成子图片窗口最大尺寸信息，所述子图片窗口最大尺寸信息是指示所述子图片窗口的最大尺寸的信息，并且
[0581]
所述比特流生成单元生成包括由所述元数据生成单元生成的所述子图片窗口最大尺寸信息的比特流。
[0582]
(35)根据(31)至(34)中任一项所述的图像处理装置，
[0583]
其中，所述元数据生成单元生成参考子图片窗口重新采样信息，所述参考子图片窗口重新采样信息是关于需要对参考子图片窗口进行重新采样的所述子图片窗口的信息，并且
[0584]
所述比特流生成单元生成包括由所述元数据生成单元生成的所述参考子图片窗口重新采样信息的比特流。
[0585]
(36)根据(31)至(35)中任一项所述的图像处理装置，
[0586]
其中，所述元数据生成单元生成重新缩放禁止标志，所述重新缩放禁止标志是指示是否禁止重新缩放参考图片的分辨率的标志信息，并且
[0587]
所述比特流生成单元生成包括由所述元数据生成单元生成的所述重新缩放禁止标志的比特流。
[0588]
(37)根据(21)至(36)中任一项所述的图像处理装置，还包括：
[0589]
预处理单元，其生成作为关于所述子图片的渲染的信息的子图片渲染信息；以及
[0590]
文件生成单元，其生成存储由所述预处理单元生成的所述子图片渲染信息和由所述编码单元生成的所述编码数据的文件。
[0591]
(38)一种图像处理方法，包括：
[0592]
以在时间方向上可变的分辨率对固定子图片的图像进行编码以生成编码数据，所述固定子图片是作为通过划分图片获得的部分区域的子图片中的、基准像素的位置在时间方向上固定的子图片。
[0593]
附图标记列表
[0594]
100 图像编码装置
[0595]
101 编码单元
[0596]
102 元数据生成单元
[0597]
103 比特流生成单元
[0598]
200 图像解码装置
[0599]
201 分析单元
[0600]
202 提取单元
[0601]
203 解码单元
[0602]
204 渲染单元
[0603]
500 图像处理系统
[0604]
501 文件生成单元
[0605]
502 分发服务器
[0606]
503 客户端装置
[0607]
511 控制单元
[0608]
512 文件生成处理单元
[0609]
521 预处理单元
[0610]
522 编码单元
[0611]
523 文件生成单元
[0612]
524 记录单元
[0613]
525 上传单元
[0614]
551 控制单元
[0615]
552 再现处理单元
[0616]
561文件获取单元
[0617]
562 文件处理单元
[0618]
563 解码单元
[0619]
564 渲染单元
[0620]
565 显示单元
[0621]
566 测量单元
[0622]
567 显示控制单元