图像解码装置、图像解码方法以及程序与流程

1.本发明涉及一种图像解码装置、图像解码方法以及程序。


背景技术：

2.专利文献1记载的下一代动态图像编码方式即vvc(versatile video coding)中的子图片，其是由图片内的一个或多个切片构成的矩形区域，例如，如图10所示，图片是由作为多个矩形区域的子图片不重复地完全覆盖。
3.此外，在非专利文献1中公开了针对每个子图片取出比特流的过程。利用这样的过程，可以从不同的比特流中提取对应于期望区域的子图片的比特流，并且通过将多个子图片组合成图片来生成新的比特流。
4.例如，在立方体贴图方式的360
°
全景影像中，能够在不重新编码的情况下，由包含视野区域的子图片和除此以外的子图片生成不同分辨率的比特流。
5.现有技术文献
6.非专利文献1：itu-t h.265high efficiency video coding。
7.非专利文献2：versatile video coding(draft 8)。


技术实现要素：

8.但是，在下一代动态图像编码方式即vvc中，由于图片及子图片的形状为矩形这一制约，存在如下问题：在想要进行比特流的分离及结合的情况下，有时无论怎样配置子图片，都不能成为不重复地完全覆盖的图片。
9.因此，本发明是鉴于上述课题而完成的，其目的在于提供一种图像解码装置、图像解码方法及程序，即使在结合多个比特流时不是矩形的情况下，也能够通过成为不存在内容的填充材料的子图片功能进行图片的解码。
10.用于解决课题的手段
11.本发明第一技术方案涉及一种图像解码装置，其构成为对编码数据进行解码，其中，该图像解码装置包括：子图片布局导出部，该子图片布局导出部构成为对所述编码数据进行解码、将子图片的布局信息导出；填充切片识别部，该填充切片识别部构成为对所述编码数据进行解码、识别构成所述子图片的各切片是否为填充切片；以及切片解码部，该切片解码部构成为根据所述布局信息以及所述填充切片识别部所做出的识别结果、对所述编码数据进行解码、重建切片数据。
12.本发明第二技术方案涉及一种图像解码方法，其包括：对编码数据进行解码、将子图片的布局信息导出的工序；对所述编码数据进行解码、识别构成所述子图片的各切片是否为填充切片的工序；以及根据所述布局信息以及所述识别结果，对所述编码数据进行解码、重建切片数据的工序。
13.本发明第三技术方案涉及一种程序，该程序使计算机作为对编码数据进行解码的图像解码装置发挥功能，其中，所述图像解码装置包括：子图片布局导出部，该子图片布局
导出部构成为对所述编码数据进行解码、将子图片的布局信息导出；填充切片识别部，该填充切片识别部构成为对所述编码数据进行解码、识别构成所述子图片的各切片是否为填充切片；以及切片解码部，该切片解码部构成为根据所述布局信息以及所述填充切片识别部所做出的识别结果、对所述编码数据进行解码、重建切片数据。
14.发明效果
15.根据本发明，能够提供一种图像解码装置、图像解码方法及程序，其即使在结合多个比特流时不是矩形的情况下，也能够通过成为不存在内容的填充材料的子图片功能进行图片的解码。
附图说明
16.图1是表示一实施方式的图像处理系统1的构成的一例的图。
17.图2是表示一实施方式的图像编码装置100的功能块的一例的图。
18.图3是表示一实施方式的图像编码装置100的熵编码部104的功能块的一例的图。
19.图4是表示一实施方式的图像处理系统1中使用的语法(syntax)的一例的图。
20.图5是表示一实施方式的图像解码装置200的功能块的一例的图。
21.图6是表示一实施方式的图像解码装置200的熵解码部201的功能块的一例的图。
22.图7是表示一实施方式的图像处理系统1中使用的语法(syntax)的一例的图。
23.图8是表示一实施方式的编码数据变换系统2的构成的一例的图。
24.图9是用于说明在一实施方式中，以由6面构成的立方体贴图方式的360
°
全景影像为对象提取、结合编码数据时的一例的图。
25.图10是用于说明现有技术的图。
26.附图标记说明：
[0027]1…
图像处理系统；
[0028]
100
…
图像编码装置；
[0029]
101、203
…
帧间预测部；
[0030]
102、204
…
帧内预测部；
[0031]
103
…
变换/量化部；
[0032]
104
…
熵编码部；
[0033]
105、202
…
逆变换/逆量化部；
[0034]
106
…
减法运算器；
[0035]
107、205
…
加法运算器；
[0036]
108、206
…
环路滤波部；
[0037]
109、207
…
帧缓冲器；
[0038]
110
…
块分割部；
[0039]
111、208
…
块统合部；
[0040]
121
…
子图片布局决定部；
[0041]
122
…
填充切片判定部；
[0042]
123
…
切片编码部；
[0043]
200
…
图像解码装置；
[0044]
201
…
熵解码部；
[0045]
211
…
子图片布局导出部；
[0046]
212
…
填充切片识别部；
[0047]
213
…
切片解码部；
[0048]2…
编码数据变换系统；
[0049]
21
…
编码数据提取装置；
[0050]
22
…
编码数据结合装置。
具体实施方式
[0051]
下面，参照附图对本发明的实施方式进行说明。另外，以下的实施方式中的构成要素可以适当地与现有的构成要素等置换，此外，可以进行包括与其他现有的构成要素的组合在内的各种变化。因此，不应以下述的实施方式的记载来限定权利要求书中记载的发明的内容。
[0052]
第一实施方式
[0053]
图1是表示本发明第一实施方式的图像处理系统1的功能块的一例的图。图像处理系统1包括对动态图像进行编码而生成编码数据的图像编码装置100、以及对由图像编码装置100生成的编码数据进行解码的图像解码装置200。在图像编码装置100和图像解码装置200之间，上述编码数据例如经由传输路径被发送接收。
[0054]
图像编码装置100
[0055]
图2是表示图像编码装置100的功能块的一例的图。如图2所示，图像编码装置100包括：帧间预测部101、帧内预测部102、变换/量化部103、熵编码部104、逆变换/逆量化部105、减法运算部106、加法运算部107、环路滤波部108、帧缓冲器109、块分割部110和块统合部111。
[0056]
块分割部110构成为，将输入图像的整个画面分割为同样的正方形，并且，将通过四叉树等递归分割而成的图像(分割图像)输出。
[0057]
帧间预测部101构成为，使用由块分割部110输入的分割图像以及从帧缓冲器109输入的滤波后局部解码图像，进行帧间预测，生成并输出帧间预测图像。
[0058]
帧内预测部102构成为，使用由块分割部110输入的分割图像和后述的滤波前局部解码图像，进行帧内预测，生成并输出帧内预测图像。
[0059]
变换/量化部103构成为，对从减法运算部106输入的残差信号进行正交变换处理，对通过该正交变换处理得到的变换系数进行量化处理，将通过该量化处理得到的量化后的电平值输出。
[0060]
熵编码部104构成为，对从变换/量化部103输入的量化后的电平值、变换单元尺寸和变换尺寸进行熵编码，将它们作为编码数据输出。
[0061]
逆变换/逆量化部105对从变换/量化部103输入的量化后的电平值进行逆量化处理，对通过该逆量化处理得到的变换系数进行逆正交变换处理，将通过该逆正交变换处理得到的逆正交变换后的残差信号输出。
[0062]
减法运算部106构成为将由块分割部110输入的分割图像与帧内预测图像或帧间预测图像的差分、即残差信号输出。
[0063]
加法运算部107构成为，将对从逆变换/逆量化部105输入的被逆正交变换后的残差信号与帧内预测图像或帧间预测图像相加而得到的分割图像输出。
[0064]
块统合部111构成为，将通过统合从加法运算部107输入的分割图像而得到的滤波前局部解码图像输出。
[0065]
环路滤波部108构成为，对从块统合部111输入的滤波前局部解码图像应用去块滤波处理等环路滤波处理，生成并输出滤波后局部解码图像。在此，滤波前局部解码图像是将逆正交变换后的残差信号与帧内预测图像或帧间预测图像相加而得到的信号。
[0066]
帧缓冲器109存储滤波后局部解码图像，自适应地作为滤波后局部解码图像提供给帧间预测部101。
[0067]
以下，参照图3说明本实施方式的图像编码装置100的熵编码部104。图3是表示本实施方式的图像编码装置100的熵编码部104的一部分功能块的一例的图。
[0068]
熵编码部104构成为将由填充切片构成的子图片导出。具体地说，如图3所示，熵编码部104包括子图片布局决定部121、填充切片判定部122、以及切片编码部123。
[0069]
子图片布局决定部121构成为，确定在序列层级进行信令的子图片的布局，将与所确定的布局有关的布局信息输出。
[0070]
填充切片判定部122构成为，判断构成各子图片的各切片是否是填充切片，并输出该判定结果。
[0071]
切片编码部123按照切片单位对比特流进行编码，并作为切片数据输出。
[0072]
在此，切片编码部123构成为，根据由子图片布局决定部121决定的布局信息以及由填充切片判定部122做出的判定结果，在该切片不是填充切片的情况下，将与该切片对应的比特流根据非专利文献1所记载的切片解码处理进行编码，并作为切片数据输出。
[0073]
另一方面，切片编码部123构成为，根据由子图片布局决定部121决定的布局信息以及由填充切片判定部122做出的判定结果，在该切片为填充切片的情况下，在该切片中作为填充切片用的切片数据进行编码并输出。
[0074]
作为填充切片用的切片数据，也可以是表示帧内切片不从最大cu尺寸分割、帧内预测模式为intra_planar、没有残差信号的比特流。另外，作为填充切片用的切片数据，也可以是表示帧间切片不从最大cu尺寸分割、运动矢量是合并模式的合并索引0、没有残差信号的比特流。
[0075]
图4示出了包括由子图片布局决定部121决定的布局信息和由填充切片判定部122做出的判定结果的语法的一例。另外，该语法由熵编码部104(切片编码部123)进行编码。
[0076]
在图4中，subpics_present_flag是表示图片由一个以上的子图片构成的标志。
[0077]
在图7中，filler_slice_subpic_present_flag是表示在序列中有无由填充切片构成的子图片的标志。例如，在filler_slice_subpics_present_flag的值为“1”(有效的情况下)的情况下，表示序列中存在由填充切片构成的子图片，在filler_slice_subpics_present_flag的值为“0”(无效的情况下)的情况下，表示序列中不存在由填充切片构成的子图片。
[0078]
在图4中，subpic_ctu_top_left_x[i]是在构成子图片的左上方的水平方向上以ctu为单位的坐标值，subpic_ctu_top_left_y[i]是在构成子图片的左上方的垂直方向上以ctu为单位的坐标值。
[0079]
在图4中，subpic_width_minus_1[i]是构成子图片的水平方向上的ctu的个数，subpic_height_minus_1[i]是构成子画面的垂直方向上的ctu的个数。
[0080]
在图4中，subpic_treated_as_pic_flag[i]是表示除了环路滤波处理之外是否将子图片作为图片来应用解码处理的标志，loop_filter_across_subpic_enabled_flag[i]是表示可将环路滤波处理应用于子图片边界的标志。
[0081]
在图4中，filler_slice_subpic_flag[i]是表示构成各子图片的各切片是否为填充切片的标志。例如，在filler_slice_subpic_flag[i]的值为“1”的情况下，表示该切片是填充切片，在filler_slice_subpic_flag[i]的值为“1”的情况下，则表示该切片不是填充切片。
[0082]
这里，filler_slice_subpic_flag[i]与填充切片判定部122做出的判定结果对应。
[0083]
在图4中，subpic_ctu_top_left_x[i]、subpic_ctu_top_left_y[i]、subpic_width_minus_1[i]、以及subpic_height_minus_1[i]与上述的布局信息对应。
[0084]
图像解码装置200
[0085]
图5是本实施方式的图像解码装置200的框图。如图5所示，本实施方式的图像解码设备200包括熵解码部201、逆变换/逆量化部202、帧间预测部203、帧内预测部204、加法运算部205、环路滤波部206、帧缓冲器207、以及块统合部208。
[0086]
熵解码部201构成为，对编码数据进行熵解码，输出量化后的电平值、由图像编码装置100生成的运动补偿方式等。
[0087]
逆变换/逆量化部202构成为，对从熵解码部201输入的量化后的电平值进行逆量化处理，对通过该逆量化处理得到的结果进行逆正交变换处理，并将其作为残差信号输出。
[0088]
帧间预测部203构成为，使用从帧缓冲器207输入的滤波后局部解码图像，进行帧间预测，生成并输出帧间预测图像。
[0089]
帧内预测部204构成为，使用从加法运算部205输入的滤波前局部解码图像进行帧内预测，生成并输出帧内预测图像。
[0090]
加法运算部205构成为，输出将从逆变换/逆量化部202输入的残差信号与预测图像相加而得到的分割图像，该预测图像为从帧间预测部203输入的帧间预测图像或从帧内预测部204输入的帧内预测图像。
[0091]
在此，预测图像是指从帧间预测部203输入的帧间预测图像以及从帧内预测部204输入的帧内预测图像中的通过熵解码得到的预测方法所算出的预测图像。
[0092]
块统合部208构成为，将通过统合从加法运算部205输入的分割图像而得到的滤波前局部解码图像输出。
[0093]
环路滤波部206构成为，对从块统合部208输入的滤波前局部解码图像应用去单元滤波处理等环路滤波处理，生成并输出滤波后局部解码图像。
[0094]
帧缓冲器207构成为，存储从环路滤波器206输入的滤波后局部解码图像，自适应地作为滤波后局部解码图像提供给帧间预测部203，并且作为解码完成图像输出。
[0095]
以下，参照图6说明本实施方式的图像解码装置200的熵解码部201。
[0096]
熵解码部201构成为将由填充切片构成的子图片导出。如图6所示，熵解码部201包括子图片布局导出部211、填充切片识别部212、以及切片解码部213。
[0097]
子图片布局导出部211构成为，解码在序列层级进行信令的语法，基于该语法导出子图片的布局信息。
[0098]
填充切片识别部212与子图片布局导出部211同样地，对在序列层级进行信令的语法进行解码，基于该语法，识别构成各子图片的各切片是否为填充切片。
[0099]
该语法包含在编码数据中，与图4所示的语法相同。
[0100]
切片解码部213构成为，基于由子图片布局导出部211导出的布局信息和由填充切片识别部212做出的识别结果，对编码数据进行解码以重建切片数据。
[0101]
具体而言，切片解码部213根据由子图片布局导出部211导出的布局信息及由填充切片识别部212做出的识别结果，在判断为该切片不是填充切片的情况下，根据非专利文献1记载的切片解码处理进行解码，重构切片数据。
[0102]
另外一方面，切片解码部213根据由子图片布局导出部211导出的布局信息及由填充切片识别部212做出的识别结果，在判断为该切片是填充切片的情况下，在该切片中作为填充切片用的切片数据进行解码并输出。
[0103]
根据本实施方式，即使在结合多个比特流时不是矩形的情况下，通过导入由填充切片构成的子图片，也能够作为矩形图片通过图像解码装置200进行解码。
[0104]
另外，根据本实施方式，利用能够以子图片单位进行解码的图像解码装置200，能够削减需要解码的处理量。
[0105]
另外，根据本实施方式，在比特流的提取和结合中，能够在复用层中除去和追加填充切片。
[0106]
第二实施方式
[0107]
以下，着眼于与上述第一实施方式的图像处理系统1的不同点，对本发明第二实施方式的图像处理系统1进行说明。
[0108]
本发明第二实施方式的切片解码部213构成为，根据由子图片布局导出部211导出的布局信息及由填充切片识别部212做出的识别结果，在判断为该切片是填充切片的情况下，将该分片视为以下的编码数据，根据非专利文献1记载的分片解码处理进行解码，重构分片数据。
[0109]
具体地说，其中，切片类别是帧内，cu尺寸是最大尺寸，帧内预测模式是intra_planar，没有残差信号。
[0110]
第三实施方式
[0111]
以下，参照图7，着眼于与上述第一实施方式的图像处理系统1的不同点，对本发明第三实施方式的图像处理系统1进行说明。
[0112]
在本发明第三实施方式的图像编码装置100中，子图片布局决定部121构成为决定在序列中是否使用填充切片功能，并且输出该决定结果。
[0113]
当决定不使用填充切片功能时，填充切片判定部122不执行上述的判定。
[0114]
图7示出了包括子图片布局决定部121做出的决定结果在内的语法的一例。
[0115]
在图7中，filler_slice_subpic_present_flag是表示在序列中是否利用填充切片功能的标志。filler_slice_subpic_present_flag与子图片布局决定部121做出的决定结果对应。
[0116]
本发明第三实施方式的图像解码装置200构成为，子图片布局导出部211根据上述
语法，导出在序列中是否利用填充切片功能。
[0117]
在决定不利用填充切片功能的情况下，填充切片识别部212不进行上述识别。
[0118]
根据本实施方式，用于对有无填充切片进行信令的编码性能得到改善。
[0119]
第四实施方式
[0120]
以下，着眼于与上述第一实施方式的图像处理系统1的不同点，对本发明第四实施方式的图像处理系统1进行说明。
[0121]
本实施方式的图像编码装置100构成为，切片编码部123基于由子图片布局决定部121决定的布局信息和由填充切片判定部122做出的判定结果，在该切片是填充切片的情况下，作为以特定值填充的切片数据进行编码并输出。
[0122]
本实施方式的图像解码装置200构成为，切片解码部213根据由子图片布局导出部211导出的布局信息及由填充切片识别部212做出的识别结果，在判断为该切片是填充切片的情况下，作为以特定值填充的切片数据进行解码并输出。
[0123]
根据本实施方式，能够提供反映了填充切片的特性的轻量的解码过程。
[0124]
第五实施方式
[0125]
以下，参照图8说明本发明第五实施方式的编码数据变换系统2。
[0126]
编码数据变换系统2包括编码数据提取装置21和编码数据结合装置22，该数据提取装置21输入多个动态图像的编码数据、并将与从系统外指定的子图片对应的编码数据输出，该编码数据结合装置22输入被输出的编码数据、组合子图片、并将编码数据作为图片输出。
[0127]
编码数据结合装置22构成为输出编码数据，该编码数据实现了图片为矩形且被子图片完全覆盖、并且子图片彼此不重叠的要件。
[0128]
在此，编码数据结合装置22构成为，在即使组合所输入的子图片也不满足上述要件的情况下，追加由任意个数的填充切片构成的子图片，输出满足上述要件的编码数据。
[0129]
具体而言，如图9所示，可以以由6面构成的立方体贴图方式的360
°
全景影像为对象，提取并结合编码数据。图9中的文字表示立方体贴图方式的各面的位置和方向，l表示左面，r表示右面，f表示正面，bot表示下面，bac表示背面，top表示上面。另外，fil是本发明涉及的填充切片。
[0130]
在这种情况下，如图9的左列所示，如果预先生成高分辨率、中分辨率及低分辨率三种编码数据，则如图9的右列所示，编码数据变换系统2能够根据视野区域及传输频带，动态地提取、结合编码数据。
[0131]
例如，图9中各个面的分辨率为1024
×
1024像素、768
×
768像素、512
×
512像素。
[0132]
这里，如图9右列上部所示，编码数据结合装置22对于与视野区域对应的两个面生成由高分辨率的子图片构成的图片、对于除此以外的四个面生成由低分辨率的子图片构成的图片，于是，整体而言为生成2048
×
1536像素的图片。
[0133]
另外，在此，如图9右列下部所示，编码数据结合装置22对于与视场区域对应的两个面生成由中分辨率的子图片构成的图片，对于除此之外的四个面生成由低分辨率的子图片构成的图片、即生成由两个256
×
512像素的填充切片，两个512
×
256像素的填充切片构成的图片，于是，整体而言为生成2048
×
1280像素的图片。
[0134]
如上所述，通过导入填充切片，可以提高编码数据的提取和结合中的子图片分辨
率的选择自由度。
[0135]
上述图像编码装置100及图像解码装置200也可以通过使计算机执行各功能(各工序)的程序来实现。
[0136]
另外，在上述各实施方式中，以将本发明应用于图像编码装置100及图像解码装置200为例进行了说明，但本发明并不仅限于此，同样也适用于具有图像编码装置100及图像解码装置200的各功能的图像编码系统及图像解码系统。