图像处理装置和图像处理方法与流程

1.本技术涉及图像处理装置和图像处理方法，并且更具体地，涉及例如能够提高预测精度的图像处理装置和图像处理方法。


背景技术：

2.itu-t和iso/iec的联合标准化组织，联合视频专家组(jvet)旨在与h.265/hevc相比进一步提高编码效率，并且正在研究作为下一代图像编码方法的通用视频编码(vvc)的标准化。
3.在vvc的标准化工作中，非专利文献1公开了通过以下操作来生成预测图像：对参考图像的像素(像素值)求平均，使用通过求平均获得的平均像素来执行矩阵运算(矩阵乘积)，使用矩阵运算的结果，并且使用平均像素作为与预测块的预测图像的上方相邻的上方相邻像素来执行插值处理。
4.引用列表
5.非专利文献
6.非专利文献1：jvet-n0217-v3：ce3：affine linear weighted intra prediction(ce3-4.1,ce3-4.2)(版本7－日期2019-01-17)


技术实现要素：

7.本发明要解决的问题
8.在非专利文献1中描述的预测图像的生成中，总是使用平均像素作为上方相邻像素来执行插值处理。因此，不能提高预测图像的预测精度。
9.本技术是鉴于这样的情况而做出的，并且使得能够提高预测图像的预测精度。
10.问题的解决方案
11.根据本技术的第一方面的图像处理装置，该图像处理装置包括：帧内预测单元，其被配置成：当使用矩阵运算执行帧内预测时，通过使用参考图像的原始像素作为与待编码的当前预测块的预测图像的上方相邻的上方相邻像素执行插值处理来生成当前预测块的预测图像；以及编码单元，其被配置成使用由帧内预测单元生成的预测图像对当前预测块进行编码。
12.根据本技术的第一方面的图像处理方法，该图像处理方法包括：帧内预测处理，当使用矩阵运算执行帧内预测时，该帧内预测处理通过使用参考图像的原始像素作为与待编码的当前预测块的预测图像的上方相邻的上方相邻像素执行插值处理来生成当前预测块的预测图像；以及使用在帧内预测处理中生成的预测图像对当前预测块进行编码的编码处理。
13.根据本技术的第一方面的图像处理装置和图像处理方法，当使用矩阵运算执行帧内预测时，通过使用参考图像的原始像素作为与待编码的当前预测块的预测图像的上方相邻的上方相邻像素执行插值处理来生成当前预测块的预测图像。然后，使用预测图像对当
前预测块进行编码。
14.根据本技术的第二方面的图像处理装置，该图像处理装置包括：帧内预测单元，其被配置成：当使用矩阵运算执行帧内预测时，通过使用参考图像的原始像素作为与要解码的当前预测块的预测图像的上方相邻的上方相邻像素执行插值处理来生成当前预测块的预测图像；以及解码单元，其被配置成使用由帧内预测单元生成的预测图像来对当前预测块进行解码。
15.根据本技术的第二方面的图像处理方法，该图像处理方法包括：帧内预测处理，当使用矩阵运算执行帧内预测时，该帧内预测处理通过使用参考图像的原始像素作为与要解码的当前预测块的预测图像的上方相邻的上方相邻像素执行插值处理来生成当前预测块的预测图像；以及使用在帧内预测处理中生成的预测图像来对当前预测块进行解码的解码处理。
16.根据本技术的第二方面的图像处理装置和图像处理方法，当使用矩阵运算执行帧内预测时，通过使用参考图像的原始像素作为与要解码的当前预测块的预测图像的上方相邻的上方相邻像素执行插值处理来生成当前预测块的预测图像。然后，使用预测图像对当前预测块进行解码。
17.注意，图像处理装置可以是独立设备或构成一个装置的内部块。
18.另外，可以通过使计算机执行程序来实现图像处理装置。可以通过记录在记录介质上或通过传输介质传输来提供程序。
附图说明
19.图1是用于描述由jvet-n0217提出的生成基于矩阵的帧内预测(mip)的预测图像的方法的图。
20.图2是示出应用本技术的图像处理系统的实施方式的配置示例的框图。
21.图3是示出编码器11的配置示例的框图。
22.图4是示出编码器11的编码处理的示例的流程图。
23.图5是示出解码器51的配置示例的框图。
24.图6是示出解码器51的解码处理的示例的流程图。
25.图7是示出帧内预测单元34的配置示例的框图。
26.图8是示出由预测图像生成单元110执行的生成mip的预测图像的处理的示例的流程图。
27.图9是示出由预测图像生成单元110生成mip的预测图像的方法的图。
28.图10是示出帧内预测单元34的另一配置示例的框图。
29.图11是示出由预测图像生成单元120生成mip的预测图像的方法的图。
30.图12是示出根据预测模式k被选择为上方相邻像素和左侧相邻像素的像素的示例的图。
31.图13是示出应用本技术的计算机的实施方式的配置示例的框图。
具体实施方式
32.《参考文献》
33.本文公开的范围不限于实施方式的内容，并且在提交时已知的以下参考文献ref1至ref6的内容也通过引用并入本文中。换言之，在以下参考文献ref1至ref6中描述的内容也是判断支持条件的基础。例如，即使在本发明的详细描述中没有直接限定四叉树块结构、四叉树加二叉树(qtbt)块结构和多类型树(mtt)块结构，它们也在本公开内容的范围内并且应当满足权利要求的支持条件。另外，即使当在本发明的详细描述中没有直接定义诸如解析、语法和语义的技术术语时，类似地，它们也在本公开内容的范围内并且应当满足权利要求的支持条件。
34.ref1：建议书itu-t h.264(04/2017)“advanced video coding for generic audiovisual services”，2017年4月
35.ref2：建议书itu-t h.265(02/2018)“high efficiency video coding”，2018年2月
36.ref3：benjamin bross，jianle chen，shan liu，versatile video coding(草案5)，jvet-n1001-v7(版本7－日期2019-05-29)
37.ref4：jianle chen，yan ye，seung hwan kim，algorithm description for versatile video coding and test model 5(vtm5)，jvet-n1002-v1
38.ref5：jvet-n0217-v3：ce3：affine linear weighted intra prediction(ce3-4.1,ce3-4.2)(版本7－日期2019-01-17)
39.ref6：jvet-m0043-v2：ce3：affine linear weighted intra prediction(测试1.2.1,测试1.2.2)(版本2－日期2019-01-09)
40.《定义》
41.相邻不仅包括一个像素(一行)与关注的当前像素相邻的情况，而且包括多个像素(多行)相邻的情况。因此，相邻像素不仅包括与当前像素直接相邻的一个像素的位置处的像素，而且包括与当前像素连续相邻的多个像素的位置处的像素。
42.降采样意指减少像素的数目。因此，降采样包括：通过使用诸如平均或中值的计算来减少像素的数目，或者在不进行计算的情况下减少像素的数目。
43.预测块是指在执行帧内预测时作为处理单元的块(预测单元(pu))，并且还包括预测块中的子块。当预测块、作为用于执行正交变换的处理单元的正交变换块(变换单元(tu))和作为用于编码的处理单元的编码块(编码单元(cu))被统一为同一块时，预测块、正交变换块和编码块意指同一块。
44.帧内预测的预测模式意指全面地包括与帧内预测有关的各种事项的信息，例如执行帧内预测时的模式编号、预测块的块大小、使用矩阵运算的基于矩阵的帧内预测(mip)的模式编号、执行矩阵运算时使用的矩阵的类型以及执行矩阵运算时使用的矩阵的大小的类型。
45.在本技术中，标识多个模式的标识数据可以被设置为通过对图像编码而获得的比特流语法。比特流可以包括标识各种模式的标识数据。
46.作为标识数据，例如，在帧内预测的预测图像的生成中，可以采用用于标识是否使用参考图像的原始像素(像素值)或者是否使用降采样像素(的像素值)作为与预测块相邻的相邻像素的数据。此外，作为标识数据，例如，可以采用用于分别标识是使用参考图像的原始像素还是使用降采样像素作为与预测块的预测图像的上方相邻的上方相邻像素以及
与预测块的预测图像的左侧相邻的左侧相邻像素的数据。
47.当标识数据被包括在比特流中时，对比特流进行解码的解码器可以通过解析和参考标识数据来更有效地执行处理。
48.《在jvet-n0217中提出的生成预测图像的方法》
49.图1是用于描述由jvet-n0217(参考文献ref5)提出的生成基于矩阵的帧内预测(mip)的预测图像的方法的图。
50.在jvet-n0217中，在mip中，已经提出通过对参考图像(解码图像)的像素(像素值)求平均，使用通过求平均获得的平均像素执行矩阵运算(矩阵-向量-乘法)，以及使用矩阵运算的结果和平均像素执行插值处理(插值)来生成预测图像。
51.这里，与作为要被编码/解码的预测块的当前预测块的上方相邻的参考图像的原始像素也被称为上方原始像素。此外，与当前预测块的左侧相邻的参考图像的原始像素也被称为左侧原始像素。
52.此外，块的横向大小(横向大小)由w表示，并且块的纵向大小(纵向大小)由h表示。
53.在图1中，采用w
×
h＝8
×
8像素的块作为当前预测块。
54.在求平均中，对于当前预测块，对参考图像的上方原始像素(像素值)bdry
top
求平均，并且生成作为降采样像素的多个平均像素(像素值)bdry
red
。
55.此外，在求平均时，对于当前预测块，对参考图像的左侧原始像素bdry
left
求平均，并且生成作为降采样像素的多个平均像素bdry
red
。
56.在当前预测块是w
×
h＝8
×
8像素的块时，在上方原始像素bdry
top
的求平均和左侧原始像素bdryl
eft
的求平均中，通过对参考图像的两个相邻原始像素求平均，生成四个平均像素bdry
red
。
57.在矩阵运算中，根据帧内预测的预测模式k设置用于矩阵运算的矩阵ak和偏移bk。然后，在矩阵运算中，将矩阵ak乘以具有通过求平均而获得的平均像素bdry
red
的向量bdry
red
作为元素。此外，在矩阵运算中，偏移bk被加到乘法的结果。结果，生成当前预测块的预测图像的一些像素pred
red
。
58.在插值处理中，通过使用与当前预测块的预测图像的上方相邻的上方相邻像素、与当前预测块的预测图像的左侧相邻的左侧相邻像素以及通过矩阵运算生成的当前预测块的预测图像的一些像素pred
red
来执行插值，并且生成预测图像的剩余像素。
59.作为预测图像的上方相邻像素，在参考图像的平均像素bdry
red
之中，使用通过使用上方原始像素bdry
top
生成的平均像素bdry
topred
。
60.作为预测图像的左侧相邻像素，使用参考图像的左侧原始像素bdry
left
。
61.这里，左起第x个像素和上起第y个像素的位置被表示为(x-1，y-1)，并且位置(x-1，y-1)处的像素被描述为像素(x-1，y-1)。
62.在当前预测块是w
×
h＝8
×
8像素的块时，通过矩阵运算生成的预测图像的一些像素pred
red
是为像素(x-1，y-1)(在图中用对角线示出)的当前预测块的预测图像的像素中的x-1，像素(x-1，y-1)在x-1和y-1为当前预测块的预测图像的像素之中的奇数位置处。
63.在插值处理中，四个平均像素bdry
topred
被布置为四个上方相邻像素，在x-1相邻的位置处，与当前预测块的预测图像的上方相邻。此外，八个左侧原始像素bdry
left
被布置为与当前预测块的预测图像的左侧相邻的八个左侧相邻像素。
64.然后，使用作为上方相邻像素的平均像素bdry
topred
和通过矩阵运算生成的像素pred
red
的、x-1和y-1是奇数的位置处的像素(x-1，y-1)通过纵向(垂直)插值来生成预测图像的在x-1是奇数且y-1是偶数的位置处的像素。
65.此外，使用作为左侧相邻像素的左侧原始像素bdry
left
、通过矩阵运算生成的像素pred
red
以及通过纵向插值生成的像素通过横向(水平)插值来生成预测图像的剩余像素。
66.然后，通过组合通过插值处理生成的像素和通过矩阵运算生成的像素，生成当前预测块的预测图像(pred)。
67.在jvet-n0217中，在插值处理中，通过使用参考图像的上方原始像素bdry
top
生成的平均像素bdry
topred
被用作与当前预测块的预测图像的上方相邻的上方相邻像素。
68.也就是说，使用不是参考图像本身的实际像素(原始像素)的像素来执行插值处理。
69.因此，在矩阵运算之后，必须保存在执行插值处理时使用的平均像素bdry
topred
，并且需要用于保存平均像素bdry
topred
的存储区域(存储器)。
70.此外，由于总是使用平均像素bdry
topred
作为上方相邻像素来执行插值处理，所以存在以下风险：预测块的像素与通过使用平均像素bdry
topred
生成的预测图像的像素之间的相关性降低，并且不能提高帧内预测的预测精度(也就是说，预测图像的预测精度)，或者预测精度可能降低。
71.因此，在本技术中，在插值处理中，通过使用参考图像的上方原始像素bdry
top
作为上方相邻像素来提高预测图像的预测精度。
72.《应用本技术的图像处理系统》
73.图2是示出应用本技术的图像处理系统的实施方式的配置示例的框图。
74.图像处理系统10具有作为编码器11的图像处理装置和作为解码器51的图像处理装置。
75.编码器11对提供给其的待编码的原始图像进行编码，并且输出通过编码获得的编码比特流。编码比特流经由记录介质或传输介质(未示出)提供给解码器51。
76.解码器51对提供给其的编码比特流进行解码，并且输出通过解码获得的解码图像。
77.《编码器11的配置示例》
78.图3是示出图2的编码器11的配置示例的框图。
79.注意，在以下描述的框图中，为了避免使框图复杂化，适当地省略了提供每个块的处理所需的信息(数据)的线的描述。
80.在图3中，编码器11包括a/d转换单元21、重排缓冲器22、计算单元23、正交变换单元24、量化单元25、可逆编码单元26和累积缓冲器27。此外，编码器11包括逆量化单元28、逆正交变换单元29、计算单元30、帧存储器32、选择单元33、帧内预测单元34、运动预测/补偿单元35、预测图像选择单元36和速率控制单元37。此外，编码器11具有去块滤波器31a、自适应偏移滤波器41和自适应环路滤波器(alf)42。
81.a/d转换单元21将模拟信号的原始图像(编码目标)a/d转换为数字信号的原始图像，并且将a/d转换的原始图像提供并存储到重排缓冲器22中。注意，当数字信号的原始图像被提供给编码器11时，可以配置编码器11而不提供a/d转换单元21。
82.重排缓冲器22根据图片组(gop)将原始图像的帧从显示顺序重新排列为编码(解码)顺序，并且将该帧提供给计算单元23、帧内预测单元34和运动预测/补偿单元35。
83.计算单元23经由预测图像选择单元36从来自重排缓冲器22的原始图像中减去从帧内预测单元34或运动预测/补偿单元35提供的预测图像，并且将通过减法获得的残差(预测残差)提供给正交变换单元24。
84.正交变换单元24对从计算单元23提供的残差执行诸如离散余弦变换或karhunen-lo
è
ve变换的正交变换，并且将通过正交变换获得的正交变换系数提供给量化单元25。
85.量化单元25对从正交变换单元24提供的正交变换系数进行量化。量化单元25基于从速率控制单元37提供的代码量的目标值(代码量目标值)设置量化参数，并且执行正交变换系数的量化。量化单元25将作为量化的正交变换系数的编码数据提供给可逆编码单元26。
86.可逆编码单元26通过预定的可逆编码方法将量化的正交变换系数编码为来自量化单元25的编码数据。
87.此外，可逆编码单元26从与编码器11中的预测编码相关的编码信息之中的每个块获取解码装置170进行解码所需的编码信息。
88.这里，作为编码信息，例如，存在帧内预测或帧间预测的预测模式，诸如运动向量的运动信息，代码量目标值，量化参数，图片类型(i，p，b)，诸如去块滤波器31a和自适应偏移滤波器41的滤波器参数等。
89.可以从帧内预测单元34或运动预测/补偿单元35获取预测模式。可以从运动预测/补偿单元35获取运动信息。可以分别从去块滤波器31a和自适应偏移滤波器41获取去块滤波器31a和自适应偏移滤波器41的滤波器参数。
90.可逆编码单元26通过例如可变长度编码或算术编码(诸如上下文自适应可变长度编码(cavlc)或上下文自适应二进制算术编码(cabac)或其他可逆编码方法)对编码信息进行编码，在编码后，生成包括(复用)经编码信息、来自量化单元25的编码数据的编码比特流，并且将生成的编码比特流提供给累积缓冲器27。
91.这里，以上计算单元23或可逆编码单元26用作用于对图像进行编码的编码单元。
92.累积缓冲器27临时累积从可逆编码单元26提供的编码比特流。存储在累积缓冲器27中的编码比特流在预定定时被读取和发送。
93.作为在量化单元25中量化的正交变换系数的编码数据不仅被提供给可逆编码单元26，而且被提供给逆量化单元28。逆量化单元28通过与量化单元25的量化相对应的方法对量化的正交变换系数进行反量化，并且将通过逆量化获得的正交变换系数发送到逆正交变换单元29。
94.逆正交变换单元29通过与正交变换单元24的正交变换处理相对应的方法对从逆量化单元28提供的正交变换系数进行逆正交变换，并且将逆正交变换而获得的残差提供给计算单元30。
95.计算单元30将经由预测图像选择单元36从帧内预测单元34或运动预测/补偿单元35提供的预测图像与从逆正交变换单元29提供的残差相加，从而获得并输出对原始图像进行解码的解码图像(的一部分)。
96.由计算单元30输出的解码图像被提供给去块滤波器31a或帧存储器32。
97.帧存储器32临时存储从计算单元30提供的解码图像和从alf 42提供的解码图像(滤波图像)，并且该解码图像被应用去块滤波器31a、自适应偏移滤波器41和alf 42。存储在帧存储器32中的解码图像被提供给选择单元33，作为用于在所需定时生成预测图像的参考图像。
98.选择单元33选择从帧存储器32提供的参考图像的供应目的地。当在帧内预测单元34中执行帧内预测时，选择单元33将从帧存储器32提供的参考图像提供给帧内预测单元34。当在运动预测/补偿单元35中执行帧间预测时，选择单元33将从帧存储器32提供的参考图像提供给运动预测/补偿单元35。
99.帧内预测单元34使用从重排缓冲器22提供的原始图像和经由选择单元33从帧存储器32提供的参考图像来执行帧内预测(画面内预测)。帧内预测单元34基于预定成本函数选择最佳帧内预测的预测模式，并且以最佳帧内预测的预测模式将从参考图像生成的预测图像提供给预测图像选择单元36。此外，帧内预测单元34适当地将基于成本函数选择的帧内预测的预测模式提供给可逆编码单元26等。
100.运动预测/补偿单元35使用从重排缓冲器22提供的原始图像以及经由选择单元33从帧存储器32提供的参考图像来执行运动预测。此外，运动预测/补偿单元35根据通过运动测检测的运动向量执行运动补偿，并且生成预测图像。运动预测/补偿单元35以预先准备的多个帧间预测中的预测模式执行帧间预测，并且从参考图像生成预测图像。
101.运动预测/补偿单元35基于预定成本函数从多个帧间预测中的预测模式中选择最佳帧间预测的预测模式。此外，运动预测/补偿单元35将以最佳帧间预测的预测模式生成的预测图像提供给预测图像选择单元36。
102.另外，运动预测/补偿单元35向可逆编码单元26提供基于成本函数或运动信息(例如对以帧间预测的预测模式编码的编码数据进行解码所需的运动向量)而选择的最佳帧间预测的预测模式。
103.预测图像选择单元36选择要从帧内预测单元34和运动预测/补偿单元35提供给计算单元23和计算单元30的预测图像的供应源，并且选择从所选择的供应源提供给计算单元23和计算单元30的预测图像。
104.速率控制单元37基于累积缓冲器27中累积的编码比特流的代码量来控制量化单元25的量化操作的速率，使得不会发生上溢或下溢。即，速率控制单元37设置编码比特流的目标代码量，并且将设置的目标代码量提供给量化单元25，使得不会发生累积缓冲器27的上溢和下溢。
105.去块滤波器31a根据需要将去块滤波器应用于来自计算单元30的解码图像，并且将应用了去块滤波器的解码图像(滤波图像)或未应用去块滤波器的解码图像提供给自适应偏移滤波器41。
106.自适应偏移滤波器41根据需要将自适应偏移滤波器应用于来自去块滤波器31a的解码图像，并且将应用了自适应偏移滤波器的解码图像(滤波图像)或未应用自适应偏移滤波器的解码图像提供给alf 42。
107.alf 42根据需要将alf应用于来自自适应偏移滤波器41的解码图像，并且将应用了alf的解码图像或未应用alf的解码图像提供给帧存储器32。
108.《编码处理》
109.图4是示出图3的编码器11的编码处理的示例的流程图。
110.图4中示出的编码处理的每个步骤的顺序是为了便于说明的顺序，并且实际的编码处理的每个步骤适当地以必要的顺序并行执行。这同样适用于稍后描述的过程。
111.在步骤s11中，在编码器11中，a/d转换单元21对原始图像进行a/d转换并且将a/d转换后的原始图像提供给重排缓冲器22，并且处理进行到步骤s12。
112.在步骤s12中，重排缓冲器22存储来自a/d转换单元21的原始图像，按照编码顺序对原始图像进行重排并且输出重排的原始图像，并且处理进行到步骤s13。
113.在步骤s13中，帧内预测单元34执行帧内预测，并且处理进行到步骤s14。在步骤s14中，运动预测/补偿单元35执行用于运动预测或运动补偿的帧间预测，并且处理进行到步骤s15。
114.在帧内预测单元34的帧内预测和运动预测/补偿单元35的帧间预测中，计算各种预测模式的成本函数并且生成预测图像。
115.在步骤s15中，预测图像选择单元36基于由帧内预测单元34和运动预测/补偿单元35获得的每个成本函数来确定最佳预测模式。然后，预测图像选择单元36从由帧内预测单元34生成的预测图像和由运动预测/补偿单元35生成的预测图像中选择并输出最佳预测模式的预测图像，并且处理从步骤s15进行到步骤s16。
116.在步骤s16中，计算单元23计算作为由重排缓冲器22输出的原始图像的待编码的目标图像与由预测图像选择单元36输出的预测图像之间的残差，并且将计算的残差提供给正交变换单元24，并且处理进行到步骤s17。
117.在步骤s17中，正交变换单元24对来自计算单元23的残差进行正交变换，并且将所得到的正交变换系数提供给量化单元25，并且处理进行到步骤s18。
118.在步骤s18中，量化单元25对来自正交变换单元24的正交变换系数进行量化，并且将通过量化获得的量化系数提供给可逆编码单元26和逆量化单元28，并且处理进行到步骤s19。
119.在步骤s19中，逆量化单元28对来自量化单元25的量化系数进行逆量化，并且将所得到的正交变换系数提供给逆正交变换单元29，并且处理进行到步骤s20。在步骤s20中，逆正交变换单元29对来自逆量化单元28的正交变换系数进行逆正交变换，并且将所得到的残差提供给计算单元30，并且处理进行到步骤s21。
120.在步骤s21中，计算单元30将来自逆正交变换单元29的残差与由预测图像选择单元36输出的预测图像相加，并且生成与成为由计算单元23进行的残差的计算目标的原始图像对应的解码图像。计算单元30将解码图像提供给去块滤波器31a，并且处理从步骤s21进行到步骤s22。
121.在步骤s22中，去块滤波器31a将去块滤波器应用于来自计算单元30的解码图像，并且将所得到的滤波图像提供给自适应偏移滤波器41，并且处理进行到步骤s23。
122.在步骤s23中，自适应偏移滤波器41将自适应偏移滤波器应用于来自去块滤波器31a的滤波图像，并且将所得到的滤波图像提供给alf 42，并且处理进行到步骤s24。
123.在步骤s24中，alf 42将alf应用于来自自适应偏移滤波器41的滤波图像，并且将所得到的滤波图像提供给帧存储器32，并且处理进行到步骤s25。
124.在步骤s25中，帧存储器32存储从alf 42提供的滤波图像，并且处理进行到步骤
s26。存储在帧存储器32中的滤波图像用作参考图像，在步骤s13和步骤s14中根据该参考图像生成预测图像。
125.在步骤s26中，可逆编码单元26对作为来自量化单元25的量化系数的编码数据进行编码，并且生成包括编码数据的编码比特流。此外，可逆编码单元26根据需要对编码信息进行编码，并且将经编码信息包括在编码比特流中，所述编码信息例如用于量化单元25中的量化的量化参数、通过帧内预测单元34中的帧内预测获得的预测模式、通过运动预测/补偿单元35中的帧间预测获得的预测模式或运动信息、或者去块滤波器31a和自适应偏移滤波器41的滤波器参数。
126.然后，可逆编码单元26将编码比特流提供给累积缓冲器27，并且处理从步骤s26进行到步骤s27。
127.在步骤s27中，累积缓冲器27累积来自可逆编码单元26的编码比特流，并且处理进行到步骤s28。累积缓冲器27中累积的编码比特流被适当地读取和发送。
128.在步骤s28中，速率控制单元37基于累积缓冲器27中累积的编码比特流的代码量(生成的代码量)来控制量化单元25的量化操作，使得不会发生上溢或下溢，并且编码处理结束。
129.《解码器51的配置示例》
130.图5是示出图2的解码器51的配置示例的框图。
131.在图5中，解码器51具有累积缓冲器61、可逆解码单元62、逆量化单元63、逆正交变换单元64、计算单元65、重排缓冲器67和d/a转换单元68。此外，解码器51具有帧存储器69、选择单元70、帧内预测单元71、运动预测/补偿单元72和选择单元73。此外，解码器51具有去块滤波器31b、自适应偏移滤波器81和alf 82。
132.累积缓冲器61临时累积从编码器11发送的编码比特流，并且在预定定时将编码比特流提供给可逆解码单元62。
133.可逆解码单元62从累积缓冲器61接收编码比特流，并且通过与图3中的可逆编码单元26的编码方法对应的方法对接收的编码比特流进行解码。
134.然后，可逆解码单元62将量化系数作为编码比特流的解码结果中包括的编码数据提供给逆量化单元63。
135.此外，可逆解码单元62具有执行解析的功能。可逆解码单元62解析编码比特流的解码结果中包括的必要编码信息，并且将编码信息提供给帧内预测单元71、运动预测/补偿单元72、去块滤波器31b、自适应偏移滤波器81和其他必要块。
136.逆量化单元63通过与图3中的量化单元25的量化方法对应的方法对作为来自可逆解码单元62的编码数据的量化系数进行逆量化，并且将通过逆量化获得的正交变换系数提供给逆正交变换单元64。
137.逆正交变换单元64通过与图3中的正交变换单元24的正交变换方法对应的方法对从逆量化单元63提供的正交变换系数进行逆正交变换，并且将所得到的残差提供给计算单元65。
138.除了从逆正交变换单元64提供给计算单元65的残差之外，还经由选择单元73从帧内预测单元71或运动预测/补偿单元72提供预测图像。
139.计算单元65将来自逆正交变换单元64的残差与来自选择单元73的预测图像相加、
生成解码图像并且将生成的解码图像提供给去块滤波器31b。
140.这里，以上可逆解码单元62或计算单元65构成用于对图像进行解码的解码单元。
141.重排缓冲器67临时存储从alf 82提供的解码图像，将解码图像的帧(图片)的排列从编码(解码)顺序重排为显示顺序，并且将重排的帧提供给d/a转换单元68。
142.d/a转换单元68对从重排缓冲器67提供的解码图像进行d/a转换，并且将d/a转换后的解码图像输出至显示器(未示出)以进行显示。注意，当连接至解码器51的装置接受数字信号的图像时，可以配置解码器51而无需提供d/a转换单元68。
143.帧存储器69临时存储从alf 82提供的解码图像。此外，帧存储器69将解码图像作为参考图像提供给选择单元70，用于在预定定时或基于诸如帧内预测单元71或运动预测/补偿单元72的外部请求生成预测图像。
144.选择单元70选择从帧存储器69提供的参考图像的供应目的地。当对由帧内预测编码的图像进行解码时，选择单元70将从帧存储器69提供的参考图像提供给帧内预测单元71。另外，当对通过帧间预测编码的图像进行解码时，选择单元70将从帧存储器69提供的参考图像提供给运动预测/补偿单元72。
145.类似于图3的帧内预测单元34，帧内预测单元71根据从可逆解码单元62提供的编码信息中包括的预测模式，使用经由选择单元70从帧存储器69提供的参考图像来执行帧内预测。然后，帧内预测单元71将通过帧内预测获得的预测图像提供给选择单元73。
146.类似于图3的运动预测/补偿单元35，运动预测/补偿单元72根据从可逆解码单元62提供的编码信息中包括的预测模式，使用经由选择单元70从帧存储器69提供的参考图像来执行帧间预测。根据需要，通过使用从可逆解码单元62提供的编码信息中包括的运动信息等来执行帧间预测。
147.运动预测/补偿单元72将通过帧间预测获得的预测图像提供给选择单元73。
148.选择单元73选择从帧内预测单元71提供的预测图像或从运动预测/补偿单元72提供的预测图像，并且将预测图像提供给计算单元65。
149.去块滤波器31b根据从可逆解码单元62提供的编码信息中包括的滤波器参数，将去块滤波器应用于来自计算单元65的解码图像。去块滤波器31b将应用了去块滤波器的解码图像(滤波图像)或未应用去块滤波器的解码图像提供给自适应偏移滤波器81。
150.自适应偏移滤波器81根据从可逆解码单元62提供的编码信息中包括的滤波器参数，根据需要将自适应偏移滤波器应用于来自去块滤波器31b的解码图像。自适应偏移滤波器81将应用了自适应偏移滤波器的解码图像(滤波图像)或未应用自适应偏移滤波器的解码图像提供给alf 82。
151.alf 82根据需要将alf应用于来自自适应偏移滤波器81的解码图像，并且将应用了alf的解码图像或未应用alf的解码图像提供给重排缓冲器67和帧存储器69。
152.《解码处理》
153.图6是示出图5的解码器51的解码处理的示例的流程图。
154.在步骤s51中，在解码处理中，累积缓冲器61临时存储从编码器11发送的编码比特流，并且在适当时将存储的编码比特流提供给可逆解码单元62，并且处理进行至步骤s52。
155.在步骤s52中，可逆解码单元62接收从累积缓冲器61提供的编码比特流并且对其进行解码，并且将量化系数作为包括在编码比特流的解码结果中的编码数据提供给逆量化
单元63。
156.此外，可逆解码单元62解析包括在编码比特流的解码结果中的编码信息。然后，可逆解码单元62将必要的编码信息提供给帧内预测单元71、运动预测/补偿单元72、去块滤波器31b、自适应偏移滤波器81和其他必要的块。
157.然后，处理从步骤s52进行到步骤s53，并且帧内预测单元71或运动预测/补偿单元72根据经由选择单元70从帧存储器69提供的参考图像和从可逆解码单元62提供的编码信息来执行生成预测图像的帧内预测或帧间预测。然后，帧内预测单元71或运动预测/补偿单元72将通过帧内预测或帧间预测获得的预测图像提供给选择单元73，并且处理从步骤s53进行到步骤s54。
158.在步骤s54中，选择单元73选择从帧内预测单元71或运动预测/补偿单元72提供的预测图像，并且将所选择的预测图像提供给计算单元65，并且处理进行至步骤s55。
159.在步骤s55中，逆量化单元63对来自可逆解码单元62的量化系数进行逆量化，并且将所得到的正交变换系数提供给逆正交变换单元64，并且处理进行至步骤s56。
160.在步骤s56中，逆正交变换单元64对来自逆量化单元63的正交变换系数进行逆正交变换，并且将所得到的残差提供给计算单元65，并且处理进行至步骤s57。
161.在步骤s57中，计算单元65通过将来自逆正交变换单元64的残差与来自选择单元73的预测图像相加来生成解码图像。然后，计算单元65将解码图像提供给去块滤波器31b，并且处理从步骤s57进行到步骤s58。
162.在步骤s58中，去块滤波器31b根据包括在从可逆解码单元62提供的编码信息中的滤波器参数，将去块滤波器应用于来自计算单元65的解码图像。去块滤波器31b将应用去块滤波器而获得的滤波图像提供给自适应偏移滤波器81，并且处理从步骤s58进行到步骤s59。
163.在步骤s59中，自适应偏移滤波器81根据包括在从可逆解码单元62提供的编码信息中的滤波器参数，将自适应偏移滤波器应用于来自去块滤波器31b的滤波图像。自适应偏移滤波器81将应用自适应偏移滤波器而获得的滤波图像提供给alf 82，并且处理从步骤s59进行到步骤s60。
164.alf 82将alf应用于来自自适应偏移滤波器81的滤波图像，并且将所得到的滤波图像提供给重排缓冲器67和帧存储器69，并且处理进行到步骤s61。
165.在步骤s61中，帧存储器69暂时存储从alf 82提供的滤波图像，并且处理进行到步骤s62。存储在帧存储器69中的滤波图像(解码图像)被用作参考图像，其中在步骤s53中通过帧内预测或帧间预测根据该参考图像生成预测图像。
166.在步骤s62中，重排缓冲器67按照显示顺序重新排列从alf 82提供的滤波图像，并且将重新排列的滤波图像提供给d/a转换单元68，并且处理进行到步骤s63。
167.在步骤s63中，d/a转换单元68对来自重排缓冲器67的滤波图像进行d/a转换，并且该处理使解码处理结束。将d/a转换后的滤波图像(解码图像)输出并且显示在显示器(未示出)上。
168.《帧内预测单元34的配置示例》
169.图7是示出帧内预测单元34的配置示例的框图。
170.注意，图7仅示出了帧内预测单元34中的预测图像生成单元110，该预测图像生成
单元110是生成mip的预测图像的部分。帧内预测单元71还具有与预测图像生成单元110类似的预测图像生成单元。
171.预测图像生成单元110包括：求平均单元111、矩阵向量乘法单元112和插值单元113。
172.将当前预测块的参考图像(作为解码图像)从选择单元33提供给求平均单元111。
173.求平均单元111对当前预测块的参考图像的上方原始像素(的像素值)求平均，并且生成多个平均像素(的像素值)作为降采样像素。
174.另外，求平均单元111对当前预测块的参考图像的左侧原始像素求平均，并且生成多个平均像素作为降采样像素。
175.求平均单元111将平均像素提供给矩阵向量乘法单元112。
176.将帧内预测的预测模式k提供给矩阵向量乘法单元112。
177.矩阵向量乘法单元112根据预测模式k设置用于矩阵运算的矩阵ak和向量偏移bk。然后，矩阵向量乘法单元112执行矩阵ak与具有求平均单元111的平均像素作为元素的向量之间的乘法，作为矩阵运算。此外，矩阵向量乘法单元112将偏移bk与作为矩阵运算的乘法的结果相加，从而生成当前预测块的预测图像的一些像素，并且将像素提供给插值单元113。
178.将参考图像提供给插值单元113。
179.插值单元113通过使用与当前预测块的预测图像的上方相邻的上方相邻像素、与当前预测块的预测图像的左侧相邻的左侧相邻像素以及来自矩阵向量乘法单元112的当前预测块的预测图像的一些像素来执行插值处理。
180.插值单元113通过插值处理生成当前预测块的预测图像的剩余像素，并且通过与来自矩阵向量乘法单元112的预测图像的一些像素组合来生成(完成)当前预测块的预测图像。
181.插值单元113使用参考图像的上方原始像素作为预测图像的上方相邻像素，并且使用参考图像的左侧原始像素作为预测图像的左侧相邻像素。
182.图8是用于描述由预测图像生成单元110执行的生成mip的预测图像的处理的示例的流程图。
183.在步骤s111中，求平均单元111对参考图像的上方原始像素求平均并且对参考图像的左侧原始像素求平均以生成平均像素。求平均单元111将平均像素提供给矩阵向量乘法单元112，并且处理从步骤s111进行到步骤s112。
184.在步骤s112中，矩阵向量乘法单元112根据预测模式k设置用于矩阵运算的矩阵ak和向量偏移bk。此外，矩阵向量乘法单元112使用矩阵ak和偏移bk对其元素是来自求平均单元111的平均像素的向量执行矩阵运算。
185.即，矩阵向量乘法单元112执行矩阵ak与具有求平均单元111的平均像素作为元素的向量之间的乘法，作为矩阵运算。此外，矩阵向量乘法单元112将偏移bk与作为矩阵运算的乘法的结果相加。矩阵向量乘法单元112通过上述矩阵运算生成当前预测块的预测图像的一些像素，并且将所生成的像素提供给插值单元113，并且处理从步骤s112进行到步骤s113。
186.在步骤s113中，插值单元113使用参考图像的上方原始像素作为上方相邻像素并
且使用参考图像的左侧原始像素作为左侧相邻像素，并且使用上方相邻像素、左侧相邻像素和来自矩阵向量乘法单元112的当前预测块的预测图像的一些像素来执行插值处理。
187.插值单元113通过插值处理生成当前预测块的预测图像的剩余像素，并且通过与来自矩阵向量乘法单元112的预测图像的一些像素组合来生成当前预测块的预测图像。
188.图9是示出由预测图像生成单元110生成mip的预测图像的方法的图。
189.与图1类似，在图9中，采用w
×
h＝8
×
8像素的块作为当前预测块。然而，预测块不限于w
×
h＝8
×
8像素的块。
190.类似于jvet-n0217，求平均单元111对当前预测块的参考图像的上方原始像素bdry
top
求平均，并且生成多个平均像素bdry
red
作为降采样像素。
191.此外，类似于jvet-n0217，求平均单元111对当前预测块的参考图像的左侧原始像素bdry
left
求平均，并且生成多个平均像素bdry
red
作为降采样像素。
192.当当前预测块是w
×
h＝8
×
8像素的块时，通过对在参考图像的横向方向上彼此相邻的两个上方原始像素bdry
top
求平均来执行上方原始像素bdry
top
的平均，从而生成四个平均像素bdry
red
。类似地，通过对与参考图像的纵向方向相邻的两个左侧原始像素bdry
left
求平均来执行左侧原始像素bdry
left
的平均，从而产生四个平均像素bdry
red
。
193.此处，在本实施方式中，采用通过对原始像素求平均获得的平均像素作为降采样像素，但是降采样像素不限于平均像素。也就是说，可以通过对多个像素求平均、执行除了中值平均值之外等的计算或者简单地将像素细化来执行降采样。
194.类似于jvet-n0217，矩阵向量乘法单元112使用根据帧内预测的预测模式k设置的矩阵ak和偏移bk，并且计算表达式pred
red
＝ak·
bdry
red
bk作为向量bdry
red
的矩阵运算，其中平均像素bdry
red
作为元素。
195.也就是说，矩阵向量乘法单元112执行矩阵ak与向量bdry
red
之间的乘法ak·
bdry
red
，其中平均像素bdry
red
作为矩阵运算的元素。此外，矩阵向量乘法单元112将偏移bk与作为乘法的结果的ak·
bdry
red
相加。因此，矩阵向量乘法单元112生成当前预测块的预测图像的一些像素pred
red
。
196.类似于jvet-n0217，插值单元113通过使用与当前预测块的预测图像的上方相邻的上方相邻像素、与当前预测块的预测图像的左侧相邻的左侧相邻像素以及通过矩阵运算生成的当前预测块的预测图像的一些像素pred
red
来执行插值处理。
197.插值单元113通过插值处理生成预测图像的剩余像素(图中的白色像素)，并且通过与由矩阵运算生成的像素pred
red
组合来生成当前预测块的预测图像(pred)。
198.然而，在jvet-n0217的插值处理中，如图1所述，将通过使用参考图像的平均像素bdry
red
中的上方原始像素bdry
top
而生成的平均像素bdry
topred
用作预测图像的上方相邻像素。
199.另一方面，在插值单元113的插值处理中，用参考图像的上方原始像素bdry
top
本身而不是平均像素bdry
topred
作为预测图像的上方相邻像素。
200.如上所述，由于预测图像生成单元110使用参考图像的上方原始像素bdry
top
作为上方相邻像素，所以当使用平均像素作为上方相邻像素时，不需要保存所需的平均像素bdry
topred
(的像素值)。此外，当参考图像的上方原始像素bdry
top
用作上方相邻像素时，可以期望的是，与使用平均像素bdry
topred
的情况相比，帧内预测的预测精度得到提高。
201.《帧内预测单元34的另一配置示例》
202.图10是示出帧内预测单元34的另一配置示例的框图。
203.注意，与图7类似，图10仅示出了帧内预测单元34中的生成mip的预测图像的部分的预测图像生成单元120。帧内预测单元71还具有与预测图像生成单元120类似的预测图像生成单元。
204.此外，在附图中，与图7中的预测图像生成单元110相对应的部分用相同的附图标记表示，并且在下面适当地省略对其的描述。
205.预测图像生成单元120包括求平均单元111、矩阵向量乘法单元112和插值单元123。
206.因此，预测图像生成单元120与图7的预测图像生成单元110的共同之处在于，预测图像生成单元120具有求平均单元111和矩阵向量乘法单元112。然而，预测图像生成单元120与预测图像生成单元110的不同之处在于，预测图像生成单元120具有插值单元123而不是插值单元113。
207.预测图像生成单元120将参考图像和由矩阵向量乘法单元112生成的当前预测块的预测图像的一些像素提供给插值单元123，并且将预测模式k和由求平均单元111生成的平均像素提供给插值单元123。
208.类似于插值单元113，插值单元123通过使用预测图像的上方相邻像素和左侧相邻像素以及来自矩阵向量乘法单元112的当前预测块的预测图像的一些像素来执行插值处理，并且通过将由插值处理生成的预测图像的剩余像素与来自矩阵向量乘法单元112的预测图像的一些像素进行组合来生成预测图像。
209.然而，插值单元123可以根据预测模式k选择是否将参考图像像素的上方原始像素用作上方相邻像素或者是否将平均像素用作降采样像素。另外，插值单元123可以根据预测模式k选择是否将参考图像像素的左侧原始像素用作左侧相邻像素或者是否将平均像素用作降采样像素。
210.图11是示出由预测图像生成单元120生成mip的预测图像的方法的图。
211.与图9类似，在图11中，采用w
×
h＝8
×
8像素的块作为当前预测块。然而，预测块不限于w
×
h＝8
×
8像素的块。
212.与预测图像生成单元110类似，预测图像生成单元120通过在求平均单元111中对参考图像的上方原始像素bdry
top
求平均来生成平均像素bdry
red
，并且通过在求平均单元111中对当前预测块的左侧原始像素bdry
left
求平均来生成平均像素bdry
red
。
213.此外，与预测图像生成单元110类似，预测图像生成单元120通过计算表达式pred
red
＝ak·
bdry
red
bk作为矩阵运算来生成当前预测块的预测图像的一些像素pred
red
，该矩阵运算将平均像素bdry
red
作为矩阵向量乘法单元112中的元素。
214.然后，与预测图像生成单元110类似，预测图像生成单元120使用与当前预测块的预测图像的上方相邻的上方相邻像素、与当前预测块的预测图像的左侧相邻的左侧相邻像素、以及通过矩阵运算生成的当前预测块的预测图像的一些像素pred
red
来执行插值处理，从而在插值单元123中生成当前预测块的预测图像(pred)。
215.然而，插值单元123可以根据预测模式k选择是否将参考图像像素的上方原始像素bdry
top
用作上方相邻像素，或者是否将平均像素bdry
topred
用作降采样像素。另外，插值单元
123可以根据预测模式k选择是否将参考图像像素的左侧原始像素bdry
left
用作左侧相邻像素，或者是否将平均像素bdry
leftred
用作降采样像素。
216.平均像素bdry
topred
是使用上方原始像素bdry
top
(通过对上方原始像素bdry
top
求平均)生成的平均像素bdry
red
的平均像素。平均像素bdry
leftred
是使用左侧原始像素bdry
left
生成的平均像素。
217.插值单元123具有选择器131和132。
218.向选择器131提供上方原始像素bdry
top
和平均像素bdry
topred
。选择器131根据预测模式k选择并且输出上方原始像素bdry
top
或平均像素bdry
topred
。插值单元123使用由选择器131输出的上方原始像素bdry
top
和作为上方相邻像素的平均像素bdry
topred
中的像素来执行插值处理。
219.向选择器132提供左侧原始像素bdry
left
和平均像素bdry
leftred
。选择器132根据预测模式k选择并且输出左侧原始像素bdry
left
或平均像素bdry
leftred
。插值单元123使用由选择器132输出的左侧原始像素bdry
left
和作为左侧相邻像素的平均像素bdry
leftred
中的像素来执行插值处理。
220.如上所述，当预测图像生成单元120可以选择是否将参考图像的上方原始像素用作上方相邻像素或者是否使用平均像素以及/或者选择是否将参考图像的左侧原始像素用作左侧相邻像素或者是否使用平均像素时，可以期望进一步提高帧内预测的预测精度。
221.图12是示出根据预测模式k被选择为上方相邻像素和左侧相邻像素的像素的示例的图。
222.此处，上方相邻像素、左侧相邻像素、或上方相邻像素和左侧相邻像素二者也被称为相邻像素。此外，上方原始像素、左侧原始像素、或上方原始像素和左侧原始像素二者也被称为原始像素。
223.在图12中，当预测模式k包括指示mip模式(的模式号)和大小标识符mipsizeid的信息时，示出了根据mip模式和大小标识符mipsizeid被选择为相邻像素(上方相邻像素和左侧相邻像素)的像素。
224.在图12中，“原始”表示原始像素(上方原始像素和左侧原始像素)，“平均”表示平均像素。如图12所示，例如，当mip模式为1并且大小标识符mipsizeid为0时，选择左侧原始像素(原始)作为左侧相邻像素，并且选择平均像素(平均)作为上方相邻像素。
225.大小标识符mipsizeid是表示mip中使用的矩阵ak的大小的标识符，并且根据当前预测块的块大小来设置。因此，当预测模式k包含表示大小标识符mipsizeid的信息时，可以说预测模式k包括表示当前预测块的块大小的信息。
226.预测模式k可以包括表示帧内预测的预测方向、方向性预测和非方向性预测(例如，播放器预测或dc预测)的信息。帧内预测的预测方向包括方向性预测的参考方向。
227.当预测模式k包括表示方向性预测的信息时，可以选择原始像素或平均像素作为相邻像素。例如，当预测模式k包括表示方向性预测的信息时，可以根据方向性预测的参考方向选择原始像素或平均像素作为相邻像素。
228.具体地，例如，当在当前预测块中存在诸如纵向方向的边缘的图案并且方向性预测的参考方向接近纵向方向时，可以选择上方原始像素作为上方相邻像素。此外，例如，当在当前预测块中存在诸如水平边缘的图案并且方向性预测的参考方向接近横向方向时，可
以选择左侧原始像素作为左侧相邻像素。在这种情况下，可以提高预测精度。
229.当预测模式k包含表示非方向性预测的信息时，例如，当执行dc预测作为帧内预测时，可以选择平均像素作为上方相邻像素和左侧相邻像素。
230.另外，将像素选择作为与预测图像相邻的相邻像素不仅可以根据预测模式k来执行，而且还可以取决于是否将环内滤波器应用于作为编码器11中的参考图像的解码图像(局部解码图像)(也就是说，是否已应用去块滤波器31a、自适应偏移滤波器41和alf 42的部分或全部)来执行。例如，可以执行模拟并且选择像素作为相邻像素，使得根据是否应用环内滤波器来降低成本。
231.帧内预测单元34可以用作设置单元，其用于在帧内预测的预测图像的生成中，设置用于标识是否使用参考图像的原始像素作为与预测图像相邻的相邻像素或者是否使用平均像素作为降采样像素的标识数据。例如，可以将帧内预测单元34中设置的标识数据包括在编码比特流中作为编码信息的一部分。
232.标识数据可以包括用于标识是否使用参考图像的上方原始像素作为上方相邻像素或者是否使用平均像素作为降采样像素的数据。另外，标识数据可以包括用于标识是否使用参考图像的左侧原始像素作为左侧相邻像素或者是否使用平均像素作为降采样像素的数据。
233.注意，是否使用参考图像的原始像素或平均像素作为降采样像素作为相邻像素不是根据预测模式等来选择的，预测模式等被视为单独的预测模式，并且对于原始像素和相邻像素，可以选择具有较小成本的一个。
234.《应用本技术的计算机的描述》
235.接下来，可以通过硬件或软件来执行上述编码器11和解码器51的一系列处理。当通过软件执行一系列处理时，构成软件的程序安装在通用计算机等上。
236.图13是示出安装有用于执行上述一系列处理的程序的计算机的实施方式的配置示例的框图。
237.该程序可以预先记录在作为内置在计算机中的记录介质的硬盘905或rom 903上。
238.替选地，程序可以存储(记录)在由驱动器909驱动的可移除记录介质911中。这样的可移除记录介质911可以被提供为所谓的封装软件。此处，可移除记录介质911的示例包括软盘、光盘只读存储器(cd-rom)、磁光(mo)盘、数字多功能盘(dvd)、磁盘、半导体存储器等。
239.注意，程序不仅可以从如上所述的可移除记录介质911安装在计算机上，而且还可以经由通信网络或广播网络下载到计算机并且安装在内置硬盘905上。也就是说，例如，可以经由用于数字卫星广播的人造卫星将程序从下载站点无线地发送至计算机，或者可以经由诸如局域网(lan)或因特网的网络有线地将程序发送至计算机。
240.计算机具有内置的中央处理单元(cpu)902，并且输入/输出接口910经由总线901连接至cpu 902。
241.当用户通过操作输入单元907等经由输入/输出接口910输入命令时，cpu 902相应地执行存储在只读存储器(rom)903中的程序。替选地，cpu 902将存储在硬盘905中的程序加载到随机存取存储器(ram)904中，并且执行所加载的程序。
242.因此，cpu 902执行根据上述流程图的处理或者根据上述框图的配置执行的处理。
然后，cpu 902从通信单元908输出来自输出单元906的处理结果，或者根据需要经由例如输入/输出接口910从通信单元908发送处理结果，并且还将处理结果记录在硬盘905上。
243.注意，输入单元907由键盘、鼠标、麦克风等构成。另外，输出单元906由液晶显示器(lcd)、扬声器等构成。
244.此处，在本说明书中，由计算机根据程序执行的处理不一定必须根据流程图描述的顺序以时间顺序执行。也就是说，由计算机根据程序执行的处理还包括并行或单独执行的处理(例如，并行处理或由对象执行的处理)。
245.此外，可以由一个计算机(处理器)来处理程序，或者可以由多个计算机进行分发和处理。此外，程序可以被发送至远程计算机并且被执行。
246.此外，在本说明书中，系统意指一组多个部件(设备、模块(部分)等)，并且所有部件是否在同一壳体中无关紧要。因此，容纳在分开的壳体中并且经由网络连接的多个设备和其中多个模块容纳在一个壳体中的一个装置中的任一个是系统。
247.注意，本技术的实施方式不限于上述实施方式，并且在不背离本技术的主旨的情况下可以进行各种改变。
248.例如，本技术可以被配置为其中一个功能由多个装置经由网络共享并且被联合处理的云计算。
249.此外，上述流程图中描述的每个步骤可以由一个装置执行，并且也可以由多个装置共享和执行。
250.此外，当一个步骤包括多个处理时，在一个步骤中包括的多个处理可以由一个装置执行或者由多个装置共享和执行。
251.另外，在本说明书中描述的效果仅是示例性的而非限制性的，并且可以获得其他效果。
252.附图标记列表
253.10 图像处理系统
254.11 编码器
255.21 a/d转换单元
256.22 重排缓冲器22
257.23 计算单元
258.24 正交变换单元
259.25 量化单元
260.26 可逆编码单元
261.27 累积缓冲器
262.28 逆量化单元
263.29 逆正交变换单元
264.30 计算单元
265.31a、31b 去块滤波器
266.32 帧存储器
267.33 选择单元
268.34 帧内预测单元
269.35 运动预测/补偿单元
270.36 预测图像选择单元
271.37 速率控制单元
272.41 自适应偏移滤波器
273.42 alf
274.51 解码器
275.61 累积缓冲器
276.62 可逆解码单元
277.63 逆量化单元
278.64 逆正交变换单元
279.65 计算单元
280.67 重排缓冲器
281.68 d/a转换单元
282.69 帧存储器
283.70 选择单元
284.71 帧内预测单元
285.72 运动预测/补偿单元
286.73 选择单元
287.81 自适应偏移滤波器
288.82 alf
289.110 预测图像生成单元
290.111 求平均单元
291.112 矩阵向量乘法单元
292.113 插值单元
293.120 预测图像生成单元
294.123 插值单元
295.901 总线
296.902 cpu
297.903 rom
298.904 ram
299.905 硬盘
300.906 输出单元
301.907 输入单元
302.908 通信单元
303.909 驱动器
304.910 输入/输出接口
305.911 可移除记录介质