视频编码装置、视频解码装置、视频编码方法及视频解码方法与流程

摘要: 本公开涉及一种视频编码装置、视频解码装置、视频编码方法及视频解码方法。背景技术:1、为了高效地传输或记录视频,使用生成通过对输入视频进行编码而获得的编码表达(以...
视频编码装置、视频解码装置、视频编码方法及视频解码方法与流程

本公开涉及一种视频编码装置、视频解码装置、视频编码方法及视频解码方法。

背景技术:

1、为了高效地传输或记录视频,使用生成通过对输入视频进行编码而获得的编码表达(以下称为比特流)的视频编码设备,以及对比特流进行解码以生成解码视频的视频解码设备。

2、[基于编码单元中的预测编码的视频编码]

3、视频编码系统标准的示例包括h.264/avc(高级视频编码)、h.265/hevc(高效率视频编码)以及h.266/vvc(多功能视频编码),这些标准由itu-t sg16和iso/iec/sc29进行标准化。此外,非专利文献1(npl 1)中描述的技术是近期视频编码技术的示例。

4、在这些视频编码系统中,视频数据以层级结构进行管理,并被编码和解码。层级结构例如包括:构成视频数据的图片、通过分割(划分)图片而获得的切片(或图块)、通过分割切片而获得的编码树单元(ctu)以及通过分割编码树单元而获得的编码单元(cu)。

5、待处理cu的输入图像通常在相对于待处理cu在过去被编码的,并且基于根据已解码的解码图像生成的预测图像进行预测编码。即,对通过从输入图像减去预测图像而获得的预测误差图像进行编码和解码。预测编码包括:画面内预测(帧内预测),其使用包括在与待处理cu的显示时间相同的显示时间的图片中的解码图像;以及画面间预测(帧间预测),其使用包括在与待处理cu的显示时间不同的显示时间的图片中的解码图像。

6、基于频率变换、量化和熵编码来编码预测误差图像。基于熵解码、逆量化和逆频率变换来解码预测误差图像。量化后的预测误差图像的频率变换值被称为量化值。

7、[基于神经网络的视频编码]

8、npl 2公开了一种将自动编码器、量化和熵编码相组合的新视频编码技术,其中自动编码器是神经网络之一。

9、自编码器将输入数据压缩为低维特征量向量,以便仅包含重要的特征。此后,自编码器生成通过将低维特征量向量重建为原始维度而获得的重建数据。图1是示出自编码器算法的解释图。在图1中,圆形部分称为节点,并且箭头称为边。降维为低维特征量向量的处理(前半部分)称为编码。生成重构数据的处理(后半部分)称为解码。

10、自动编码器的学习以使重构误差(输入数据与重构数据之间的差)最小化的方式进行。为了获得有意义的特征量,自动编码器被设计成对编码的结构施加约束,或者向网络的损失函数添加正则项。

11、引用文献列表

12、专利文献

13、npl 1:“增强型压缩模型9(ecm 9)的算法描述”,jvet-ad2025,itu-t sg 16 wp 3和iso/iec jtc 1/sc 29的jvet第30次会议,土耳其安塔利亚,2023年4月21日至28日

14、npl 2:j. ball’e、v. laparra和e. p. simoncelli,“端到端优化图像压缩”,作为会议论文发表于iclr 2017

15、npl 3:s. ren等人,“faster r-cnn:利用区域候选网络迈向实时目标检测”,ieee模式分析与机器智能汇刊,2016

技术实现思路

1、技术问题

2、当针对机器处理任务对基于上述编码单元中预测编码的视频编码、基于神经网络的视频编码或其组合(以下称为“内部视频编码”)进行优化时,必须确保视频解码侧(例如,视频解码器)的输出视频的质量。机器处理任务例如是面向机器的视频编码(vcm),其用于机器识别。

3、例如,在视频编码侧(例如,视频编码装置),作为针对机器处理任务的优化,将输入到内部视频编码的视频分类为机器处理任务的感兴趣区域(roi)和非感兴趣区域。此外,通过以与其重要性相对应的倍率(magnification)来缩小感兴趣区域,可以高效地仅表示机器处理任务所需的视频信息。以下,将分类过程和缩小过程统称为预处理。

4、在上述针对机器处理任务的优化中,当多个感兴趣区域之间存在重叠且它们各自的缩小率不同时,就会出现问题,因为可能无法使视频解码侧的输出视频与原始视频相同。这是因为,尽管视频编码侧的缩小区域在视频解码侧被扩展至原始大小,但视频解码侧缺乏关于应将哪些感兴趣区域的信息(具体而言,是缩小率)应用于重叠区域的信息。此外,例如,当视频解码器使用被缩小得较多的感兴趣区域来恢复重叠区域时,与使用未被缩小那么多的感兴趣区域时相比,视频质量将会下降。

5、综上所述,视频解码侧无法再现与原始视频相同的视频,且视频解码侧的输出视频的质量下降。即,存在无法保证视频解码侧输出视频的质量的问题。

6、本发明的目的是提供一种视频编码装置、视频解码装置、视频编码方法和视频解码方法,其能够确保视频解码侧的输出视频的质量。

7、问题解决方案

8、基于本公开的视频编码装置是一种用于减少视频中感兴趣区域信息量的视频编码装置,并且包括用于控制多个感兴趣区域的处理顺序的控制装置。

9、基于本公开的视频解码装置是一种用于减少视频中感兴趣区域信息量的视频解码装置,并且包括用于控制多个感兴趣区域的处理顺序的控制装置。

10、基于本公开的视频编码方法是一种用于减少视频中感兴趣区域信息量的视频编码方法,并且控制多个感兴趣区域的处理顺序。

11、基于本公开的视频解码方法是一种用于减少视频中感兴趣区域信息量的视频解码方法,并且控制多个感兴趣区域的处理顺序。

12、基于本公开的视频编码程序是一种用于减少视频中感兴趣区域信息量的视频编码程序,并且使计算机执行控制多个感兴趣区域的处理顺序。

13、基于本公开的视频解码程序是一种用于减少视频中感兴趣区域信息量的视频解码程序,并且使计算机执行控制多个感兴趣区域的处理顺序。

14、发明的有益效果

15、根据本发明,能够确保视频解码侧的输出视频的质量。

1.一种用于减少视频中感兴趣区域的信息量的视频编码装置,包括,

2.根据权利要求1所述的视频编码装置,其中,

3.根据权利要求1所述的视频编码装置,其中,

4.一种用于减少视频中感兴趣区域的信息量的视频解码装置,包括,

5.根据权利要求4所述的视频解码装置,其中,

6.根据权利要求5所述的视频解码装置,其中,

7.一种用于减少视频中感兴趣区域的信息量的视频编码方法,包括,

8.一种用于减少视频中感兴趣区域的信息量的视频解码方法,包括,

9.一种用于减少视频中感兴趣区域的信息量的视频编码程序,使计算机执行控制多个感兴趣区域的处理顺序。

10.一种用于减少视频中感兴趣区域的信息量的视频解码程序,使计算机执行控制多个感兴趣区域的处理顺序。

11.一种记录介质,用于记录由视频编码装置生成的比特流,所述视频编码装置减少视频中感兴趣区域的信息量,并且包括用于控制多个感兴趣区域的处理顺序的控制装置。