扩展长期参考图片保留的显式信令的制作方法

扩展长期参考图片保留的显式信令
1.相关申请的交叉引用
2.本技术要求2019年1月28日提交的、题为“explicit signaling of extended long term reference picture retention”的美国临时专利申请第62/797,806号的优先权，该申请通过引用全部并入本文。
技术领域
3.本发明总体涉及视频压缩领域。具体而言，本发明涉及扩展长期参考图片保留的显式信令。


背景技术：

4.视频编解码器可以包括压缩或解压缩数字视频的电子电路或软件。其可以将未压缩的视频转换为压缩格式，反之亦然。在进行视频压缩时，压缩视频(和/或执行其某些功能)的装置通常可以称为编码器，解压缩视频(和/或执行其某些功能)的装置可以称为解码器。
5.压缩数据的格式可以符合标准视频压缩规范。压缩可能是有损的，因为压缩视频缺少原始视频中存在的一些信息。其结果可能包括解压缩视频的质量可能比原始未压缩视频低，因为没有足够的信息来准确地重建原始视频。
6.视频质量、用于表示视频的数据量(例如，由比特率决定)、编码和解码算法的复杂性、对数据丢失和错误的敏感性、编辑的容易性、随机访问、端到端延迟(例如，等待时间)等之间可能存在复杂的关系。
7.运动补偿可以包括在给定参考帧(例如先前和/或未来帧)的情况下通过考虑相机和/或视频中的对象的运动来预测视频帧或其一部分的方法。其可以用于进行视频压缩的视频数据的编码和解码，例如用于运动图片专家组(mpeg)
‑
2(也称为高级视频编码(avc)和h.264)标准的编码和解码中。运动补偿可以根据参考图片到当前图片的变换来描述图片。当与当前图片比较时，参考图片在时间上可以是先前的，也可以是来自未来的，或者可以包括长期参考(ltr)帧。当可以从先前传输和/或存储的图像中准确地合成图像时，可以提高压缩效率。
8.长期参考(ltr)帧已用于视频编码标准，如mpeg
‑
2、h.264(也称为avc或mpeg
‑
4第10部分)和h.265(也称为高效视频编码(hevc))。在视频比特流中标记为ltr帧的帧可用作参考，直到其被比特流信令明确移除。ltr帧提高了具有长时间的静态背景(例如，视频会议或停车场监控视频中的背景)的场景中的预测和压缩效率。然而，随着时间的推移，场景的背景会逐渐变化(例如，当汽车停在空地时，会成为背景场景的一部分)。因此，更新ltr帧以允许更好地预测来提高压缩性能。
9.当前的标准，例如h.264和h.265，允许通过发信号通知保存新解码的帧并使其可用作参考帧来更新ltr帧。这种更新由编码器发信号通知，并且整个帧被更新。但是更新整个帧的成本可能很高。并且当更新ltr帧时，会丢弃先前的ltr帧。如果与先前被丢弃的ltr
帧相关联的静态背景再次出现在视频中(例如，如在从第一场景切换到第二场景，然后回到第一场景的视频中)，则必须再次将先前的ltr帧编码在比特流中，这降低了压缩效率。


技术实现要素：

10.在一个方面，解码器包括电路，其配置为接收比特流、将多个长期参考帧存储在参考列表中、基于保留时间将长期参考帧保留在参考列表中达一定时长、以及使用保留在参考列表中的长期参考帧来解码视频的至少一部分。
11.在另一方面，一种方法包括由解码器接收比特流。该方法包括由解码器将多个长期参考帧存储在参考列表中。该方法包括由解码器基于保留时间将长期参考帧保留在参考列表中达一定时长。该方法包括由解码器使用保留在参考列表中的长期参考帧来解码视频的至少一部分。
12.本文描述的主题的一个或多个变型的细节在附图和下面的描述中进行了阐述。根据说明书和附图以及权利要求，本文描述的主题的其他特征和优点将是显而易见的。
附图说明
13.为了说明本发明，附图示出了本发明的一个或多个实施例的方面。然而，应当理解，本发明不限于附图中所示的精确布置和工具，其中：
14.图1示出了用于在一段长时间的帧预测的示例参考列表；
15.图2是示出扩展长期参考(eltr)帧保留的示例过程的过程流程图，其中eltr帧被保留在参考列表中；
16.图3是示出能够利用保留在参考列表中的eltr帧解码比特流的示例解码器的系统框图；
17.图4是示出了根据当前主题的一些方面的利用保留在参考列表中的eltr帧编码视频的示例过程的过程流程图，与一些现有方法相比，该过程能够提高压缩效率；
18.图5是示出能够发信号表示参考列表中的eltr保留的示例视频编码器的系统框图；以及
19.图6是可用于实现本文公开的任何一种或多种方法及其任何一个或多个部分的计算系统的框图。
20.附图不一定是按比例绘制的，可能用虚线、示意图和局部视图来示出。在某些情况下，可能已经省略了对于理解实施例不必要的细节或者使得其他细节难以察觉的细节。不同附图中相同的附图标记表示相同的元素。
具体实施方式
21.在帧的某些部分被遮挡且然后随着时间被重复揭开的情况下，长期参考图片(ltr)可以用于更好地预测视频帧。传统上，在一个场景或一组图片的持续时间内使用ltr，之后便将其替换或丢弃。当前主题的一些实施方式通过选择最佳候选ltr保留在参考列表中来扩展ltr使用的效用。在一些实施方式中，明确用信号通知的扩展长期参考(eltr)帧可以在明确用信号通知的时长内保留在参考列表中。与一些现有方法相比，当前主题的一些实施方式可以提供显著的压缩效率增益。
22.当前主题的一些实施方式可以在视频编码中实现对eltr帧的选择和保留。eltr可能保留在图片参考列表中，该列表可能被当前帧或帧组用于预测。虽然列表中的所有其他帧在相对较短的时期内会发生变化，但eltr可以保留在参考列表中。例如，图1示出了用于长时间帧预测的示例参考列表。作为非限制性的说明性示例，被示为阴影的视频帧可以使用参考帧来重建。参考列表可能包含随时间变化的帧和保留的eltr。
23.在一些实施方式中，仍然参考图1，编码器进行eltr选择和保留计算的操作。所选择的帧和保留时间可能用信号通知解码器，例如，使用指示eltr的索引(eltrn)和帧n的保留时间(trn)的对(eltrn，trn)。解码器可能将帧eltrn保留在参考列表中达一段时间trn。在eltrn帧在参考列表中至少驻留了trn之后，eltrn帧可能会被标记为不可供进一步使用。在一些实施方式中，eltrn帧可能保持在存储器中，但是处于不可用状态。在一些实施方式中，编码器可能明确地向解码器发信号，以将eltrn帧标记为可用或不可用。例如，在保留时间trn过去之后，先前被标记为不可用的eltrn帧可能被标记为可用。这种特性可能会使eltrn在未来能够再次使用，例如用于包含来回切换场景的视频。在一些实施方式中，编码器可能在比特流中包括信号，以供解码器从存储器中移除eltrn帧。解码器可能基于这样的信号从参考列表和存储器中移除eltrn帧。
24.图2是示出eltr帧保留的过程200的非限制性示例的过程流程图，其中eltr帧被保留在参考列表中。与一些现有的视频编码和解码方法相比，这种eltr保留可以提高压缩效率。
25.在步骤210，仍然参考图2，解码器接收比特流。比特流可能包括例如在利用数据压缩时作为解码器的输入的比特流中发现的数据。比特流可能包括解码视频所需的信息。该接收操作可能包括从比特流中提取和/或解析一个块和相关联的信令信息。在一些实施方式中，接收比特流可能包括解析eltr帧、这些帧的索引(eltrn)和相关联的保留时间(trn)，其中保留时间基于解码的帧和/或视频内的时间。
26.继续参考图2，在步骤220，可以将eltr帧存储在参考图片列表中。
27.在步骤230，仍然参考图2，可以基于相关联的保留时间(trn)将存储的eltr帧在参考列表中保留(例如，保持)达一定时长。
28.在步骤240，仍然参考图2，可能从比特流中解码视频的至少一部分。该解码操作可能包括解码当前块。例如，所接收的包含在比特流中的当前编码块可能例如通过使用帧间预测来解码。经由帧间预测的解码可能包括使用先前帧、未来帧和/或eltr帧作为计算预测的参考，该预测可以与比特流中包含的残差相结合。
29.进一步参考图2，对于后续的当前块，eltr帧可能用作帧间预测的参考帧。例如，可能接收第二编码块。可能确定是否为第二编码块启用帧间预测模式；该确定操作可能包括从比特流接收指示帧间预测模式是否被启用的显式信号。可能使用eltr帧作为参考帧并根据帧间预测模式来确定第二解码块。例如，经由帧间预测的解码操作可能包括使用eltr帧作为计算预测的参考，该预测可以与比特流中包含的残差相结合。
30.图3是示出解码器300的非限制性示例的系统框图，解码器300能够利用保留在参考列表中的eltr帧来解码比特流370。解码器300可能包括熵解码器处理器310、逆量化和逆变换处理器320、解块滤波器330、帧缓冲器340、运动补偿处理器350和帧内预测处理器360。在一些实施方式中，比特流370可能包括表示eltr索引(eltrn)和保留时间(trn)的参数(例
如，比特流标头中的字段)。运动补偿处理器350可能使用eltr帧来重建像素信息，并且根据其相关联的保留时间(trn)来保留eltr帧。例如，当接收到eltr帧(eltrn)并将其保留在参考列表中至少一个相关联的保留时间时，至少在该相关联的参考时间期间，可能将eltr帧(eltrn)用作帧间预测模式的参考。
31.在操作中，仍然参考图3，比特流370可能由解码器300接收并输入到熵解码器处理器310，熵解码器处理器310可能将比特流熵解码成量化系数。量化系数可能被提供给逆量化和逆变换处理器320，逆量化和逆变换处理器320可能执行逆量化和逆变换以创建残差信号，残差信号可能根据处理模式被添加到运动补偿处理器350或帧内预测处理器360的输出。运动补偿处理器350和帧内预测处理器360的输出可能包括基于先前解码块和/或参考列表中保持的eltr帧的块预测。预测和残差之和可能由解块滤波器630处理，并存储在帧缓冲器640中。
32.图4是示出根据当前主题的一些方面的利用保留在参考列表中的eltr帧，对视频进行编码的过程400的非限制性示例的过程流程图，与一些现有方法相比，该过程可以提高压缩效率。在步骤410，可能对视频帧序列进行编码，包括确定一个或多个eltr帧。在步骤420，可能例如基于eltr帧被编码器/解码器利用的时长来确定eltr帧保留时间(trn)，其中，例如，时间是基于视频中被解码的帧。
33.在步骤430，仍然参考图4，可能确定附加的信令参数。例如，可能确定是否以及何时将eltr帧标记为不可用或可用，并且可能确定是否以及何时应该从存储器中移除每个eltr帧。
34.在步骤440，仍然参考图4，可能将eltr保留时间和附加信令参数包括在比特流中。
35.图5是示出视频编码器500的非限制性示例的系统框图，该视频编码器500能够发信号通知参考列表中的eltr保留。示例视频编码器500接收输入视频505，输入视频505可能根据处理方案(例如树结构宏块划分方案(例如四叉树加二叉树))被初始分割或划分。树结构宏块划分方案的示例可能包括将图片帧划分成大块元素的划分方案，为了本公开的目的，大块元素可以称为编码树单元(ctu)。在一些实施方式中，每个ctu可能进一步被一次或多次划分成多个称为编码单元(cu)的子块。这种划分的结果可能包括一组子块，出于本公开的目的，可将这些子块称为预测单元(pu)。也可能使用变换单元(tu)。
36.仍然参考图5，示例视频编码器500可能包括帧内预测处理器515、能够支持eltr帧保留的运动估计/补偿处理器520(也称为帧间预测处理器)、变换/量化处理器525、逆量化/逆变换处理器530、环内滤波器535、解码图片缓冲器540和熵编码处理器545。在一些实施方式中，运动估计/补偿处理器520可能确定eltr保留时间和附加信令参数。可能将表示eltr帧保留的比特流参数和附加参数输入到熵编码处理器545，以包括在输出比特流550中。
37.在操作中，并且继续参考图5，对于输入视频505的帧的每个块，可能确定是经由图片内预测还是使用运动估计/补偿来处理该块。可能将块提供给帧内预测处理器510或运动估计/补偿处理器520。如果要通过帧内预测来处理块，则帧内预测处理器510可能执行处理来输出预测值。如果要通过运动估计/补偿来处理块，则运动估计/补偿处理器520可能执行处理，包括使用eltr帧作为帧间预测的参考(如果适用的话)。
38.继续参考图5，可能通过从输入视频中减去预测值来形成残差。残差可能由变换/量化处理器525接收，变换/量化处理器525可能执行变换处理(例如，离散余弦变换(dct))
以产生可以量化的系数。量化的系数和任何相关联的信令信息可能提供给熵编码处理器545，用于熵编码并包含在输出比特流550中。熵编码处理器545可能支持与eltr帧保留相关的信令信息的编码。此外，可能将量化的系数提供给逆量化/逆变换处理器530，该处理器可以再现像素，这些像素可能与预测值组合并由环内滤波器535处理，环内滤波器535的输出可能存储在解码图片缓冲器540中以供能够支持eltr帧保留的运动估计/补偿处理器520使用。
39.仍然参考图5，尽管上文已经详细描述了一些变型，但是其他修改或添加也是可能的。例如，在一些实施方式中，当前块可能包括任何对称块(8
×
8、16
×
16、32
×
32、64
×
64、128
×
128等)以及任何非对称块(8
×
4、16
×
8等)。
40.在一些实施方式中，并且继续参考图5，可能实现四叉树加二叉决策树(qtbt)。在qtbt中，在编码树单元级别，qtbt的划分参数可能动态地导出，以适应本地特性，而不传输任何开销。随后，在编码单元级别，联合分类器决策树结构可能消除不必要的迭代并控制错误预测的风险。
41.在一些实施方式中，解码器可能包括eltr帧保留处理器(未示出)，其确定是否以及何时将eltr帧标记为不可用或者从参考列表中移除。
42.在一些实施方式中，当前主题可以应用于广播(和类似的)场景，在该场景中，在保留期的中间，解码器调入(turn in)。为了支持标准回放，编码器可能将(e)ltr帧标记为瞬时解码刷新(idr)类型的帧。在这种情况下，流传输可能会在下一个可用的ltr(idr)帧之后恢复。这种方法可能类似于一些当前的广播标准，这些标准将帧间帧指定为idr帧。
43.本文描述的主题提供了许多技术优势。例如，当前主题的一些实施方式可以提供使用保留在参考列表中的eltr帧来解码块。这种方法可以提高压缩效率。
44.应当注意，本文描述的任何一个或多个方面和实施例可能方便地使用数字电子电路、集成电路、专门设计的专用集成电路(asic)、现场可编程门阵列(fpga)计算机硬件、固件、软件和/或其组合来实施，如在一个或多个机器(例如，作为用于电子文档的用户计算装置的一个或多个计算装置、诸如文档服务器的一个或多个服务器装置等)中实现和/或实施的。这些不同的方面或特征可能包括在可编程系统上可执行和/或可解释的一个或多个计算机程序和/或软件中的实施方式，该可编程系统包括至少一个可编程处理器，该可编程处理器可能是专用或通用的，被耦合以从存储系统、至少一个输入装置和至少一个输出装置接收数据和指令，以及向存储系统、至少一个输入装置和至少一个输出装置发送数据和指令。对于软件领域的普通技术人员来说显而易见的是，熟练的程序员可以基于本公开的教导容易地准备适当的软件编码。上文讨论的采用软件和/或软件模块的方面和实施方式也可能包括适当硬件，用于帮助实施软件和/或软件模块的机器可执行指令。
45.这种软件可能是采用机器可读存储介质的计算机程序产品。机器可读存储介质可能是能够存储和/或编码由机器(例如，计算装置)执行的指令序列并且使得机器执行本文描述的任何一种方法和/或实施例的任何介质。机器可读存储介质的示例包括但不限于磁盘、光盘(例如，cd、cd
‑
r、dvd、dvd
‑
r等)、磁光盘，只读存储器“rom”装置、随机存取存储器“ram”装置、磁卡、光卡、固态存储装置、eprom、eeprom、可编程逻辑装置(pld)和/或其任何组合。本文使用的机器可读介质旨在包括单个介质以及物理上分离的介质的集合，例如光盘的集合或者与计算机存储器结合的一个或多个硬盘驱动器。如在本文所使用的，机器可
读存储介质不包括信号传输的暂时形式。
46.这种软件还可能包括在数据载体(例如载波)上作为数据信号承载的信息(例如数据)。例如，机器可执行信息可能被包括为包含在数据载体中的数据承载信号，其中该信号对由机器(例如，计算装置)执行的指令序列或其部分进行编码，以及对致使机器执行本文描述的方法和/或实施例中的任何一个的任何相关信息(例如，数据结构和数据)进行编码。
47.计算装置的示例包括但不限于电子书阅读设备、计算机工作站、终端计算机、服务器计算机、手持装置(例如，平板计算机、智能手机等)、网络设备、网络路由器、网络交换机、网桥，能够执行指定该机器要采取的动作的指令序列的任何机器，以及其任何组合。在一个示例中，计算装置可能包括和/或被包括在信息亭中。
48.图6示出了计算机系统600的示例性形式的计算装置的一个实施例的图示，在计算机系统600内可能执行用于使控制系统执行本公开的任何一个或多个方面和/或方法的指令集。还可以设想，可能利用多个计算装置来实施专门配置的指令集，用于使一个或多个装置执行本公开的任何一个或多个方面和/或方法。计算机系统600包括处理器604和存储器608，处理器604和存储器608经由总线612彼此通信，并且与其他组件通信。总线612可能包括数种类型的总线结构中的任何一种，包括但不限于使用各种总线体系结构中的任何一种的存储器总线、存储器控制器、外围总线、本地总线及其任何组合。
49.存储器608可能包括各种组件(例如，机器可读介质)，包括但不限于随机存取存储器组件、只读组件及其任何组合。在一个示例中，基本输入/输出系统616(bios)可能存储在存储器608中，基本输入/输出系统616(bios)包括诸如在启动期间帮助在计算机系统600内的元件之间传送信息的基本例程。存储器608还可能包括(例如，存储在一个或多个机器可读介质上)指令(例如，软件)620，指令620包含本公开的任何一个或多个方面和/或方法。在另一示例中，存储器608可能进一步包括任意数量的程序模块，包括但不限于操作系统、一个或多个应用程序、其他程序模块、程序数据及其任何组合。
50.计算机系统600还可能包括存储装置624。存储装置(例如，存储装置624)的示例包括但不限于硬盘驱动器、磁盘驱动器、与光学介质结合的光盘驱动器、固态存储装置及其任何组合。存储装置624可能通过适当的接口(未示出)连接到总线612。示例接口包括但不限于scsi、高级技术附件(ata)、串行ata、通用串行总线(usb)、ieee 1394(火线)及其任何组合。在一个示例中，存储装置624(或其一个或多个组件)可能可移除地与计算机系统600接口连接(例如，经由外部端口连接器(未示出))。特别地，存储装置624和相关联的机器可读介质628可能为计算机系统600提供机器可读指令、数据结构、程序模块和/或其他数据的非易失性和/或易失性存储。在一个示例中，软件620可能完全或部分地驻留在机器可读介质628中。在另一个示例中，软件620可能完全或部分驻留在处理器604中。
51.计算机系统600还可能包括输入装置632。在一个示例中，计算机系统600的用户可能经由输入装置632向计算机系统600输入命令和/或其他信息。输入装置632的示例包括但不限于字母数字输入装置(例如，键盘)、定点装置、操纵杆、游戏手柄、音频输入装置(例如，麦克风、语音响应系统等)、光标控制装置(例如，鼠标)、触摸板、光学扫描仪、视频捕获装置(例如，静态相机、视频相机)、触摸屏，及其任何组合。输入装置632可能经由多种接口(未示出)中的任何一种接口连接到总线612，包括但不限于串行接口、并行接口、游戏端口、usb接口、火线接口、到总线612的直接接口及其任何组合。输入装置632可能包括触摸屏界面，该
界面可能是显示器636的一部分或者与显示器636分离，这将在下文进一步讨论。输入装置632可能用作用户选择装置，用于在如上所述的图形界面中选择一个或多个图形表示。
52.用户还可能通过存储装置624(例如，可移动磁盘驱动器、闪存驱动器等)和/或网络接口装置640向计算机系统600输入命令和/或其他信息。诸如网络接口装置640之类的网络接口装置可能用于将计算机系统600连接到诸如网络644之类的各种网络中的一个或多个，以及连接到其上的一个或多个远程装置648。网络接口装置的示例包括但不限于网络接口卡(例如，移动网络接口卡、lan卡)、调制解调器及其任何组合。网络的示例包括但不限于广域网(例如，互联网、企业网络)、局域网(例如，与办公室、建筑物、校园或其他相对较小的地理空间相关联的网络)、电话网络、与电话/语音提供商相关联的数据网络(例如，移动通信提供商数据和/或语音网络)、两个计算装置之间的直接连接及其任何组合。诸如网络644的网络可能采用有线和/或无线通信模式。通常，可能使用任何网络拓扑。信息(例如，数据、软件620等)可能经由网络接口装置640传送到计算机系统600和/或从计算机系统600传送。
53.计算机系统600还可能包括视频显示适配器652，用于将可显示的图片传送到显示装置，例如显示装置636。显示装置的示例包括但不限于液晶显示器(lcd)、阴极射线管(crt)、等离子显示器、发光二极管(led)显示器及其任何组合。显示适配器652和显示装置636可能与处理器604结合使用，以提供本公开多个方面的图形表示。除了显示装置之外，计算机系统600可能包括一个或多个其他外围输出装置，包括但不限于音频扬声器、打印机及其任何组合。这些外围输出装置可能通过外围接口656连接到总线612。外围接口的示例包括但不限于串行端口、usb连接、火线连接、并行连接及其任何组合。
54.前文已经详细描述了本发明的说明性实施例。在不脱离本发明的精神和范围的情况下，可以进行各种修改和添加。为了在相关联的新实施例中提供多种特征组合，上述各个实施例的特征可能适当地与其他描述的实施例的特征组合。此外，虽然前文描述了许多单独的实施例，本文所描述的仅仅是本发明原理应用的说明。此外，尽管本文的特定方法可能示出和/或描述为以特定顺序执行，但是在普通技术领域内，该顺序是高度可变的，以实现本文公开的实施例。因此，该描述仅意味着作为示例，而不是限制本发明的范围。
55.在上文的描述和权利要求中，诸如“至少一个”或“一个或多个”的短语可能出现在元素或特征的连接列表之后。术语“和/或”也可能出现在两个或多个元素或特征的列表中。除非与使用它的上下文隐含地或明确地矛盾，否则这样的短语意在表示单独列出的任何元素或特征，或者任何列举的元素或特征与任何其他列举的元素或特征的组合。例如，短语“a和b中的至少一个；”“a和b中的一个或多个；”并且“a和/或b”各自意在表示“a单独、b单独、或者a和b一起。”类似的解释也适用于包含三个或更多项目的列表。例如，短语“a、b和c中的至少一个；”“a、b、c中的一个或多个”；和“a、b和/或c”各自意在表示“a单独、b单独、c单独、a和b一起、a和c一起、b和c一起、或者a和b和c一起”。此外，上面和权利要求中使用术语“基于”意在表示“至少部分基于”，使得未引用的特征或元素也是允许的。
56.根据期望的配置，本文描述的主题可能体现在系统、装置、方法和/或物品中。前述描述中阐述的实施方式不代表与本文描述的主题一致的所有实施方式。相反，它们仅仅是与所描述的主题相关的方面一致的一些示例。尽管上文已经详细描述了一些变型，但是其他修改或添加也是可能的。特别地，除了本文阐述的特征和/或变型之外，还可以提供进一步的特征和/或变型。例如，上述实施方式可以针对所公开特征的各种组合和子组合和/或
以上公开的几个进一步特征的组合和子组合。此外，附图中描绘的和/或本文描述的逻辑流不一定需要所示的特定次序或顺序来实现期望的结果。其他实施方式也可能落入所附权利要求的范围内。