低复杂性增强视频编码的制作方法

本发明涉及视频编码技术。确切地说，本发明涉及用于编码和解码视频数据的方法和系统。在特定实例中，所述方法和系统可用于生成经压缩表示以供流式传输和/或存储。

背景技术：

1、典型的相当的视频编解码器使用单层基于块的方法操作，借此使用若干编码工具处理原始信号以便产生经编码信号，所述经编码信号可接着通过相应解码过程重建。为简单起见，编码和解码算法或过程常常被称作“编解码器”；术语“编解码器”用于涵盖根据共同框架结构设计的编码和解码过程中的一个或多个。此些典型的编解码器包含(但不限于)mpeg-2、avc/h.264、hevc/h.265、vp8、vp9、av1。还存在当前由例如mpeg/iso/itu等国际标准组织以及例如开放媒体联盟(aom)等行业联合体开发的其它编解码器。

2、近年来，已经提出对单层基于块的方法的调适。举例来说，存在使用多层基于块的方法的一类编解码器。这些编解码器常常在视频编码行业内被称为“可缩放”编解码器。其通常在若干层上复制由单层基于块的方法执行的操作，其中通过对原始信号进行下取样来获得层的集合。在某些情况下，单层基于块的方法中的效率可通过重新使用来自下层的信息来编码(和解码)上层而实现。这些可缩放编解码器意图在如下意义上向操作者提供可缩放性特征：其需要保证向下缩放的经解码信号(例如，较低分辨率信号)的质量满足现有服务的质量要求，以及确保未经缩放的经解码信号(例如，较高分辨率信号)的质量与由相应单层编解码器产生的质量相当。

3、“可缩放”编解码器的实例是可缩放视频编码-svc(例如参见“h.264/avc标准的可缩放视频编码扩展(the scalable video coding extension of the h.264 / avcstandard)”，h.schwarz和m.wien，ieee信号处理杂志，2008年3月，其以引用的方式并入本文中)。svc是先进视频编码标准-avc的可缩放型式(avc也被称为h.264)。在svc中，使用相同的基于avc的单层过程处理每一可缩放层，且上层接收来自下层的信息(例如，层间预测包含残差信息和运动信息)，所述信息用于上层的编码以减少上层处的编码信息。相反，为了解码，svc解码器需要接收各种开销信息以及解码下层以便能够解码上层。

4、可缩放编解码器的另一实例是高效视频编码标准(hevc)的可缩放扩展-shvc(参见例如“shvc的概览：高效视频编码标准的可缩放扩展(overview of shvc:scalableextensions of the high efficiency video coding standard)”，j.boyce、y.ye、j.chen和a.ramasubramonian，关于视频技术的电路和系统的ieee汇刊，第26卷第1期，2016年1月，其以引用的方式并入本文中)。类似于svc，shvc也针对每一可缩放层使用相同的基于hevc的过程，但其允许下层使用avc或hevc。在shvc中，上层还在上层的编码过程中接收来自下层的信息(例如，层间处理包含运动信息和/或经上取样下层作为用于上层编码的额外参考图片)以减少上层处的编码信息。再次，类似于svc，shvc解码器需要接收各种开销信息以及解码下层以便能够解码上层。

5、svc和shvc两者可用于以不同质量水平编码多个流中的数据。举例来说，svc和shvc可用于编码例如sd(标清)和hd(高清)流或hd和uhd(超高清)流。基础流(最低质量水平下)通常经编码使得基础流的质量与基础流与任何较高层级流分开被编码为单个流的情况相同。svc和shvc两者可被认为主要是共同编码器和解码器结构的并行副本的集合，其中这些并行副本的输出分别经多路复用和解复用。

6、更详细来说，在实例svc编码内，可对uhd流(例如，一系列图像)进行下取样以生成hd流。uhd流和hd流接着各自使用avc编码器单独地编码。尽管此实例描述两层编码器(用于编码两个流：uhd流和hd流)，但svc编码器可具有

n层(其中

n>2)，其中每一层作为独立的avc编码器操作。

7、按照标准avc编码，每一svc层的avc编码器使用帧间预测(其中使用不同帧来估计当前帧的值)或帧内预测(其中使用帧内的其它块来估计所述相同帧的给定块的值)来编码每一像素块。这些像素块通常被称作“宏块”。帧间预测涉及执行运动补偿，其涉及确定先前帧的像素块和当前帧的相应像素块之间的运动。层内的帧间和帧内预测两者涉及计算所谓的“残差”。这些“残差”是给定层的数据流的像素块和使用帧间预测或帧内预测确定的相同层内的相应像素块之间的差。如此，这些“残差”是层中的当前像素块与以下任一个之间的差：1)基于帧内的并非当前像素块的一个或多个像素块(例如，通常是同一层内的相邻像素块)的当前像素块的预测；或2)基于来自层内其它帧的信息的层内的当前像素块的预测(例如，使用运动向量)。

8、在svc中，尽管实施为并行avc编码器的集合，但可通过重新使用针对较低质量流(例如hd流)获得的信息来编码较高质量流(例如uhd流)而获得一些效率。此信息的重新使用涉及被称作“层间传信”的过程。应注意，这不同于“帧间”和“帧内”预测，后者是“层内”编码方法。举例来说，在无层间传信的情况下，svc流的总带宽可表达为，其中是与单独地发送经编码hd流相关联的带宽，且是与单独地发送经编码uhd流相关联的带宽(假定不同流之间无信息共享)。然而，通过使用层间传信，相比于与hd流分开发送uhd流的情况，uhd流的带宽可减小。通常，通过使用层间传信，总带宽可减小，使得。

9、在svc中，层间传信可包括三种类型的信息中的一个：层间帧内预测(其中在针对uhd流的帧内预测中使用来自hd流的经上取样像素块)、层间残余预测(其涉及计算上取样之后针对hd流计算的残差和针对给定像素块的uhd流计算的残差之间的残差)，以及层间运动补偿(其涉及使用针对hd流确定的运动补偿参数来执行针对uhd流的运动补偿)。

10、类似于svc是avc的可缩放扩展，shvc是hevc的可缩放扩展。avc涉及将帧划分为宏块(通常大小为16×16像素)。可从帧内的其它宏块(帧内预测)或从先前帧的宏块(帧间预测)预测给定宏块。hevc的类似于宏块的结构是编码树单元(ctu)，其可大于宏块(例如，直至大小为64×64像素)，且其进一步划分成编码单元(cu)。hevc提供优于avc的一些改进，包含改进运动向量确定、运动补偿和帧内预测，这可以允许相比于avc改进数据压缩。然而，hevc的“可缩放”方面非常类似于avc的“可缩放”方面；即，两者均使用并行编码流的概念，借此可经由层间信息交换获得一些效率。举例来说，shvc还提供包含层间帧内预测、层间残余预测和层间运动补偿的层间传信。类似于svc，例如hd和uhd等不同质量水平由并行层编码且接着组合于流中以供解码。

11、尽管svc和shvc可用，但可缩放编解码器的利用一直低于预期。此情况的一个原因是这些方案的复杂性和适度带宽节省。在视频递送的领域内，许多先导产业专家认为，当前可用的解决方案不能解决二十一世纪递送视频的挑战。这些产业专家包含从销售商到传统广播电视公司以及从卫星提供商到例如社交媒体公司等过顶(over-the-top，ott)服务提供商的大范围实体。

12、一般来说，视频服务提供商需要应对复杂的生态系统。视频编解码器的选择常常基于许多各种因素，包含与其现有生态系统的最大兼容性和部署技术的成本(例如，资源和货币成本两者)。一旦作出选择，就难以在无设备和时间的形式的进一步大规模投资的情况下改变编解码器。当前，不完全替代生态系统，就难以升级生态系统。此外，有时使用例如所谓的“云”配置等分散化基础设施递送增加数目的服务的资源成本和复杂性正变成服务运营商(不论大小)面临的关键问题。这由于低资源电池供电式边缘装置(例如，所谓的物联网中的节点)的增长而复杂化。所有这些因素需要以减少资源占用的需要(例如，变得更环保)和缩放的需要(例如，增加用户和所提供服务的数目)来平衡。

13、还存在许多对比的编解码器是在大规模商用硬件不可用的时候开发的问题。如今情况不是这样。大规模数据中心提供便宜的通用数据处理硬件。这与需要定制硬件来有效地操作的传统视频编码解决方案相矛盾。

技术实现思路

1、在所附独立权利要求项中陈述本发明的各方面。接着在所附附属权利要求项中陈述本发明的某些变型。