用于帧上下文初始化的改进的瓦片平均和帧平均的制作方法

摘要: 所公开的实施例大体上涉及视频编解码,尤其涉及但不限于用于熵编码和概率模型的系统和方法。背景技术:1、数字视频得到多种电子设备的支持,这些电子设备是诸如数字电视、...
用于帧上下文初始化的改进的瓦片平均和帧平均的制作方法

所公开的实施例大体上涉及视频编解码,尤其涉及但不限于用于熵编码和概率模型的系统和方法。

背景技术:

1、数字视频得到多种电子设备的支持,这些电子设备是诸如数字电视、笔记本电脑或台式电脑、平板电脑、数码相机、数字录制设备、数字媒体播放器、视频游戏机、智能手机、视频电话会议设备、视频流设备等。这些电子设备通过通信网络发送和接收或以其他方式传送数字视频数据,和/或将数字视频数据存储在存储设备上。由于通信网络的带宽容量有限,且存储设备的存储资源有限,因此可以采用视频编码,根据至少一种视频编码标准对视频数据进行压缩,然后再进行传送或存储。视频编码可以由电子设备/客户端设备上的或提供云服务的服务器上的硬件和/或软件执行。

2、视频编码通常采用预测方法(例如,帧间预测、帧内预测等),这些预测方法利用视频数据中固有的冗余。视频编码旨在将视频数据压缩为使用较低码率的形式,同时避免或最大程度地减少视频质量降低。现已开发出多种视频编解码标准。例如,高效视频编码(hevc/h.265)是一种作为mpeg-h项目的一部分而设计的视频压缩标准。itu-t和iso/iec于2013年(第1版)、2014年(第2版)、2015年(第3版)和2016年(第4版)发布了hevc/h.265标准。多功能视频编码(vvc/h.266)是一种旨在作为hevc的后继标准的视频压缩标准。itu-t和iso/iec于2020年(第1版)和2022年(第2版)发布了vvc/h.266标准。aomedia video 1(av1)是一种开放视频编码格式,被设计为hevc的替代方案。在2019年1月8日,发布了规范1.0.0验证版并附带勘误1。

技术实现思路

1、本发明描述了一组用于视频(图像)压缩的方法,包括用于在对视频码流的数据进行熵编码和解码时切换概率模型的方法。概率模型可以表征为用于算术编码的累积分布函数(cumulative density function,cdf)。概率模型可以基于已编码信息来初始化,使得熵编码的概率比采用默认初始化值的概率模型更准确。在一个示例中,来自多个参考帧的相应概率模型的加权平均可以用作当前帧的至少一个上下文的初始化值。使用来自参考帧的上下文的加权平均来初始化当前帧上下文,可以减少信令开销(例如,由于熵编码的效率提高)并提高编码精度(例如,更准确的上下文可以提供更好的预测)。在一个示例中,当参考帧缓冲区中存在多个参考帧,且主参考帧不等于推导出的参考帧时,可以选择主参考帧和推导出的主参考帧以生成帧概率模型的加权平均。使用多个参考帧的加权平均或单个参考选择性地初始化当前帧,能提高编码精度并减少信令开销。另外,与始终使用多个参考帧和/或始终使用基于瓦片的平均相比,使用多个参考帧的加权平均或单个参考帧中的多个瓦片的加权平均来选择性地初始化当前帧可以提高编码精度和效率。

2、根据一些实施例,一种视频解码方法包括:(i)接收包括多个帧的视频码流(例如,已编码视频序列);(ii)从一组参考帧中为多个帧中的当前帧选择主参考帧;(iii)当主参考帧的瓦片数量小于阈值时:(a)从一组参考帧中选择次参考帧;(b)获得主参考帧和次参考帧的相应上下文;以及(c)通过对相应上下文执行加权平均,初始化当前帧的当前帧上下文;(iv)当主参考帧的瓦片数量大于阈值时,在不使用次参考帧的情况下初始化当前帧的当前帧上下文;(v)使用当前帧上下文,对当前帧的至少一个语法元素进行熵解码;以及(vi)使用至少一个语法元素的信息,重建当前帧。

3、根据一些实施例,一种视频解码方法包括:(i)接收包括多个帧的视频码流;(ii)从一组参考帧中为当前帧选择主参考帧;(iii)对于多个帧中的当前帧的多个瓦片中的每个瓦片:(a)当主参考帧的瓦片数量大于阈值时,确定是应用瓦片平均还是帧平均来初始化瓦片的上下文;(b)当使用帧平均来初始化瓦片的上下文时:(1)从一组参考帧中选择次参考帧;(2)获得主参考帧和次参考帧的相应上下文;以及(3)通过对主参考帧和次参考帧的相应上下文执行加权平均,初始化当前帧的上下文;(c)当使用瓦片平均来初始化瓦片的上下文时:(i)从主参考帧中选择两个或更多个瓦片;(ii)获得两个或更多个瓦片的相应上下文;以及(iii)通过对两个或更多个瓦片的相应上下文执行加权平均,初始化当前帧的上下文;(iv)使用上下文,对瓦片的至少一个语法元素进行熵解码;以及(v)使用至少一个语法元素的信息,重建瓦片。

4、根据一些实施例,一种视频编码方法包括:(i)接收包括多个帧的视频数据(例如,源视频序列);(ii)从一组参考帧中为多个帧中的当前帧选择主参考帧;(iii)当主参考帧的瓦片数量小于阈值时:(a)从一组参考帧中选择次参考帧;(b)获得主参考帧和次参考帧的相应上下文;以及(c)通过对相应上下文执行加权平均,初始化当前帧的当前帧上下文;(iv)当主参考帧的瓦片数量大于阈值时,在不使用次参考帧的情况下初始化当前帧的当前帧上下文;以及(v)使用当前帧上下文,对当前帧的至少一个参数进行熵编码。

5、根据一些实施例,一种处理视觉媒体数据的方法包括:(i)获得包括多个帧的源视频序列;以及(ii)根据格式规则,在源视频序列与视觉媒体数据的视频码流之间执行转换,其中视频码流包括多个已编码帧;并且其中格式规则规定:(a)要从一组参考帧中为多个帧中的当前帧选择主参考帧;(b)当主参考帧的瓦片数量小于阈值时:(1)要从一组参考帧中选择次参考帧;(2)要获得主参考帧和次参考帧的相应上下文;以及(3)要通过对相应上下文执行加权平均来初始化当前帧的当前帧上下文;(c)当主参考帧的瓦片数量大于阈值时,要在不使用次参考帧的情况下初始化当前帧的当前帧上下文;(d)要使用当前帧上下文来对当前帧的至少一个语法元素进行熵解码;以及(e)要使用至少一个语法元素的信息来重建当前帧。

6、根据一些实施例,提供了一种计算系统,诸如流媒体系统、服务器系统、个人电脑系统或其他电子设备。计算系统包括控制电路和存储器,存储器存储至少一个指令集。至少一个指令集包括用于执行本申请中所描述的任何方法的指令。在一些实施例中,计算系统包括编码器组件和解码器组件(例如,转码器)。

7、根据一些实施例,提供了一种非暂时性计算机可读存储介质。非暂时性计算机可读存储介质存储供计算系统执行的至少一个指令集。至少一个指令集包括用于执行本申请中所描述的任何方法的指令。

8、因此,公开了利用视频编码和解码方法的设备和系统。此类方法、设备和系统可以补充或替代用于视频编码/解码的常规方法、设备和系统。本说明书中所描述的特征和优点不一定涵盖所有方面,具体来说,鉴于本发明提供的附图、说明书和权利要求书,一些附加的特征和优点对于本领域普通技术人员而言将会更加明显。此外,应当注意,本说明书中使用的措辞主要是出于可读性和指导目的而选择的,并不一定是为了界定或限制本申请中所描述的主题而选择的。

1.一种在计算系统处执行的视频解码方法,所述计算系统具有存储器和至少一个处理器,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述瓦片数量的阈值为2。

3.根据权利要求1所述的方法,其特征在于,进一步包括:解析来自hls的语法元素,以确定是否针对所述当前帧启用多个参考帧的加权平均,其中当所述语法元素指示针对所述当前帧启用多个参考帧的加权平均时,通过对所述相应上下文执行所述加权平均,初始化所述当前帧的所述当前帧上下文。

4.根据权利要求3所述的方法,其特征在于,所述语法元素指示是使用零个参考帧、一个参考帧还是多个参考帧来初始化所述当前帧的所述当前帧上下文。

5.根据权利要求1所述的方法,其特征在于,在不使用所述次参考帧的情况下初始化所述当前帧的所述当前帧上下文包括:通过对默认值和所述主参考帧的瓦片的相应上下文执行加权平均,初始化所述当前帧上下文。

6.根据权利要求1所述的方法,其特征在于,在不使用所述次参考帧的情况下初始化所述当前帧的所述当前帧上下文包括:通过对来自所述主参考帧的多个瓦片的相应上下文执行加权平均,初始化所述当前帧上下文。

7.根据权利要求6所述的方法,其特征在于,来自所述主参考帧的多个瓦片的相应上下文的所述加权平均的相应权重基于所述多个瓦片的编码尺寸。

8.根据权利要求6所述的方法,其特征在于,来自所述主参考帧的多个瓦片的相应上下文的所述加权平均的相应权重是从一组预定义权重中选择的。

9.根据权利要求8所述的方法,其特征在于,来自所述主参考帧的多个瓦片的相应上下文的所述加权平均的所述相应权重是相等的。

10.根据权利要求1所述的方法,其特征在于,所述当前帧的至少一个第一瓦片具有使用所述当前帧上下文进行熵编码的参数,且其中所述当前帧的至少一个第二瓦片具有不使用所述当前帧上下文进行编码的参数。

11.一种在计算系统处执行的视频编码方法,所述计算系统具有存储器和至少一个处理器,其特征在于,所述方法包括:

12.根据权利要求11所述的方法,其特征在于,所述瓦片数量的阈值为2。

13.根据权利要求11所述的方法,其特征在于,进一步包括用信令指示hls中的语法元素,以指示是否针对所述当前帧启用多个参考帧的加权平均。

14.根据权利要求13所述的方法,其特征在于,所述语法元素指示是使用零个参考帧、一个参考帧还是多个参考帧来初始化所述当前帧的所述当前帧上下文。

15.根据权利要求11所述的方法,其特征在于,在不使用所述次参考帧的情况下初始化所述当前帧的所述当前帧上下文包括:通过对默认值和所述主参考帧的瓦片的相应上下文执行加权平均,初始化所述当前帧上下文。

16.根据权利要求11所述的方法,其特征在于,在不使用所述次参考帧的情况下初始化所述当前帧的所述当前帧上下文包括:通过对来自所述主参考帧的多个瓦片的相应上下文执行加权平均,初始化所述当前帧上下文。

17.根据权利要求16所述的方法,其特征在于,来自所述主参考帧的多个瓦片的相应上下文的所述加权平均的相应权重是相等的。

18.一种存储视频码流的非暂时性计算机可读存储介质,所述视频码流是通过视频编码方法生成的,其特征在于,所述视频编码方法包括:

19.根据权利要求18所述的计算机可读存储介质,其特征在于,所述视频码流包括所述当前帧的所述至少一个熵编码参数和编码信息。

20.根据权利要求18所述的计算机可读存储介质,其特征在于,所述视频码流包括hls中的语法元素,所述语法元素指示是否针对所述当前帧启用多个参考帧的加权平均。