用于视频译码的基于ResNet的环路内滤波器架构的改善的制作方法
本公开涉及视频编码和视频解码。
背景技术:
1、数字视频能力可被并入到各种各样的设备中,包括数字电视机、数字直播系统、无线广播系统、个人数字助理(pda)、膝上型计算机或台式计算机、平板计算机、电子书阅读器、数字相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电话(所谓的“智能电话”)、视频电话会议设备、视频流式传输设备等。数字视频设备实现视频译码技术,诸如在由mpeg-2、mpeg-4、itu-t h.263、itu-t h.264/mpeg-4(第10部分,高级视频译码(avc))、itu-t h.265/高效率视频译码(hevc)、itu-t h.266/多功能视频译码(vvc)定义的标准及此类标准的扩展以及诸如由开放媒体联盟开发的aomedia video1(av1)等专有视频编解码器/格式中描述的视频译码技术。通过实现此类视频译码技术,视频设备可更加高效地发送、接收、编码、解码和/或存储数字视频信息。
2、视频译码技术包括空间(图片内)预测和/或时间(图片间)预测以减少或移除在视频序列中固有的冗余。对于基于块的视频译码,视频切片(例如,视频图片或视频图片的一部分)可被划分为视频块,该视频块还可被称为译码树单元(ctu)、译码单元(cu)和/或译码节点。图片的帧内译码(i)后的切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码的。图片的帧间译码(p或b)后的切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或者相对于其他参考图片中的参考样本的时间预测。图片可称为帧,并且参考图片可称为参考帧。
技术实现思路
1、本公开描述通过引入新的骨干块(bb)设计以及统一bb使用来改善视频译码中使用的基于残差网络(resnet)的环路内滤波(ilf)架构的技术。本公开所描述的所提出技术涉及卷积nn(cnn)辅助的环路滤波,但还可适用于任何基于串接cnn的视频译码工具。所描述的技术可在高级视频编解码器的上下文中使用,诸如vvc的延伸、或下一代视频译码标准、和/或任何其他视频编解码器。
2、为了改善基于resnet的统一滤波器架构的性能,本公开描述一种另选的骨干块。例如,通过第一激活层处理块的输入数据,通过第一卷积层处理第一激活层的输出,通过第二激活层处理第一卷积层的输出;并且通过第二卷积层处理第二激活层的输出,本文所描述的新的骨干块设计可以产生译码性能相对于复杂度的更好的折衷。
3、根据本公开的示例,一种对已编码视频数据进行解码的方法包括:根据该已编码视频数据确定图片的块;将基于神经网络(nn)的滤波器应用于该块以生成已滤波的块,其中应用该基于nn的滤波器包括利用骨干块来处理该块,其中通过该骨干块处理该块包括:通过第一激活层处理该块的输入数据;通过第一卷积层处理该第一激活层的输出;通过第二激活层处理该第一卷积层的输出;通过第二卷积层处理该第二激活层的输出;以及基于该第二卷积层的输出确定该已滤波的块;基于该已滤波的块来确定该块的解码版本;以及输出该图片的包括该块的该解码版本的解码版本。
4、根据本公开的另一个示例,一种用于解码已编码视频数据的设备,该设备包括:存储器,该存储器被配置为存储视频数据;和一个或多个处理器,该一个或多个处理器在电路中实现并且被配置为:根据该已编码视频数据确定图片的块;将基于神经网络(nn)的滤波器应用于该块以生成已滤波的块,其中为了应用该基于nn的滤波器,该一个或多个处理器通过骨干块来处理该块,其中为了通过该骨干块来处理该块,该一个或多个处理器被配置为:通过第一激活层处理该块的输入数据;通过第一卷积层处理该第一激活层的输出;通过第二激活层处理该第一卷积层的输出;通过第二卷积层处理该第二激活层的输出;以及基于该第二卷积层的输出确定该已滤波的块;基于该已滤波的块来确定该块的解码版本;以及输出该图片的包括该块的该解码版本的解码版本。
5、根据本公开的另一个示例,一种计算机可读存储介质存储指令,该指令在由一个或多个处理器执行时使该一个或多个处理器:根据已编码视频数据确定图片的块;将基于神经网络(nn)的滤波器应用于该块以生成已滤波的块,其中为了应用该基于nn的滤波器,该一个或多个处理器通过骨干块来处理该块,其中为了通过该骨干块来处理该块,该一个或多个处理器被配置为:通过第一激活层处理该块的输入数据;通过第一卷积层处理该第一激活层的输出;通过第二激活层处理该第一卷积层的输出;通过第二卷积层处理该第二激活层的输出;以及基于该第二卷积层的输出确定该已滤波的块;基于该已滤波的块来确定该块的解码版本;以及输出该图片的包括该块的该解码版本的解码版本。
6、根据本公开的另一个示例,一种用于对视频数据进行编码的设备包括:存储器,该存储器被配置为存储视频数据;和一个或多个处理器,该一个或多个处理器在电路中实现并且被配置为:根据已编码视频数据确定图片的块;将基于神经网络(nn)的滤波器应用于该块以生成已滤波的块,其中为了应用该基于nn的滤波器,该一个或多个处理器通过骨干块来处理该块,其中为了通过该骨干块来处理该块,该一个或多个处理器被配置为:通过第一激活层处理该块的输入数据;通过第一卷积层处理该第一激活层的输出;通过第二激活层处理该第一卷积层的输出;通过第二卷积层处理该第二激活层的输出;以及基于该第二卷积层的输出确定该已滤波的块;基于该已滤波的块来确定该块的解码版本;以及输出包括用于确定该块的该解码版本的语法元素的已编码视频数据的位流。
7、在附图和以下描述中阐述一个或多个示例的细节。根据描述、附图以及权利要求书,其他特征、目的和优点将是显而易见的。
1.一种对已编码视频数据进行解码的方法,所述方法包括:
2.根据权利要求1的方法,其中所述第一卷积层包括1×1卷积并且所述第二卷积层包括3×3卷积。
3.根据权利要求1的方法,其中通过所述骨干块处理所述块还包括:
4.根据权利要求3的方法,其中所述第三卷积层包括1×1卷积。
5.根据权利要求1的方法,其中所述第一激活层、所述第一卷积层、所述第二激活层和所述第二卷积层包括主分支,并且通过所述骨干块处理所述块还包括用第二分支处理所述输入数据。
6.根据权利要求1的方法,其中应用所述基于nn的滤波器包括通过所述骨干块的多个实例来处理所述块。
7.根据权利要求1的方法,其中所述解码方法是作为视频编码过程的解码环路的部分来执行的。
8.一种用于对编码视频数据进行解码的设备,所述设备包括:
9.根据权利要求8的设备,其中所述第一卷积层包括1×1卷积并且所述第二卷积层包括3×3卷积。
10.根据权利要求8的设备,其中为了通过所述骨干块来处理所述块,所述一个或多个处理器还被配置为:
11.根据权利要求10的设备,其中所述第三卷积层包括1×1卷积。
12.根据权利要求8的设备,其中所述第一激活层、所述第一卷积层、所述第二激活层和所述第二卷积层包括主分支,并且其中为了通过所述骨干块来处理所述块,所述一个或多个处理器还被配置为用第二分支处理所述输入数据。
13.根据权利要求8的设备,其中为了应用所述基于nn的滤波器,所述一个或多个处理器还被配置为通过所述骨干块的多个实例来处理所述块。
14.根据权利要求8所述的设备,所述设备还包括显示器,所述显示器被配置为显示已解码视频数据。
15.根据权利要求8所述的设备,其中所述设备包括相机、计算机、移动设备、广播接收器设备或机顶盒中的一者或多者。
16.一种用于对视频数据进行编码的设备,所述设备包括:
17.根据权利要求16的设备,其中所述第一卷积层包括1×1卷积并且所述第二卷积层包括3×3卷积。
18.根据权利要求16的设备,其中为了通过所述骨干块来处理所述块,所述一个或多个处理器还被配置为:
19.根据权利要求18的设备,其中所述第三卷积层包括1×1卷积。
20.根据权利要求16的设备,其中所述第一激活层、所述第一卷积层、所述第二激活层和所述第二卷积层包括主分支,并且其中为了通过所述骨干块来处理所述块,所述一个或多个处理器还被配置为用第二分支处理所述输入数据。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com