视频译码中极低复杂度环路内滤波器的神经网络架构的制作方法
本公开涉及视频编码和视频解码。
背景技术:
1、数字视频能力可被并入到各种各样的设备中,包括数字电视机、数字直播系统、无线广播系统、个人数字助理(pda)、膝上型计算机或台式计算机、平板计算机、电子书阅读器、数字相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电话(所谓的“智能电话”)、视频电话会议设备、视频流式传输设备等。数字视频设备实现视频译码技术,诸如在由mpeg-2、mpeg-4、itu-t h.263、itu-t h.264/mpeg-4(第10部分,高级视频译码(avc))、itu-t h.265/高效率视频译码(hevc)、itu-t h.266/多功能视频译码(vvc)定义的标准及此类标准的扩展以及诸如由开放媒体联盟开发的aomedia video1(av1)等专有视频编解码器/格式中描述的视频译码技术。通过实现此类视频译码技术,视频设备可更加高效地发送、接收、编码、解码和/或存储数字视频信息。
2、视频译码技术包括空间(图片内)预测和/或时间(图片间)预测以减少或移除在视频序列中固有的冗余。对于基于块的视频译码,视频切片(例如,视频图片或视频图片的一部分)可被划分为视频块,该视频块还可被称为译码树单元(ctu)、译码单元(cu)和/或译码节点。图片的帧内译码(i)后的切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码的。图片的帧间译码(p或b)后的切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或者相对于其他参考图片中的参考样本的时间预测。图片可称为帧,并且参考图片可称为参考帧。
技术实现思路
1、本公开整体描述了用于视频译码的技术。具体地,本公开描述了可在复杂度和/或存储器需求约束下改善译码性能的方法、技术和设备。描述了示例基于卷积神经网络(cnn)的环路内滤波架构。通过改善的输入上下文特征提取和数据融合、转变以及更高率的亮度/色度网络分割,可实现极低复杂度架构的译码性能改善。虽然本文件中所描述的示例技术与cnn辅助的环路滤波相关,但此类技术适用于耗用具有某些统计性质的输入数据的任何基于cnn的视频译码工具。本公开的技术可在高级视频编解码器的上下文中使用,诸如vvc的扩展、下一代视频译码标准和/或任何其他视频编解码器。
2、在一个示例中,一种对视频数据进行译码的方法包括:接收指示图片的视频数据;重构该视频数据的块以生成重构块;以及对该重构块执行基于神经网络(nn)的滤波过程以生成已滤波的块,其中该基于nn的滤波过程包括应用基于nn的滤波器,该基于nn的滤波器包括受限头部块,该受限头部块具有多个输入通道并且被配置为针对该多个输入通道中的每个输入通道独立地提取相应数量的输出通道并且将与该多个输入通道中的每个输入通道相关联的输出融合成单一输出,其中该相应数量的输出通道的总和小于或等于该单一输出的已融合输出通道的数量。
3、在另一示例中,一种被配置为对视频数据进行译码的设备包括:一个或多个存储器,该一个或多个存储器被配置为存储视频数据的图片;和一个或多个处理器,该一个或多个处理器与该一个或多个存储器通信,该一个或多个处理器被配置为:接收指示该图片的视频数据;重构该视频数据的块以生成重构块;以及对该重构块执行基于神经网络(nn)的滤波过程以生成已滤波的块,其中该基于nn的滤波过程包括应用基于nn的滤波器,该基于nn的滤波器包括受限头部块,该受限头部块具有多个输入通道并且被配置为针对该多个输入通道中的每个输入通道独立地提取相应数量的输出通道并且将与该多个输入通道中的每个输入通道相关联的输出融合成单一输出,其中该相应数量的输出通道的总和小于或等于该单一输出的已融合输出通道的数量。
4、在另一示例中,本公开描述了一种用于对视频数据进行编码的设备,该设备包括:一个或多个存储器,该一个或多个存储器被配置为存储视频数据的图片;和一个或多个处理器,该一个或多个处理器与该一个或多个存储器通信,该一个或多个处理器被配置为:确定指示该图片的视频数据;重构该视频数据的块以生成重构块;以及对该重构块执行基于神经网络(nn)的滤波过程以生成已滤波的块,其中该基于nn的滤波过程包括应用基于nn的滤波器,该基于nn的滤波器包括受限头部块,该受限头部块具有多个输入通道并且被配置为针对该多个输入通道中的每个输入通道独立地提取相应数量的输出通道并且将与该多个输入通道中的每个输入通道相关联的输出融合成单一输出,其中该相应数量的输出通道的总和小于或等于该单一输出的已融合输出通道的数量。
5、在附图和以下描述中阐述一个或多个示例的细节。根据描述、附图以及权利要求书,其他特征、目的和优点将是显而易见的。
1.一种对视频数据进行译码的方法,所述方法包括:
2.根据权利要求1所述的方法,其中所述基于nn的滤波器还包括:
3.根据权利要求2所述的方法,其中所述第一数量等于24并且所述第二数量等于8,所述第一数量等于16并且所述第二数量等于8,或者所述第一数量等于12并且所述第二数量等于4。
4.根据权利要求1所述的方法,其中基于nn的滤波器还包括转变块和激活块,所述转变块包括一个或多个卷积,所述激活块位于所述转变块的所述一个或多个卷积中的全部卷积之后。
5.根据权利要求1所述的方法,其中d6 ≥ sum (d1, d2, d3, d4, d4,d5),其中d1至d5是相应输出通道的数量,并且d6是所述单一输出的已融合输出通道的所述数量。
6.根据权利要求5所述的方法,其中所述多个输入通道包括对重构样本、预测样本、边界强度图、第二量化参数和第一量化参数的指示以及重构样本,并且其中d1 = 4,d2 = 2,d3= 1,d4=1,d5=1,并且d6 = 16。
7.根据权利要求5所述的方法,其中所述多个输入通道包括对重构样本、预测样本、边界强度图、第二量化参数和第一量化参数的指示,并且其中d1 = 12,d2 = 8,d3 = 4,d4=2,d5=2,并且d6 = 32。
8.根据权利要求1所述的方法,其中所述基于nn的滤波器还包括与融合块组合的转变块,其中所述融合块包括具有第一数量的通道(d6)的1×1卷积块,其中所述转变块包括具有第二数量的通道(c1)的第一可分离卷积、具有第三数量的通道(c2)的第二可分离卷积以及具有第四数量的通道(c3)的第三卷积,并且其中d6 = c1 = c2 = c3。
9.一种用于对视频数据进行译码的设备,所述设备包括:
10.根据权利要求9所述的设备,其中所述基于nn的滤波器还包括:
11.根据权利要求10所述的设备,其中所述第一数量等于24并且所述第二数量等于8,所述第一数量等于16并且所述第二数量等于8,或者所述第一数量等于12并且所述第二数量等于4。
12.根据权利要求9所述的设备,其中基于nn的滤波器还包括转变块和激活块,所述转变块包括一个或多个卷积,所述激活块位于所述转变块的所述一个或多个卷积中的全部卷积之后。
13.根据权利要求9所述的设备,其中d6 ≥ sum (d1, d2, d3, d4, d4,d5),其中d1至d5是相应输出通道的数量,并且d6是所述单一输出的已融合输出通道的所述数量。
14.根据权利要求13所述的设备,其中所述多个输入通道包括对重构样本、预测样本、边界强度图、第二量化参数和第一量化参数的指示,并且其中d1 = 4,d2 = 2,d3 = 1,d4=1,d5=1,并且d6 = 16。
15.根据权利要求13所述的设备,其中所述多个输入通道包括对重构样本、预测样本、边界强度图、第二量化参数和第一量化参数的指示,并且其中d1 = 12,d2 = 8,d3 = 4,d4=2,d5=2,并且d6 = 32。
16.根据权利要求9所述的设备,其中所述基于nn的滤波器还包括与融合块组合的转变块,其中所述融合块包括具有第一数量的通道(d6)的1×1卷积块,其中所述转变块包括具有第二数量的通道(c1)的第一可分离卷积、具有第三数量的通道(c2)的第二可分离卷积以及具有第四数量的通道(c3)的第三卷积,并且其中d6 = c1 = c2 = c3。
17.根据权利要求9所述的设备,其中所述设备被配置为对视频数据进行解码,并且其中所述设备还包括被配置为显示所述图片的显示器。
18.一种用于对视频数据进行编码的设备,所述设备包括:
19.根据权利要求18所述的设备,其中所述基于nn的滤波器还包括:
20.根据权利要求18所述的设备,其中所述基于nn的滤波器还包括转变块和激活块,所述转变块包括一个或多个卷积,所述激活块位于所述转变块的所述一个或多个卷积中的全部卷积之后。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com