用于对一个或多于一个张量进行编码和解码的方法、设备和系统与流程

摘要: 本发明通常涉及数字视频信号处理,并且特别地,涉及用于对来自卷积神经网络的一个或多于一个张量进行编码和解码的方法、设备和系统。本发明还涉及包括记录有用于使用视频压...
用于对一个或多于一个张量进行编码和解码的方法、设备和系统与流程

本发明通常涉及数字视频信号处理,并且特别地,涉及用于对来自卷积神经网络的一个或多于一个张量进行编码和解码的方法、设备和系统。本发明还涉及包括记录有用于使用视频压缩技术对来自卷积神经网络的一个或多于一个张量进行编码和解码的计算机程序的计算机可读介质的计算机程序产品。

背景技术:

1、卷积神经网络(cnn)是用于应对涉及机器视觉(诸如对象检测、实例分割、对象跟踪、人体姿势估计和动作辨识等)的用例以及其他的新兴技术。cnn的应用可以涉及作为“云”的一部分耦接到应用服务器的、具有传感器和一些处理能力的“边缘装置”的使用。cnn可能需要相对高的计算复杂度,这超过在利用边缘装置的计算容量或功耗方面典型地可以提供的计算复杂度。以分布式方式执行cnn已成为使用有限能力边缘装置运行前沿网络的一个解决方案,而不需要所有计算复杂度都在云服务器内产生,同时边缘装置可能具有未被充分利用的推断资源。换句话说,分布式处理使得传统边缘装置通过在边缘装置和诸如云服务器等的其他处理部件之间分发处理来仍提供前沿cnn的能力。这种分布式网络架构可以称为“协作智能(ci)”,并且提供了诸如将来自网络的第一部分的部分结果针对若干不同的第二部分(可能各部分针对不同的任务进行了优化)进行重用等的益处。ci架构引入了对张量数据的高效压缩的需求,以通过诸如wan等的网络进行传输。

2、cnn典型地包括诸如卷积层和全连接层等的许多层,其中数据以“张量”的形式从以一个层传递到下一层。跨不同装置拆分网络引入了对在cnn内从一个层传递到下一层的中间多维张量数据进行压缩的需求,以便于在具有带宽限制或成本的网络上的传输。这样的张量的压缩可以被称为“特征压缩”,并且中间张量数据经常被称为“特征”或“特征图”。特征或特征图一般是值的二维(2d)阵列的集合,其在组合成3d(或4d)数据结构时形成张量,其中各特征图对应于张量的一个“通道”。中间张量数据表示在神经网络内遇到的诸如图像帧或视频帧等的输入的经部分处理形式。尽管要在神经网络中处理的数据单元典型地是张量,但是可以关于特征图来描述所进行的操作,在这种情况下,应当理解,要对张量中的各特征图进行该操作。国际标准化组织/国际电工协会联合技术协会1/小组协会29/工作组4 (iso/iec jtc 1/sc 29/wg 4)(也称为“运动图片专家组”(mpeg)视频编码)被分配开发用于特征压缩的标准的任务。以前,wg 2“mpeg技术要求”已经完成了“提案征集”,该“提案征集”接收到的响应表明显著优于使用直接应用于张量的最先进的标准化视频压缩技术所实现的特征压缩结果。

3、cnn典型地需要在训练阶段中预先确定针对各个层的权重,其中在训练阶段中,非常大量的训练数据被传递通过cnn,并且将由经过训练的网络确定的结果与同训练数据相关联的地面真值(ground truth)进行比较。获得的结果和期望的结果之间的差异被表示为“损失”并且利用“损失函数”来测量。使用所确定的损失,进行用于更新网络权重的处理(诸如随机梯度下降(sgd)等)。网络权重更新典型地涉及“梯度”的反向传播过程,该过程从网络的输出层开始,并且反向进行以在向网络的输入层被更新时终止,从而传播通过网络的中间或“隐藏”层。梯度指示要应用于网络权重的差量(delta),并且自身作为反向传播过程的一部分被更新。权重更新的速率由“学习速率”超参数进行设置,该“学习速率”超参数典型地被设置为便于训练处理在损失方面找到全局最小值(即,针对网络架构和训练数据的最高可能任务性能),同时避免训练处理“困住(stuck)”于局部最小值。困住于局部最小值对应于获得针对网络架构的次优任务性能并且不能找到可导致更高任务性能的新权重值。通过供给被组织成“批(batch)”的输入数据和地面真值数据来重复地更新网络权重,以迭代地细化网络性能,直到不再能实现准确度的进一步提高为止。通过整个训练数据集的迭代形成训练的一个“纪元(epoch)”,并且训练典型地需要进行多个纪元以实现针对任务的高级别性能。然后,经训练的网络的权重可用于部署,并且网络以权重固定且省略针对权重更新的梯度的模式操作。利用输入执行经预训练的cnn并根据该cnn的拓扑来逐步地将输入变换为输出的处理通常被称为“推断”。

4、通常,张量是具有四个维度的元素的阵列,即:批、通道、高度和宽度。第一维度“批”在对视频数据进行推断时典型地是大小1,并且指示一个帧作为一个批被传递通过cnn。当训练网络时,批维度的值可以增加,使得根据预定的“批大小”在更新网络权重之前在各批中多个帧被传递通过网络。多帧视频可以作为具有大小根据给定视频的帧数量而增加的批维度的单个张量被传递通过。然而,出于与存储器消耗和访问相关的实际考虑,对视频数据的推断典型地逐个帧来进行。“通道”维度指示给定张量的并发“特征图”的数量,并且高度和宽度维度指示cnn的特定阶段的特征图的大小。通道计数根据网络架构通过cnn的各层而变化。取决于特定网络层中发生的子采样或上采样,特征图的大小也变化。

5、在进行相对大量的乘法累加(mac)运算并且相对于存储器写入和读取大量的中间张量、以及读取针对cnn的各层的性能的权重的情况下,cnn的整体复杂度往往相对高。因此,将神经网络划分成部分使得即使在包含能力较差的边缘装置的系统中也实现更复杂的网络,而不需要云服务器承担进行网络的全部负担。

6、使特征图适配到不同类型和/或大小的cnn端部或头部是重要的,并且可能面临挑战,特别是在涉及不同维度的情况下。此外,允许跨不同类型的神经网络使用划分后的神经网络(例如,使用不同类型的数据)的适配面临挑战。

7、特征压缩可以受益于现有的视频压缩标准,诸如由联合视频专家组(jvet)开发的通用视频编码(vvc)等。预料vvc将特别是随着视频格式的能力的增加(例如,具有更高的分辨率和更高的帧频)而解决针对甚至更高的压缩性能的持续需求、以及解决针对通过wan的服务递送(其中,带宽成本相对高)的日益增长的市场需求。vvc可以在当代硅工艺中实现,并且在所实现的性能与实现成本之间提供可接受的折衷。实现成本可以被认为是例如硅面积、cpu处理器负荷、存储器利用率和带宽方面中的一个或多于一个方面。其他视频压缩标准(诸如高效率视频编码(hevc)或av-1等)也可以用于特征压缩应用。

8、视频数据包括图像数据的帧序列,各帧包括一个或多于一个颜色通道。在要在经打包帧中表示特征图数据的情况下,一般仅具有亮度而不具有色度通道的单色帧是足够的。在仅存在亮度样本时,所得的单色帧被认为使用“4:0:0色度格式”。

9、vvc标准规定“基于块的”架构,其中帧首先被划分成称为“编码树单元”(ctu)的正方形区阵列。在vvc中,ctu一般占据128×128个亮度样本。在使用vvc标准时的其他可能的ctu大小是32×32和64×64。然而,各帧的右侧和下方边缘处的ctu在面积上可能较小,其中发生隐式拆分以确保编码块保持在帧中。与各ctu相关联的是定义ctu的区域向块集合的分解的“编码树”(也称为“编码单元”(cu))。适用于仅亮度通道或仅色度通道的块被称为“编码块”(cb)。编码块的内容的预测被保持在“预测块”(pb)或“预测单元”(pu)中,并且定义要与pb或pu相加组合的样本值的阵列的残差块被称为“变换块”(tb)或“变换单元”(tu),这是由于在tb或tu的生成中典型地使用变换处理。

10、尽管在“单元”和“块”之间存在上述区别,但术语“块”可以用作用以指代帧的区域(area)或区(region)的通用术语,对于该区域或区,操作被应用于所有颜色通道。

11、对于各cu,生成帧数据的对应区域的内容(样本值)的预测单元(pu)(“预测单元”)。此外,形成了预测与在编码器的输入处看到的区域的内容之间的差(或“空间域”残差)的表示。各颜色通道中的差可以被变换和编码为残差系数序列,从而形成给定cu的一个或多于一个tu。所应用的变换可以是应用于残差值的各块的离散余弦变换(dct)或其他变换。变换被单独地应用(即,分两次(一次水平地且一次垂直地)进行二维变换)。首先通过对块中的各行样本应用一维变换来变换块。然后,通过对部分结果的各列应用一维变换来变换该部分结果,以产生基本上对残差样本去相关的变换系数的最终块。vvc标准支持各种大小的变换,包括矩形块的变换,其中每个边维度是2的幂。变换系数被量化用于熵编码到位流中。

12、可以使用帧内预测或帧间预测处理来生成vvc中的pb或pu。帧内预测涉及使用正使用的帧中先前处理的样本以生成该帧中当前数据样本块的预测。帧间预测涉及使用从一个或两个先前解码的帧中获得的样本块来生成帧中的当前样本块的预测。从先前解码的帧中获得的样本块根据运动向量而相对于当前块的空间位置偏移,该运动向量通常被应用滤波。帧内预测块可以是:(i)均匀样本值(“dc帧内预测”),(ii)具有偏移以及水平和垂直梯度的平面(“平面帧内预测”),(iii)具有在特定方向上应用的邻近样本的块的总体(“角度帧内预测”),或者(iv)使用邻近样本和所选择的矩阵系数的矩阵乘法的结果。

13、vvc可以用于对来自分离成两个部分的神经网络的第一部分(“主干”)的中间特征图进行压缩。在压缩中,来自主干的特征图被布置到帧中并且从浮点域量化到适合作为视频数据而压缩的样本域。可以应用与主成分分析(pca)相关的技术,以在使用诸如vvc等的视频压缩标准进行压缩之前降低张量的维度。张量的降维减少了要压缩的数据量,从而提高了压缩效率并减少了vvc编码和解码阶段的运行时间。降维引入了复杂度,这抵消了在vvc编码中看到的运行时间的减少。需要解决或至少改善由于将pca应用于张量的降维而导致的复杂度增加。

技术实现思路

1、本发明的目的是基本上克服或至少改善现有布置的一个或多于一个缺点。

2、本公开的一方面提供了一种用于从位流中解码供由网络第二部分使用的张量的方法,所述方法包括:从所述位流产生一个或多于一个整数张量;从所述位流中解码第一范围信息;使用所述第一范围信息来从所述一个或多于一个整数张量产生一个或多于一个第一浮点张量;从所述一个或多于一个第一浮点张量产生一个或多于一个第二浮点张量,其中所述一个或多于一个第二浮点张量与所述一个或多于一个第一浮点张量相比至少具有更高的张量计数、更高的通道计数或更高的空间大小;从所述位流中解码数据类型指示;以及通过使用所述数据类型指示来从所述一个或多于一个第二浮点张量产生经解码张量,所述经解码张量具有基于所述数据类型指示的数据类型。

3、本公开的另一方面提供了一种用于将一个或多于一个张量编码到位流中的方法,所述方法包括:基于数据类型指示来从张量产生一个或多于一个第一浮点张量;从所述一个或多于一个第一浮点张量产生一个或多于一个第二浮点张量,其中所述一个或多于一个第二浮点张量与所述一个或多于一个第一浮点张量相比至少具有更小的张量计数、更小的通道计数或更小的空间大小;基于第一范围信息来从一个或多于一个第二浮点张量产生一个或多于一个整数张量;将所述第一范围信息编码到所述位流中;将所述一个或多于一个整数张量编码到所述位流中;以及将所述数据类型指示编码到所述位流中。

4、本公开的另一方面提供了一种解码器,用于从位流中解码供由网络第二部分使用的张量,所述解码器被配置为:从所述位流产生一个或多于一个整数张量;从所述位流中解码第一范围信息;使用所述第一范围信息来从所述一个或多于一个整数张量产生一个或多于一个第一浮点张量;从所述一个或多于一个第一浮点张量产生一个或多于一个第二浮点张量,其中所述一个或多于一个第二浮点张量与所述一个或多于一个第一浮点张量相比至少具有更高的张量计数、更高的通道计数或更高的空间大小;从所述位流中解码数据类型指示;以及通过使用所述数据类型指示来从所述一个或多于一个第二浮点张量产生经解码张量,所述经解码张量具有基于所述数据类型指示的数据类型。

5、本公开的另一方面提供了一种非暂态计算机可读存储介质,其存储程序,所述程序用于执行用于从位流中解码供由网络第二部分使用的张量的方法,所述方法包括:从所述位流产生一个或多于一个整数张量;从所述位流中解码第一范围信息;使用所述第一范围信息来从所述一个或多于一个整数张量产生一个或多于一个第一浮点张量;从所述一个或多于一个第一浮点张量产生一个或多于一个第二浮点张量,其中所述一个或多于一个第二浮点张量与所述一个或多于一个第一浮点张量相比至少具有更高的张量计数、更高的通道计数或更高的空间大小;从所述位流中解码数据类型指示;以及通过使用所述数据类型指示来从所述一个或多于一个第二浮点张量产生经解码张量,所述经解码张量具有基于所述数据类型指示的数据类型。

6、本公开的另一方面提供了一种系统,包括:存储器;以及处理器,其中所述处理器被配置为执行所述存储器上所存储的代码,所述代码用于实现用于从位流中解码供由网络第二部分使用的张量的方法,所述方法包括:从所述位流产生一个或多于一个整数张量;从所述位流中解码第一范围信息;使用所述第一范围信息来从所述一个或多于一个整数张量产生一个或多于一个第一浮点张量;从所述一个或多于一个第一浮点张量产生一个或多于一个第二浮点张量,其中所述一个或多于一个第二浮点张量与所述一个或多于一个第一浮点张量相比至少具有更高的张量计数、更高的通道计数或更高的空间大小;从所述位流中解码数据类型指示;以及通过使用所述数据类型指示来从所述一个或多于一个第二浮点张量产生所述数据类型指示的经解码张量,所述经解码张量具有基于所述数据类型指示的数据类型。

7、本公开的另一方面提供了一种编码器,用于将一个或多于一个张量编码到位流中,所述编码器被配置为:基于数据类型指示来从张量产生一个或多于一个第一浮点张量;从所述一个或多于一个第一浮点张量产生一个或多于一个第二浮点张量,其中所述一个或多于一个第二浮点张量与所述一个或多于一个第一浮点张量相比至少具有更小的张量计数、更小的通道计数或更小的空间大小;基于第一范围信息来从一个或多于一个第二浮点张量产生一个或多于一个整数张量;将所述第一范围信息编码到所述位流中;将所述一个或多于一个整数张量编码到所述位流中;以及将所述数据类型指示编码到所述位流中。

8、本公开的另一方面提供了一种系统,包括:存储器;以及处理器,其中所述处理器被配置为执行所述存储器上所存储的代码,所述代码用于实现用于将一个或多于一个张量编码到位流中的方法,所述方法包括:基于数据类型指示来从张量产生一个或多于一个第一浮点张量;从所述一个或多于一个第一浮点张量产生一个或多于一个第二浮点张量,其中所述一个或多于一个第二浮点张量与所述一个或多于一个第一浮点张量相比至少具有更小的张量计数、更小的通道计数或更小的空间大小;基于第一范围信息来从一个或多于一个第二浮点张量产生一个或多于一个整数张量;将所述第一范围信息编码到所述位流中;将所述一个或多于一个整数张量编码到所述位流中;以及将所述数据类型指示编码到所述位流中。

9、还公开了其他方面。