用于机器视频编码中层重建和编码器驱动的特征信息提取的系统和方法与流程
本技术总体涉及视频编码和解码领域。特别地,本发明涉及用于通过从编码比特流中选择、移除或修改选定的特征层来减少机器视频编码系统中的带宽的系统和方法。
背景技术:
1、随着部署的视频传感器/装置的数量和规模增加,预期越来越多的视频将由机器处理。采用数千个摄像机的系统或解决方案将产生大量视频,这些视频无法以成本有效的方式由人类监控。摄取和分析视频的机器或计算系统提供有效解决方案以启用决策支持系统和分析引擎。被设计来执行分析任务的机器通常不像人类操作员那样对视频的质量和分辨率敏感。机器视频编码(video coding for machines,vcm)应对这一机会以变换和表示视频,从而最小化视频数据的计算、存储和流传输,同时确保以高操作效率执行机器任务。
2、基于特征编码的机器视频编码(feature coding based video coding formachines,fcvcm)基于以下观察:基于卷积神经网络(convolutional neural networks,cnn)的视频分析是最突出的解决方案,但需要大量计算资源。fcvcm方法尝试压缩和传输从cnn提取的视频的特征,并且在接收器侧,使用解压缩后的特征继续在执行机器任务的cnn上处理。
3、在图1中示出了用于执行对象检测的典型cnn。使用诸如视频、图像、音频、激光雷达、热成像或者甚至文本的训练数据训练的cnn用于执行任务并提供关于输入到网络的数据的信息。输入图像首先由特征金字塔网络(feature pyramid network,fpn)105处理,该网络在层p2、p3、p4和p5产生特征图。来自层p2、p3、p4和p5的特征图进一步由区域提议网络(region proposal network,rpn)110和框头115处理,框头115可以包括快速基于区域的卷积网络(fast region based convolutional network,fast r-cnn)卷积全连接(conv fc)头120和用于输出层125的第二fast r-cnn,该第二fast r-cnn确定感兴趣区域(regionsof interest,roi)以及roi的检测标签。在这样的架构中,fpn 105、rpn 110和框头115表示计算复杂的过程。
4、系统复杂度可以降低,并且数据使用量也可以通过将cnn中执行的计算在发射器/摄像机和接收器侧之间拆分来降低。在这样的架构中,系统的摄像机或视频源端将包括cnn的第一部分或前端,诸如fpn 105。fpn的输出(特征图p2、p3、p4和p5)随后被压缩并传输到接收器,其中接收并解压缩后的特征图被输入到网络的第二部分,该第二部分包括诸如rpn110和框头115的组件,以完成网络的执行并产生网络输出。这样的cnn可以被训练以执行任务,诸如对象检测、分割、动作检测和对象跟踪。
5、图2示出了处理这样的拆分网络的典型方法。nn部分1205表示摄像机/视频源,其中输入视频或图像由神经网络的部分1处理以产生多个特征图,诸如四个特征图p2、p3、p4和p5。特征图的数量和结构取决于神经网络。例如,一些网络可能仅具有三个特征图而不是四个。每个特征图的尺寸或维度也取决于神经网络。特征图通过打包和量化特征图来准备用于压缩。
6、图3进一步示出了nn部分1305。在此阶段,从神经网络(诸如fpn 105中的残差网络(res-net))提取特征。这些特征可以由四个层p2(310a)、p3(310b)、p4(310c)和p5(310d)组成,每个层具有256个通道。每个层中的每个通道表示利用核的卷积并表示输入图像特征。通常,给定层的所有通道具有相同的维度。例如,如图4所示,在层p2中,每个通道具有两个维度p2cw和p2ch。取决于输入图像和神经网络,这两个维度表示通道(c)的宽度(w)和高度(h)。类似地,该示例性网络的另外三个层中的通道维度可以用对应的通道宽度和高度表示为p3cw××p3ch、p4cw×p4ch和p5cw×p5ch。
7、在特征金字塔网络105的情况下,每个层在尺寸上比前一层更小,这是由于来自神经网络池化功能的信息损失,该池化功能将信息的空间尺寸减小到更抽象的表示。例如,每个层可以是前一层尺寸的一半,其中p2是最大的层,p5是最小的层。
8、输入到网络的图像的像素穿过网络。提取的特征图是每个特征图的每个通道中的变换后的输入像素。每个提取通道中的特征本质上是表示输入图像特征的浮点值。因此,压缩或编码特征图需要压缩表示输入图像特征的所有值。
9、返回参考图2,执行打包210和量化215以将神经网络的浮点特征值转换为图像表示,并且为编码器增强数据,诸如通过使用10位量化。然而,应当理解,可以使用其他量化级别。
10、对于打包和平铺阶段210,通过将通道数据映射到像素并按层组装它们以形成完整图像,特征被转换为图像格式。例如,考虑具有256个通道的p2层,并且每个通道具有p2cw×p2ch的宽度和高度维度。这样的层中的通道数据可以被打包成尺寸为p2cw×p2ch的图块,这些图块被布置为矩形网格,如图4所示。
11、来自256个通道中每个通道的特征图数据可以被平铺成具有n×m个图块的网格,每个图块具有尺寸p2cw×p2ch。这产生宽度 p2w = p2cw×n且高度p2h = p2ch×m 的等效p2层特征图。p2层的原始浮点特征图数据具有p2w×p2h的维度。这样的二维特征图数据被归一化为10位表示,产生对应于p2层的10位图像。类似地,层p3、p4和p5的10位层图像通过平铺和归一化产生。这样的归一化也被称为均匀10位量化,因为浮点特征图数据被映射到数据的10位表示中的1024个级别。
12、在r-cnn神经网络的示例中,p3层中每个通道的尺寸在每个维度上是p2层中通道尺寸的一半。类似地,p4中的通道维度是p3的一半,并且p5中的通道维度是p4的一半。因此,p5中的层和通道数据量显著少于p2。
13、p2层:
14、宽度,p2w = p2cw×n 和
15、高度,p2h = p2ch×m
16、m×n = 256;
17、p3层:
18、p3cw = p2cw/2; p3ch = p2ch/2;
19、宽度,p3w = p3cw×2n 和
20、高度,p3h = p3ch×m/2
21、p4层:
22、p4cw = p3cw/2 = p2cw/4; p4ch = p3ch/2 = p2ch/4;
23、宽度,p4w = p4cw×4n 和
24、高度,p4h = p4ch×m/4
25、p5层:
26、p5cw = p4cw/2 = p2cw/8; p5ch = p4ch/2 = p2ch/8;
27、宽度,p5w = p5cw×8n 和
28、高度,p5h = p5ch×m/8
29、来自所有四个层的通道数据被打包成单个图像,并被发送到编码器的输入。通常,通道被平铺,使得p2层的通道以预定通道顺序布置在16×16网格中。后续层的通道被平铺以适配p2通道布置的宽度。来自p2、p3、p4和p5层的平铺通道数据的示例在图5中示出。
30、继续参考图2,平铺和量化后的图像使用图像和视频压缩220来压缩,诸如通用视频编码(vvc)协议或任何其他图像或视频压缩方法,诸如hevc、av1等。压缩数据经由通信网络传输到接收器。
31、压缩通道图像数据被接收并使用适当的解压缩系统225解压缩,以产生解码后的平铺图像。如果使用有损压缩,则解码图像可能具有由有损压缩引起的失真。
32、接收到的图像被去量化(去归一化)230并转换为浮点特征图数据,该数据随后被解包235到原始网络特征的对应通道中,所述原始网络特征可以被馈送到神经网络的后半部分。在这些操作中,步骤打包(平铺)210和量化215中的过程的逆过程完成,所述量化可以采取10位均匀量化的形式。
33、一旦原始层信息从解压缩数据重建,它可以直接被馈送到神经网络的第二部分(例如,r-cnn示例中的rpn和框头)nn部分2240,其将输出机器任务输出(例如,对象检测或分割信息)。
34、机器任务性能(例如,对象检测或分割信息的准确度)会受到用于压缩特征图数据的方法的影响。无损压缩将忠实地重建特征图,并且不会影响接收器处的机器任务性能。任何有损压缩(例如,使用视频或图像压缩工具)可能会影响机器任务性能。压缩级别越高,在重建特征图中引入的失真越大,预期机器任务性能会出现的退化越严重。
技术实现思路
1、[当起草权利要求后完善]
2、在本公开的一个实施例中,提供了用于机器视频编码的系统中的视频编码器。编码器包括神经网络(nn)前端,该神经网络前端接收输入图像数据(诸如视频内容),并生成多个特征层。提供层分析模块,其评估图像数据中的特征,识别对解码器侧的机器任务不重要的特征层,并提供用信号通知不需要的层的输出数据。基于神经网络(nn)的特征缩减模块从nn前端接收多个层,并生成包括多个层的瓶颈图像。量化模块接收瓶颈图像并提供量化输出。打包模块从量化模块接收量化瓶颈图像,并将一定数量的量化瓶颈图像打包到视频帧中。压缩模块从打包模块接收打包后的视频帧,并生成压缩视频信号,来自层分析模块的输出数据被附加到所述压缩视频信号,以向解码器侧提供比特流。
3、在本公开的一些实施例中,用信号通知不需要的层的输出数据进一步包括每个层的层id和关联标志,所述关联标志指示该层是否应由解码器重建。
4、在某些实施例中,nn前端是多尺度特征网络,并且多个特征层具有不同尺度,所述不同尺度保留不同级别的信息。优选地,nn前端是特征金字塔网络的一部分,所述特征金字塔网络由位于解码器侧的第二部分完成。
5、层分析模块可以基于一系列标准确定层的重要性。在一些实施例中,层分析模块基于与机器任务相关的对象的尺寸确定层的重要性。
6、同样根据本公开,提供了用于机器视频编码的系统中的解码器。解码器包括解压缩模块,该解压缩模块被配置为接收压缩比特流并逆转在编码器处施加的压缩过程。例如,如果在编码器处施加vtm-12压缩,则在解码器处施加互补的vtm12解压缩。提供了解包模块,其接收解压缩后的比特流,该解压缩后的比特流包括至少一个帧,该至少一个帧具有布置在其中的多个量化瓶颈图像,并提取多个瓶颈图像。去量化模块接收多个瓶颈图像,并被配置为大致逆转由编码器施加以重建多个瓶颈图像的量化过程。基于神经网络(nn)的特征恢复模块接收重建后的瓶颈图像,并接收比特流中来自编码器中的层分析操作的信令信息,该信令信息指示要从处理中排除的一个或更多个层,基于nn的特征恢复模块重建嵌入在瓶颈图像中的层集,剩下任何被信号通知排除的层。层填充模块从基于nn的特征恢复模块接收层的子集,并为任何被排除的层生成填充层。提供神经网络(nn)后端,并接收重建和填充后的层,并执行期望的机器任务。
7、在一些实施例中,信令信息包括每个层的层id和关联标志,该关联标志指示该层是否应由基于nn的特征恢复模块重建。
8、在某些实施例中,层填充模块为任何被排除的层插入空数据,诸如全零。
9、nn后端可以形成为拆分特征金字塔网络的第二部分,其中拆分特征金字塔网络的第一部分位于提供压缩比特流的编码器处。
10、在另一个实施例中,提供了用于机器视频编码的系统中的视频编码器,其包括神经网络(nn)前端,该神经网络前端接收图像数据,诸如视频,并生成多个特征层。神经网络(nn)信息推断模块评估图像数据中的特征,以识别可以增强解码器侧操作的特征,并提供解码器侧使用数据以供包含在比特流中。量化模块从nn前端接收特征层并提供量化输出。打包模块从量化模块接收量化特征层,并将多个特征层打包到视频帧中。压缩模块从打包模块接收打包后的视频帧,并生成压缩视频信号,并附加nn信息编码模块的输出,以向解码器侧提供比特流。解码器侧使用数据可以在压缩之前或之后附加。压缩可以采取本领域已知的任何常规压缩方法的形式,诸如vtm12。
11、本发明的非限制性实施例的这些和其他方面和特征在结合附图审阅以下对本发明的具体非限制性实施例的描述后,对于本领域技术人员将变得明了。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com