用于码流中的子流指示的方法和装置与流程
本发明实施例大体上涉及基于神经网络架构编码和解码数据的领域。具体地,一些实施例涉及用于使用多个处理层编码和解码来自码流的图像和/或视频的方法和装置。
背景技术:
1、几十年来,混合图像和视频编解码器一直被用于压缩图像和视频数据。在这种编解码器中,通常通过预测块并通过仅对原始块与其预测之间的差异进行进一步译码来对信号进行逐块编码。具体地,这种译码可以包括变换、量化和生成码流,通常包括一些熵译码。通常,混合译码方法的三个组成部分(即变换、量化和熵译码)被单独优化。高效视频编码(high-efficiency video coding,hevc)、通用视频编码(versatile video coding,vvc)和基本视频编码(essential video coding,evc)等现代视频压缩标准也使用变换后的表示来编码预测之后的残差信号。
2、最近,神经网络架构已被应用于图像和/或视频译码。通常,这些基于神经网络(neural network,nn)的方法可以以各种不同的方式应用于图像和视频译码。例如,已经讨论了一些端到端优化的图像或视频译码框架。此外,深度学习已被用于确定或优化端到端译码框架的一些部分,例如预测参数的选择或压缩等。此外,还讨论了一些基于神经网络的方法,用于混合图像和视频译码框架,例如,用于实现为用于图像或视频译码中的帧内或帧间预测的经训练的深度学习模型。
3、上面讨论的端到端优化的图像或视频译码应用的共同点是,它们会产生一些特征图数据,这些特征图数据将在编码器与解码器之间传输。
4、神经网络是使用非线性单元的一个或多个层的机器学习模型,这些机器学习模型可以基于这些非线性单元预测接收到的输入的输出。一些神经网络除了输出层之外,还包括一个或多个隐藏层。可以提供对应的特征图作为每个隐藏层的输出。每个隐藏层的这种对应的特征图可以用作网络中后续层(即后续隐藏层或输出层)的输入。网络的每个层会根据相应参数集的当前值从接收到的输入生成输出。在设备之间(例如在编码器与解码器之间、在设备与云之间或在不同设备之间)划分的神经网络中,划分位置(例如第一设备)的输出侧的特征图被压缩并传输到神经网络的其余层(例如第二设备)。
5、期望使用经训练的网络架构进一步改进编码和解码。
6、上述和其它目的是通过由独立权利要求请求保护的主题来实现的。其它实现方式在从属权利要求、说明书和附图中是显而易见的。
7、特定实施例在所附独立权利要求中概述,其它实施例在从属权利要求中概述。
技术实现思路
1、特定实施例在所附独立权利要求中概述,其它实施例在从属权利要求中概述。
2、根据第一方面,本发明涉及一种解码器实现的解码方法,所述方法包括:接收包括输入信号的经编码数据的码流,其中,所述码流由一个或多个子流形成,每个子流包括定义所述子流的大小的大小参数;解析至少一个子流,所述解析包括:根据包括在所述大小参数内的比特子集来确定所述大小参数的比特长度;解析所述大小参数,从而确定所述子流的大小。有利地,在解码之前,解码器不需要知道大小参数占用多少比特;解码器可以有利地仅基于大小参数内的比特子集来确定大小参数的比特长度。因此,大小参数的比特长度由大小参数本身定义。
3、上述和其它实施例可以可选地包括下列单独或组合的一个或多个特征。
4、在一种可能的实现方式中,所述一个或多个子流中的每个子流包括指示所述子流的数据类型的标记id。这有助于解释子流。可以存在一个大小参数。所述大小参数可以将子流作为整体来定义大小,或者可以将子流的大小定义为不包括子流中包含大小参数和/或标记id的部分。这可以进一步帮助解释子流。
5、在一种可能的实现方式中,所述标记id的比特长度是预先确定的。这可以提供一种编码标记id的高效方式。标记id的比特长度可以对于解码器是已知的。
6、在一种可能的实现方式中,所述解析至少一个子流还包括:根据所述标记id确定所述子流的所述数据类型是未知的。这可以支持随后进行适当的动作。
7、在一种可能的实现方式中,所述解析至少一个子流还包括:在确定所述子流的所述大小之后,根据所述子流的所述确定的大小丢弃在所述子流内编码的数据。这可以实现高效解码。丢弃子流还可以根据基于标记id确定子流的数据类型是未知的来进行。
8、在一种可能的实现方式中,所述方法还包括,在确定所述大小参数的所述比特长度之前:确定所述子流的所述大小参数以大小定义的格式被编码,其中,所述比特子集以所述大小定义的格式被配置,以定义所述大小参数的所述比特长度。这可以支持使用其它形式的编码。
9、在一种可能的实现方式中,所述解析所述大小参数还包括:从所述大小参数的最左侧位开始,确定等于0的连续比特的数量;根据确定所述等于0的连续比特的所述数量,确定由所述大小参数编码的码号,其中,所述码号定义所述子流的所述大小。这可以支持一种传输子流的大小的高效方式。码号可以定义字节数。该字节数可以比子流的大小(以字节为单位)少1个字节。
10、在一种可能的实现方式中,等于0的连续比特的所述数量定义了所述码号的比特长度。所述码号可以由附加到等于0的连续比特的比特定义。这可以支持一种定义码号的高效方式。然后,大小参数可以由等于0的连续比特的数量后面紧跟码号来形成。
11、在一种可能的实现方式中,所述大小定义的格式是指数哥伦布编码格式。在一种可能的实现方式中,所述指数哥伦布码编码格式的阶数k被定义,其中,所述阶数k等于0。这些可以是传输大小定义的格式的高效方法。
12、在一种可能的实现方式中,所述一个或多个子流中的每个子流包括定义缓冲区大小的字节对齐缓冲区。这可以支持在编码器和解码器处使用类似大小的缓冲区。
13、在一种可能的实现方式中,所述解析至少一个子流还包括:确定由所述字节对齐缓冲区定义的缓冲区大小;通过解析从所述子流中的起始比特开始的数据来解析所述子流的其余部分,所述起始比特位于定义所述大小参数的所述比特之后,与所述比特相距由所述缓冲区大小定义的一定数量个比特。这可以提供一种划分子流的处理的高效方法。
14、在一种可能的实现方式中,所述一个或多个子流中的每个子流包括指示在所述子流内编码的数据类型的标记id。形成(i)所述标记id、(ii)所述大小参数和(iii)所述字节对齐缓冲区的总比特数等于整数字节数。这可以支持在译码中高效地使用整个字节。
15、根据第二方面,本发明涉及一种用于从码流中解码用于图像或视频处理的数据的设备,所述设备包括:接收单元,用于接收包括输入信号的经编码数据的码流,其中,所述码流由一个或多个子流形成,每个子流包括定义所述子流的大小的大小参数;解析单元,用于解析至少一个子流,所述解析包括:根据包括在所述大小参数内的比特子集来确定所述大小参数的比特长度;解析所述大小参数,从而确定所述子流的大小。
16、根据第三方面,本发明涉及一种编码器实现的编码方法,所述方法包括:接收输入信号;将所述输入信号编码成包括一个或多个子流的码流,每个子流包括定义所述子流的大小的大小参数,其中,所述编码包括:对于所述一个或多个子流中的至少一个子流,生成所述子流的所述大小参数,其中,所述大小参数的比特长度由包括在所述大小参数内的比特子集定义。
17、上述和其它实施例可以可选地包括下列单独或组合的一个或多个特征。
18、在一种可能的实现方式中,所述方法包括对于所述一个或多个子流中的每个子流:生成指示在所述子流内编码的数据类型的标记id;将所述标记id插入所述子流内。标记id可以有用地在解码器处使用。
19、在一种可能的实现方式中,所述子流的所述大小参数以大小定义的格式被编码,其中,所述比特子集以所述大小定义的格式被配置,以定义所述大小参数的所述比特长度。这样可以有效地将大小参数传输给解码器。
20、在一种可能的实现方式中,所述大小参数包括一个或多个等于0的连续比特,所述一个或多个等于0的连续比特定义码号的比特长度,其中,所述码号定义所述子流的所述大小,并由所述大小参数中附加到所述等于0的连续比特的比特定义。码号可以定义字节数。该字节数可以比子流的大小(以字节为单位)少1个字节。大小参数包括从大小参数的最左侧位开始一个或多个等于0的连续比特。这些方法中的任何一个或多个都可以实现对相应信息的高效编码。
21、在一种可能的实现方式中,所述大小定义的格式是指数哥伦布编码格式。所述指数哥伦布码编码格式的阶数k可以被定义,其中,所述阶数k等于0。这些可以是编码大小定义的格式的高效方法。
22、在一种可能的实现方式中,所述方法还包括对于所述一个或多个子流中的至少一个子流:生成定义缓冲区大小的字节对齐缓冲区并将所述字节对齐缓冲区插入所述子流内。这种参数可以帮助解码子流。
23、在一种可能的实现方式中,所述字节对齐缓冲区是根据确定形成(i)所述标记id和(ii)所述大小参数的总比特数不等于整数字节数来生成和插入的。对齐参数可以帮助对齐数据。
24、在一种可能的实现方式中,所述字节对齐缓冲区被插入所述子流中,紧接在所述大小参数之后。这可以帮助解码器标识参数。
25、在一种可能的实现方式中,所述一个或多个子流中的每个子流包括指示在所述子流内编码的数据类型的标记id,其中,形成(i)所述标记id、(ii)所述大小参数和(iii)所述字节对齐缓冲区的总比特数等于整数字节数。这可以支持以整个字节数高效地传输数据。
26、根据第四方面,本发明涉及一种用于对用于图像或视频处理的数据进行编码以获取码流的设备,所述设备包括:接收单元,用于接收输入信号;编码单元,用于:将所述输入信号编码成包括一个或多个子流的码流,每个子流包括定义所述子流的大小的大小参数;对于所述一个或多个子流中的至少一个子流,生成所述子流的所述大小参数,其中,所述大小参数的比特长度由包括在所述大小参数内的比特子集定义。
27、上述和其它实施例可以可选地包括下列单独或组合的一个或多个特征。
28、在一种可能的实现方式中,所述解码装置包括处理电路,所述处理电路用于执行上述方法的步骤。
29、在一种可能的实现方式中,所述解码装置包括处理电路,所述处理电路用于执行上述方法的步骤。
30、根据第五方面,本发明涉及一种解码器,所述解码器包括一个或多个处理器和耦合到所述一个或多个处理器的非瞬时性计算机可读存储介质,其中,所述存储介质存储由所述一个或多个处理器执行的程序,其中,所述程序当由所述一个或多个处理器执行时,使所述解码器执行上述方法。
31、根据第六方面,本发明涉及一种存储介质,所述存储介质以非瞬时性形式存储通过上述方法编码的码流。
32、根据第七方面,本发明涉及一种计算机程序,所述计算机程序以非瞬时性形式存储并包括代码指令,所述代码指令当在一个或多个处理器上执行时,使所述一个或多个处理器执行上述方法。
33、根据第八方面,本发明涉及一种用于传送码流的系统,所述系统包括至少一个存储介质,用于存储通过上述编码方法生成的至少一个码流。
34、根据第九方面,本发明涉及一种用于传送码流的系统,所述系统包括:至少一个存储介质,用于存储通过上述方法生成的至少一个码流;视频流设备,用于从所述至少一个存储介质中获取所述码流并将所述码流发送到终端设备,其中,所述视频流设备包括内容服务器或内容分发服务器。
35、在一种可能的实现方式中,所述系统还包括:一个或多个处理器,用于对所述至少一个码流执行加密处理,以获取至少一个经加密码流;所述至少一个存储介质用于存储所述经加密码流;或者所述一个或多个处理器用于将第一格式的所述码流转换为第二格式的码流,所述至少一个存储介质用于存储所述第二格式的所述码流。然后,存储介质可以存储有用编码形式的数据。
36、在一种可能的实现方式中,所述系统还包括:接收器,用于接收第一操作请求;其中,所述一个或多个处理器用于响应于所述第一操作请求,确定所述至少一个存储介质中的目标码流;发送器,用于将所述目标码流发送到终端侧装置。然后,目标码流可以由所述终端侧装置处理。
37、在一种可能的实现方式中,所述一个或多个处理器还用于封装所述码流,以获取第一格式的传输流,其中,所述发送器还用于:将所述第一格式的所述传输流发送到终端侧装置进行显示;或者将所述第一格式的所述传输流发送到存储空间进行存储。通过这种方式,可以适当地处理传输流。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com