用于指示多个图像译码操作的分块参数的方法和装置与流程
本发明实施例大体上涉及基于神经网络架构编码和解码数据的领域。具体地,一些实施例涉及用于使用多个处理层编码和解码来自码流的图像和/或视频的方法和装置。
背景技术:
1、几十年来,混合图像和视频编解码器一直被用于压缩图像和视频数据。在这种编解码器中,通常通过预测块并通过仅对原始块与其预测之间的差异进行进一步译码来对信号进行逐块编码。具体地,这种译码可以包括变换、量化和生成码流,通常包括一些熵译码。通常,混合译码方法的三个组成部分(即变换、量化和熵译码)被单独优化。高效视频编码(high-efficiency video coding,hevc)、通用视频编码(versatile video coding,vvc)和基本视频编码(essential video coding,evc)等现代视频压缩标准也使用变换后的表示来编码预测之后的残差信号。
2、最近,神经网络架构已被应用于图像和/或视频译码。通常,这些基于神经网络(neural network,nn)的方法可以以各种不同的方式应用于图像和视频译码。例如,已经讨论了一些端到端优化的图像或视频译码框架。此外,深度学习已被用于确定或优化端到端译码框架的一些部分,例如预测参数的选择或压缩等。此外,还讨论了一些基于神经网络的方法,用于混合图像和视频译码框架,例如,用于实现为用于图像或视频译码中的帧内或帧间预测的经训练的深度学习模型。
3、上面讨论的端到端优化的图像或视频译码应用的共同点是,它们会产生一些特征图数据,这些特征图数据将在编码器与解码器之间传输。
4、神经网络是使用非线性单元的一个或多个层的机器学习模型,这些机器学习模型可以基于这些非线性单元预测接收到的输入的输出。一些神经网络除了输出层之外,还包括一个或多个隐藏层。可以提供对应的特征图作为每个隐藏层的输出。每个隐藏层的这种对应的特征图可以用作网络中后续层(即后续隐藏层或输出层)的输入。网络的每个层会根据相应参数集的当前值从接收到的输入生成输出。在设备之间(例如在编码器与解码器之间、在设备与云之间或在不同设备之间)划分的神经网络中,划分位置(例如第一设备)的输出侧的特征图被压缩并传输到神经网络的其余层(例如第二设备)。
5、期望使用经训练的网络架构进一步改进编码和解码。
技术实现思路
1、本发明提供了改进图像压缩的方法和装置。
2、上述和其它目的是通过由独立权利要求请求保护的主题来实现的。其它实现方式在从属权利要求、说明书和附图中是显而易见的。
3、特定实施例在所附独立权利要求中概述,其它实施例在从属权利要求中概述。
4、根据第一方面,本发明涉及一种图像处理设备。所述设备用于从图像数据单元重建像素空间中的图像。所述设备可以包括一个或多个处理器,所述一个或多个处理器用于:处理图像数据单元以在潜在空间中生成样本;对所述潜在空间中的所述样本执行分块级操作(tilewise operation);处理所述图像数据单元,以在其中标识第一预定类型的第一字段,并通过将所述第一字段的值缩放为所述像素空间中的值来确定用于所述分块级操作的分块(tile)大小。
5、上述和其它实施例可以可选地包括下列单独或组合的一个或多个特征。
6、在一种可能的实现方式中,所述缩放所述第一字段的所述值的步骤可以包括:将所述第一字段的所述值乘以预定倍数。这可以实现对分块大小的高效编码。
7、所述缩放所述第一字段的所述值的步骤可以包括:通过将预定常数与所述第一字段的所述值相加来形成和,并将所述和乘以预定倍数。所述预定常数可以是最小可操作分块大小。所述一个或多个处理器可以被配置为能够仅使用大于或等于预定最小分块大小的分块执行所述分块级操作。所述预定常数可以等于所述预定最小分块大小。这些特征中的任何一个特征都可以实现对分块大小的高效编码。
8、所述预定倍数可以是16的整数倍。例如,所述预定倍数可以是16。这可以实现对分块大小的高效编码和/或对高效处理的分块大小的现成编码。
9、所述分块大小可以是分块的边的长度或宽度。所述分块可以是正方形的,也可以是矩形的。所述一个或多个处理器可用于使用正方形的分块执行分块级操作。这些特征中的任何一个特征都可以避免需要传输分块的区域,这对于分块的线性尺寸可能是模糊的和/或可能需要更多的带宽。
10、所述一个或多个处理器可以用于:使用相邻分块之间的重叠执行所述分块级操作;处理所述图像数据单元,以在其中标识第二预定类型的第二字段,并通过将所述第二字段的值缩放为所述像素空间中的值来确定用于所述分块级操作的重叠大小。这可以实现对重叠大小的高效编码。
11、所述缩放所述第二字段的所述值的步骤可以包括:将所述第二字段的所述值乘以第二预定倍数。所述缩放所述第二字段的所述值的步骤可以包括:通过将第二预定常数与所述第二字段的所述值相加来形成和,并将所述和乘以第二预定倍数。此类特征可以实现对重叠大小的高效编码。
12、所述一个或多个处理器可以被配置为能够仅使用大于或等于预定最小重叠大小的重叠执行所述分块级操作。所述第二预定常数可以等于所述预定最小重叠大小。此类特征可以实现对重叠大小的高效编码。
13、所述第二预定倍数可以是16的整数倍。例如,所述第二预定倍数可以是16。这可以实现对重叠的高效编码和/或对高效处理的重叠大小的现成编码。
14、所述重叠大小可以是重叠的宽度或长度。这可以避免需要传输重叠的区域,因为重叠的线性尺寸可能是模糊的和/或可能需要更多的带宽。
15、分块级操作可以在像素空间中生成样本。图像可以从这些样本中恢复。
16、所述分块级操作可以是合成操作。所述操作可以使图像从经压缩数据中恢复。
17、所述分块级操作可以在第二潜在空间中生成样本。在这种情况下,所述分块级操作可以是在像素空间中生成样本的后续步骤的前一步骤。
18、所述分块级操作是预测操作。此种操作可以实现从经压缩数据中进行的高效图像恢复。
19、所述设备可以用于通过以下步骤对所述图像数据单元实现图像重建过程:对从所述图像数据单元推导的样本执行潜在预测操作;对所述潜在预测操作的输出执行合成操作;从所述合成操作的输出恢复图像。所述分块级操作可以是所述潜在预测操作或所述合成操作。此种过程可以实现图像的高效压缩和恢复。
20、根据第二方面,本发明涉及一种用于从图像数据单元重建像素空间中的图像的图像处理设备,所述设备包括一个或多个处理器,所述一个或多个处理器用于:处理图像数据单元以在潜在空间中生成样本;使用相邻分块之间的重叠对所述潜在空间中的所述样本执行分块级操作;处理所述图像数据单元,以在其中标识预定类型的字段,并通过将所述字段的值缩放为所述像素空间中的值来确定用于所述分块级操作的重叠大小。这可以实现对图像数据的高效编码。此种方法可以由第一方面所述的装置来执行。装置的模块可以执行所述操作。
21、根据第三方面,提供了一种用于从图像数据单元重建像素空间中的图像的方法,所述方法包括:处理图像数据单元以在潜在空间中生成样本;对所述潜在空间中的所述样本执行分块级操作;处理所述图像数据单元,以在其中标识第一预定类型的第一字段,并通过将所述第一字段的值缩放为所述像素空间中的值来确定用于所述分块级操作的分块大小。这可以实现对图像数据的高效编码。此种方法可以由第一方面所述的装置来执行。装置的模块可以执行所述操作。
22、上述和其它实施例可以可选地包括下列单独或组合的一个或多个特征。
23、在一种可能的实现方式中,所述缩放所述第一字段的所述值的步骤可以包括:将所述第一字段的所述值乘以预定倍数。这可以实现对分块大小的高效编码。
24、所述缩放所述第一字段的所述值的步骤可以包括:通过将预定常数与所述第一字段的所述值相加来形成和,并将所述和乘以预定倍数。这可以实现对分块大小的高效编码。
25、所述方法可以包括仅使用大于或等于预定最小分块大小的分块执行所述分块级操作。所述预定常数可以等于所述预定最小分块大小。这可以实现对分块大小的高效编码。
26、所述预定倍数可以是16的整数倍。所述预定倍数可以是16。这可以实现对分块大小的高效编码和/或对高效处理的分块大小的现成编码。
27、所述分块大小可以是分块的边的长度。这可以避免需要传输分块的区域,这可能会使用更多的带宽。
28、所述方法可以包括使用正方形的分块执行所述分块级操作。这可以实现使用单个字段编码分块的长度和高度。
29、所述方法可以包括:使用相邻分块之间的重叠执行所述分块级操作;处理所述图像数据单元,以在其中标识第二预定类型的第二字段,并通过将所述第二字段的值缩放为所述像素空间中的值来确定用于所述分块级操作的重叠大小。这可以实现对大小数据的高效编码。
30、所述缩放所述第二字段的所述值的步骤可以包括:将所述第二字段的所述值乘以第二预定倍数。所述缩放所述第二字段的所述值的步骤可以包括:通过将第二预定常数与所述第二字段的所述值相加来形成和,并将所述和乘以第二预定倍数。此类特征可以实现高效地编码分块大小。
31、所述方法可以包括:仅使用大于或等于预定最小重叠大小的重叠执行所述分块级操作。所述第二预定常数可以等于所述预定最小重叠大小。这可以通过避免需要携带无法使用的重叠大小的冗余数据来实现高效编码。
32、所述第二预定倍数可以是16的整数倍。例如,所述第二预定倍数可以是16。这可以实现对重叠进行高效编码和/或对高效处理的重叠进行现成编码。
33、所述重叠大小可以是重叠的宽度或长度。这可以避免需要对重叠区域进行编码,这可能会使用更多的带宽。
34、分块级操作可以在像素空间中生成样本。这可以允许从这些样本中恢复图像。
35、所述分块级操作可以是合成操作。所述操作可以使图像从经压缩数据中恢复。
36、所述分块级操作可以在第二潜在空间中生成样本。在这种情况下,所述分块级操作可以是在像素空间中生成样本的后续步骤的前一步骤。
37、所述分块级操作可以是预测操作。此种操作可以实现从经压缩数据中进行的高效图像恢复。
38、附图及以下说明中将详细描述一个或多个实施例。其它特征、目的和优点在说明书、附图和权利要求书中是显而易见的。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com