高位深度信号的传输的制作方法

摘要: 本发明涉及对信号进行编码、传输和解码的领域,特别是具有与对信号进行编码的编码器所支持的位深度相比更高的位深度的信号。发明的背景技术:视频数据通常在传输之前被压缩...
高位深度信号的传输的制作方法

本发明涉及对信号进行编码、传输和解码的领域,特别是具有与对信号进行编码的编码器所支持的位深度相比更高的位深度的信号。发明的 背景技术: 视频数据通常在传输之前被压缩,以便减少发送视频数据所需的资源(从而降低传输成本)。当以与视频压缩器所支持的位深度相比更高的位深度发送数据时,这可能会导致问题。例如,在沉浸式视频应用中,深度图通常具有与视频编码器所支持的位深度(其通常支持8位或10位格式)相比更高的位深度(例如,16位)。由于视频编码器通常使用有损压缩配置文件来实现可接受的位率,因此以允许接收经压缩的深度信息的解码器以原始位深度恢复深度信息的方式发送深度信息并不简单。因此,在用于对沉浸式视频进行编码的现有技术中,具有较高位深度的深度信息在被压缩之前被量化为编码器的位深度。这降低了所发送的深度信息的精度。因此,需要用于编码和/或发送高位深度数据的改进技术。mir junaid等:“用于双层hdr视频译码中的有效扩展层译码的自适应残余映射”公开了基于用于扩展层的自适应残余映射的双层向后兼容hdr视频译码解决方案,从而考虑到使用高效率视频译码的性能来译码此信息。us 2022/408096 a1公开了一种视频编码和解码系统,其在编解码器内部实现自适应传递函数方法以用于信号表示。us 2024/095893 a1公开了对在第一域中表示的第一图像执行第一重塑映射以生成在第二域中表示的第二图像。

背景技术

技术实现思路

1、本发明由权利要求限定。

2、根据本发明的一方面的示例,提供了一种位流,该位流包括:多个经编码的信号;以及经编码的元数据,其中,所述经编码的元数据包括用于多个映射函数的一个或多个映射参数中的每个映射参数的值,所述多个映射函数用于从具有与所述经编码的信号相比更高的位深度的输入信号生成所述多个经编码的信号。所述多个经编码的信号包括从深度图生成的多个信号。

3、发明人已经认识到,通过使用映射函数将高位深度信号映射到多个较低位深度信号,可以以较低位深度发送高位深度信号。包括经编码的较低位深度信号和映射函数的参数的位流允许即使在有损压缩之后也准确地重构高位深度信号。

4、多个经编码的信号包括从深度图生成的多个信号。深度传感器通常能够以与视频编码器所支持的精度相比更高的精度获取深度数据。位流可进一步包括额外数据,例如纹理数据。

5、在其他示例中,多个经编码的信号可包括从超声信号生成的信号。超声信号还通常具有与通常由编码器所支持的位深度相比更高的位深度。

6、在一些示例中,经编码的元数据进一步包括用于生成经编码的信号的多个映射函数的指示。

7、可替代地,所使用的映射函数的标识可以由外部单元提供。

8、在一些示例中,经编码的元数据进一步包括用于识别经编码的信号中的不确定和/或缺失数据值的阈值。

9、用于识别不确定和/或缺失数据值的阈值可能已经基于在对位流进行编码时使用的压缩参数来确定。在一些示例中,阈值可进一步取决于待由位流的解码器使用的纠错算法。

10、根据本发明的另一方面的示例,提供了一种用于确定与预定义的压缩参数集合一起使用的多个映射函数的一个或多个映射参数的值的方法,所述方法包括:定义由一个或多个映射参数参数化的多个映射函数,其中,每个映射函数被配置为将输入信号映射到具有预定义的位深度的输出信号;为所述一个或多个映射参数中的每个映射参数定义初始值;接收所述预定义的压缩参数集合;接收具有与所述预定义的位深度相比更高的位深度的输入信号;迭代地重复以下步骤:处理所述输入信号以生成多个输出信号,其中,通过使用相应的映射函数处理所述输入信号来生成每个输出信号;使用所述预定义的压缩参数集合来压缩所述多个输出信号;处理经压缩的输出信号来生成具有与所述输入信号相同的位深度的重构信号;确定所述输入信号与所述重构信号之间的差的度量;以及基于所确定的差的度量来调整所述一个或多个映射参数中的每个映射参数的所述值,直到满足一个或多个预定条件;以及将所述一个或多个映射参数中的每个映射参数的所述值确定为满足所述一个或多个预定条件的值。所述输入信号包括深度图。

11、通过调整(多个)值直到满足一个或多个预定条件,可以针对由给定编码器使用的压缩参数来定制映射函数的(多个)映射参数。

12、在一些示例中,在将一个或多个预定义的纠错算法应用于重构信号之后,确定输入信号与重构信号之间的差的度量。

13、发明人已经认识到,(多个)映射参数的最合适的值可以取决于由解码器使用的纠错过程。通过基于纠错之后的重构信号来确定差的度量,(多个)映射参数可以附加地针对特定纠错算法进行定制,以进一步提高使用特定纠错算法处理的重构信号的准确度。

14、在一些示例中,多个映射函数包括:第一映射函数,其将输入除以第一参数;以及第二映射函数,其确定输入除以第一参数的余数。

15、在许多情况下,两个映射函数将足以保持输入信号的高精度,而不会不必要地增加位率。

16、在一些示例中,多个映射函数包括:第三映射函数,其将输入除以第二参数;第四映射函数,其将第一余数除以第三参数,其中,第一余数是输入除以第二参数的余数;以及第五映射函数,其确定第一余数除以第三参数的余数。

17、使用三个映射函数允许以允许以原始位深度重构原始信号的方式发送甚至更高位深度信号。

18、根据本发明的又一方面的示例,提供了一种用于使用编码器对输入信号进行编码的方法,所述编码器被配置为使用预定义的压缩参数集合对具有预定义的位深度的信号进行编码,所述方法包括:接收具有与所述预定义的位深度相比更高的位深度的输入信号;定义由一个或多个映射参数参数化的多个映射函数,其中,每个映射函数被配置为将输入信号映射到具有所述预定义的位深度的输出信号;基于所述预定义的压缩参数集合为所述一个或多个映射参数中的每个映射参数设置值;处理接收到的输入信号以生成多个输出信号,其中,通过使用相应的映射函数处理接收到的输入信号来生成每个输出信号;以及将输出信号编码到位流中,其中,对所述输出信号进行编码包括使用所述预定义的压缩参数集合来压缩所述输出信号。所述输入信号包括深度图。

19、该方法允许更容易地编码高位深度信号。例如,该方法可以用于使得能够使用标准视频编解码器对高位深度信号进行编码。使用由所提出的方法提供的相同编解码器对不同类型的信号进行编码的能力具有使不同的媒体轨道能够更容易地在帧级同步的附加优点。

20、在一些实例中,一个或多个映射参数中的每个映射参数的值可另外编码到位流中(例如,作为位流的元数据)。

21、根据本发明的又一方面的示例,提供了一种用于解码位流的方法。所述方法包括:接收包括使用多个映射函数从具有较高位深度的输入信号生成的多个经编码的信号的位流;解码所述多个信号;定义由一个或多个重构参数参数化的重构函数;确定所述一个或多个重构参数中的每个重构参数的值;以及使用所述重构函数处理所述多个信号以生成具有所述较高位深度的重构信号。

22、在一些示例中,所述位流可进一步包括经编码的元数据,所述经编码的元数据包括用于从具有与所述经编码的信号相比更高的位深度的输入信号生成所述多个经编码的信号的所述多个映射函数的一个或多个映射参数中的每个映射参数的值,并且可基于所述一个或多个映射参数中的每个映射参数的所述值来确定所述一个或多个重构参数中的每个重构参数的所述值。

23、在一些示例中,用于对位流进行解码的方法进一步包括:处理所述重构信号以针对所述重构信号中的每个数据值确定所述数据值与每个相邻数据值之间的差;以及将所述数据值与每个相邻数据值之间的差超过预定有效性阈值的每个数据值识别为无效数据值。

24、出于一些目的,数据值的准确度可以被认为比数据的完整性更重要。识别无效数据值提高了所有剩余数据值具有高水平准确度的可能性。

25、在一些示例中,用于解码位流的方法进一步包括使用一个或多个纠错算法处理识别为无效数据值的任何数据值以生成经校正的重构信号,其中,一个或多个纠错算法包括基于用于生成多个经编码的信号的多个映射函数定义的至少一个纠错算法。

26、使用基于映射函数定义的纠错算法提高了经校正的重构信号的准确度。

27、例如,在映射函数包括除法函数和模函数的情况下,除法函数输出的信号中的压缩误差将导致重构信号中的明显异常值。因此,用于这种重构信号的纠错算法可以包括被配置为将重构信号中的每个数据值与相邻数据值进行比较以识别异常值的算法。对于被识别为异常值的数据值,由除法函数输出的信号中的对应值然后可以适当地增加或减少一个水平。

28、还提供了一种包括计算机程序代码单元的计算机程序产品,当在具有处理系统的计算设备上执行时,所述计算机程序代码单元使所述处理系统执行上述任何方法的所有步骤。

29、还提供了一种用于确定与预定义的压缩参数集合一起使用的多个映射函数的一个或多个映射参数的值的处理系统,所述处理系统被配置为:定义由一个或多个映射参数参数化的多个映射函数,其中,每个映射函数被配置为将输入信号映射到具有预定义的位深度的输出信号;为所述一个或多个映射参数中的每个映射参数定义初始值;接收所述预定义的压缩参数集合;接收具有比所述预定义的位深度较高的位深度的输入信号;迭代地重复以下步骤:处理所述输入信号以生成多个输出信号,其中,通过使用相应的映射函数处理所述信号来生成每个输出信号;使用所述预定义的压缩参数集合来压缩所述多个输出信号;处理经压缩的输出信号以生成具有与所述输入信号相同的位深度的重构信号;确定所述输入信号与所述重构信号之间的差的度量;以及基于所确定的差的度量来调整所述一个或多个映射参数中的每个映射参数的所述值,直到满足一个或多个预定条件;以及将所述一个或多个映射参数中的每个映射参数的值确定为满足所述一个或多个预定条件的值。所述输入信号包括深度图。

30、还提供了一种编码器,其被配置为使用预定义的压缩参数集合对具有预定义的位深度的输入信号进行编码,所述编码器还被配置为:接收具有与所述预定义的位深度相比更高的位深度的输入信号;定义由一个或多个映射参数参数化的多个映射函数,其中,每个映射函数被配置为将输入信号映射到具有所述预定义的位深度的输出信号;基于所述预定义的压缩参数为所述一个或多个映射参数中的每个映射参数设置值;处理接收到的输入信号以生成多个输出信号,其中,通过使用相应的映射函数处理接收到的输入信号来生成每个输出信号;以及将输出信号编码到位流中,其中,对所述输出信号进行编码包括使用所述预定义的压缩参数来压缩所述输出信号。所述输入信号包括深度图。

31、在一些示例中,所述编码器可进一步被配置为将所述一个或多个映射参数中的每个映射参数的所述值编码到所述位流中。

32、还提供了一种被配置为对数据进行解码的解码器,所述解码器被配置为:接收位流,所述位流包括:使用多个映射函数从具有较高位深度的输入信号生成的多个经编码的信号;对所述多个信号进行解码;定义由一个或多个重构参数参数化的重构函数;确定所述一个或多个重构参数中的每个重构参数的值;以及使用所述重构函数处理所述多个信号,以生成具有所述较高位深度的重构信号。所述输入信号包括深度图。

33、在一些示例中,所述接收到的位流可进一步包括经编码的元数据,所述经编码的元数据包括用于从具有与所述经编码的信号相比更高的位深度的输入信号生成所述多个经编码的信号的所述多个映射函数的一个或多个映射参数中的每个映射参数的值,并且所述解码器可被配置为基于所述一个或多个映射参数中的每个映射参数的所述值来确定所述一个或多个重构参数中的每个重构参数的所述值。

34、本发明的这些和其他方面将从下文描述的实施方案中显而易见并参考下文描述的实施方案进行阐明。