分离特征恢复参数的编码与传输的制作方法

摘要: 背景技术:1、可使用视频编码系统来压缩数字视频信号,例如以减少此类信号所需的存储空间和/或传输带宽。视频编码系统可包括例如基于块的系统、基于小波的系统和/或基于...
分离特征恢复参数的编码与传输的制作方法

背景技术:

1、可使用视频编码系统来压缩数字视频信号,例如以减少此类信号所需的存储空间和/或传输带宽。视频编码系统可包括例如基于块的系统、基于小波的系统和/或基于对象的系统。

技术实现思路

1、本文公开了用于在特征压缩比特流中分离特征恢复参数的编码与传输的系统、方法和手段。

2、在示例中,解码器可获得视频数据中的神经网络(nn)恢复器指示(例如,fcm_nn_restorer_flag)。所述nn恢复器指示可被配置为指示与所述nn相关联的数据是否正在传输。基于所述nn恢复器指示,所述解码器可确定与所述nn相关联的所述数据正在传输。基于所述确定,可监测与所述nn相关联的所述视频数据。

3、在示例中,编码器可执行特征缩减以将与nn模型相关联的特征缩减为与所述nn模型相关联的经压缩特征。所述编码器可确定与所述nn模型相关联的nn特征恢复器类型。所述编码器可在视频数据中发送nn特征恢复器类型指示(例如,fcm_nn_restorer_type)。所述nn特征恢复器类型指示可被配置为指示与nn模型相关联的nn特征恢复器类型。在示例中,解码器可获得视频数据中的nn特征恢复器类型指示(例如,fcm_nn_restorer_type)。基于所述nn特征指示类型指示,所述解码器可获得与所述nn特征恢复器类型相关联的特征参数。基于与所述nn特征恢复器类型相关联的所述特征参数,可对所述nn模型进行解码。

4、在示例中,可在补充增强信息(sei)消息中获得所述nn特征恢复器类型指示。在示例中,所述nn特征恢复器类型可包括基于nn的恢复器类型以及主成分分析(pca)恢复器类型中的至少一者。在示例中,与所述基于nn的恢复器类型相关联的特征参数可包括:与所述nn模型相关联的结构参数以及与所述nn模型相关联的权重参数中的至少一者。在示例中,与pca恢复器类型相关联的特征参数可包括pca基向量以及pca均值中的至少一者。在示例中,可在神经网络编码(nnc)视频数据中获得与所述nn特征恢复器类型相关联的所述特征参数。所述nnc视频数据可包括统一资源标识符(uri)指针以及有效载荷中的至少一者。

5、在示例中,与nnc模型相关联的nnc特征可包括多个张量。与所述nnc特征恢复器类型相关联的所述特征参数可包括多个nnc流。所述多个张量(例如,每个张量)可与所述多个nnc流(例如,单独的nnc流)中的至少一者相关联(例如,可用其进行编码)(例如,每个张量可用其进行编码)。

6、在示例中,编码器可发送nn模型指示。所述nn模型指示可与面向机器的特征编码(fcm)解码模型相关联。解码器可获得所述nn模型指示。所述解码器可基于(例如,进一步基于)所述fcm解码模型对所述nn模型进行解码。

7、这些示例可由具有处理器的设备执行。所述设备可以是编码器或解码器。这些示例可由存储在非暂时性计算机可读介质上并且包括程序代码指令的计算机程序产品执行。这些示例可由包括程序代码指令的计算机程序执行。

8、本文描述的系统、方法和手段可涉及解码器。在一些示例中,本文描述的系统、方法和手段可涉及编码器。在一些示例中,本文描述的系统、方法和手段可涉及(例如,来自编码器的和/或由解码器接收的)信号。计算机可读介质可包括用于使一个或多个处理器执行本文描述的方法的指令。计算机程序产品可包括指令,当所述程序由一个或多个处理器执行时,所述指令可使所述一个或多个处理器执行本文描述的方法。

1.一种用于视频解码的设备,所述设备包括:

2.根据权利要求1所述的设备,其中所述处理器被配置为:

3.根据权利要求2所述的设备,其中所述数据包括与所述nn模型相关联的经压缩特征,并且其中为了对所述nn模型进行解码,所述处理器还被配置为:

4.根据权利要求1所述的设备,其中在补充增强信息(sei)消息中获得所述nn特征恢复器类型指示。

5.根据权利要求1所述的设备,其中所述nn特征恢复器类型包括:基于nn的恢复器类型以及主成分分析(pca)恢复器类型中的至少一者。

6.根据权利要求5所述的设备,其中与所述基于nn的恢复器类型相关联的所述特征参数包括:与所述nn模型相关联的结构参数以及与所述nn模型相关联的权重参数中的至少一者。

7.根据权利要求5所述的设备,其中与所述pca恢复器类型相关联的所述特征参数包括:pca基向量以及pca均值中的至少一者。

8.根据权利要求1所述的设备,其中在神经网络编码(nnc)视频数据中获得与所述nn特征恢复器类型相关联的所述特征参数,其中所述nnc视频数据包括统一资源标识符(uri)指针以及有效载荷中的至少一者。

9.根据权利要求1所述的设备,其中与所述nn模型相关联的nn特征包括多个张量,其中与所述nn特征恢复器类型相关联的所述特征参数包括多个nnc流,并且其中所述多个张量中的每一者与所述多个nnc流中的至少一者相关联。

10. 根据权利要求1所述的设备,其中所述处理器还被配置为:

11.一种用于视频解码的方法,所述方法包括:

12.根据权利要求11所述的方法,还包括:

13.根据权利要求12所述的方法,其中所述数据包括与所述nn模型相关联的经压缩特征,并且其中为了对所述nn模型进行解码,所述方法还包括:

14.根据权利要求11所述的方法,其中在补充增强信息(sei)消息中获得所述nn特征恢复器类型指示。

15.根据权利要求11所述的方法,其中所述nn特征恢复器类型包括:基于nn的恢复器类型以及主成分分析(pca)恢复器类型中的至少一者。

16.根据权利要求15所述的方法,其中与所述基于nn的恢复器类型相关联的所述特征参数包括:与所述nn模型相关联的结构参数以及与所述nn模型相关联的权重参数中的至少一者。

17.根据权利要求15所述的方法,其中与所述pca恢复器类型相关联的所述特征参数包括:pca基向量以及pca均值中的至少一者。

18.根据权利要求11所述的方法,其中与所述nn模型相关联的nn特征包括多个张量,其中与所述nn特征恢复器类型相关联的所述特征参数包括多个nnc流,并且其中所述多个张量中的每一者与所述多个nnc流中的至少一者相关联。

19. 根据权利要求11所述的方法,还包括:

20.一种用于视频编码的设备,所述设备包括: