数字人视频编解码和传输的制作方法

摘要: 本专利文档涉及文件格式的数字音频视频媒体信息的生成、存储和使用。背景技术:1、数字视频占用了在互联网和其他数字通信网络上使用的最大带宽。随着能够接收和显示视频的...
数字人视频编解码和传输的制作方法

本专利文档涉及文件格式的数字音频视频媒体信息的生成、存储和使用。

背景技术:

1、数字视频占用了在互联网和其他数字通信网络上使用的最大带宽。随着能够接收和显示视频的连接用户设备的数量增加,对数字视频使用的带宽需求可能继续增长。

技术实现思路

1、第一方面涉及一种处理视频数据的方法,包括:确定在包括生成网络的生成模型中使用多个基本图片,针对数字人视频,该生成网络采用生成面部视频(gfv)补充增强信息(sei)消息来编解码视频信息;以及基于gfv sei消息执行可视媒体数据与比特流之间的转换。

2、第二方面涉及一种处理视频数据的装置,包括:处理器;和其上具有指令的非暂时性存储器,其中该指令在由处理器执行时使处理器执行上述方面中的任一个方面。

3、第三方面涉及一种非暂时性计算机可读介质,包括供视频编解码设备使用的计算机程序产品,该计算机程序产品包括存储在非暂时性计算机可读介质上的计算机可执行指令,使得当由处理器执行时使视频编解码设备执行上述方面中任一个方面的方法。

4、第四方面涉及一种非暂时性计算机可读记录介质,存储通过由视频处理装置执行的方法而生成的视频的比特流,其中该方法包括:确定在包括生成网络的生成模型中使用多个基本图片,针对数字人视频,该生成网络采用生成面部视频(gfv)补充增强信息(sei)消息来编解码视频信息;以及基于确定生成比特流。

5、第五方面涉及一种用于存储视频的比特流的方法,包括:确定在包括生成网络的生成模型中使用多个基本图片,针对数字人视频,该生成网络采用生成面部视频(gfv)补充增强信息(sei)消息来编解码视频信息;基于确定生成比特流;以及将比特流存储在非暂时性计算机可读记录介质中。

6、为了清楚的目的,上述实施例中的任一个实施例可以与一个或多个其他前述实施例组合,以在本公开的范围内创建新的实施例。

7、这些以及其他特征将通过参考附图和权利要求书的以下具体实施方式而被更清楚地理解。

1.一种处理媒体数据的方法,包括:

2.根据权利要求1所述的方法,其中,所述gfv sei消息中的一个和多个语法元素用于指示所述生成模型的输入图片的数量。

3.根据权利要求1-2中任一项所述的方法,其中,所述生成模型的输入图片的列表基于显式信令或基于较早解码的图片的输出顺序而推导。

4.根据权利要求1-3中任一项所述的方法,其中,一个和多个语法元素指示当前图片是否是输入或者输入图片的列表中的当前图片顺序。

5.根据权利要求1-4中任一项所述的方法,其中,基本图片和非基本图片在所述gfvsei消息中被不同地指示。

6.根据权利要求1-5中任一项所述的方法,其中,在所述gfv sei消息中仅指示非基本图片。

7.根据权利要求1-6中任一项所述的方法,其中,在所述gfv sei消息中通过信号传输一个或多个标识,所述标识指示哪些基本图片与哪些非基本图片一起被使用。

8.根据权利要求1-7中任一项所述的方法,其中,基于所述gfv sei消息推导一个或多个标识,所述标识指示哪些基本图片与哪些非基本图片一起被使用。

9.根据权利要求1-8中任一项所述的方法,其中,所述gfv sei消息中的一个或多个语法元素用于指示所述视频信息是否是数字人视频。

10.根据权利要求1-9中任一项所述的方法,其中,一个或多个语法元素用于指示数字人视频特定的特征元数据。

11.根据权利要求1-10中任一项所述的方法,其中,使用语音数据、语音特征数据、文本数据或包括基本图像的关键点特征和运动特征的骨骼特征来驱动视频生成。

12.根据权利要求1-11中任一项所述的方法,其中,关键视频集包括在所述比特流中,并且其中所述关键视频集在所述gfv sei消息中指示,或者其中所述gfv sei消息中的一个或多个语法元素指示所述当前图片是否包括在特定的关键视频集中。

13.根据权利要求1-12中任一项所述的方法,其中,所述生成网络接收视频集和数字人视频相关的特征元数据作为输入,以生成视频。

14.根据权利要求1-13中任一项所述的方法,其中,规定一个或多个sei消息以支持数字人视频。

15.根据权利要求1-14中任一项所述的方法,其中,规定生成人类视频sei消息以支持数字人视频。

16.根据权利要求1-15中任一项所述的方法,其中,在所述gfv sei消息之外的特定sei消息中通过信号传输数字人视频相关的特征元数据信息。

17.根据权利要求1-16中任一项所述的方法,其中,所述gfv sei消息支持具有多个数字人的数字人视频的编解码和传输。

18.根据权利要求1-17中任一项所述的方法,其中,所述gfv sei消息中包括面部标识符(id)或人类id,以指示对应的数字人,从而驱动具有多个数字人的视频生成。

19.根据权利要求1-18中任一项所述的方法,其中,所述可视媒体数据包括数字人视频、数字动物视频、通用视频或其组合。

20.根据权利要求1-19中任一项所述的方法,其中,所述转换包括将所述可视媒体数据编码为所述比特流。

21.根据权利要求1-19中任一项所述的方法,其中,所述转换包括从所述比特流解码所述可视媒体数据。

22.一种用于处理视频数据的装置,包括:处理器;和其上具有指令的非暂时性存储器,其中,所述指令在由所述处理器执行时,使所述处理器执行权利要求1-21中任一项所述的方法。

23.一种非暂时性计算机可读介质,包括供视频编解码设备使用的计算机程序产品,所述计算机程序产品包括存储在所述非暂时性计算机可读介质上的计算机可执行指令,使得当由处理器执行时,使所述视频编解码设备执行权利要求1-21中任一项所述的方法。

24.一种非暂时性计算机可读记录介质,存储通过由视频处理装置执行的方法而生成的视频的比特流,其中,所述方法包括:

25.一种用于存储视频的比特流的方法,包括: