JPEGAI码流中子流的承载的制作方法

本专利文档涉及文件格式的数字音频视频媒体信息的生成、存储和使用。

背景技术：

1、数字视频占了互联网和其他数字通信网络上使用的最大带宽。随着能够接收和显示视频的连接用户设备的数量增加，对数字视频使用的带宽需求可能继续增长。

技术实现思路

1、第一方面涉及一种处理视频数据的方法，包括：确定联合图像专家组（jpeg）人工智能（ai）码流包含一个或多个子流，其中每个子流以标记标识符（id）开始，随后是子流的尺寸和载荷数据；以及基于标记id、子流的尺寸和载荷数据执行可视媒体数据与jpeg ai码流之间的转换。

2、第二方面涉及一种处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中指令在由处理器执行时使处理器执行前述方面中的任一个方面。

3、第三方面涉及一种非暂时性计算机可读介质，包括供视频编解码设备使用的计算机程序产品，其中计算机程序产品包括存储在非暂时性计算机可读介质上的计算机可执行指令，使得当计算机可执行指令由处理器执行时使视频编解码设备执行前述方面中任一个方面的方法。

4、第四方面涉及一种非暂时性计算机可读记录介质，存储通过由视频处理装置执行的方法而生成的视频的jpeg ai码流，其中该方法包括：确定联合图像专家组（jpeg）人工智能（ai）码流包含一个或多个子流，其中每个子流以标记标识符（id）开始，随后是子流的尺寸和载荷数据；以及基于确定生成jpeg ai码流。

5、第五方面涉及一种存储视频的比特流的方法，包括：确定联合图像专家组（jpeg）人工智能（ai）码流包含一个或多个子流，其中每个子流以标记标识符（id）开始，随后是子流的尺寸和载荷数据；基于确定生成jpeg ai码流；以及将jpeg ai码流存储在非暂时性计算机可读记录介质中。

6、为了清楚的目的，前述实施例中的任一个实施例可以与一个或多个其他前述实施例组合，以在本公开的范围内创建新的实施例。

7、通过参考附图和权利要求书的以下具体实施方式，将更清楚地理解这些和其他特征。

1.一种处理视频数据的方法，包括：

2.如权利要求1所述的方法，其中，所述标记id被编解码为无符号十六比特数据元素。

3.如权利要求1或2所述的方法，其中，所述每个子流包含所述子流的所述尺寸与所述载荷数据之间的字节对齐语法结构。

4.如权利要求1-3中任一项所述的方法，其中，所述字节对齐语法结构的每个比特等于0。

5.如权利要求1-4中任一项所述的方法，其中，所述标记id和所述子流的所述尺寸被配置为：使得当解码器读取所述标记id并且不支持所述标记id时，所述解码器须丢弃由所述子流的所述尺寸指示的所述子流的所有剩余比特。

6.如权利要求1-5中任一项所述的方法，其中，所述子流被配置为：使得当遇到保留的码流标记时，解码器须忽略后续的码流段。

7.如权利要求1-6中任一项所述的方法，其中，所述保留的码流标记包含85到87的范围（包括85和87）内的最低有效比特值。

8.如权利要求1-7中任一项所述的方法，其中，所述标记id是规定子流标记的x比特语法元素，每个子流包括规定所述子流的所述尺寸的长度的y比特语法元素，所述子流的所述尺寸是规定所述子流载荷的所述尺寸（以字节为单位）的z比特语法元素，并且x、y、z是大于0的整数。

9.如权利要求1-8中任一项所述的方法，其中，x等于16，y等于2，并且z由y的值确定。

10.如权利要求1-9中任一项所述的方法，其中，y等于2，并且y的0、1、2和3的值确定z的值何时分别为8、16、24和32。

11.如权利要求1-10中任一项所述的方法，其中，所述x比特语法元素是所述标记id并且被表示为保留的子流开始标记（rsv_ss_marker），或者所述标记id指示包括图片头子流或工具头子流的所述子流的类型，或者所述y比特语法元素被表示为保留的子流尺寸的长度（以字节为单位）减1（rsv_ss_size_len_in_bytes_minus1），或者所述z比特语法元素被表示为保留的子流尺寸值（rsv_ss_size_val）。

12.如权利要求1-11中任一项所述的方法，其中，所述字节对齐语法结构确保所述子流中在所述载荷数据之前的比特的数量是8的整数倍，或者所述字节对齐语法结构比特中的每一个字节对齐语法结构比特被保留。

13.如权利要求1-12中任一项所述的方法，其中，所述jpeg ai码流中的可选子流的存在取决于：所述jpeg ai码流中紧接在第二子流的语法结构之后的接下来的m比特的值是否等于可选子流的标记，或者m等于16。

14.如权利要求1-13中任一项所述的方法，其中，值被指示为保留的子流标记不应出现在符合jpeg ai标准的第一版本的jpeg ai码流中，或者当遇到保留的子流标记时，符合所述jpeg ai标准的所述第一版本的解码器须忽略与所述保留的子流标记相关联的子流。

15.如权利要求1-14中任一项所述的方法，其中，允许存在于所述jpeg ai码流中的子流被规定为两个类别，其中第一类别的子流（当存在时）按解码顺序在质量流（q_stream()）语法结构（当存在时）之前，并且第二类别的子流（当存在时）按解码顺序在始终存在的第二分量的残差流（r_secondary_stream()）语法结构之后，并且按解码顺序在也始终存在的码流结束（eoc）标记之前。

16.如权利要求1-15中任一项所述的方法，其中，第一类别的可选子流被称为前缀子流，或者第二类别的可选子流被称为后缀子流，或者所述第一类别的可选子流包括所述标记id的值在0xff83到0xff87的范围（包括0xff83和0xff87）内的子流，或者第二类别的可选子流包括所述标记id的值在0xff8c到0xff8e的范围（包括0xff8c和0xff8e）内的子流。

17.如权利要求1-16中任一项所述的方法，其中，允许一种类型的前缀子流按解码顺序在任何其他类型的前缀子流之前或之后，或者允许一种类型的后缀子流按解码顺序在任何其他类型的后缀子流之前或之后。

18.如权利要求1-17中任一项所述的方法，其中，所有保留类型的子流都是可选子流。

19.如权利要求1-18中任一项所述的方法，其中，当质量图开始（soq）标记存在并且具有在0xff83到0xff87的范围（包括0xff83和0xff87）内的值的第二标记也存在时，与所述第二标记相关联的子流按解码顺序须在质量图子流之前，所述质量图子流包括q_stream()语法结构且与所述soq标记相关联。

20.如权利要求1-19中任一项所述的方法，其中，当具有在0xff8c到0xff8f的范围（包括0xff8c和0xff8f）内的值的标记id存在时，与所述标记id相关联的所述子流按解码顺序须在次要分量残差子流之后，所述次要分量残差子流与次要分量的残差流开始（sors）标记相关联。

21.如权利要求1-20中任一项所述的方法，其中，所述转换包括将所述可视媒体数据编码到所述jpeg ai码流中。

22.如权利要求1-20中任一项所述的方法，其中，所述转换包括从所述jpeg ai码流解码所述可视媒体数据。

23.一种处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中，所述指令在由所述处理器执行时使所述处理器执行权利要求1-22中任一项的所述方法。

24.一种非暂时性计算机可读介质，包括供视频编解码设备使用的计算机程序产品，其中，所述计算机程序产品包括存储在所述非暂时性计算机可读介质上的计算机可执行指令，使得当所述计算机可执行指令由处理器执行时使所述视频编解码设备执行权利要求1-22中任一项的所述方法。

25.一种非暂时性计算机可读记录介质，存储通过由视频处理装置执行的方法而生成的视频的联合图像专家组（jpeg）人工智能（ai）码流，其中，所述方法包括：

26.一种存储视频的比特流的方法，包括：