用于在补充增强信息消息中用信令指示AI驱动过程对视频的使用的方法和装置与流程

所公开的主题涉及视频编码和/或解码，尤其涉及以补充增强信息（supplementary enhancement information，sei）消息的形式用信令指示ai驱动过程对视频的使用。

背景技术：

1、采用运动补偿的帧间预测进行视频编码和/或解码的技术已存在数十年。未压缩数字视频可由一系列图像组成，各图像具有例如1920×1080亮度样本和相关联色度样本的空间维度。该系列图像可具有固定或可变的图像率（通俗地也称为帧率），例如每秒60幅图像，或60 hz。未压缩视频具有极高的码率要求。例如，每样本8位的1080p60 4:2:0视频（1920×1080亮度样本分辨率，60 hz帧率）需要接近1.5 gbit/s的带宽。这种视频一小时需要超过600千兆字节的存储空间。

2、视频编码和解码的一个目的可以是通过压缩来减少输入视频信号中的冗余。压缩有助于降低上述带宽或存储空间需求，在某些情况下，可降低两个数量级或更多。可以采用无损压缩和有损压缩以及二者的组合。无损压缩是指能够从压缩后的原始信号重建出原始信号的精确副本的技术。在使用有损压缩时，重建信号可能与原始信号不完全相同，但原始信号与重建信号之间的失真足够小，使得重建信号能够用于预期应用。就视频而言，广泛采用有损压缩。可容忍的失真量取决于具体应用；例如，某些消费级流媒体应用的用户可能比电视节目传送应用的用户能容忍更高的失真。可实现的压缩比可以反映出：允许或可容忍的失真越高，所能实现的压缩比就越高。

3、视频编码器和解码器可采用多种大类的技术，例如包括运动补偿、变换、量化和熵编码，下文将介绍其中部分技术。

4、生成式人工智能（artificial intelligence，ai）（以下简称“生成式ai”或“ai”）可用于创作或修改图像或图像序列（视频）。例如，在撰写本申请时，万维网已存在多种应用和网页，这些应用和网页能根据输入到应用中的字符串来生成图像——即像素图。可下载图像并用图像压缩工具进行处理，图像压缩工具包括例如符合h.266的一个静态图像档次的编码器。在撰写本申请时，针对图像序列也有类似技术可用，图像序列可被输入到例如h.266视频编码器中。类似地，也可能进行图像或视频篡改。例如，已知存在所谓的深度伪造技术，利用源图像或视频，并以原始内容创作者未预期的方式对源图像或视频进行篡改。一个常见的例子是名人的音视频序列，其中音频流被修改，使得该名人发表其本人原本不会发表的言论，并且视频被篡改成与修改后的音频同步（唇部动作、手势，等）。

5、版权是用于定义内容使用与分发相关法律法规的工具。然而，随着ai技术的进步，在内容使用多样化方面出现了新的挑战与考量。借助ai使用内容的方式可能变得高度多样化和复杂化，导致传统版权或许可条款难以清晰定义和管理所有可能的使用场景。因此，仅依靠版权或许可进行保护可能不足以应对ai驱动的内容使用所带来的复杂性。

技术实现思路

1、本申请实施例包括一种方法和装置，方法和装置包括：存储器，被配置成存储计算机程序代码；以及至少一个处理器，被配置成访问计算机程序代码，并按照计算机程序代码的指示进行操作。计算机程序被配置成使处理器根据格式规则在视觉媒体文件与视觉媒体数据码流之间执行转换，格式规则指示确定至少一个sei消息，sei消息包括语法元素，语法元素指示是否允许图像被ai引擎用作输入。

2、本申请实施例还提供了一种由至少一个处理器执行的视频解码方法，包括：接收已编码视频码流，已编码视频码流包括待由ai引擎使用的图像；以及从接收图像中解析至少一个sei消息，sei消息包括语法元素，语法元素指示是否允许图像被ai引擎用作输入。

3、本申请实施例还提供了一种由至少一个处理器执行的视频编码方法，包括：接收视频，视频包括至少一个图像；确定至少一个sei消息，sei消息包括语法元素，语法元素指示是否允许图像被ai引擎用作输入；以及编码视频码流，视频码流包括图像和至少一个sei消息。

4、语法元素可以指示是否允许图像被ai引擎用作衍生作品创作的输入。

5、语法元素可以指示是否允许图像被ai引擎用作训练的输入。

6、语法元素可以指示是否允许图像被ai引擎用作任何用途的输入。

7、语法元素可以指示图像是否需要内容所有者授权才能被ai引擎用作任何用途的输入。

8、语法元素可以包括以下各项中的任意项的语法：ai_usage_restrictions、aur_cancel_flag、aur_persistence_flag、aur_num_restrictions_minus1、aur_restriction[ i ]、aur_context_present_flag [ i ]和aur_context[ i ]。

9、aur_restriction [ i ]可以表示四个值中的任一值，这四个值包括：

10、指示“不用于任何ai应用”的第一值，

11、指示“不用于ai训练”的第二值，

12、指示“不用于生成式（修改或创作）ai”的第三值，以及

13、指示“不用于ai推理”的第四值，且

14、aur_context [ i ]可以表示以下任一者：

15、指示“商业用途”的第一bitmask，

16、指示“非商业用途”的第二bitmask，

17、指示“政府官方用途”的第三bitmask，以及

18、指示“科研与学术用途”的第四bitmask。

1.一种由至少一个处理器执行的视频解码方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，

3.根据权利要求1所述的方法，其特征在于，所述语法元素指示是否允许所述图像被所述ai引擎用作训练的输入。

4.根据权利要求1所述的方法，其特征在于，所述语法元素指示是否允许所述图像被所述ai引擎用作任何用途的输入。

5.根据权利要求1所述的方法，其特征在于，所述语法元素指示所述图像是否需要内容所有者授权才能被所述ai引擎用作任何用途的输入。

6.根据权利要求1所述的方法，其特征在于，所述语法元素包括以下各项中的任意项的语法：ai_usage_restrictions、aur_cancel_flag、aur_persistence_flag、aur_num_restrictions_minus1、aur_restriction [ i ]、aur_context_present_flag [ i ]和aur_context[ i ]。

7.根据权利要求1所述的方法，其特征在于，

8.一种由至少一个处理器执行的视频编码方法，其特征在于，包括：

9.根据权利要求8所述的方法，其特征在于，所述语法元素指示是否允许所述图像被所述ai引擎用作衍生作品创作的输入。

10.根据权利要求8所述的方法，其特征在于，所述语法元素指示是否允许所述图像被所述ai引擎用作训练的输入。

11.根据权利要求8所述的方法，其特征在于，所述语法元素指示是否允许所述图像被所述ai引擎用作任何用途的输入。

12.根据权利要求8所述的方法，其特征在于，所述语法元素指示所述图像是否需要内容所有者授权才能被所述ai引擎用作任何用途的输入。

13.根据权利要求8所述的方法，其特征在于，所述语法元素包括以下任一者的语法：ai_usage_restrictions、aur_cancel_flag、aur_persistence_flag、aur_num_restrictions_minus1、aur_restriction [ i ]、aur_context_present_flag [ i ]和aur_context[ i ]。

14.根据权利要求13所述的方法，其特征在于，

15.一种处理视觉媒体数据的方法，其特征在于，所述方法包括：

16.根据权利要求15所述的方法，其特征在于，所述语法元素指示是否允许所述图像被所述ai引擎用作衍生作品创作的输入。

17.根据权利要求15所述的方法，其特征在于，所述语法元素指示是否允许所述图像被所述ai引擎用作训练的输入。

18.根据权利要求15所述的方法，其特征在于，所述语法元素指示是否允许所述图像被所述ai引擎用作任何用途的输入。

19.根据权利要求15所述的方法，其特征在于，所述语法元素指示所述图像是否需要内容所有者授权才能被所述ai引擎用作任何用途的输入。

20.根据权利要求15所述的方法，其特征在于，