基于交互效果传播的视频编辑方法和视频编辑装置与流程

本公开涉及计算机视觉领域，更具体地讲，涉及一种对视频进行编辑的方法和装置。

背景技术：

1、随着社交媒体的发展，人们对视频个性化编辑的需求呈现指数级上升。传统视频编辑方法需要人工逐帧处理视频，操作复杂且耗时。此外，视频编辑既要保证每一帧的画面效果，又要维持视频整体画面的逻辑连贯性。

2、近年来，生成式人工智能（ai）在计算机视觉领域得到广泛使用。大多数视频编辑方法是基于文本提示生成目标视频。然而，大部分基于视频生成模型的编辑方法在保持视频画面的一致性方面仍存在局限性。

技术实现思路

1、提供本 技术实现要素： 以简要的形式介绍在以下具体实施方式中进一步描述的构思的选择。本发明内容不意在确定要求保护的主题的关键特征或/或必要特征，也不意在用于帮助确定要求保护的主题的范围。

2、根据本公开的一个方面，提供一种基于交互效果传播的视频编辑方法，所述视频编辑方法包括：接收输入视频和用户提示词，其中，输入视频包括多个帧，用户提示词指示将对输入视频中的视觉元素进行修改的文本提示；基于用户提示词生成交互感知提示词；基于输入视频和交互感知提示词，使用预训练的多模态大语言模型识别关键帧的集合并且生成与关键帧对应的场景交互效果信息；使用图像生成模型提取输入视频中的每个帧的扩散特征；基于场景交互效果信息，使用图像生成模型对关键帧进行编辑，以生成编辑后的关键帧；使用图像生成模型对编辑后的关键帧进行联合编辑，以生成联合编辑后的关键帧；基于联合编辑后的关键帧的特征，使用图像生成模型对输入视频的其他帧进行编辑，以生成编辑后的输出视频。

3、基于用户提示词生成交互感知提示词的步骤可包括：基于预设模板生成交互感知提示词，其中，交互感知提示词用于对多模态大语言模型进行微调，以指导多模态大语言模型感知输入视频中存在的场景交互效果。

4、场景交互效果信息可包括：关键帧的编号、与关键帧对应的时间轴信息和场景交互自然语言描述。

5、图像生成模型可以是基于扩散模型的神经网络模型，其中，使用图像生成模型对关键帧进行编辑的步骤可包括：在交互效果生成的每个时间步，从关键帧的集合中随机选择一组目标关键帧；获得每个目标关键帧映射到潜空间的带噪向量；使用图像生成模型基于带噪向量和场景交互效果信息生成编辑后的关键帧。

6、对编辑后的关键帧进行联合编辑的步骤可包括：计算每个编辑后的关键帧的自注意力特征，其中，自注意力特征包括查询特征、键特征和值特征；将编辑后的关键帧的键特征进行拼接，以生成扩展联合注意力；基于扩展联合注意力对每个目标关键帧进行联合编辑，其中，联合编辑后的关键帧的特征向量包括将所述一组目标关键帧的语义特征进行融合的结果。

7、使用图像生成模型提取输入视频中的每个帧的扩散特征的步骤可包括：获得每个帧映射到潜空间的带噪向量；使用图像生成模型的自注意力层提取特征向量，以获得每个帧的扩散特征。

8、每个帧的扩散特征可用于建立帧间特征对应关系。

9、使用图像生成模型对输入视频的其他帧进行编辑的步骤可包括：获得与被编辑的当前帧最邻近的前一目标关键帧和后一目标关键帧；基于扩散特征，建立当前帧与前一目标关键帧以及当前帧与后一目标关键帧的帧间特征对应关系；基于帧间特征对应关系以及前一目标关键帧和后一目标关键帧的特征向量，生成当前帧的特征向量；基于当前帧的特征向量生成编辑后的当前帧。

10、当前帧的特征向量可基于前一目标关键帧和后一目标关键帧的特征向量的加权和来计算，其中，权重的值可与目标关键帧和当前帧之间的时间差成反比。

11、所述视频编辑方法还可包括：在没有接收到用户提示词的情况下，基于输入视频向用户推荐提示词。

12、根据本公开的一个方面，提供一种基于交互效果传播的视频编辑装置，所述视频编辑装置包括：预处理模块，被配置为：接收输入视频和用户提示词，其中，输入视频包括多个帧，用户提示词指示将对输入视频中的视觉元素进行修改的文本提示；基于用户提示词生成交互感知提示词；视频感知模块，被配置为：基于输入视频和交互感知提示词，识别关键帧的集合，并且生成与关键帧对应的场景交互效果信息；特征提取模块，被配置为：提取输入视频中的每个帧的扩散特征；交互效果生成模块，被配置为：基于场景交互效果信息，对关键帧进行编辑，以生成编辑后的关键帧；联合编辑模块，被配置为：对编辑后的关键帧进行联合编辑，以生成联合编辑后的关键帧；编辑效果传播与生成模块，被配置为：基于联合编辑后的关键帧的特征，使用图像生成模型对输入视频的其他帧进行编辑，以生成编辑后的输出视频。

13、预处理模块可被配置为：基于预设模板生成交互感知提示词，其中，交互感知提示词用于对多模态大语言模型进行微调，以指导多模态大语言模型感知输入视频中存在的场景交互效果。

14、场景交互效果信息可包括：关键帧的编号、与关键帧对应的时间轴信息和场景交互自然语言描述。

15、交互效果生成模块可被配置为：在交互效果生成的每个时间步，从关键帧的集合中随机选择一组目标关键帧；获得每个目标关键帧映射到潜空间的带噪向量；基于带噪向量和场景交互效果信息生成编辑后的关键帧。

16、联合编辑模块可被配置为：计算每个编辑后的关键帧的自注意力特征，其中，自注意力特征包括查询特征、键特征和值特征；将编辑后的关键帧的键特征进行拼接，以生成扩展联合注意力；基于扩展联合注意力对每个目标关键帧进行联合编辑，其中，联合编辑后的关键帧的特征向量包括将所述一组目标关键帧的语义特征进行融合的结果。

17、特征提取模块可被配置为：获得每个帧映射到潜空间的带噪向量；使用图像生成模型的自注意力层提取特征向量，以获得每个帧的扩散特征，其中，每个帧的扩散特征用于建立帧间特征对应关系。

18、编辑效果传播与生成模块可被配置为：获得与被编辑的当前帧最邻近的前一目标关键帧和后一目标关键帧；基于扩散特征，建立当前帧与前一目标关键帧以及当前帧与后一目标关键帧的帧间特征对应关系；基于帧间特征对应关系以及前一目标关键帧和后一目标关键帧的特征向量，生成当前帧的特征向量；基于当前帧的特征向量生成编辑后的当前帧。

19、当前帧的特征向量可基于前一目标关键帧和后一目标关键帧的特征向量的加权和来计算，其中，权重的值可与目标关键帧和当前帧之间的时间差成反比。

20、预处理模块还可被配置为：在没有接收到用户提示词的情况下，基于输入视频向用户推荐提示词。

21、根据本公开的一个方面，一种存储指令的非暂时性计算机可读存储介质，所述指令在被处理器执行时，使处理器执行根据本公开的示例实施例的视频编辑方法。

22、将在接下来的描述中部分阐述本发明构思另外的方面和/或优点，还有一部分通过描述将是清楚的，和/或可以通过各种示例实施例的实施而得知。

1.一种基于交互效果传播的视频编辑方法，所述视频编辑方法包括：

2.根据权利要求1所述的视频编辑方法，其中，基于用户提示词生成交互感知提示词的步骤包括：

3.根据权利要求2所述的视频编辑方法，其中，场景交互效果信息包括：关键帧的编号、与关键帧对应的时间轴信息和场景交互自然语言描述。

4.根据权利要求1所述的视频编辑方法，

5.根据权利要求4所述的视频编辑方法，其中，对编辑后的关键帧进行联合编辑的步骤包括：

6.根据权利要求1所述的视频编辑方法，其中，使用图像生成模型提取输入视频中的每个帧的扩散特征的步骤包括：

7.根据权利要求1所述的视频编辑方法，其中，每个帧的扩散特征用于建立帧间特征对应关系。

8.根据权利要求7所述的视频编辑方法，其中，使用图像生成模型对输入视频的其他帧进行编辑的步骤包括：

9.根据权利要求8所述的视频编辑方法，

10.根据权利要求1所述的视频编辑方法，还包括：

11.一种基于交互效果传播的视频编辑装置，包括：

12.根据权利要求11所述的视频编辑装置，其中，预处理模块被配置为：

13.根据权利要求12所述的视频编辑装置，其中，场景交互效果信息包括：关键帧的编号、与关键帧对应的时间轴信息和场景交互自然语言描述。

14.根据权利要求11所述的视频编辑装置，其中，交互效果生成模块被配置为：

15.根据权利要求14所述的视频编辑装置，其中，联合编辑模块被配置为：

16.根据权利要求11所述的视频编辑装置，其中，特征提取模块被配置为：

17.根据权利要求16所述的视频编辑装置，其中，编辑效果传播与生成模块被配置为：

18.根据权利要求17所述的视频编辑装置，

19.根据权利要求11所述的视频编辑装置，其中，预处理模块还被配置为：

20.一种存储指令的非暂时性计算机可读存储介质，所述指令在被处理器执行时，使处理器执行根据权利要求1至权利要求10中的任意一项所述的视频编辑方法。