基于全局约束与反馈闭环的视频理解与编辑方法及系统

本公开涉及自动化视频理解和编辑，具体涉及基于全局约束与反馈闭环的视频理解与编辑方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

2、目前，自动化视频理解和编辑系统多依赖单一模型、固定工具链或人工配置流程，面对长视频、多素材、多音视频操作和开放式自然语言需求时，难以同时完成全局理解、镜头级规划、素材检索、精细裁剪、音频处理、画面编辑和最终合成。

3、现有智能体视频剪辑框架能够将自然语言指令转化为分镜故事板，并通过跨模态相似度检索匹配素材，再利用智能体图完成部分工具调度。然而，现有方案仍然存在以下局限性：

4、（1）现有方案通常以每个分镜为单位独立选取相似度最高的素材，容易出现相邻镜头风格突变、同一素材重复使用、时长与节拍不一致、重要剧情点遗漏等问题；其裁剪边界也常依赖单次视觉语言模型判断，缺少对镜头边界、音频节拍、字幕停顿和运动强度的联合校准。

5、（2）已有多智能体图优化通常发生在执行前，主要检查是否存在环路、组件断开、意图覆盖不足或边兼容性不足。实际视频编辑过程中，节点智能体还会出现运行超时、返回格式不合规、素材不可用、生成音频时长与画面不匹配、口型同步失败、模型调用成本超预算等执行期问题。若仍采用一次性图构建或仅依赖执行前文本梯度优化，会导致局部错误沿后续节点传播，最终成片失败或质量明显下降。

技术实现思路

1、本公开为了解决上述问题，提出了基于全局约束与反馈闭环的视频理解与编辑方法及系统，构建镜头级故事板和候选素材集合，再构建镜头-素材双层约束图，对全部镜头的素材选择、顺序衔接、时长分配、重复使用、节奏匹配和覆盖范围进行联合优化；随后，对被选中的候选片段进行多信号边界自校准；再通过具有强类型合约的智能体图执行闭环，对执行期失败、格式错误、时长偏差和质量不达标结果进行局部修复或替换。

2、根据一些实施例，本公开采用如下技术方案：

3、基于全局约束与反馈闭环的视频理解与编辑方法，包括：

4、接收用户输入的视频理解编辑指令，获取视频与音频模态素材集合；

5、对视频素材进行关键帧识别得到关键帧以及上下文约束，对音频素材进行语音识别得到镜头级台词文本；

6、根据关键帧生成对应的深度表征和姿态表征，将关键帧、上下文约束与镜头级台词文本进行融合生成镜头级结构化描述；

7、基于镜头级结构化描述、深度表征和姿态表征构建跨模态索引；

8、基于视频理解编辑指令、目标镜头数据以及跨模态索引生成镜头级故事板，针对每个故事板检索多个候选片段集合；基于候选片段集合、镜头级故事板构建双层约束图；

9、在双层约束图上求解镜头到候选片段的全局分配，构建目标函数，对全部镜头的素材选择、顺序衔接、时长分配、重复使用、节奏匹配和覆盖范围进行联合优化，对被选中的候选片段进行多信号边界自校准，再通过具有强类型合约的智能体图执行闭环修复，直至得到满足约束且累计得分最高的候选镜头序列。

10、根据一些实施例，本公开采用如下技术方案：

11、基于全局约束与反馈闭环的视频理解与编辑系统，包括：

12、素材预处理与多模态表征模块，用于接收用户输入的视频理解编辑指令，获取视频与音频模态素材集合；对视频素材进行关键帧识别得到关键帧以及上下文约束，对音频素材进行语音识别得到镜头级台词文本；根据关键帧生成对应的深度表征和姿态表征，将关键帧、上下文约束与镜头级台词文本进行融合生成镜头级结构化描述；基于镜头级结构化描述、深度表征和姿态表征构建跨模态索引；

13、基础分镜与候选检索模块，用于基于视频理解编辑指令、目标镜头数据以及跨模态索引生成镜头级故事板；

14、镜头-素材双层约束图构建模块，用于针对每个故事板检索多个候选片段集合；基于候选片段集合、镜头级故事板构建双层约束图；

15、全局约束检索重排模块，用于在双层约束图上求解镜头到候选片段的全局分配，构建目标函数，对全部镜头的素材选择、顺序衔接、时长分配、重复使用、节奏匹配和覆盖范围进行联合优化；

16、多信号边界自校准模块，用于对被选中的候选片段进行多信号边界自校准；

17、执行反馈验证与局部修复模块，用于通过具有强类型合约的智能体图执行闭环修复，直至得到满足约束且累计得分最高的候选镜头序列。

18、根据一些实施例，本公开采用如下技术方案：

19、一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现所述的基于全局约束与反馈闭环的视频理解与编辑方法。

20、根据一些实施例，本公开采用如下技术方案：

21、一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现所述的基于全局约束与反馈闭环的视频理解与编辑方法。

22、与现有技术相比，本公开的有益效果为：

23、本公开的基于全局约束与反馈闭环的视频理解与编辑方法，通过镜头-素材双层约束图和全局目标函数，将素材选择从局部最高相似度匹配改进为全局序列优化，能够减少重复镜头、风格突变和剧情覆盖不足，提高长视频成片的叙事连续性与整体观感。

24、本公开的基于全局约束与反馈闭环的视频理解与编辑方法，通过语义、镜头边界、运动稳定性、节拍、字幕停顿和目标时长的联合评分确定起止时间，能够降低动作截断、语音截断、音乐节奏错位和镜头时长不一致的概率。

25、本公开的基于全局约束与反馈闭环的视频理解与编辑方法，增加了执行期强类型合约验证和局部修复闭环，能够在节点输出格式错误、时长偏差、模型失败、成本超预算或质量不达标时，仅针对受影响的局部子图进行修正，减少重复执行成本并提高复杂工作流的成功率。

26、本公开的基于全局约束与反馈闭环的视频理解与编辑方法，根据不确定度、预算余量、历史失败率和质量阈值执行分级路由，能够在低风险任务中使用低成本执行器，在高风险任务中升级强模型，从而兼顾质量、延迟和成本。

27、本公开的基于全局约束与反馈闭环的视频理解与编辑方法，均不依赖特定大模型、特定视频编码器或特定剪辑工具，适用于视频综述、剧情混剪、卡点音乐视频、跨语言配音、歌曲翻唱、表情包二创、长视频问答和多素材摘要等多种应用场景。

1.基于全局约束与反馈闭环的视频理解与编辑方法，其特征在于，包括：

2.如权利要求1所述的基于全局约束与反馈闭环的视频理解与编辑方法，其特征在于，所述接收用户输入的视频理解编辑指令，获取视频与音频模态素材集合，包括：

3.如权利要求1所述的基于全局约束与反馈闭环的视频理解与编辑方法，其特征在于，所述对视频素材进行关键帧识别得到关键帧以及上下文约束，包括：

4.如权利要求1所述的基于全局约束与反馈闭环的视频理解与编辑方法，其特征在于，所述对音频素材进行语音识别得到镜头级台词文本，包括：

5.如权利要求1所述的基于全局约束与反馈闭环的视频理解与编辑方法，其特征在于，所述根据关键帧生成对应的深度表征和姿态表征，将关键帧、上下文约束与镜头级台词文本进行融合生成镜头级结构化描述；基于镜头级结构化描述、深度表征和姿态表征构建跨模态索引，包括：

6.如权利要求1所述的基于全局约束与反馈闭环的视频理解与编辑方法，其特征在于，所述基于视频理解编辑指令、目标镜头数据以及跨模态索引生成镜头级故事板，针对每个故事板检索多个候选片段集合；基于候选片段集合、镜头级故事板构建双层约束图，包括：

7.如权利要求1所述的基于全局约束与反馈闭环的视频理解与编辑方法，其特征在于，所述在双层约束图上求解镜头到候选片段的全局分配，构建目标函数，对全部镜头的素材选择、顺序衔接、时长分配、重复使用、节奏匹配和覆盖范围进行联合优化，全局目标函数为：

8.基于全局约束与反馈闭环的视频理解与编辑系统，其特征在于，包括：

9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-7任一项所述的基于全局约束与反馈闭环的视频理解与编辑方法。

10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-7任一项所述的基于全局约束与反馈闭环的视频理解与编辑方法。