视频编辑方法、装置、电子设备及计算机存储介质与流程
本发明涉及视频处理,特别涉及一种视频编辑方法、装置、电子设备及计算机存储介质。
背景技术:
1、现有视频运动编辑方案中,多以通过用户拖拽稀疏特征点轨迹的方式同步修改物体运动与相机运镜,并利用完整原视频双向时序条件缓解图生视频的幻觉问题,从而在免训练的视频运动编辑领域取得了突破。
2、然而,该类方案在应用过程中仍存在显著缺陷:当用户对物体运动路径或相机运镜进行大幅度拖拽编辑时,梯度引导过程会对扩散模型的隐变量产生过度修正,导致画面纹理畸变、帧间闪烁及内容穿帮等影视级失真问题,其根源在于过度修正使隐变量脱离了预训练扩散模型所学习的高斯隐空间先验分布。
3、同时,现有方案缺乏对静态背景、局部物体和全局相机三类区域的有效区分,采用统一的约束强度对全部区域进行同等幅度的修正,导致原本应保持静止的背景区域因受到不必要的梯度影响而产生扭曲变形,而局部物体的运动精度不足、全局相机运镜与物体动作无法协同调整的问题亦未得到妥善解决。上述缺陷使得现有免训练运动编辑方案难以满足影视后期镜头修复、二次创作及短视频批量剪辑等行业应用对画面保真度和编辑精度的严苛要求。
技术实现思路
1、有鉴于此,本发明提供一种视频编辑方法、装置、电子设备及计算机存储介质,有效解决了不同区域强度失衡所导致的背景失真、运动精度不足及运镜与物体动作无法协同调整的技术难题。
2、本发明第一方面提供了一种视频编辑方法,包括:
3、获取原始视频帧序列、原始视频帧序列的源轨迹集合以及所述源轨迹集合对应的目标轨迹集合;
4、基于所述原始视频帧序列和所述目标轨迹集合,确定预测轨迹;
5、基于所述预测轨迹与所述目标轨迹集合,确定当前带噪隐变量的修正梯度;
6、基于所述源轨迹集合与所述目标轨迹集合,确定自适应运动引导强度;
7、基于所述自适应运动引导强度和所述修正梯度对所述当前带噪隐变量进行迭代更新,直至得到最终隐变量;
8、基于所述最终隐变量,生成编辑后的视频帧序列。
9、可选的,所述基于所述原始视频帧序列和所述目标轨迹集合,确定预测轨迹,包括:
10、基于所述原始视频帧序列生成时序条件嵌入和基底隐变量;
11、对所述基底隐变量叠加噪声,生成当前带噪隐变量;
12、对于当前扩散时间步,基于所述当前带噪隐变量和所述时序条件嵌入,生成预测噪声;
13、基于所述预测噪声和所述当前带噪隐变量,生成预估视频帧;
14、基于所述预估视频帧,生成预测轨迹。
15、可选的,所述基于所述预测轨迹与所述目标轨迹集合,确定当前带噪隐变量的修正梯度,包括:
16、基于所述目标轨迹集合,生成扰动目标轨迹集合;
17、基于所述预测轨迹、所述目标轨迹集合和所述扰动目标轨迹集合,构建轨迹区分损失;
18、基于当前带噪隐变量,构建当前正则损失;
19、基于所述轨迹区分损失和所述当前正则损失,确定所述当前带噪隐变量的修正梯度。
20、可选的,所述基于所述预测轨迹、所述目标轨迹集合和所述扰动目标轨迹集合,构建轨迹区分损失,包括:
21、基于所述预测轨迹和所述目标轨迹集合,确定第一轨迹区分损失;
22、基于所述预测轨迹和所述扰动目标轨迹集合,确定第二轨迹区分损失;
23、基于所述第一轨迹区分损失和所述第二轨迹区分损失,构建轨迹区分损失。
24、可选的,所述基于当前带噪隐变量,构建当前正则损失,包括:
25、对所述当前带噪隐变量的特征图进行分块处理,得到多个特征块,并确定各所述特征块内特征值的信息熵;
26、基于各所述特征块内特征值的信息熵确定所述当前正则损失。
27、可选的,所述基于所述源轨迹集合与所述目标轨迹集合,确定自适应运动引导强度,包括:
28、基于所述源轨迹集合中的源轨迹以及所述目标轨迹集合中所述源轨迹对应的目标轨迹,确定所述源轨迹和源轨迹对应的目标轨迹的轨迹形变幅度;
29、基于所述源轨迹对应的目标轨迹在连续视频帧之间的运动变化,确定轨迹加速度波动;
30、基于所述轨迹形变幅度和所述轨迹加速度波动,确定自适应运动引导强度。
31、可选的,所述基于所述自适应运动引导强度和所述修正梯度对所述当前带噪隐变量进行迭代更新,直至得到最终隐变量,包括:
32、基于所述自适应运动引导强度和所述修正梯度对所述预测噪声进行修正,得到修正后的预测噪声;
33、基于所述修正后的预测噪声对所述当前带噪隐变量进行更新,得到下一时间步的带噪隐变量;
34、将所述下一时间步的带噪隐变量作为新的当前带噪隐变量,继续执行预测轨迹的确定、修正梯度的确定、自适应运动引导强度的确定以及带噪隐变量的更新,直至完成预设扩散时间步的迭代,得到所述最终隐变量。
35、本发明第二方面提供了一种视频编辑装置,包括:
36、获取单元,用于获取原始视频帧序列、原始视频帧序列的源轨迹集合以及所述源轨迹集合对应的目标轨迹集合;
37、预测轨迹确定单元,用于基于所述原始视频帧序列和所述目标轨迹集合,确定预测轨迹;
38、修正梯度确定单元,用于基于所述预测轨迹与所述目标轨迹集合,确定当前带噪隐变量的修正梯度;
39、自适应运动引导强度确定单元,用于基于所述源轨迹集合与所述目标轨迹集合,确定自适应运动引导强度;
40、迭代更新单元,用于基于所述自适应运动引导强度和所述修正梯度对所述当前带噪隐变量进行迭代更新,直至得到最终隐变量;
41、编辑单元,用于基于所述最终隐变量,生成编辑后的视频帧序列。
42、可选的,所述预测轨迹确定单元,包括:
43、时序条件嵌入和基底隐变量生成单元,用于基于所述原始视频帧序列生成时序条件嵌入和基底隐变量;
44、当前带噪隐变量生成单元,用于对所述基底隐变量叠加噪声,生成当前带噪隐变量;
45、预测噪声生成单元,用于对于当前扩散时间步,基于所述当前带噪隐变量和所述时序条件嵌入,生成预测噪声;
46、预估视频帧生成单元,用于基于所述预测噪声和所述当前带噪隐变量,生成预估视频帧;
47、预测轨迹生成单元,用于基于所述预估视频帧,生成预测轨迹。
48、可选的,所述修正梯度确定单元,包括:
49、扰动目标轨迹集合生成单元,用于基于所述目标轨迹集合,生成扰动目标轨迹集合;
50、轨迹区分损失构建单元,用于基于所述预测轨迹、所述目标轨迹集合和所述扰动目标轨迹集合,构建轨迹区分损失;
51、当前正则损失构建单元,用于基于当前带噪隐变量,构建当前正则损失;
52、修正梯度确定子单元,用于基于所述轨迹区分损失和所述当前正则损失,确定所述当前带噪隐变量的修正梯度。
53、可选的,轨迹区分损失构建单元,包括:
54、第一轨迹区分损失确定子单元,用于基于所述预测轨迹和所述目标轨迹集合,确定第一轨迹区分损失;
55、第二轨迹区分损失确定子单元,用于基于所述预测轨迹和所述扰动目标轨迹集合,确定第二轨迹区分损失;
56、轨迹区分损失构建子单元,用于基于所述第一轨迹区分损失和所述第二轨迹区分损失,构建轨迹区分损失。
57、可选的,所述当前正则损失构建单元,包括:
58、信息熵确定子单元,用于对所述当前带噪隐变量的特征图进行分块处理,得到多个特征块,并确定各所述特征块内特征值的信息熵;
59、当前正则损失构建子单元,用于基于各所述特征块内特征值的信息熵确定所述当前正则损失。
60、可选的,所述自适应运动引导强度确定单元,包括:
61、轨迹形变幅度确定单元,用于基于所述源轨迹集合中的源轨迹以及所述目标轨迹集合中所述源轨迹对应的目标轨迹,确定所述源轨迹和源轨迹对应的目标轨迹的轨迹形变幅度;
62、轨迹加速度波动确定单元,用于基于所述源轨迹对应的目标轨迹在连续视频帧之间的运动变化,确定轨迹加速度波动;
63、自适应运动引导强度确定子单元,用于基于所述轨迹形变幅度和所述轨迹加速度波动,确定自适应运动引导强度。
64、可选的,所述迭代更新单元,包括:
65、预测噪声修正单元,用于基于所述自适应运动引导强度和所述修正梯度对所述预测噪声进行修正,得到修正后的预测噪声;
66、更新单元,用于基于所述修正后的预测噪声对所述当前带噪隐变量进行更新,得到下一时间步的带噪隐变量;
67、迭代单元,用于将所述下一时间步的带噪隐变量作为新的当前带噪隐变量,继续执行预测轨迹的确定、修正梯度的确定、自适应运动引导强度的确定以及带噪隐变量的更新,直至完成预设扩散时间步的迭代,得到所述最终隐变量。
68、本发明第三方面提供了一种电子设备,包括:
69、一个或多个处理器;
70、存储装置,其上存储有一个或多个程序;
71、当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如第一方面任意一项所述的视频编辑方法。
72、本发明第四方面提供了一种计算机存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如第一方面任意一项所述的视频编辑方法。
73、由以上方案可知,本发明提供一种视频编辑方法、装置、电子设备及计算机存储介质,获取原始视频帧序列的源轨迹集合及其对应的目标轨迹集合,并基于原始视频帧序列和目标轨迹集合确定预测轨迹,使扩散推理过程中形成的运动状态与目标运动状态建立对应关系;进一步根据预测轨迹与目标轨迹集合确定当前带噪隐变量的修正梯度,使隐变量的更新具有指向目标轨迹的修正方向。在此基础上,根据源轨迹集合与目标轨迹集合确定自适应运动引导强度,并利用所述自适应运动引导强度和修正梯度对当前带噪隐变量进行迭代更新,使不同运动变化程度的轨迹获得对应的修正作用。由此,可依据轨迹偏差和轨迹运动变化程度控制隐变量更新,降低固定引导强度导致的静态区域过度修正或运动区域约束不足,提高物体运动与相机运动的协同控制能力,并减少运动编辑过程中的画面纹理失真、帧间闪烁及运动偏离,提高编辑后视频的运动控制准确性和时序稳定性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com