视频处理方法、视频生成平台、计算设备及可读存储介质与流程
本说明书实施例涉及深度学习和视觉处理的,特别涉及一种视频处理方法、视频生成平台、计算设备及可读存储介质。
背景技术:
1、随着扩散生成模型技术的发展,通过加噪和去噪完成跨模态特征传递的视频处理,可以实现低维噪声空间到高维视频空间的映射重构,在视频修复、动作生成与超分辨率重建等视觉处理领域得到广泛发展。
2、目前,视频生成任务面临成像质量、动作表现力与时序一致性的三重挑战。扩散生成模型在视频生成中存在成像质量、动作表现力与时序一致性的权衡难题。只通过时序导向的渐进式加噪和去噪的扩散生成模型实现视频处理,虽然可以保证视频帧间细节的时序一致性,处理得到的目标视频往往单个视频帧的动作表现力不足且成像质量较低,而只通过单帧优化的独立加噪和去噪的扩散生成模型实现视频处理,处理得到的目标视频虽能提升单个视频帧的动作表现力和成像质量,却难以保证视频帧间细节的时序一致性。因此,亟需一种灵活高效地提升视频的动作表现力和成像质量,同时充分保留视频帧间细节的时序一致性的视频处理方法。
技术实现思路
1、有鉴于此,本说明书实施例提供了一种视频处理方法。本说明书一个或者多个实施例同时涉及一种视频生成平台,一种视频处理装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序产品,以解决现有技术中存在的技术缺陷。
2、根据本说明书实施例的第一方面,提供了一种视频处理方法,包括:
3、获取目标视频的当前帧;
4、将当前帧输入第一扩散生成模型的加噪单元,获得当前帧的第一加噪特征;
5、将第一加噪特征输入第一扩散生成模型的去噪单元,获得当前时间步的第一去噪特征;
6、将第一去噪特征输入第二扩散生成模型的加噪单元,获得下一时间步的第二加噪特征;
7、将第二加噪特征输入第二扩散生成模型的去噪单元,获得下一时间步的第二去噪特征;
8、将第二去噪特征输入第一扩散生成模型的去噪单元,迭代获得目标视频的下一帧,直至获得目标视频。
9、根据本说明书实施例的第二方面,提供了一种视频生成平台,包括前端接口和响应单元;
10、前端接口,用于接收前端发送的视频生成请求,其中,视频生成请求携带有用于生成目标视频的文本数据;
11、响应单元,用于对文本数据进行特征编码,获得文本特征,将文本特征输入第一扩散生成模型,生成目标视频的初始帧;
12、响应单元,用于将初始帧输入第一扩散生成模型的加噪单元,获得初始帧的第一加噪特征;
13、响应单元,用于将第一加噪特征输入第一扩散生成模型的去噪单元,以文本特征为引导条件,获得当前时间步的第一去噪特征;
14、响应单元,用于将第一去噪特征输入第二扩散生成模型的加噪单元,获得下一时间步的第二加噪特征;
15、响应单元,用于将第二加噪特征输入第二扩散生成模型的去噪单元,获得下一时间步的第二去噪特征;
16、响应单元,用于将第二去噪特征输入第一扩散生成模型的去噪单元,迭代获得目标视频的下一帧,直至获得目标视频。
17、根据本说明书实施例的第三方面,提供了一种视频处理装置,包括:
18、获取模块,被配置为获取目标视频的当前帧;
19、第一加噪模块,被配置为将当前帧输入第一扩散生成模型的加噪单元,获得当前帧的第一加噪特征;
20、第一去噪模块,被配置为将第一加噪特征输入第一扩散生成模型的去噪单元,获得当前时间步的第一去噪特征;
21、第二加噪模块,被配置为将第一去噪特征输入第二扩散生成模型的加噪单元,获得下一时间步的第二加噪特征;
22、第二去噪模块,被配置为将第二加噪特征输入第二扩散生成模型的去噪单元,获得下一时间步的第二去噪特征;
23、迭代模块,被配置为将第二去噪特征输入第一扩散生成模型的去噪单元,迭代获得目标视频的下一帧,直至获得目标视频。
24、根据本说明书实施例的第四方面,提供了一种计算设备,包括:
25、存储器和处理器;
26、存储器用于存储计算机程序/指令,处理器用于执行计算机程序/指令,该计算机程序/指令被处理器执行时实现上述视频处理方法的步骤。
27、根据本说明书实施例的第五方面,提供了一种计算机可读存储介质,其存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现上述视频处理方法的步骤。
28、根据本说明书实施例的第六方面,提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述视频处理方法的步骤。
29、本说明书一个实施例中,获取目标视频的当前帧;将当前帧输入第一扩散生成模型的加噪单元,获得当前帧的第一加噪特征;将第一加噪特征输入第一扩散生成模型的去噪单元,获得当前时间步的第一去噪特征;将第一去噪特征输入第二扩散生成模型的加噪单元,获得下一时间步的第二加噪特征;将第二加噪特征输入第二扩散生成模型的去噪单元,获得下一时间步的第二去噪特征;将第二去噪特征输入第一扩散生成模型的去噪单元,迭代获得目标视频的下一帧,直至获得目标视频。
30、结合了两种扩散生成模型优势的级联架构与跨模型多阶段迭代机制,基于目标视频的当前帧,在第一扩散生成模型和第二扩散生成模型中交替加噪和去噪,对下一帧的质量增强和时序约束进行优化,结合了两个扩散生成模型的高质量成像能力和时序一致性先验能力使生成视频在成像质量、动作表现力与时序一致性的三项指标上取得了平衡,超越单模型方案,突破了单模型方案中时序与质量相互制约的瓶颈。
1.一种视频处理方法,包括:
2.根据权利要求1所述的方法,所述将所述第二加噪特征输入所述第二扩散生成模型的去噪单元,获得所述下一时间步的第二去噪特征,包括:
3.根据权利要求2所述的方法,所述对下一时间步的第二加噪特征进行确定性去噪,获得所述下一时间步的第二去噪特征,包括:
4.根据权利要求1-3任一项所述的方法,在所述将所述加噪特征输入所述第一扩散生成模型的去噪单元,获得所述当前时间步的第一去噪特征之前,还包括:
5.根据权利要求4所述的方法,将所述第一加噪特征和所述文本特征输入所述第一扩散生成模型的去噪单元,以所述文本特征为引导条件,对所述第一加噪特征进行去噪,获得所述当前时间步的第一去噪特征,包括:
6.根据权利要求5所述的方法,所述基于所述第二加噪特征确定第二查询特征,包括:
7.根据权利要求6所述的方法,所述对所述第二初始查询特征和所述第一查询特征进行特征混合,获得第二查询特征,包括:
8.根据权利要求5所述的方法,在所述基于所述第二加噪特征确定第二查询特征之前,还包括:
9.根据权利要求8所述的方法,所述对所述第三查询特征和所述第一查询特征进行特征混合,获得时序约束查询特征,包括:
10.根据权利要求1所述的方法,所述第一扩散生成模型为文本到图像的扩散生成模型,所述文本到图像的扩散生成模型基于样本文本和样本图像训练获得;所述第二扩散生成模型为文本到视频的扩散生成模型,所述文本到视频的扩散生成模型基于样本文本和样本视频训练获得。
11.一种视频生成平台,包括前端接口和响应单元;
12.一种计算设备,包括:
13.一种计算机可读存储介质,其存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现权利要求1至10任意一项所述方法的步骤。
14.一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现权利要求1至10任意一项所述方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com