视频生成方法、装置、计算机设备及存储介质与流程
本技术实施例涉及计算机,特别涉及一种视频生成方法、装置、计算机设备及存储介质。
背景技术:
1、随着计算机技术的发展,对视频的处理方式也越来越多样,目前可以基于人工智能技术智能生成视频。例如通过指定参考图像,可以智能生成与参考图像中的内容相符的视频。
2、相关技术中,在智能生成视频时,仅能根据用户提供的参考图像随机生成相应的视频,但是难以对视频所展示的视角进行精准控制,生成的视频所展示的视角具有一定的随机性,因此视频生成的可控性较低。
技术实现思路
1、本技术实施例提供了一种视频生成方法、装置、计算机设备及存储介质,能够提高视频生成的可控性。所述技术方案如下:
2、一方面,提供了一种视频生成方法,所述方法包括:
3、获取第一场景图像,所述第一场景图像用于指示待生成的第一视频片段包含的场景;
4、在检测到第一交互操作的情况下,将所述第一交互操作映射为虚拟相机的第一动态变化信息,所述第一动态变化信息用于指示所述虚拟相机在拍摄所述场景时的移动方式;
5、基于所述第一动态变化信息,确定多个第一相机参数矩阵,每个所述第一相机参数矩阵对应于所述第一视频片段中的一帧视频帧,每个所述第一相机参数矩阵表示在拍摄所述视频帧时所述虚拟相机的位姿;
6、基于所述第一场景图像和所述虚拟相机的多个第一相机参数矩阵,生成所述第一视频片段。
7、可选地,所述通过所述视频生成模型,基于所述第一样本视觉特征和所述样本交互特征,生成样本视频特征,包括:
8、通过所述视频生成模型,对所述样本视频片段中的多个视频帧执行特征提取操作,得到第二样本视觉特征;
9、通过所述视频生成模型,融合所述第二样本视觉特征、样本噪声特征和所述第一样本视觉特征,得到样本加噪视觉特征,所述样本噪声特征表征随机噪声;
10、通过所述视频生成模型,融合所述样本加噪视觉特征和所述样本交互特征,得到样本加噪视频特征;
11、通过所述视频生成模型,对所述样本加噪视频特征执行去噪操作,得到所述样本视频特征。
12、可选地,所述方法还包括:
13、通过判别模型,确定所述样本视频特征的判别结果,所述判别结果表示所述样本视频特征属于真实视频特征的概率,所述真实视频特征是指对真实视频片段执行特征提取操作得到的特征;
14、基于所述判别结果,训练所述视频生成模型。
15、可选地,所述第i个第二去噪轨迹中去噪网络的个数是所述第i个第一去噪轨迹中去噪网络的个数的p倍,所述第i个第一去噪轨迹中的每个第一去噪网络与所述第i个第二去噪轨迹中的p个第二去噪网络对应,p为正整数;
16、所述基于所述第i个第一去噪轨迹的输出特征和所述第i个第二去噪轨迹的输出特征,训练所述第i个第一去噪轨迹中的第一去噪网络,包括:
17、基于所述第i个第一去噪轨迹中每个第一去噪网络的输出特征和所述每个第一去噪网络对应的标签输出特征,训练所述第i个第一去噪轨迹中的第一去噪网络;其中,所述标签输出特征是指所述第一去噪网络对应的p个第二去噪网络中最后一个第二去噪网络的输出特征。
18、另一方面,提供了一种视频生成装置,所述装置包括:
19、获取模块,用于获取第一场景图像,所述第一场景图像用于指示待生成的第一视频片段包含的场景;
20、第一转换模块,用于在检测到第一交互操作的情况下,将所述第一交互操作映射为虚拟相机的第一动态变化信息,所述第一动态变化信息用于指示所述虚拟相机在拍摄所述场景时的移动方式;
21、第二转换模块,用于基于所述第一动态变化信息,确定多个第一相机参数矩阵,每个所述第一相机参数矩阵对应于所述第一视频片段中的一帧视频帧,每个所述第一相机参数矩阵表示在拍摄所述视频帧时所述虚拟相机的位姿;
22、生成模块,用于基于所述第一场景图像和所述虚拟相机的多个第一相机参数矩阵,生成所述第一视频片段。
23、可选地,所述第一转换模块,用于:
24、在检测到所述第一交互操作的情况下,获取映射信息,所述映射信息包括多种交互操作与多种动态变化信息之间的映射关系;
25、在所述映射信息中查找与所述第一交互操作具有映射关系的所述第一动态变化信息。
26、可选地,所述第一动态变化信息包括平移速度、旋转角度和焦距,所述第一相机参数矩阵包括内参矩阵和外参矩阵;所述第二转换模块,还用于:
27、基于所述第一动态变化信息中的平移速度和旋转角度,确定所述虚拟相机在每个视频帧的外参矩阵;
28、基于所述第一动态变化信息中的焦距,确定所述虚拟相机在每个视频帧的内参矩阵。
29、可选地,所述生成模块,用于:
30、将所述多个第一相机参数矩阵转换为多个帧编码,所述帧编码表示在所述第一相机参数矩阵下所述视频帧中每个像素投射至世界空间的方向;
31、基于所述第一场景图像和所述多个帧编码,生成所述第一视频片段。
32、可选地,所述生成模块,用于:
33、对于所述视频帧中的每个像素,基于所述视频帧的第一相机参数矩阵和所述像素的平面坐标向量,确定所述像素的第一方向特征,所述像素的第一方向特征表示从所述虚拟相机指向所述像素的投射点的方向,所述像素的投射点是指在所述第一相机参数矩阵下所述像素投射至世界空间的点;基于所述像素的第一方向特征和所述虚拟相机的空间坐标向量,确定所述像素的像素编码;
34、合并所述视频帧中的每个像素的像素编码,得到所述视频帧的帧编码。
35、可选地,所述第一相机参数矩阵包括内参矩阵和外参矩阵,所述外参矩阵包括旋转矩阵和平移矩阵;所述生成模块,用于:
36、将所述旋转矩阵、所述内参矩阵的逆矩阵和所述平面坐标向量的转置相乘,得到中间矩阵;
37、将所述中间矩阵和所述平移矩阵相加,得到所述像素的第一方向特征。
38、可选地,所述生成模块,用于:
39、将所述像素的第一方向特征进行归一化,得到归一化后的第一方向特征;
40、将所述归一化后的第一方向特征和所述空间坐标向量相乘,得到所述像素的第二方向特征;
41、合并所述第二方向特征和所述归一化后的第一方向特征,得到所述像素的像素编码。
42、可选地,所述生成模块,用于:
43、对所述第一场景图像执行特征提取操作,得到第一视觉特征;
44、对所述多个帧编码执行特征提取操作,得到第一交互特征;
45、基于所述第一视觉特征和所述第一交互特征,生成视频特征;
46、对所述视频特征执行解码操作,得到所述第一视频片段。
47、可选地,所述装置通过视频生成模型执行,所述视频生成模型包括视觉特征提取网络;所述生成模块,用于:
48、通过所述视觉特征提取网络,将所述第一场景图像分割成多个图像块;
49、通过所述视觉特征提取网络,对所述多个图像块中的每个图像块执行特征提取操作,得到所述每个图像块各自对应的局部视觉特征;
50、通过所述视觉特征提取网络,融合所述多个图像块各自对应的局部视觉特征,得到所述第一视觉特征。
51、可选地,所述装置通过视频生成模型执行,所述视频生成模型包括交互特征提取网络;所述生成模块,用于:
52、通过所述交互特征提取网络,将所述多个帧编码分别分割成多个编码块;
53、通过所述交互特征提取网络,对所述多个编码块中的每个编码块执行特征提取操作,得到所述每个编码块各自对应的局部交互特征;
54、通过所述交互特征提取网络,融合所述多个编码块各自对应的局部交互特征,得到所述第一交互特征。
55、可选地,所述生成模块,用于:
56、融合所述第一视觉特征和噪声特征,得到加噪视觉特征,所述噪声特征表征随机噪声;
57、融合所述加噪视觉特征和所述第一交互特征,得到加噪视频特征;
58、对所述加噪视频特征执行去噪操作,得到所述视频特征。
59、可选地,所述第一转换模块,还用于在检测到第二交互操作的情况下,将所述第二交互操作映射为第二动态变化信息;
60、所述第二转换模块,还用于基于所述第二动态变化信息,确定多个第二相机参数矩阵;
61、所述获取模块,还用于在所述第一视频片段中获取第二场景图像,所述第二场景图像为所述第一视频片段中的任一视频帧;
62、所述生成模块,还用于基于所述第二场景图像和所述多个第二相机参数矩阵,生成第二视频片段。
63、可选地,所述装置通过视频生成模型执行,所述装置还包括模型训练模块,用于:
64、获取样本场景图像、多个样本相机参数矩阵和标签视频片段,所述样本场景图像用于指示所述标签视频片段包含的样本场景,每个所述样本相机参数矩阵表示在拍摄所述标签视频片段中的视频帧时所述虚拟相机的位姿;
65、通过所述视频生成模型,基于所述样本场景图像和所述多个样本相机参数矩阵,生成样本视频片段;
66、基于所述样本视频片段和所述标签视频片段,训练所述视频生成模型。
67、可选地,所述模型训练模块,用于:
68、将所述多个样本相机参数矩阵转换为多个样本帧编码;
69、通过所述视频生成模型,基于所述样本场景图像和所述多个样本帧编码,生成所述样本视频片段。
70、可选地,所述模型训练模块,用于:
71、通过所述视频生成模型,对所述样本场景图像执行特征提取操作,得到第一样本视觉特征;
72、通过所述视频生成模型,对所述多个样本帧编码执行特征提取操作,得到样本交互特征;
73、通过所述视频生成模型,基于所述第一样本视觉特征和所述样本交互特征,生成样本视频特征;
74、通过所述视频生成模型,对所述样本视频特征执行解码操作,得到所述样本视频片段。
75、可选地,所述模型训练模块,用于:
76、通过所述视频生成模型,对所述样本视频片段中的多个视频帧执行特征提取操作,得到第二样本视觉特征;
77、通过所述视频生成模型,融合所述第二样本视觉特征、样本噪声特征和所述第一样本视觉特征,得到样本加噪视觉特征,所述样本噪声特征表征随机噪声;
78、通过所述视频生成模型,融合所述样本加噪视觉特征和所述样本交互特征,得到样本加噪视频特征;
79、通过所述视频生成模型,对所述样本加噪视频特征执行去噪操作,得到所述样本视频特征。
80、可选地,所述装置还包括:
81、判别模块,用于通过判别模型,确定所述样本视频特征的判别结果,所述判别结果表示所述样本视频特征属于真实视频特征的概率,所述真实视频特征是指对真实视频片段执行特征提取操作得到的特征;
82、所述模型训练模块,还用于基于所述判别结果,训练所述视频生成模型。
83、可选地,所述视频生成模型为学生模型,所述学生模型对应有训练后的教师模型,所述教师模型用于基于场景图像和多个相机参数矩阵生成视频片段,所述学生模型包括m个第一去噪网络,所述教师模型包括n个第二去噪网络,m和n均为大于1的整数,且m小于n;所述模型训练模块,还用于:
84、将所述m个第一去噪网络划分为k个第一去噪轨迹,将所述n个第二去噪网络划分为k个第二去噪轨迹,第i个第一去噪轨迹与第i个第二去噪轨迹对应,且所述第i个第一去噪轨迹中第一去噪网络的个数小于所述第i个第二去噪轨迹中第二去噪网络的个数,k为小于m的正整数,i为不大于k的正整数;
85、获取所述第i个第二去噪轨迹的输入特征和输出特征;
86、通过所述第i个第一去噪轨迹,对所述第i个第二去噪轨迹的输入特征执行去噪操作,得到所述第i个第一去噪轨迹的输出特征;
87、基于所述第i个第一去噪轨迹的输出特征和所述第i个第二去噪轨迹的输出特征,训练所述第i个第一去噪轨迹中的第一去噪网络。
88、可选地,所述第i个第二去噪轨迹中去噪网络的个数是所述第i个第一去噪轨迹中去噪网络的个数的p倍,所述第i个第一去噪轨迹中的每个第一去噪网络与所述第i个第二去噪轨迹中的p个第二去噪网络对应,p为正整数;所述模型训练模块,用于:
89、基于所述第i个第一去噪轨迹中每个第一去噪网络的输出特征和所述每个第一去噪网络对应的标签输出特征,训练所述第i个第一去噪轨迹中的第一去噪网络;其中,所述标签输出特征是指所述第一去噪网络对应的p个第二去噪网络中最后一个第二去噪网络的输出特征。
90、另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行,以实现如上述方面所述的视频生成方法所执行的操作。
91、另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行,以实现如上述方面所述的视频生成方法所执行的操作。
92、另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序由处理器加载并执行,以实现如上述方面所述的视频生成方法所执行的操作。
93、本技术实施例提供的方案,在智能生成视频片段时,用户在提供场景图像后,可以按需执行交互操作,用户执行的交互操作可映射为虚拟相机的动态变化信息,来控制虚拟相机在拍摄过程中的移动方式,进而基于虚拟相机的动态变化信息可确定虚拟相机在每个视频帧的相机参数矩阵,来表示在虚拟相机在每个视频帧的位姿,那么基于场景图像和虚拟相机的多个相机参数矩阵,便可生成虚拟相机在该场景中按照该移动方式进行移动时所拍摄得到的视频片段。因此,用户通过执行交互操作可以控制生成视频片段时虚拟相机的运镜,从而控制生成的视频片段所展示的视角,实现了基于交互操作灵活控制智能生成的视频片段的视角,提高了视频生成的可控性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com