一种视频生成方法、装置、设备、介质、产品与流程

本技术涉及数据处理，尤其涉及一种视频生成方法、装置、设备、介质、产品。

背景技术：

1、对于一些场景，如视频试穿、影视特效等场景来说，这些场景可能存在以下需求：给定一个参考图像以及一个视频，驱动该参考图像中对象做出该视频指示的动作序列。

技术实现思路

1、为了满足上述需求，本技术提供了一种视频生成方法、装置、设备、介质、产品。

2、为了实现上述目的，本技术提供的技术方案如下：

3、本技术提供一种视频生成方法，所述方法包括：获取参考图像、第一视频以及至少一个骨架图，不同所述骨架图指示的信息不同，所述信息包括动作和/或视角；依据所述参考图像和所述至少一个骨架图，生成至少一个图像，所述至少一个图像指示所述参考图像中对象在各所述骨架图指示的信息下所处状态；依据所述至少一个图像和所述第一视频，生成第二视频，所述第二视频指示所述参考图像中对象在所述第一视频指示的动作序列下所处状态。

4、在一种可能的实施方式下，所述依据所述参考图像和所述至少一个骨架图，生成至少一个图像，包括：响应于检测到所述参考图像不满足预设约束，依据所述参考图像和所述至少一个骨架图，生成所述至少一个图像，所述至少一个图像中各图像均满足所述预设约束，所述预设约束指示在视频生成过程中所使用的图像中对象在身体姿态和/或身体完整性下的要求，所述使用的图像指示通过所述视频生成过程所得到的视频中对象的外观。

5、在一种可能的实施方式下，所述至少一个图像是利用第一模型所生成的，所述第一模型包括主网络和参考网络，所述参考网络的输入数据包括所述参考图像的编码结果，所述主网络依据所述参考网络的输出数据对所述至少一个骨架图的编码结果进行处理；对于所述主网络中任一自注意力模块，所述主网络包括所述自注意力模块对应的第一网络层，所述第一网络层生成各所述骨架图对应的离散化特征，所述参考网络包括所述自注意力模块对应的第二网络层，所述第二网络层生成所述参考图像对应的离散化特征；对于所述至少一个骨架图中任一骨架图，所述自注意力模块对该骨架图对应的离散化特征、所述至少一个骨架图中除了该骨架图以外的其他骨架图对应的离散化特征、以及所述参考图像对应的离散化特征之间的拼接结果进行自注意力处理，以得到该骨架图对应的处理后特征。

6、在一种可能的实施方式下，所述至少一个图像是利用第一模型所生成的；所述第一模型的训练过程包括：获取至少一个标签图像、各所述标签图像的骨架图、以及所述至少一个标签图像对应的参考图像，所述至少一个标签图像对应的参考图像中对象与各所述标签图像中对象均为同一对象；将所述至少一个标签图像的骨架图以及所述至少一个标签图像对应的参考图像输入所述第一模型，得到所述第一模型输出的各所述标签图像对应的预测图像；依据所述至少一个标签图像对应的预测图像与所述至少一个标签图像之间的差异，更新所述第一模型。

7、在一种可能的实施方式下，所述训练过程按照第一概率触发，所述第一模型通过所述训练过程学习在有控制条件下进行图像生成处理。

8、在一种可能的实施方式下，所述训练过程按照第二概率触发，所述第一模型通过所述训练过程学习在有控制条件下生成相同图像；各所述标签图像均为同一图像，所述同一图像中对象的状态与所述至少一个标签图像对应的参考图像中对象的状态之间的差异达到预设条件。

9、在一种可能的实施方式下，所述至少一个标签图像对应的参考图像中对象处于正面视角，所述同一图像中对象处于背面视角。

10、在一种可能的实施方式下，所述训练过程按照第三概率触发，所述第一模型通过所述训练过程学习在无控制条件下进行图像生成处理；所述获取至少一个标签图像、各所述标签图像的骨架图、以及所述至少一个标签图像对应的参考图像，包括：获取所述至少一个标签图像以及各所述标签图像的骨架图，不同所述标签图像中对象不同；所述将所述至少一个标签图像的骨架图以及所述至少一个标签图像对应的参考图像输入所述第一模型，包括：将所述至少一个标签图像的骨架图输入所述第一模型，所述第一模型中参考网络的输入数据为0。

11、在一种可能的实施方式下，所述训练过程按照第四概率触发，所述第一模型通过所述训练过程学习在不同控制条件下分别生成描述不同对象的图像；所述获取至少一个标签图像、各所述标签图像的骨架图、以及所述至少一个标签图像对应的参考图像，包括：获取所述至少一个标签图像、各所述标签图像的骨架图、以及各所述标签图像匹配的参考图像，不同所述标签图像中对象不同，对于任一所述标签图像，该标签图像中对象与该标签图像匹配的参考图像中对象为同一对象；所述将所述至少一个标签图像的骨架图以及所述至少一个标签图像对应的参考图像输入所述第一模型，包括：将所述至少一个标签图像的骨架图以及所述至少一个标签图像匹配的参考图像输入所述第一模型。

12、在一种可能的实施方式下，所述第一模型中参考网络的输入数据包括所述至少一个标签图像匹配的参考图像的编码结果，所述第一模型中主网络依据所述参考网络的输出数据对所述至少一个标签图像的骨架图的编码结果进行处理；对于所述主网络中任一自注意力模块，所述主网络包括所述自注意力模块对应的第一网络层，所述第一网络层生成各所述标签图像的骨架图对应的离散化特征，所述参考网络包括所述自注意力模块对应的第二网络层，所述第二网络层生成各所述标签图像匹配的参考图像对应的离散化特征；对于所述至少一个标签图像中任一标签图像，所述自注意力模块对该标签图像的骨架图对应的离散化特征、所述至少一个标签图像中除了该标签图像以外的其他标签图像的骨架图对应的离散化特征、以及该标签图像匹配的参考图像对应的离散化特征之间的拼接结果进行自注意力处理，以得到该标签图像的骨架图对应的处理后特征。

13、在一种可能的实施方式下，所述训练过程还包括：获取所述至少一个标签图像对应的第一文本和所述至少一个标签图像对应的第二文本，所述第一文本和所述第二文本描述所述至少一个标签图像；所述第一模型的输入数据还包括所述第一文本和所述第二文本，所述第一模型中参考网络的输入数据至少包括所述第二文本的编码结果，所述第一模型中主网络的输入数据至少包括所述第一文本的编码结果。

14、在一种可能的实施方式下，所述训练过程还包括：分别向所述第一模型中各自注意力模块内增加新模块；所述依据所述至少一个标签图像对应的预测图像与所述至少一个标签图像之间的差异，更新所述第一模型，包括：依据所述至少一个标签图像对应的预测图像与所述至少一个标签图像之间的差异，在所述第一模型中对各所述新模块进行更新。

15、在一种可能的实施方式下，所述第二视频还依据所述至少一个图像中各图像的空背景图所生成；对于所述至少一个图像中任一图像，该图像的空背景图的获取过程包括：从该图像中识别出前景区域，所述前景区域指示该图像中对象在该图像中所处位置；从该图像中抠除所述前景区域；对该图像进行图像修复处理，得到该图像的空背景图。

16、在一种可能的实施方式下，所述第二视频是利用第二模型所生成的，所述第二模型是依据样本视频、所述样本视频对应的参考图像、以及所述样本视频对应的参考图像的空背景图所训练的；所述样本视频、所述样本视频对应的参考图像以及所述样本视频对应的参考图像的空背景图的获取过程，包括：从第三视频中提取视频段以得到所述样本视频，从所述第三视频中提取第一图像以得到所述样本视频对应的参考图像，以及将所述第一图像的空背景图作为所述样本视频对应的参考图像的空背景图。

17、在一种可能的实施方式下，所述样本视频、所述样本视频对应的参考图像以及所述样本视频对应的参考图像的空背景图的获取过程，包括：从所述第三视频中提取所述视频段和所述第一图像，以及从第四视频中提取第二图像，所述第二图像的空背景图与所述第一图像的空背景图之间存在差异；依据所述第二图像的空背景图，对所述视频段中各图像进行背景替换处理得到所述样本视频，依据所述第二图像的空背景图，对所述第一图像进行背景替换处理得到所述样本视频对应的参考图像，以及将所述第二图像的空背景图作为所述样本视频对应的参考图像的空背景图。

18、在一种可能的实施方式下，所述第二视频是利用第二模型所生成的，所述第二模型是依据样本视频所训练的；所述样本视频的获取过程，包括：从第三视频中提取视频段，所述视频段的首帧图像中对象处于正面视角，所述视频段的尾帧图像中对象处于背面视角，以及依据所述视频段，确定所述样本视频。

19、在一种可能的实施方式下，所述至少一个骨架图包括从所述第一视频中挑选的图像的骨架图。

20、在一种可能的实施方式下，所述第二视频是依据所述第一视频中各图像的骨架图所生成的。

21、本技术提供了一种视频生成装置，包括：数据获取单元，用于获取参考图像、第一视频以及至少一个骨架图，不同所述骨架图指示的信息不同，所述信息包括动作和/或视角；第一生成单元，用于依据所述参考图像和所述至少一个骨架图，生成至少一个图像，所述至少一个图像指示所述参考图像中对象在各所述骨架图指示的信息下所处状态；第二生成单元，用于依据所述至少一个图像和所述第一视频，生成第二视频，所述第二视频指示所述参考图像中对象在所述第一视频指示的动作序列下所处状态。

22、本技术提供了一种电子设备，所述设备包括：处理器和存储器；所述存储器，用于存储指令或计算机程序；所述处理器，用于执行所述存储器中的所述指令或计算机程序，以使得所述电子设备执行本技术提供的视频生成方法。

23、本技术提供了一种计算机可读介质，所述计算机可读介质中存储有指令或计算机程序，当所述指令或计算机程序在设备上运行时，使得所述设备执行本技术提供的视频生成方法。

24、本技术提供了一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行本技术提供的视频生成方法的程序代码。

25、与相关技术相比，本技术至少具有以下优点：

26、在本技术提供的技术方案中，先获取参考图像(如由用户给定的能够指示出最终生成的图像中对象的外观的图像)、第一视频(由用户给定的指示动作序列的视频)、以及至少一个骨架图(如描述了一些简单动作的骨架图)，不同骨架图指示的信息(如动作和/或视角)不同；再依据该参考图像和该至少一个骨架图，生成至少一个图像(如一些能够呈现出简单动作以及画幅完整的图像)，以使该至少一个图像能够指示出该参考图像中对象在各骨架图指示的信息下所处状态，从而使得该至少一个图像能够更好地呈现出该对象的特点；然后，依据该至少一个图像和该第一视频，生成第二视频，以使该第二视频能够指示出该参考图像中对象在该第一视频指示的动作序列下所处状态，如此能够实现驱动该参考图像中对象做出该视频指示的动作序列。

27、可见，因上述至少一个骨架图能够指示出一些简单动作，以使基于该至少一个骨架图以及参考图像所生成的至少一个图像能够更准确且全面地描述出该参考图像中对象的特点，从而使得基于该至少一个图像所生成的视频能够更好地保持该对象的特点，如此有利于提高视频生成效果。