视频生成方法、装置、电子设备、介质和程序产品与流程

本公开的实施例涉及计算机，具体涉及视频生成方法、装置、电子设备、介质和程序产品。

背景技术：

1、目前，随着llm(large language model，大语言模型)的发展，基于大语言模型的视频生成一般是针对单个模态进行垂类场景的视频生成。对于视频的生成，通常采用的方式为：将单个模态输入至感知模型(残差模型、vgg模型)，得到模态特征信息。然后，通过时序模型，对模态特征信息进行时序空间优化，得到业务处理视频。

2、然而，发明人发现，当采用上述方式来生成视频，经常会存在如下技术问题：

3、由于感知模型和时序模型的大小和数据量的局限性，并且仅在时序上进行特征优化，以及单个模态较可以展现的特征较为单一，导致生成的视频的分辨率和视频内容多样性较低。

4、该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了视频生成方法、装置、电子设备、介质和程序产品，来解决以上背景技术部分提到的技术问题中的一项或多项。

3、第一方面，本公开的一些实施例提供了一种视频生成方法，包括：响应于确定生成目标用户在目标业务场景下的业务处理视频，获取上述目标用户在多模态下的用户信息集；对上述用户信息集中的各个用户信息进行编码对齐，得到多模态下的潜在特征信息集；根据上述潜在特征信息集，生成在第一分辨率下的针对目标业务场景的关键帧视频；基于上述潜在特征信息集包括的文本特征信息，对上述关键帧视频进行视频时空域增强处理，以生成在第二分辨率下的针对目标业务场景的业务处理视频，其中，上述第二分辨率高于上述第一分辨率。

4、可选地，上述基于上述潜在特征信息集包括的文本特征信息，对上述关键帧视频进行视频时空域增强处理，以生成在第二分辨率下的针对目标业务场景的业务处理视频，包括：对上述关键帧视频进行像素上采样处理，得到采样后关键帧视频；对上述采样后关键帧视频进行时空域编码，得到关键帧特征信息；对上述关键帧特征信息进行噪声化处理，得到噪声特征信息；对上述噪声特征信息和上述关键帧特征信息进行时空域潜在特征去噪处理，得到去噪特征信息；对上述去噪特征信息和上述文本特征信息进行门控融合处理，得到门控融合特征信息；对上述门控融合特征信息进行解码，得到业务处理视频。

5、可选地，上述对上述噪声特征信息和上述关键帧特征信息进行时空域潜在特征去噪处理，得到去噪特征信息，包括：对上述噪声特征信息进行像素空间编码，得到关键帧像素特征信息；对上述关键帧特征信息进行潜在编码，得到关键帧潜在特征信息；根据上述关键帧潜在特征信息，对上述关键帧像素特征信息进行空间重建，得到关键帧空间特征信息；对上述关键帧空间特征信息和上述关键帧潜在特征信息进行时域帧间信息交互，得到关键帧时域特征信息；对上述关键帧时域特征信息进行去噪处理，得到去噪特征信息。

6、可选地，上述对上述用户信息集中的各个用户信息进行编码对齐，得到多模态下的潜在特征信息集，包括：响应于确定上述用户信息集包括用户音频、用户视频和用户图像，对上述用户音频、上述用户视频和上述用户图像进行特征编码，得到视频潜在特征信息、图像潜在特征信息和音频潜在特征信息；对上述视频潜在特征信息、上述图像潜在特征信息和上述音频潜在特征信息进行潜在特征对齐转换，得到对齐后潜在特征信息；对上述用户信息集包括的用户文本进行文本编码，得到文本特征信息；将上述对齐后潜在特征信息和上述文本特征信息，确定为潜在特征信息集。

7、可选地，上述根据上述潜在特征信息集，生成在第一分辨率下的针对目标业务场景的关键帧视频，包括：响应于确定上述潜在特征信息集包括的对齐后潜在特征信息，对上述对齐后潜在特征信息进行块分割，得到分割后潜在特征信息集；根据上述分割后潜在特征信息集，生成流匹配潜在特征信息；对上述流匹配潜在特征信息和上述文本特征信息进行融合处理，得到融合后潜在特征信息；将上述融合后潜在特征信息输入至流匹配视频扩散生成模型，得到关键帧视频。

8、可选地，在上述将上述融合后潜在特征信息输入至流匹配视频扩散生成模型，得到关键帧视频之后，上述方法还包括：响应于确定上述潜在特征信息集不包括的对齐后潜在特征信息，将上述文本特征信息输入至流匹配视频扩散生成模型，得到关键帧视频。

9、第二方面，本公开的一些实施例提供了一种视频生成装置，包括：获取单元，被配置成响应于确定生成目标用户在目标业务场景下的业务处理视频，获取上述目标用户在多模态下的用户信息集；编码对齐单元，被配置成对上述用户信息集中的各个用户信息进行编码对齐，得到多模态下的潜在特征信息集；生成单元，被配置成根据上述潜在特征信息集，生成在第一分辨率下的针对目标业务场景的关键帧视频；视频时空域增强单元，被配置成基于上述潜在特征信息集包括的文本特征信息，对上述关键帧视频进行视频时空域增强处理，以生成在第二分辨率下的针对目标业务场景的业务处理视频，其中，上述第二分辨率高于上述第一分辨率。

10、可选地，视频时空域增强单元可以被进一步配置成：对上述关键帧视频进行像素上采样处理，得到采样后关键帧视频；对上述采样后关键帧视频进行时空域编码，得到关键帧特征信息；对上述关键帧特征信息进行噪声化处理，得到噪声特征信息；对上述噪声特征信息和上述关键帧特征信息进行时空域潜在特征去噪处理，得到去噪特征信息；对上述去噪特征信息和上述文本特征信息进行门控融合处理，得到门控融合特征信息；对上述门控融合特征信息进行解码，得到业务处理视频。

11、可选地，视频时空域增强单元可以被进一步配置成：对上述噪声特征信息进行像素空间编码，得到关键帧像素特征信息；对上述关键帧特征信息进行潜在编码，得到关键帧潜在特征信息；根据上述关键帧潜在特征信息，对上述关键帧像素特征信息进行空间重建，得到关键帧空间特征信息；对上述关键帧空间特征信息和上述关键帧潜在特征信息进行时域帧间信息交互，得到关键帧时域特征信息；对上述关键帧时域特征信息进行去噪处理，得到去噪特征信息。

12、可选地，编码对齐单元可以被进一步配置成：响应于确定上述用户信息集包括用户音频、用户视频和用户图像，对上述用户音频、上述用户视频和上述用户图像进行特征编码，得到视频潜在特征信息、图像潜在特征信息和音频潜在特征信息；对上述视频潜在特征信息、上述图像潜在特征信息和上述音频潜在特征信息进行潜在特征对齐转换，得到对齐后潜在特征信息；对上述用户信息集包括的用户文本进行文本编码，得到文本特征信息；将上述对齐后潜在特征信息和上述文本特征信息，确定为潜在特征信息集。

13、可选地，生成单元可以被进一步配置成：响应于确定上述潜在特征信息集包括的对齐后潜在特征信息，对上述对齐后潜在特征信息进行块分割，得到分割后潜在特征信息集；根据上述分割后潜在特征信息集，生成流匹配潜在特征信息；对上述流匹配潜在特征信息和上述文本特征信息进行融合处理，得到融合后潜在特征信息；将上述融合后潜在特征信息输入至流匹配视频扩散生成模型，得到关键帧视频。

14、可选地，生成单元可以被进一步配置成：响应于确定上述潜在特征信息集不包括的对齐后潜在特征信息，将上述文本特征信息输入至流匹配视频扩散生成模型，得到关键帧视频。

15、第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面中任一实现方式描述的方法。

16、第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一方面中任一实现方式描述的方法。

17、第五方面，本公开的一些实施例提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述第一方面中任一实现方式所描述的方法。

18、本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的视频生成方法可以提高生成的视频的质量和生成的视频内容的可控性。具体来说，造成相关的生成的视频的分辨率和视频内容多样性较低的原因在于：由于感知模型和时序模型的大小和数据量的局限性，并且仅在时序上进行特征优化，以及单个模态较可以展现的特征较为单一，导致生成的视频的分辨率和视频内容多样性较低。基于此，本公开的一些实施例的视频生成方法，首先，响应于确定生成目标用户在目标业务场景下的业务处理视频，获取上述目标用户在多模态下的用户信息集。在这里，用户信息集用于后续编码对齐。其次，对上述用户信息集中的各个用户信息进行编码对齐，得到多模态下的潜在特征信息集。在这里，可以消除不同模态之间的异构性，便于充分挖掘和利用不同模态之间的互补信息。然后，根据上述潜在特征信息集，生成在第一分辨率下的针对目标业务场景的关键帧视频。在这里，可以更好地融合多模态的特征信息，充分挖掘不同模态之间的互补信息，提高关键帧视频的内容丰富和准确性。最后，基于上述潜在特征信息集包括的文本特征信息，对上述关键帧视频进行视频时空域增强处理，以生成在第二分辨率下的针对目标业务场景的业务处理视频，其中，上述第二分辨率高于上述第一分辨率。在这里，通过文本特征信息，可以提高视频生成的可控性，提高业务处理视频的分辨率和质量。由此，该视频生成方法可以提高生成的视频的质量和生成的视频内容的可控性。