视频生成模型构建方法、视频生成方法及相关装置与流程

本发明涉及虚拟数字人，尤其涉及一种视频生成模型构建方法、视频生成方法及相关装置。

背景技术：

1、随着人工智能技术的飞速发展，特别是在直播、虚拟主播等领域，ai数字人技术应运而生，以解决真人直播存在的成本高、时长受限等问题。传统的数字人技术通常基于图像驱动或参数化模型，在应对遮挡、侧脸等复杂场景时效果显著下降。

2、近年来，基于扩散模型的视频生成技术取得了突破性进展，能够生成高质量、高保真的视频内容。将音频条件（如梅尔频谱、音素嵌入）注入此类模型，可以实现音频驱动的人脸及身体动作生成，其生成的视频在表情、手势与语音的同步性上远超传统方法。然而，这些大型视频生成模型计算复杂度极高，生成耗时长，难以满足实时直播场景下对低延迟（通常要求首帧延迟在百毫秒级别）的需求。

技术实现思路

1、本发明的主要目的在于提供一种视频生成模型构建方法、视频生成方法及相关装置，旨在解决现有大型视频生成模型计算复杂度极高，生成耗时长，难以满足实时直播场景技术问题。

2、本发明第一方面提供了一种视频生成模型构建方法，包括：

3、获取训练数据，并将所述训练数据输入教师模型和待训练的学生模型；

4、分别提取所述教师模型和所述学生模型在各自选定的目标网络块处的中间特征和注意力图；

5、分别将所述学生模型的中间特征和注意力图，对应与所述教师模型的中间特征和注意力图进行对齐；

6、基于对齐后的中间特征和注意力图，计算特征蒸馏损失、注意力蒸馏损失、真实输出对齐损失以及最终输出蒸馏损失，并加权求和得到总损失；

7、基于所述总损失，更新所述学生模型的参数，直至模型收敛，得到训练好的视频生成模型。

8、可选的，在本发明第一方面的第二种实现方式中，所述获取训练数据包括：

9、获取真实视频数据集，并从所述真实视频数据集中筛选高质量图像作为首帧图像以及从包含首帧图像的真实视频数据中切片对应的音频数据；

10、将所述首帧图像和所述音频数据输入所述教师模型，生成合成视频数据集；

11、混合所述真实视频数据集和所述合成视频数据集，得到训练数据集；

12、将所述首帧图像分别与对应的音频数据以及视频数据关联，形成训练数据，其中，所述首帧图像和所述音频数据作为输入条件，所述视频数据作为加噪输入。

13、可选的，在本发明第一方面的第三种实现方式中，所述教师模型和所述学生模型均包括去噪模型，所述学生模型中去噪模型的网络块数小于所述教师模型中去噪模型的网络块数；所述教师模型和所述学生模型各自去噪模型中的网络块均包括前期网络块、中期网络块和后期网络块三个阶段分区，每个阶段分区对应不同分区比例；所述教师模型和所述学生模型中各自选定的目标网络块的索引集合与所述分区比例以及所述教师模型、所述学生模型的总网络块数相关。

14、可选的，在本发明第一方面的第四种实现方式中，所述分别将所述学生模型的中间特征和注意力图，对应与所述教师模型的中间特征和注意力图进行对齐包括：

15、确定所述学生模型与所述教师生成模型分别在中间特征和注意力图上的差异，所述差异包括通道维度、空间维度和时序维度的差异；

16、若中间特征存在通道维度的差异，则采用卷积操作，将所述学生模型的特征通道数与所述教师模型对齐；若中间特征存在空间维度或时序维度的差异，则采用自适应池化，将所述学生模型的中间特征的尺寸或帧序列长度分别与所述教师模型对齐；

17、若注意力图存在通道维度的差异，则采用卷积操作，将所述学生模型的注意力头数与所述教师模型对齐；若注意力图存在空间维度或时序维度的差异，则采用自适应池化，将所述学生模型的注意力图的尺寸或帧序列长度与所述教师模型对齐。

18、可选的，在本发明第一方面的第五种实现方式中，所述基于对齐后的中间特征和注意力图，计算特征蒸馏损失、注意力蒸馏损失、真实输出对齐损失以及最终输出蒸馏损失，并加权求和得到总损失包括：

19、计算对齐后所述学生模型与所述教师模型在所述目标网络块处的中间特征差异，并作为特征蒸馏损失；

20、计算对齐后所述学生模型与所述教师模型在所述目标网络块处的注意力图差异，并作为注意力蒸馏损失；

21、计算对齐后所述学生模型的最终输出与真实视频数据之间的差异，并作为真实输出对齐损失；

22、计算对齐后所述学生模型的最终输出与所述教师模型的最终输出之间的差异，并作为最终输出差异损失；

23、对所述特征蒸馏损失、所述注意力蒸馏损失、所述真实输出对齐损失以及所述最终输出蒸馏损失分配权重系数并进行加权求和，得到总损失。

24、可选的，在本发明第一方面的第六种实现方式中，所述基于所述总损失，更新所述学生模型的参数，直至模型收敛，得到训练好的视频生成模型包括：

25、基于所述总损失，计算所述学生模型中各参数的梯度；

26、采用优化器根据所述梯度更新所述学生模型的参数；

27、在训练迭代过程中，动态调整所述训练数据集中所述合成视频数据集的占比，以使所述占比随训练进度递减；

28、监控损失变化趋势，并判断模型是否收敛；

29、当损失变化小于预设阈值或达到最大迭代次数时，判定模型收敛，停止训练，得到训练好的视频生成模型。

30、本发明第二方面提供一种视频生成方法，包括：

31、当生成首个视频片段时，获取输入数据，所述输入数据包括目标直播对象的参考图像和音频数据；

32、将所述输入数据输入视频生成模型，得到首个视频片段，其中，所述视频生成模型根据上述任一项所述的视频生成模型构建方法得到；

33、当生成非首个视频片段时，从所述视频生成模型生成的上一视频片段的尾部提取预设数量的帧图像，并获取新音频数据；

34、将提取的帧图像与获取的新音频数据作为下一轮视频生成模型的输入数据并输入所述视频生成模型，得到下一视频片段；

35、重复执行视频生成流程，输出连续的数字人直播视频。

36、本发明第三方面提供一种视频生成模型构建装置，所述视频生成模型构建装置包括：

37、输入模块，用于获取训练数据，并将所述训练数据输入教师模型和待训练的学生模型；

38、提取模块，用于分别提取所述教师模型和所述学生模型在各自选定的目标网络块处的中间特征和注意力图；

39、对齐模块，用于分别将所述学生模型的中间特征和注意力图，对应与所述教师模型的中间特征和注意力图进行对齐；

40、损失模块，用于基于对齐后的中间特征和注意力图，计算特征蒸馏损失、注意力蒸馏损失、真实输出对齐损失以及最终输出蒸馏损失，并加权求和得到总损失；

41、更新模块，用于基于所述总损失，更新所述学生模型的参数，直至模型收敛，得到训练好的视频生成模型

42、本发明第四方面提供了一种计算机设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述计算机设备执行上述的视频生成模型构建方法，和/或视频生成方法。

43、本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的视频生成模型构建方法，和/或视频生成方法。

44、本发明实施例提供的视频生成模型构建方法，先获取训练数据，然后将训练数据分别输入教师模型和待训练的学生模型进行视频生成处理；教师模型和学生模型均会生成中间 特征和注意力图，本实施例为保证学生模型能够学习到教师模型的更多经验，因此从各自选定的目标网络块处提取中间特征和注意力图，然后再分别将学生模型的中间特征和注意力图，对应与教师模型的中间特征和注意力图进行对齐；通过中间特征和注意力图的对齐，从而保证知识蒸馏的准确性和效率；最后再基于对齐后的中间特征和注意力图，计算特征蒸馏损失、注意力蒸馏损失、真实输出对齐损失以及最终输出蒸馏损失，并加权求和得到总损失，然后基于总损失，更新学生模型的参数，直至模型收敛，得到训练好的视频生成模型。由于本实施例采用的视频生成模型是基于教师模型训练学生模型得到，因此实现了视频生成模型的轻量化，进而降低了计算复杂度，减少了视频生成耗时在生成。本发明实施例采用轻量化的视频生成模型，满足了实时直播场景对于视频生成的低延时要求，实现了视频生成模型的轻量化部署。