AIGC图文音视频生成算法方法与流程

本发明涉及人工智能生成内容，具体为aigc图文音视频生成算法方法。

背景技术：

1、近年来，人工智能生成内容技术发展迅猛，尤其在单模态的文本生成、图像生成领域已趋于成熟，随着应用场景向短剧生成、数字人播报、多模态虚拟交互等复杂场景演进，图文音视频的联合生成需求日益迫切，潜在扩散模型作为当前主流的图像与视频生成基础架构，通过在低维潜空间中进行前向加噪与反向去噪来学习数据分布，已被广泛应用于图像、视频合成任务中；

2、目前，工业界与学术界在图、文、音、视联合生成时，普遍采用分阶段级联架构，该现有方法的典型步骤为：首先由文本大模型依据用户输入的主题生成分镜脚本文本，随后将脚本文本输入图像扩散模型，逐帧或逐镜头生成关键静态图像，接着将生成的图像序列输入图生视频模型，通过插值或时序扩散的方式生成连续视频帧序列，最后，视频序列被输入独立的语音合成模型生成配音音频，并通过后处理模块对视频画面进行口型对齐修正，上述各阶段模型相互独立、依次串联，前一阶段的输出直接作为后一阶段的输入条件，各模块之间不存在联合优化的梯度回传路径；

3、上述现有技术存在以下缺陷：

4、其一，由于现有级联架构中各生成模块彼此独立训练、依次单向传递结果，上游模块产生的微小瑕疵会作为条件输入被下游视频生成模块直接继承并放大，进而导致最终视频产品的可用率大幅降低，即现有技术存在误差逐级累积的缺陷；

5、其二，由于长程时序一致性依赖于跨越较长时间跨度的自注意力计算，而精准音画同步又要求对全局音频信息进行跨模态推理，两者叠加将使计算复杂度随视频帧数呈平方级增长，受限于现有算力，现有模型不得不采用有限长度的滑动时间窗口进行折中处理，因此现有技术在长视频生成中容易出现角色身份漂移、动作变形与音画失步并存的矛盾局面；

6、其三，由于视频模态的像素信息密度远高于文本与音频模态，在缺乏显式再平衡机制的联合训练过程中，模型的梯度优化方向会天然偏向信息量更大的视频模态，因此现有的多模态联合生成方案普遍存在模态坍塌问题，导致文本细节丢失或音频情感表达缺失，为此，我们提出aigc图文音视频生成算法方法。

技术实现思路

1、本发明的目的在于提供aigc图文音视频生成算法方法。

2、本发明要解决的技术问题是：如何在统一的生成框架内，实现图像、文本、音频、视频四种模态内容的一体化协同生成，从根本上消除传统级联式生成架构所产生的误差逐级放大问题，同时，在长视频生成场景下，如何在有限算力条件下兼顾长程时序一致性与跨模态精准同步，解决二者因计算复杂度矛盾而长期难以兼得的技术难题，此外，还需解决多模态联合训练过程中由于模态间信息密度差异悬殊所导致的模态坍塌问题，保证弱势模态的信息不被强势模态淹没。

3、为解决上述技术问题，本发明提供一种图文音视频联合生成方法，包括：获取待处理的文本提示信息、图像信息、音频信息以及待生成视频的初始信息，并通过预先训练的文本编码器、图像编码器、音频编码器和视频帧编码器分别进行编码，得到文本潜变量、图像潜变量、音频潜变量和视频潜变量，将所述文本潜变量、所述图像潜变量、所述音频潜变量和所述视频潜变量映射至维度对齐的共享语义潜空间，得到统一表示后的多模态潜变量组，在预设的多个扩散时间步内，对所述多模态潜变量组同步施加前向加噪处理，得到加噪后的多模态潜变量组，通过联合去噪网络对所述加噪后的多模态潜变量组进行多个时间步的迭代反向去噪处理，在每一时间步的去噪处理过程中，调用混合时序注意力模块对视频潜变量与音频潜变量进行跨模态特征交互处理，并调用动态模态权重再平衡模块，依据各模态的信息损失率计算并更新当前时间步下各模态在联合损失函数中的权重，得到去噪完成后的多模态潜变量组，将所述去噪完成后的多模态潜变量组分别输入对应的解码器，得到同步生成的文本字幕、图像序列、音频波形和视频文件。

4、采用上述技术方案，与现有技术相比，本发明的有益效果在于：

5、1.本发明通过构建可同时容纳图、文、音、视频四类模态潜变量的共享语义潜空间，并在单次前向传播中对多模态潜变量进行协同去噪，取代了传统的分阶段级联生成模式，各模态在同一去噪网络中联合优化、梯度互通，从架构层面消除了上游模块瑕疵被下游模块继承放大的误差累积问题，显著提升最终生成内容的可用率；

6、2.本发明通过设计局部窗口自注意力与全局音频锚点交叉注意力相结合的混合时序注意力机制，区别于本领域技术人员通常采用的扩大滑动窗口宽度"这一直接思路，本方案改为以远小于总音频帧数的稀疏锚点实现跨窗口全局补偿，在不扩大窗口宽度、不显著增加计算量的前提下，同时兼顾了长程时序一致性与全局音画同步的精度要求；

7、3.本发明通过引入基于信息损失率实时监测的动态模态权重再平衡机制，实时计算各模态的信息损失率并与各模态信息损失率的平均值进行比较，对信息损失率高于平均水平的被压制模态提升其权重，对信息损失率低于平均水平的主导模态施加梯度惩罚以降低其权重，从而抑制强模态对弱模态的压制作用，避免模态坍塌，保证弱势模态的信息在联合生成过程中得到充分保留；

8、4.本发明通过配套设计的基于对比学习的自监督音视频对齐预训练策略，促使时间上真实对齐的音视频片段在特征空间中的相似度高于非对齐片段，无需人工逐帧标注即可自动挖掘音视频对齐先验，缓解了高精度音视频对齐标注数据稀缺的问题，为后续联合去噪训练提供具备对齐先验的特征基础。

1.aigc图文音视频生成算法方法，其特征在于，包括：

2.根据权利要求1所述的aigc图文音视频生成算法方法，其特征在于：所述调用混合时序注意力模块对所述视频潜变量与所述音频潜变量进行跨模态特征交互处理，包括：

3.根据权利要求2所述的aigc图文音视频生成算法方法，其特征在于：所述局部自注意力结果通过对以当前帧为中心的局部时序范围内视频特征构成的查询矩阵、键矩阵和值矩阵进行点积注意力计算并进行归一化处理得到，所述全局同步补偿特征通过对所述局部时序窗口内视频特征生成的查询矩阵与所述全局音频锚点特征库中的键矩阵和值矩阵进行点积注意力计算并进行归一化处理得到。

4.根据权利要求1所述的aigc图文音视频生成算法方法，其特征在于：所述依据各模态的信息损失率计算并更新当前时间步下文本模态、图像模态、音频模态和视频模态在联合损失函数中的权重，包括：

5.根据权利要求1所述的aigc图文音视频生成算法方法，其特征在于，还包括：在对所述文本编码器、所述图像编码器、所述音频编码器和所述视频帧编码器进行训练之前，对所述音频编码器和所述视频帧编码器进行自监督对齐预训练，所述自监督对齐预训练包括：

6.一种图文音视频联合生成系统，其特征在于，包括：

7.根据权利要求6所述的图文音视频联合生成系统，其特征在于，所述混合时序注意力模块具体用于：将视频帧序列按时间顺序划分为多个局部时序窗口，计算每个所述局部时序窗口内部的局部自注意力结果，对完整音频序列进行稀疏采样，提取多个全局音频锚点特征，将每个所述局部时序窗口内视频特征生成的查询矩阵与所述全局音频锚点特征进行跨模态交叉注意力计算，得到全局同步补偿特征，依据可学习融合系数将所述局部自注意力结果与所述全局同步补偿特征进行加权融合，得到融合时序特征，并将所述融合时序特征反馈至所述共享语义潜空间联合去噪模块。

8.根据权利要求6所述的图文音视频联合生成系统，其特征在于，所述动态模态权重再平衡模块具体用于：分别计算文本模态、图像模态、音频模态和视频模态各自原始的干净潜变量与经解耦表征学习模块处理后的对应模态特征之间的互信息，并根据所述互信息确定各模态的信息损失率，计算各模态信息损失率的平均值，针对信息损失率高于所述平均值的模态提升其权重，针对信息损失率低于所述平均值的模态降低其权重。

9.一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的aigc图文音视频生成算法方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的aigc图文音视频生成算法方法。