基于多模态条件控制的AIGC内容生成方法与流程

摘要: 本技术涉及人工智能与数字内容创作的领域,尤其是涉及一种基于多模态条件控制的aigc内容生成方法。背景技术:1、随着人工智能生成内容技术的发展,文本、图像、视频和...
基于多模态条件控制的AIGC内容生成方法与流程

本技术涉及人工智能与数字内容创作的领域,尤其是涉及一种基于多模态条件控制的aigc内容生成方法。

背景技术:

1、随着人工智能生成内容技术的发展,文本、图像、视频和音频等数字内容的自动化生产已应用于短视频等场景。这类长序列内容的生成通常需要经过剧本创作、美术设计、分镜设计和短片合成等多个前后衔接的阶段,每个阶段由相应的生成模型完成。与此同时,用户对生成内容的创作意图日益多维,往往需要通过文本描述指定情节、通过参考图像指定角色面容、通过参考视频指定动作风格、通过音频指定节奏,以多种模态的条件共同表达一个完整的创作意图。

2、在多种模态条件共同约束的创作场景下,用户既要求生成结果精确满足文本、视觉和音频等多维度的复合约束,又要求长序列内容具备专业可用性,即同一角色、同一场景和同一道具在不同阶段与不同画面中保持外观一致,并支持对画面的局部区域进行精细调整。这对生成过程能否将多种模态的创作条件联合、精确且一致地贯穿到多阶段生成中提出了要求。

3、现有的aigc内容生成方法中,各模态的输入条件与各生成阶段的生成模型往往各自独立运行,缺乏一个将不同模态的语义对齐后融合、并贯穿全部生成阶段的统一控制载体。由于各模态条件在异构的特征空间中被分别处理,各生成阶段仅依据本阶段的局部输入进行生成,多种模态所表达的复合创作意图无法被联合精确表达,文本描述与参考图像之间的语义难以建立精确对应而在异构空间中产生冲突或丢失,进而同一创作对象在剧本、美术、分镜和合成各阶段切换时因缺乏统一约束而发生外观漂移,并且对生成内容的控制粒度较粗,难以在不改变其他区域的前提下对指定区域进行精细控制。

技术实现思路

1、为了解决现有aigc内容生成方法中各模态条件与各生成阶段各自独立运行、缺乏跨模态对齐并贯穿多阶段的统一控制载体,从而导致多种模态的复合创作意图无法联合精确表达、跨模态语义产生冲突或丢失以及同一创作对象在多阶段生成中外观漂移的问题,本技术提供一种基于多模态条件控制的aigc内容生成方法。

2、第一方面,本技术提供的一种基于多模态条件控制的aigc内容生成方法,采用如下的技术方案:

3、一种基于多模态条件控制的aigc内容生成方法,包括:

4、s1.接收多模态条件集合,多模态条件集合包括文本描述条件、参考图像条件、参考视频条件和音频特征条件中的至少两种,对多模态条件集合中的每种模态的条件分别进行特征提取,得到各模态特征;

5、s2.将各模态特征映射到统一的语义特征空间,得到语义对齐后的各模态对齐特征;

6、s3.对各模态对齐特征进行自适应加权融合,生成多模态控制向量,多模态控制向量编码多模态条件集合中各模态的语义信息;

7、s4.将多模态控制向量注入多阶段内容生成管线,在多阶段内容生成管线的每个生成阶段中,通过条件注入方式将多模态控制向量注入生成阶段对应的生成模型,对内容生成过程进行条件引导,得到生成内容。

8、通过采用上述技术方案,将各模态特征先映射到统一的语义特征空间以消除异构特征空间之间的语义冲突,再自适应加权融合为单一的多模态控制向量,使多种模态所表达的复合创作意图承载于同一控制载体;该多模态控制向量贯穿多阶段内容生成管线的各个生成阶段并通过条件注入引导对应的生成模型,使得文本、图像、视频和音频等多种模态的创作条件能够被联合、精确且一致地作用于整个多阶段生成过程,避免各模态条件与各生成阶段各自独立运行所导致的创作意图割裂与生成结果在阶段间的漂移。

9、可选的,在s4中,还包括一致性约束与验证,一致性约束与验证包括:

10、建立视觉资产参考库,视觉资产参考库存储多阶段内容生成管线中已生成的角色、场景和道具的参考特征;

11、计算后续生成的内容中角色区域的特征与视觉资产参考库中对应角色的参考特征之间的余弦相似度;

12、响应于余弦相似度低于预设一致性阈值,触发一致性修复流程,一致性修复流程将后续生成的内容与参考特征进行特征级融合,并在生成模型的去噪过程中增加一致性引导项,使后续生成的内容向参考特征偏移,直至满足预设修复终止条件。

13、通过采用上述技术方案,借助视觉资产参考库与余弦相似度对跨阶段生成结果进行外观一致性校验,并在偏离时以一致性引导项将结果拉回参考特征,抑制同一创作对象在多阶段切换中的外观漂移。

14、可选的,预设修复终止条件包括余弦相似度达到预设一致性阈值,或修复迭代次数达到修复迭代次数上限;响应于修复迭代次数达到修复迭代次数上限且余弦相似度仍低于预设一致性阈值,将最近一次修复得到的内容作为生成内容输出。

15、通过采用上述技术方案,为一致性修复流程设置迭代次数上限并规定不收敛时的输出策略,使修复过程在有限步内终止,避免修复不收敛时陷入无限循环。

16、可选的,在生成视频内容的过程中,一致性约束与验证还包括:通过光流引导的帧间特征传播,使相邻帧中的同一角色的特征在相邻帧之间保持连续。

17、通过采用上述技术方案,将一致性约束从阶段间外观扩展到视频相邻帧之间,借助光流引导的帧间特征传播抑制同一角色在相邻帧间的外观跳变,提升视频内容的时序连续性。

18、可选的,在s4中,还包括区域级条件控制,区域级条件控制包括:

19、获取在待生成内容中标记的目标控制区域对应的二值掩码图;

20、在生成模型的去噪过程中,对二值掩码图指示的区域内的像素采用多模态控制向量引导的条件去噪路径,对二值掩码图指示的区域外的像素采用无条件去噪路径;

21、将条件去噪路径的结果与无条件去噪路径的结果按二值掩码图进行加权融合,得到去噪结果。

22、通过采用上述技术方案,以二值掩码图区分受控与非受控区域并分别采用条件与无条件去噪路径后加权融合,使条件控制仅作用于目标区域而不改变其他区域,实现区域级的精细控制。

23、可选的,s3包括子步骤s31-s33:

24、s31.计算各模态对齐特征中每种模态的置信度权重。

25、s32.根据置信度权重对各模态对齐特征进行加权求和,得到加权融合特征。

26、s33.将加权融合特征通过多层感知机进行非线性变换,输出多模态控制向量。

27、通过采用上述技术方案,先按各模态的置信度权重加权求和再经多层感知机非线性变换,使信息更充分、优先级更高的模态在融合中发挥更大作用,得到质量更优的多模态控制向量。

28、可选的,s31中,计算每种模态的置信度权重包括:根据每种模态的条件的信息完整度和条件优先级确定置信度权重;信息完整度根据每种模态特征中有效特征的占比确定。

29、通过采用上述技术方案,将置信度权重与各模态的信息完整度和用户指定的条件优先级挂钩,使融合权重能够依据各模态输入的实际信息量与创作侧重自适应调整。

30、可选的,s4中,多阶段内容生成管线包括依次执行的剧本生成阶段、美术设计阶段、分镜生成阶段和视频合成阶段;

31、通过条件注入方式将多模态控制向量注入生成阶段对应的生成模型包括:

32、在剧本生成阶段,通过交叉注意力机制将多模态控制向量注入文本生成模型;

33、在美术设计阶段,通过适配器模块将多模态控制向量注入图像生成模型;在分镜生成阶段,通过交叉注意力机制将多模态控制向量注入图像生成模型;

34、在视频合成阶段,通过适配器模块将多模态控制向量注入视频生成模型。

35、通过采用上述技术方案,将统一的多模态控制向量分别以交叉注意力和适配器方式注入剧本、美术、分镜和视频四个阶段的生成模型,使同一控制载体以适配各阶段模型结构的方式贯穿全流程,实现多阶段统一的条件引导。

36、可选的,s2中,将各模态特征映射到统一的语义特征空间包括:

37、采用跨模态注意力机制,以一种模态的特征作为查询,以另一种模态的特征作为键和值,计算跨模态注意力权重,得到一种模态引导另一种模态的对齐表示;

38、遍历各模态特征中的每两种模态,得到任意两种模态之间的双向语义对齐;

39、由双向语义对齐得到各模态对齐特征,各模态对齐特征具有相同的预设特征维度。

40、通过采用上述技术方案,以跨模态注意力在任意两种模态之间建立双向语义对齐,将异构的各模态特征映射到相同维度的统一语义特征空间,为后续融合提供语义一致的输入。

41、可选的,s1中,对每种模态的条件分别进行特征提取包括:

42、对文本描述条件进行分词和语义编码,得到文本特征序列;

43、对参考图像条件通过图像编码器提取视觉特征向量;对参考视频条件通过时序帧采样和帧级编码提取视频时序特征;

44、对音频特征条件通过梅尔频谱提取和音频编码器提取音频特征向量。

45、通过采用上述技术方案,针对文本、图像、视频和音频各自采用适配的编码方式提取特征,使不同模态的原始输入被转换为可供跨模态对齐的特征表示。

46、可选的,一致性约束与验证中,通过图像提示适配器将角色的参考图像编码为条件嵌入,在生成模型的解耦交叉注意力层中注入条件嵌入,以控制生成内容中角色外观的一致性。

47、通过采用上述技术方案,以图像提示适配器直接注入参考图像信息控制角色一致性,无需显式计算相似度与触发修复,实现更简洁。

48、可选的,区域级条件控制中,将二值掩码图作为控制网络的额外条件输入,通过控制网络的零卷积层将二值掩码图指示的区域信息注入生成模型的各层,以对目标控制区域进行条件控制。

49、通过采用上述技术方案,借助控制网络的零卷积层注入区域信息实现区域控制,无需修改生成模型的主去噪路径,兼容性更好。

50、可选的,s3中,将各模态对齐特征拼接为序列后输入transformer编码器,通过自注意力机制学习各模态之间的融合关系,输出多模态控制向量。

51、通过采用上述技术方案,以transformer编码器的自注意力自动学习各模态间的融合关系,融合表达能力强于加权求和方式。

52、可选的,s2中,采用在多模态配对数据集上预训练的对比学习模型分别提取各模态特征,直接以对比学习模型输出的特征作为各模态对齐特征。

53、通过采用上述技术方案,复用预训练对比学习模型已对齐的特征空间实现跨模态对齐,无需额外训练对齐模块,部署成本更低。

54、可选的,条件优先级通过用户界面中的拖拽排序或数值设定获取。

55、通过采用上述技术方案,为用户提供拖拽排序或数值设定两种交互方式指定各模态条件的优先级,便于用户表达创作侧重。

56、可选的,区域级条件控制应用于智能修图、姿势编辑、口型同步和动作迁移中的至少一种场景。

57、通过采用上述技术方案,将区域级条件控制落地于智能修图、姿势编辑、口型同步和动作迁移等场景,扩展方法的应用范围。

58、综上所述,本技术包括以下至少一种有益技术效果:

59、1、通过将文本、图像、视频和音频等多种模态的条件经跨模态语义对齐后融合为单一的多模态控制向量,并使该向量贯穿各生成阶段进行统一条件注入,使多种模态的复合创作意图被联合、精确且一致地作用于多阶段生成过程,克服各模态条件与各阶段各自独立运行导致的意图割裂。

60、2、通过视觉资产参考库与余弦相似度校验、带迭代终止条件的一致性修复流程以及光流引导的帧间特征传播,抑制同一创作对象在多阶段切换与视频相邻帧之间的外观漂移,提升长序列内容的专业可用性。

61、3、通过二值掩码图引导的条件与无条件双路径去噪加权融合实现仅作用于目标区域的区域级精细控制,并通过按信息完整度与条件优先级自适应计算融合权重使信息更充分的模态在融合中发挥更大作用。