基于AIGC的文本草图引导影视角色视频生成方法及系统与流程

本发明涉及计算机视觉、自然语言处理与aigc视频生成，特别涉及一种基于aigc的文本草图引导影视角色视频生成方法及系统。

背景技术：

1、随着aigc视频生成技术的发展，将静态漫画页内容转换为动态影视角色视频的应用需求日益提升。

2、现有漫画转视频的技术实现路径主要分为三维重建驱动与端到端二维生成两类。三维重建驱动方案需先构建角色三维模型再绑定动作数据驱动生成，姿态运动逻辑相对规整，但输出结果易丢失原作的二维手绘美术风格，且制作链路长、人力成本高，难以适配批量漫画内容的快速生成需求。部分端到端二维生成方案可直接基于静态图像输出视频，能够较好保留原作画面风格，但生成过程普遍缺乏明确的人体关节拓扑约束与多角色协同调控机制，输出的角色姿态常出现运动逻辑不符合人体规律、部件衔接失真的问题，在多角色交互场景下，动作时序、空间位置与语义逻辑的协同一致性也难以保障，整体生成质量无法满足影视级角色动画的呈现要求。

3、因此，如何在纯二维生成体系下，同时实现原作美术风格保留、角色姿态运动合理性保障与多角色动作协同一致性提升，是本领域亟待解决的核心技术问题。

技术实现思路

1、本发明提供一种基于aigc的文本草图引导影视角色视频生成方法及系统，用以解决上述提出的技术问题。

2、本发明提供一种基于aigc的文本草图引导影视角色视频生成方法，包括：

3、步骤1：获取文本草图，并通过多模态大模型得到每个角色的静态外形轮廓、初始角色描述及初始场景描述；

4、步骤2：对初始场景描述进行语义事件粗拆分得到第一子描述，对每个第一子描述执行动作解析与时长估计，同时，对每个第一子描述执行多粒度语义解析并得到对应预设维度的画面引导标签，组合为引导集；

5、步骤3：对所述初始角色描述进行拆分得到由基础外形属性描述与动态动作属性描述构成的拆分描述对，基于静态外形轮廓分割得到的闭合外形部件构建带关节连接约束的外形部件图，通过图条件扩散模型生成姿态参数与渲染参数序列，并生成对应角色的初始动态变化线；

6、步骤4：基于参数变化强度曲线与单动作起始、峰值、结束三类关键帧规则对所述初始动态变化线进行处理，同时检测强度曲线的局部峰值点与谷值点筛选得到细拆分点并生成对应点引导说明；

7、步骤5：对每个角色的初始动态变化线中每个细拆分点的点引导说明编码得到点级语义特征，并基于场景需求执行多角色时空联合对齐得到完整序列，输入视频生成扩散模型输出影视角色视频。

8、优选的，对每个第一子描述执行多粒度语义解析并得到对应预设维度的画面引导标签，包括：

9、对每个第一子描述执行多粒度语义解析，依次提取语义层级、修饰属性层级、动作粒度层级与场景关联层级的语义单元；将每个层级的语义单元输入预训练语言模型编码为语义向量，与对应层级的基准语义原型向量计算余弦相似度，得到取值范围为[0,1]的层级语义匹配度得分；将四个层级的得分按固定顺序拼接，得到长度l=4的描述粒度序列集；

10、获取预先构建的与各预设维度一一映射的参考粒度序列集，其中，所述参考粒度序列集为长度4的数值向量，由对应维度下的典型样本经聚类得到；

11、将所述描述粒度序列集与各预设维度的参考粒度序列集分别计算余弦相似度，得到对应每个预设维度的匹配置信度值；

12、基于各预设维度对应的匹配置信度值，与预设的维度-特征-标签表进行区间匹配，得到对应预设维度的若干候选引导标签；

13、挖掘同个预设维度的若干候选引导标签之间的语义互斥关系与属性联动关系，剔除语义冲突标签并保留属性逻辑一致的标签，作为对应预设维度的画面引导标签。

14、优选的，对每个第一子描述执行动作解析与时长估计，包括：

15、对每个第一子描述执行动作解析，识别包含的动作实体与先后顺序得到动作序列，其中，所述动作序列包含k个动作；

16、对每个动作，根据动作类型从预先构建的动作类型-时长表中获取该动作的先验平均时长与先验标准差；

17、从当前文本草图对应动作区域提取分格占比、动作线条密度两项视觉特征，经预设线性拟合系数加权计算得到动作时长观测值与观测噪声标准差；

18、在正态分布假设前提下，结合先验分布与观测值，通过最大后验估计闭式解计算得到每个动作的预估时长；

19、将所述动作序列中所有动作的预估时长之和作为预估画面时长，将动作序列的长度k作为预估画面动作数量；

20、对每个动作，将该动作的动作类型特征向量与对应预设维度的匹配置信度值进行拼接，经全连接层映射为融合特征，输入预训练文本生成器生成该动作对应的动作引导说明。

21、优选的，生成对应角色的初始动态变化线，包括：

22、对所述静态外形轮廓进行多尺度曲率分析，基于人体拓扑先验分割为n个闭合外形部件，提取每个闭合外形部件的hu矩几何不变特征；

23、以各闭合外形部件为节点、部件间的关节连接关系为边，构建带关节连接约束的外形部件图；

24、将拆分描述对中的基础外形属性描述与动态动作属性描述分别输入文本编码器，得到角色外形语义向量与动作文本向量，结合第一子描述的场景语义向量处理得到角色-场景耦合语义特征；

25、将引导集中的预估画面时长、预估画面动作数量及每个预估画面动作的动作引导说明编码为动态时序条件特征，将场景需求编码为场景需求语义特征；

26、将所述动态时序条件特征、场景需求语义特征与所述角色-场景耦合语义特征进行拼接，经全连接层映射得到统一维度的动态约束特征，其中，所述动态约束特征嵌入有时长嵌入向量，用于控制图条件扩散模型输出序列的时间长度；

27、将所述外形部件图的图特征与所述动态约束特征作为条件输入图条件扩散模型，其中，所述图条件扩散模型的训练损失函数包含噪声预测损失项、时序平滑正则项与关节相对距离约束项，生成t个视频时间步的外形部件姿态参数序列，每个视频时间步包含n个部件的x轴偏移量、y轴偏移量与平面旋转角度；

28、推理输出后执行关节重合度后校验，对偏差超限的部件做位置校正；

29、基于每个部件的姿态参数，以对应关节点为旋转中心对静态外形轮廓的对应部件段执行二维仿射变换，对相邻部件的连接区域执行三次样条插值平滑处理，构建中间角色轮廓；

30、提取每个外形部件在中间角色轮廓上的位置索引，作为参数位置；

31、从预先构建的位置-对照表中提取所述参数位置对应的渲染列表，其中，所述渲染列表包含位置属性、布局属性与邻近位置过渡属性组，渲染属性执行优先级遵循布局属性优先、位置属性次之、过渡属性组最后的规则，属性冲突时以高优先级属性为准；

32、按照时间连续性与部件关联性对外形部件姿态参数序列进行分组，为每个分组设置一个渲染事件；

33、按照渲染事件的先后顺序，对对应分组内的每个参数位置，依据渲染列表的属性优先级依次设置渲染属性，得到每个视频时间步的渲染参数序列；

34、将同一视频时间步的外形部件姿态参数序列与渲染参数序列组合，生成对应角色的初始动态变化线。

35、优选的，将引导集中的预估画面时长、预估画面动作数量及每个预估画面动作的动作引导说明编码为动态时序条件特征，包括：

36、根据预估画面动作数量，将每个动作引导说明输入文本编码器，得到维度为d的动作语义向量；

37、将每个动作的预估时长进行归一化处理，经可学习线性层映射为维度为d的时间跨度向量；将同一动作的动作语义向量与时间跨度向量进行拼接，经线性映射层转换为维度为d的动作事件特征向量；

38、为每个动作事件特征向量加入可学习的时间位置编码，按动作先后顺序排列得到动作事件特征序列；

39、将动作事件特征序列输入两层transformer编码器进行时序自注意力编码，输出维度为d的动态时序条件特征。

40、优选的，筛选得到细拆分点并生成对应点引导说明，包括：

41、计算初始动态变化线中相邻视频时间步之间，每个姿态参数的相对变化率与每个渲染参数的相对变化率；

42、将所有参数的相对变化率统一映射至[0,1]区间，完成归一化处理；

43、根据预设权重对归一化后的姿态参数平均相对变化率与渲染参数平均相对变化率进行加权求和，构建参数变化强度曲线；

44、对强度曲线计算一阶差分，识别所有局部极值点，包含对应动作幅度峰值阶段的局部峰值点与对应动作起始、结束稳态阶段的局部谷值点；同时计算强度曲线的二阶差分，将二阶差分绝对值超过预设曲率阈值的拐点补充为候选细拆分点，最终得到候选细拆分点集合；

45、按照每个动作对应起始、峰值、结束三类关键帧的规则，确定细拆分点的目标数量；

46、若候选细拆分点数量大于目标数量，优先选取1个强度最高的峰值点作为动作峰值点，再选取时间轴上峰值点前后距离最近的2个谷值点分别作为动作起始点与结束点，得到目标数量的最终细拆分点；

47、若候选细拆分点数量小于目标数量，保留全部候选细拆分点并在时间轴上对应动作阶段均匀补充差值数量的采样点，使最终细拆分点数量与目标数量一致；

48、对每个最终细拆分点，提取自身前后各2个视频时间步的姿态参数特征与渲染参数特征，通过预设文本模板生成该细拆分点的点引导说明。

49、优选的，执行多角色时空联合对齐并输入视频生成扩散模型输出影视角色视频，包括：

50、结合场景需求中的时序同步、空间交互与动作协同三类约束，依次执行时序同步对齐、空间位置对齐与动作语义协同校正，得到对齐后点级语义特征与对齐后空间参数；其中时序同步对齐、空间位置对齐为硬约束，动作语义协同校正为软约束，约束优先级为空间交互约束＞时序同步约束＞动作协同约束；

51、基于对齐后的各细拆分点的点级语义特征与空间参数，生成每个角色在对应细拆分点处的画面生成参数；

52、对关键帧之间的非关键帧执行参数线性插值，得到完整时间轴的画面生成参数序列，视为完整序列；

53、将所有角色的完整序列按照时间轴顺序输入二维视频生成扩散模型，生成对应文本草图的影视角色视频。

54、本发明提供一种基于aigc的文本草图引导影视角色视频生成系统，包括：

55、轮廓提取与描述获取模块，用于获取文本草图，并通过多模态大模型得到每个角色的静态外形轮廓、初始角色描述及初始场景描述；

56、粗拆分与引导集生成模块，用于对初始场景描述进行语义事件粗拆分得到第一子描述，对每个第一子描述执行动作解析与时长估计，同时，对每个第一子描述执行多粒度语义解析并得到对应预设维度的画面引导标签，组合为引导集；

57、初始动态变化线生成模块，用于对所述初始角色描述进行拆分得到由基础外形属性描述与动态动作属性描述构成的拆分描述对，基于静态外形轮廓分割得到的闭合外形部件构建带关节连接约束的外形部件图，通过图条件扩散模型生成姿态参数与渲染参数序列，并生成对应角色的初始动态变化线；

58、细拆分模块，用于基于参数变化强度曲线与单动作起始、峰值、结束三类关键帧规则对所述初始动态变化线进行处理，同时检测强度曲线的局部峰值点与谷值点筛选得到细拆分点并生成对应点引导说明；

59、时空对齐与视频生成模块，用于对每个角色的初始动态变化线中每个细拆分点的点引导说明编码得到点级语义特征，并基于场景需求执行多角色时空联合对齐得到完整序列，输入视频生成扩散模型输出影视角色视频。

60、与现有技术相比，本技术的有益效果如下：

61、1、仅基于二维静态轮廓即可生成平面内姿态变换，无需三维重建，以关节点为旋转中心的变换方式贴合人体运动规律，配合连接区域平滑插值与推理后校验可有效避免轮廓断裂，能够较好保留原作美术风格，角色外形一致性显著优于常规端到端生成方案。

62、2、通过时空联合对齐机制同时约束时序同步、空间位置与动作逻辑，结合分级像素-物理尺度映射规则与约束优先级机制，多角色交互场景的动作匹配准确率较纯时序对齐方案有明显提升，正交分解式语义校正可在保障角色本体属性的前提下实现动作协同，避免语义过度偏移。

63、3、采用单动作起始、峰值、结束三类关键帧搭配参数插值的生成机制，通过峰值与谷值联合检测实现关键帧精准定位，能够完整刻画动作的完整过程，有效提升动作过渡的自然度。

64、4、基于角色固有纹理模板的局部修复，解决了通用算法风格漂移的问题，修复区域与原画面的风格相似度显著提升。

65、5、融合先验统计与漫画局部视觉特征的最大后验估计，能够有效降低动作时长预估误差，画面节奏更贴合原作表达。

66、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

67、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。