多参考图特征融合的自定义角色视频生成方法及相关设备

摘要: 本发明涉及视频生成,尤其涉及一种多参考图特征融合的自定义角色视频生成方法及相关设备。背景技术:1、现有基于参考图像的自定义角色视频生成技术通过单张参考图像提取身...
多参考图特征融合的自定义角色视频生成方法及相关设备

本发明涉及视频生成,尤其涉及一种多参考图特征融合的自定义角色视频生成方法及相关设备。

背景技术:

1、现有基于参考图像的自定义角色视频生成技术通过单张参考图像提取身份特征,当生成视频中角色发生姿态变化时,因缺乏多视角外观特征的联合建模导致身份特征漂移,而且主体身份特征与定制运动特征在网络内部表示相互纠缠,将定制运动迁移至不同目标角色时生成结果残留原角色的部分身份特征。现有技术中长视频序列生成中视觉token采用全量自注意力机制建模时序关系,计算复杂度随帧数呈平方级增长,时间戳信息复用文本token的离散预测头导致时间边界预测存在偏差,而且没有将画面景深关系与角色身份定位相耦合,景深估计与虚化处理独立于主体身份定位模块运行,导致角色运动过程中对焦平面与角色实际深度位置不匹配。

技术实现思路

1、本发明提供一种多参考图特征融合的自定义角色视频生成方法及相关设备,本发明解决了单张参考图像因携带特定视角、姿态、光照偏差信息而在生成视频中角色姿态变化时发生身份漂移的技术问题,实现了基于历史状态的相对运动风险预判与主动规避,保障了生成视频中角色运动轨迹符合场景约束。

2、第一方面,本技术实施例提供了一种多参考图特征融合的自定义角色视频生成方法,包括:

3、采集多张不同视角的参考图像,并对所述参考图像中的目标角色进行身份识别,得到所述目标角色的全局身份识别数据;

4、获取用于驱动所述目标角色运动的驱动序列,对所述驱动序列进行时间顺序编码,得到编码token序列,并对所述编码token序列进行运动嵌入和解耦优化,得到运动信息数据和对应的时间戳;

5、将所述全局身份识别数据、所述运动信息数据及所述时间戳输入运动适配器进行风险规避去噪,得到目标视频画面序列和对焦深度数据;

6、根据所述对焦深度数据对所述目标视频画面序列进行对焦重建,输出自定义角色视频。

7、可选的,在本发明第一方面的第一种实现方式中,所述采集多张不同视角的参考图像,并对所述参考图像中的目标角色进行身份识别,得到所述目标角色的全局身份识别数据,包括:

8、采集多张不同视角的参考图像,并对所述参考图像中的目标角色进行局部身份特征提取,得到各视角对应的第一身份识别数据;

9、将预设身份锚定向量与各视角对应的所述第一身份识别数据组成输入序列,对所述输入序列进行多头自注意力计算,得到各所述第一身份识别数据之间的相关性权重;

10、根据所述相关性权重对各视角对应的所述第一身份识别数据进行加权融合,保留各视角共有的身份特征分量、抑制因姿态差异及光照差异导致的非共性特征分量,得到各视角对应的第二身份识别数据,并对各视角对应的第二身份识别数据进行多视角融合,得到所述目标角色的全局身份识别数据。

11、可选的,在本发明第一方面的第二种实现方式中,所述获取用于驱动所述目标角色运动的驱动序列,对所述驱动序列进行时间顺序编码,得到编码token序列,并对所述编码token序列进行运动嵌入和解耦优化,得到运动信息数据和对应的时间戳,包括:

12、获取用于驱动所述目标角色运动的驱动序列,将所述驱动序列解析为按帧排列的视觉token序列,并分别对所述视觉token序列叠加物理时间戳正弦编码与序列索引正弦编码,得到编码token序列;

13、沿时间维度对所述编码token序列进行傅里叶变换并提取实值频域特征,将预设查询矩阵作为查询向量、所述实值频域特征作为键向量与值向量进行交叉注意力计算,得到运动嵌入概要向量;

14、构建所述运动嵌入概要向量与所述全局身份识别数据的正交约束损失函数,通过最小化所述正交约束损失函数进行解耦优化,得到运动信息数据,并从专用时间标识token中回归得到时间戳。

15、可选的,在本发明第一方面的第三种实现方式中,所述沿时间维度对所述编码token序列进行傅里叶变换并提取实值频域特征,将预设查询矩阵作为查询向量、所述实值频域特征作为键向量与值向量进行交叉注意力计算,得到运动嵌入概要向量,包括:

16、沿时间维度,对所述编码token序列进行一维实数傅里叶变换,得到原始频域特征,保留所述原始频域特征中频率序号最低的分量,得到低频频域特征;

17、分别对所述低频频域特征的第一实部特征与第一虚部特征进行深度可分离卷积运算,得到第二实部特征与第二虚部特征,并在通道维度将所述第二实部特征与所述第二虚部特征进行拼接和线性投影,得到实值频域特征;

18、将预设查询矩阵作为查询向量、所述实值频域特征作为键向量与值向量,对所述查询向量、所述键向量与所述值向量进行交叉注意力计算,得到全局运动条件嵌入,并在token维度上对所述全局运动条件嵌入进行均值池化,得到运动嵌入概要向量。

19、可选的,在本发明第一方面的第四种实现方式中,所述构建所述运动嵌入概要向量与所述全局身份识别数据的正交约束损失函数,通过最小化所述正交约束损失函数进行解耦优化,得到运动信息数据,并从专用时间标识token中回归得到时间戳,包括:

20、根据所述运动嵌入概要向量与所述全局身份识别数据构建正交约束损失函数;

21、通过反向传播最小化所述正交约束损失函数,对所述全局运动条件嵌入中的参数进行梯度更新,当所述正交约束损失函数收敛后,将更新后的全局运动条件嵌入作为运动信息数据;

22、对所述编码token序列中的专用时间标识token进行深度可分离卷积处理与交叉注意力重采样,得到时间标识重采样特征,并对所述时间标识重采样特征进行回归计算,得到时间戳。

23、可选的,在本发明第一方面的第五种实现方式中,所述将所述全局身份识别数据、所述运动信息数据及所述时间戳输入运动适配器进行风险规避去噪,得到目标视频画面序列和对焦深度数据,包括:

24、分别将所述全局身份识别数据与所述运动信息数据输入运动适配器中的视频去噪生成网络,通过所述视频去噪生成网络中各去噪模块的身份交叉注意力子层与运动交叉注意力子层进行参数注入和视频画面生成,得到第一视频画面序列;

25、在生成所述第一视频画面序列的各帧画面的过程中,计算速度向量与加速度向量并输入风险判别网络进行修正,生成第二视频画面序列,根据所述时间戳对所述第二视频画面序列中的各帧画面进行排列,生成目标视频画面序列;

26、对所述目标视频画面序列中各帧画面的局部运动状态向量与角色参考深度基准进行映射,得到各帧画面的角色相对深度值,并将各帧画面的所述角色相对深度值组成对焦深度数据。

27、可选的,在本发明第一方面的第六种实现方式中,所述在生成所述第一视频画面序列的各帧画面的过程中,计算速度向量与加速度向量并输入风险判别网络进行修正,生成第二视频画面序列,根据所述时间戳对所述第二视频画面序列中的各帧画面进行排列,生成目标视频画面序列,包括:

28、在生成所述第一视频画面序列的各帧画面的过程中,对当前帧的潜变量特征进行全局平均池化,得到当前帧的局部运动状态向量,将所述当前帧的局部运动状态向量存入历史状态缓冲区;

29、根据所述历史状态缓冲区中相邻帧的局部运动状态向量计算速度向量和加速度向量,并将所述速度向量和所述加速度向量输入风险判别网络,计算风险得分;

30、当所述风险得分超过预设阈值时,计算所述风险得分相对于预测运动状态的梯度,沿所述梯度的负方向进行修正,生成第二视频画面序列,并根据所述时间戳对所述第二视频画面序列中的各帧画面进行排列,生成目标视频画面序列。

31、可选的,在本发明第一方面的第七种实现方式中,所述根据所述对焦深度数据对所述目标视频画面序列进行对焦重建,输出自定义角色视频,包括:

32、计算所述目标视频画面序列中各帧画面的相对深度分布图,并将所述相对深度分布图上采样至与对应画面相同的空间分辨率,得到各帧画面的全分辨率深度分布图;

33、计算各帧画面的全分辨率深度分布图中每个像素位置的目标深度值与对应的角色相对深度值之间的深度差值,并根据所述深度差值计算各像素位置的模糊圈直径取值;

34、在预设高斯模糊核库中选取相邻尺寸等级的模糊核并按所述模糊圈直径取值在两尺寸等级间进行线性插值加权,得到各像素位置的自适应模糊核,并通过所述自适应模糊核对所述目标视频画面序列中的各像素位置进行对焦重建,输出自定义角色视频。

35、第二方面,本技术实施例提供了一种多参考图特征融合的自定义角色视频生成装置,包括:

36、角色身份识别单元,用于采集多张不同视角的参考图像,并对所述参考图像中的目标角色进行身份识别,得到所述目标角色的全局身份识别数据;

37、运动编码单元,用于获取用于驱动所述目标角色运动的驱动序列,对所述驱动序列进行时间顺序编码,得到编码token序列,并对所述编码token序列进行运动嵌入和解耦优化,得到运动信息数据和对应的时间戳;

38、风险规避去噪单元,用于将所述全局身份识别数据、所述运动信息数据及所述时间戳输入运动适配器进行风险规避去噪,得到目标视频画面序列和对焦深度数据;

39、对焦重建单元,用于根据所述对焦深度数据对所述目标视频画面序列进行对焦重建,输出自定义角色视频。

40、可选的,在本发明第二方面的第一种实现方式中,所述角色身份识别单元具体用于:

41、采集多张不同视角的参考图像,并对所述参考图像中的目标角色进行局部身份特征提取,得到各视角对应的第一身份识别数据;

42、将预设身份锚定向量与各视角对应的所述第一身份识别数据组成输入序列,对所述输入序列进行多头自注意力计算,得到各所述第一身份识别数据之间的相关性权重;

43、根据所述相关性权重对各视角对应的所述第一身份识别数据进行加权融合,保留各视角共有的身份特征分量、抑制因姿态差异及光照差异导致的非共性特征分量,得到各视角对应的第二身份识别数据,并对各视角对应的第二身份识别数据进行多视角融合,得到所述目标角色的全局身份识别数据。

44、可选的,在本发明第二方面的第二种实现方式中,所述运动编码单元具体用于:

45、获取用于驱动所述目标角色运动的驱动序列,将所述驱动序列解析为按帧排列的视觉token序列,并分别对所述视觉token序列叠加物理时间戳正弦编码与序列索引正弦编码,得到编码token序列;

46、沿时间维度对所述编码token序列进行傅里叶变换并提取实值频域特征,将预设查询矩阵作为查询向量、所述实值频域特征作为键向量与值向量进行交叉注意力计算,得到运动嵌入概要向量;

47、构建所述运动嵌入概要向量与所述全局身份识别数据的正交约束损失函数,通过最小化所述正交约束损失函数进行解耦优化,得到运动信息数据,并从专用时间标识token中回归得到时间戳。

48、可选的,在本发明第二方面的第三种实现方式中,所述风险规避去噪单元具体用于:

49、分别将所述全局身份识别数据与所述运动信息数据输入运动适配器中的视频去噪生成网络,通过所述视频去噪生成网络中各去噪模块的身份交叉注意力子层与运动交叉注意力子层进行参数注入和视频画面生成,得到第一视频画面序列;

50、在生成所述第一视频画面序列的各帧画面的过程中,计算速度向量与加速度向量并输入风险判别网络进行修正,生成第二视频画面序列,根据所述时间戳对所述第二视频画面序列中的各帧画面进行排列,生成目标视频画面序列;

51、对所述目标视频画面序列中各帧画面的局部运动状态向量与角色参考深度基准进行映射,得到各帧画面的角色相对深度值,并将各帧画面的所述角色相对深度值组成对焦深度数据。

52、可选的,在本发明第二方面的第四种实现方式中,所述对焦重建单元具体用于:

53、计算所述目标视频画面序列中各帧画面的相对深度分布图,并将所述相对深度分布图上采样至与对应画面相同的空间分辨率,得到各帧画面的全分辨率深度分布图;

54、计算各帧画面的全分辨率深度分布图中每个像素位置的目标深度值与对应的角色相对深度值之间的深度差值,并根据所述深度差值计算各像素位置的模糊圈直径取值;

55、在预设高斯模糊核库中选取相邻尺寸等级的模糊核并按所述模糊圈直径取值在两尺寸等级间进行线性插值加权,得到各像素位置的自适应模糊核,并通过所述自适应模糊核对所述目标视频画面序列中的各像素位置进行对焦重建,输出自定义角色视频。

56、第三方面,本技术实施例提供了一种计算机设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述多参考图特征融合的自定义角色视频生成方法的步骤。

57、第四方面,本技术实施例提供了一种可读存储介质,该可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述多参考图特征融合的自定义角色视频生成方法的步骤。

58、第五方面,本技术实施例提供了一种计算机程序产品,计算机程序产品包括计算机程序,计算机程序在被处理器执行时实现上述多参考图特征融合的自定义角色视频生成方法的步骤。

59、上述多参考图特征融合的自定义角色视频生成方法及相关设备所提供的一个方案中,通过多视图多参考图像身份特征提取与全局身份识别数据构建机制,对多张不同视角的参考图像分别提取局部身份特征后,通过跨视图融合网络中的自注意力机制对各视图特征间相关性进行加权,保留面部结构比例、五官相对位置、发型轮廓、服饰版型等共有身份特征分量,抑制因姿态、光照差异导致的非共性分量,使全局身份识别数据与角色姿态状态无关,从特征提取源头实现身份表征与姿态表征的分离,解决了单张参考图像因携带特定视角、姿态、光照偏差信息而在生成视频中角色姿态变化时发生身份漂移的技术问题。本发明通过绝对时间-顺序联合编码机制,将物理时间戳正弦编码与序列索引正弦编码拼接为联合位置编码叠加至驱动序列各帧token,使运动表征同时携带物理时间与序列顺序信息;通过傅里叶-卷积协同token压缩机制,对编码token序列进行一维实数傅里叶变换并保留低频分量,对低频频域特征的实部与虚部分别进行深度可分离卷积后拼接为实值频域特征,再通过预设查询矩阵与实值频域特征进行交叉注意力重采样得到固定长度的全局运动条件嵌入,解决长视频序列生成中全量自注意力机制计算复杂度随帧数呈平方级增长的技术问题;通过专用时间标识token经重采样后接入时间戳预测头直接回归连续归一化时间戳,不复用文本token的离散分类预测方式,解决时间边界预测偏差问题。本发明通过运动嵌入概要向量与目标角色的全局身份识别数据计算余弦相似度并构建正交约束损失函数,在视频生成训练过程中引入正交约束,降低运动嵌入概要向量与身份表征之间的方向相关性,辅助减轻运动特征与身份特征的耦合,并通过视频生成任务保留驱动序列中的动作信息。训练样本中的多参考图像与驱动序列对应同一角色,使身份约束针对驱动序列包含的角色身份信息;训练完成后,将运动编码网络用于不同目标角色的动作迁移。本发明通过历史状态运动适配器,在逐帧生成过程中维护历史状态缓冲区存储预设数量帧的局部运动状态向量,根据相邻帧间局部运动状态向量差值计算速度向量与加速度向量,将速度向量与加速度向量输入风险判别网络进行风险得分计算,当风险得分超过预设阈值时沿风险得分梯度负方向对运动条件表征进行修正后重新参与去噪计算,实现基于历史状态的相对运动风险预判与主动规避,保障生成视频中角色运动轨迹符合场景约束。本发明通过高精度景深优化的对焦重建机制,对各帧画面输入深度预测头得到全分辨率深度分布图,对深度分布图中每个像素位置的深度取值与对应帧的角色相对深度值进行差值计算得到模糊圈直径取值,根据模糊圈直径取值在预设高斯模糊核库中选取相邻尺寸等级的模糊核并进行线性插值加权得到各像素位置的自适应模糊核,对各像素位置邻域特征进行自适应模糊核卷积处理后重建各帧画面,使对焦平面持续锁定在自定义角色所在深度位置,背景及前景区域虚化程度根据其与角色实际深度位置的相对关系逐帧动态变化,解决景深估计与虚化处理独立于主体身份定位导致对焦平面与角色实际深度位置不匹配的技术问题。