序列生成方法及装置、存储介质、计算机程序产品与流程

摘要: 本申请涉及图像处理,尤其涉及一种序列生成方法及装置、存储介质、计算机程序产品。背景技术:1、当前的数字人视频生成系统广泛采用动作素材库来驱动数字人角色表现。这些...
序列生成方法及装置、存储介质、计算机程序产品与流程

本申请涉及图像处理,尤其涉及一种序列生成方法及装置、存储介质、计算机程序产品。

背景技术:

1、当前的数字人视频生成系统广泛采用动作素材库来驱动数字人角色表现。这些素材通常来源于真人录制的视频或动作捕捉数据,结合语音识别与语义分析进行匹配使用。动作素材库通常以分段形式存储,通过简单的拼接方式组成完整的视频动作序列。为了提升匹配度,部分系统也会引入文本语义向量与动作标签匹配算法。

2、目前,在将多个动作片段拼接成完整视频时,可能出现数字人姿态或情绪突变,动作片段衔接过于呆板的问题,既可能缺乏真实动作的连贯性,又可能在相同或相似的动作片段处产生机械化重复的视觉效果,导致整个视频的视觉呈现效果不自然,缺乏真实感。

技术实现思路

1、本申请提供一种序列生成方法及装置、存储介质、计算机程序产品。

2、本申请提供一种序列生成方法,包括:

3、获取时域上前后相邻的第一动作片段和第二动作片段;

4、在所述第一动作片段和所述第二动作片段之间的衔接点处生成过渡序列,并执行以下一项或多项:

5、在执行过渡序列生成时施加扰动,使所述衔接点处产生与其他过渡序列存在差异的过渡序列;

6、基于相似度度量,对所述衔接点处已生成的过渡序列以及其他过渡序列进行去重。

7、本申请提供一种序列生成装置,包括:处理器、存储器和通信总线;

8、所述通信总线,用于实现所述处理器和所述存储器之间的通信连接;

9、所述处理器,用于执行所述存储器存储的一个或者多个计算机程序,以实现序列生成方法。

10、本申请提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现序列生成方法。

11、本申请提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现序列生成方法。

12、本申请提供一种序列生成方法及装置、存储介质、计算机程序产品,方法包括:获取时域上前后相邻的第一动作片段和第二动作片段;在第一动作片段和第二动作片段之间的衔接点处生成过渡序列,并执行以下一项或多项:在执行过渡序列生成时施加扰动,使衔接点处产生与其他过渡序列存在差异的过渡序列;基于相似度度量,对衔接点处已生成的过渡序列以及其他过渡序列进行去重。本申请提供的技术方案,在动作片段之间的衔接点处生成过渡序列,一方面可以在生成过渡序列时选择性施加扰动,另一方面可以基于相似度度量对过渡序列进行去重,从而在使动作片段连贯性的同时避免了机械化重复,提升了由此生成的整个视频的视觉呈现效果,使其更加自然、真实。

1.一种序列生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述在执行过渡序列生成时施加扰动,使所述衔接点处产生与其他过渡序列存在差异的过渡序列,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述k段过渡序列确定避同方向,包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述基于相似度度量,对所述衔接点处已生成的过渡序列以及其他过渡序列进行去重,包括:

6.根据权利要求5所述的方法,其特征在于,当前过渡序列和已保留过渡序列的相似度,基于第一信息确定,或者,基于所述第一信息,以及当前过渡序列的时间错位惩罚确定;

7.根据权利要求5所述的方法,其特征在于,所述方法还包括:

8.一种序列生成装置,其特征在于,包括:处理器、存储器和通信总线;

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。

10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。