一种首尾帧回流循环视频生成方法及系统与流程

本技术涉及计算机视觉，尤其涉及一种首尾帧回流循环视频生成方法及系统。

背景技术：

1、随着人工智能视频生成技术的发展，基于单张图像生成动态视频，并进一步获得可连续重复播放的循环视频，已广泛应用于数字展示、虚拟角色、广告素材及短视频制作等场景。

2、现有方法通常先利用图生视频模型生成前向运动视频，再提取该视频的首帧和尾帧，利用视频过渡生成模型生成由尾帧返回首帧的回流片段，最后将前向视频与回流片段拼接，并通过光流插帧等方式提高播放流畅度。

3、该类方法虽然能够降低首尾画面的突变，但仍主要以端点图像相似度或像素连续性作为判断依据，容易忽略循环视频在环形时间轴上的动态状态连续性。

4、一方面，前向视频尾帧与回流片段起始帧、回流片段终止帧与前向视频首帧可能发生重复或近重复占位，使同一运动状态连续维持多个采样时刻，形成接缝处局部减速、短暂停顿或时间膨胀；若直接删除重复帧，又可能造成运动相位跳变。另一方面，现有方法通常仅约束主体的位置、姿态或外观回到初始状态，而未考虑投影、反射、水波、烟雾、衣摆、毛发及粒子等伴生视觉状态相对于主体运动存在响应滞后或衰减过程，导致主体已经闭合而伴生状态仍保留上一周期的运动记忆，出现阴影瞬移、反射方向突变或波纹无因重置等现象。

5、因此，如何同时保证环形时间采样均匀以及主体与伴生视觉状态的协同闭合，仍是现有循环视频生成技术亟待解决的问题。

技术实现思路

1、为了解决上述问题，本发明的实施例提供了一种首尾帧回流循环视频生成方法，方法包括：

2、获取输入图像，由所述输入图像生成前向视频序列，提取前向首帧和前向尾帧；

3、对所述前向视频序列进行主体分割，得到主体区域及对应的主体区域掩码，并估计全局运动；计算逐帧运动场并去除所述逐帧运动场中的全局运动分量，获得主体残余运动序列和候选残余运动序列；依据所述主体残余运动序列与所述候选残余运动序列的有向时移依赖，从主体邻接候选区域中确定伴生视觉区域及其掩码，并由时间偏移和响应衰减构建区域响应核；

4、从所述前向视频序列提取主体状态特征和伴生状态特征；依据所述区域响应核对所述伴生状态特征作环形移位，形成由所述主体状态特征和移位后的伴生状态特征组成的异步条件序列；以前向尾帧和前向首帧为边界，按所述主体区域掩码和所述伴生视觉区域掩码将所述异步条件序列注入视频生成模型的时序层，生成回流视频序列；

5、拼接所述前向视频序列与所述回流视频序列，形成环形候选序列；由所述主体状态特征和经所述区域响应核对齐的伴生状态特征构建环形联合状态轨迹，识别状态等价且变化同向的重叠状态段并折叠；

6、按照折叠后的环形联合状态轨迹配置保留帧的循环时间索引，按相邻保留帧的循环时间索引生成中间帧，输出循环视频。

7、进一步地，所述全局运动的估计过程包括：

8、在相邻帧中提取位于主体区域之外的背景特征点，保留正向匹配位置与反向匹配位置相互对应的背景特征点，根据保留的背景特征点拟合帧间全局变换，并由所述帧间全局变换形成全局运动场；

9、将逐帧运动场与所述全局运动场作差，按照所述主体区域掩码对所得差值运动场进行聚合，形成所述主体残余运动序列；将主体区域外部与所述主体区域的边界连通且残余运动连续的区域划分为所述主体邻接候选区域，按照所述主体邻接候选区域分别聚合所得差值运动场，形成所述候选残余运动序列。

10、进一步地，所述有向时移依赖的确定过程包括：

11、分别以所述主体残余运动序列和所述候选残余运动序列中的每一序列作为先行序列进行双向时移预测，得到两种预测方向对应的残差序列；

12、筛选主体先行方向的预测残差小于反向预测残差，并且在去除零时移分量后保持时序相关的主体邻接候选区域，将筛选得到的主体邻接候选区域确定为所述伴生视觉区域；

13、根据主体先行方向的预测残差取得极小值时对应的时间偏移生成延迟项，根据经过所述时间偏移处理的候选残余运动幅值相对于主体残余运动幅值的变化生成衰减项，将所述延迟项和所述衰减项按照伴生视觉区域进行组织，形成所述区域响应核。

14、进一步地，所述回流视频序列的生成过程包括：

15、对所述前向尾帧和所述前向首帧进行编码，得到边界帧潜空间特征；

16、按照所述区域响应核中的延迟项，将所述伴生状态特征映射至对应主体状态特征之前的环形索引，并按照所述衰减项调制映射后的伴生状态特征，组成所述异步条件序列；

17、在所述视频生成模型的预定时序层中，利用所述主体区域掩码将所述主体状态特征写入当前时间索引，利用所述伴生视觉区域掩码将映射后的伴生状态特征写入对应环形索引，并将写入后的异步条件序列与所述边界帧潜空间特征联合输入所述预定时序层。

18、进一步地，所述环形联合状态轨迹的构建过程包括：

19、从所述环形候选序列的每一帧提取主体轮廓、主体姿态和主体残余运动，更新所述主体状态特征；

20、从所述伴生视觉区域提取区域形态、对应的候选残余运动以及相对主体区域的空间关系，更新所述伴生状态特征；

21、按照所述区域响应核将所述伴生状态特征对齐至所述主体状态特征对应的时间索引；

22、将同一时间索引的主体状态特征、对齐后的伴生状态特征以及由相邻时间索引差分得到的状态方向量组成联合状态点，并按照环形顺序连接所述联合状态点，形成所述环形联合状态轨迹。

23、进一步地，所述重叠状态段的识别过程包括：

24、分别从所述环形联合状态轨迹的连接端和循环端选取连续联合状态点序列，按照环形顺序对两组连续联合状态点序列中的联合状态点进行单调配对；

25、对每一配对判断联合状态点之间的状态距离是否符合状态等价条件、对应状态方向量是否同向，以及对应伴生状态特征在所述区域响应核对应索引上的排列次序是否一致；

26、将连续符合上述判断的配对扩展为候选重叠状态段，分别在所述连接端和所述循环端选取包含联合状态点数量最多的候选重叠状态段，并将选取的候选重叠状态段组合形成所述重叠状态段。

27、进一步地，所述重叠状态段的折叠过程包括：

28、将所述重叠状态段中的配对联合状态点分别连接为两条配对轨迹，分别计算两条配对轨迹的入口联合状态点和出口联合状态点与相邻非重叠联合状态点之间的状态方向偏差；

29、保留状态方向偏差总和较小的配对轨迹，删除另一配对轨迹对应的帧；

30、连接保留的配对轨迹与两侧非重叠轨迹，得到折叠后的环形联合状态轨迹；

31、沿折叠后的环形联合状态轨迹累计相邻联合状态点之间的状态距离，并将累计值按照环形顺序映射为所述保留帧的循环时间索引。

32、进一步地，所述中间帧的生成过程包括：

33、对每对相邻保留帧进行编码以得到帧特征，并计算相邻保留帧之间的双向运动场；

34、根据两相邻保留帧的循环时间索引确定主体插值索引，并按照所述区域响应核中的延迟项和衰减项，将所述主体插值索引分别转换为所述伴生视觉区域对应的伴生插值索引；

35、分别依据所述主体插值索引和所述伴生插值索引，在所述主体区域掩码和所述伴生视觉区域掩码限定的范围内对所述帧特征执行双向变形；

36、根据所述双向运动场的正反向一致性生成遮挡置信图，按照所述遮挡置信图融合经双向变形的帧特征，并将融合后的帧特征解码为所述中间帧。

37、进一步地，一种首尾帧回流循环视频生成方法，还包括：依据所述主体残余运动序列的方向变化、幅值变化及连续低幅值状态划分运动相位区段，为所述运动相位区段配置相位标识，构建对应的相位响应子核并按环形时间顺序形成相位状态链；根据所述主体状态方向量和前一时间索引的相位标识调用所述相位响应子核，构建所述异步条件序列、限定重叠状态段配对并确定所述伴生插值索引。

38、另一方方面，本技术还提供了一种首尾帧回流循环视频生成系统，系统包括：

39、前向视频生成模块：获取输入图像，由所述输入图像生成前向视频序列，提取前向首帧和前向尾帧；

40、伴生响应建模模块：对所述前向视频序列进行主体分割，得到主体区域及对应的主体区域掩码，并估计全局运动；计算逐帧运动场并去除所述逐帧运动场中的全局运动分量，获得主体残余运动序列和候选残余运动序列；依据所述主体残余运动序列与所述候选残余运动序列的有向时移依赖，从主体邻接候选区域中确定伴生视觉区域及其掩码，并由时间偏移和响应衰减构建区域响应核；

41、异步回流生成模块：从所述前向视频序列提取主体状态特征和伴生状态特征；依据所述区域响应核对所述伴生状态特征作环形移位，形成由所述主体状态特征和移位后的伴生状态特征组成的异步条件序列；以前向尾帧和前向首帧为边界，按所述主体区域掩码和所述伴生视觉区域掩码将所述异步条件序列注入视频生成模型的时序层，生成回流视频序列；

42、重叠状态折叠模块：拼接所述前向视频序列与所述回流视频序列，形成环形候选序列；由所述主体状态特征和经所述区域响应核对齐的伴生状态特征构建环形联合状态轨迹，识别状态等价且变化同向的重叠状态段并折叠；

43、循环时序插帧模块：按照折叠后的环形联合状态轨迹配置保留帧的循环时间索引，按相邻保留帧的循环时间索引生成中间帧，输出循环视频。

44、本发明提供的技术方案至少具有如下技术效果和优点：

45、本发明通过伴生视觉状态建模、异步回流生成及环形状态轨迹折叠，实现主体运动、伴生响应与时间采样的协同连续。本发明通过去除全局运动分量，并根据主体残余运动与候选残余运动之间的有向时移依赖确定伴生视觉区域，使由主体邻接候选区域确定的伴生状态能够与主体运动建立对应关系；通过区域响应核中的延迟项和衰减项对伴生状态特征进行环形移位及幅值调制，使回流视频中的主体状态与伴生状态按照各自响应过程连续变化；通过构建环形联合状态轨迹，识别并折叠状态等价且变化同向的重叠状态段，减少接缝位置的重复占位、局部停顿及运动相位跳变；通过循环时间索引分别确定主体插值索引和伴生插值索引，并结合双向运动场及遮挡置信图生成中间帧，使循环视频的帧间运动和区域边界保持连续。