基于关键帧融合的AI视频高清修复方法及系统与流程

摘要: 本发明涉及数字视频处理与计算机任务编排,尤其涉及基于关键帧融合的ai视频高清修复方法及系统。背景技术:1、在数字视频处理技术领域,现有视频高清修复方案通常先对待...
基于关键帧融合的AI视频高清修复方法及系统与流程

本发明涉及数字视频处理与计算机任务编排,尤其涉及基于关键帧融合的ai视频高清修复方法及系统。

背景技术:

1、在数字视频处理技术领域,现有视频高清修复方案通常先对待修复视频进行解码,形成按照显示时间戳排列的视频帧序列;再根据图像质量参数、场景变化或者编码结构识别关键帧,从关键帧前后的视频帧中选取参考帧,并通过图像对齐、多帧融合、超分辨率重建或者单帧修复生成修复图像。完成视频帧修复后,现有方案通常根据目标分辨率、目标帧率、编码格式和封装格式对视频帧序列进行编码封装,形成对应的视频输出文件。

2、当同一待修复视频对应多个目标交付规格时,现有方案多按照各目标交付规格分别建立视频修复和编码处理流程,或者在完成单一规格的视频修复后,再针对其他规格重复调用部分修复处理。不同处理流程中的关键帧选取结果、参考帧状态、修复参数和质量校验结果通常分别维护,难以形成一致的帧级处理状态;在部分目标交付规格仅存在分辨率、帧率、编码格式或者封装格式差异的情况下,仍可能对相同视频帧重复执行关键帧融合和修复图像生成。

3、现有视频修复方案还多以完整视频或者修复算法节点作为处理对象,参考帧有效状态、修复图像质量校验结果与后续视频编码任务之间缺少连续的状态关联。当单个目标关键帧的修复图像未通过质量校验,或者某一目标交付规格对应的编码、封装任务执行失败时,难以准确限定需要重新执行的处理对象和处理范围,容易造成已经完成的视频帧修复被重复调用,或者不同交付视频版本之间的任务状态相互影响。因此,需要解决同一待修复视频对应多个目标交付规格时,帧级修复状态、修复后视频帧序列和平台专属后处理任务之间难以连续衔接的问题。

技术实现思路

1、为了解决上述技术问题,本发明提供了基于关键帧融合的ai视频高清修复方法,包括:

2、s100、获取待修复视频和多个目标交付规格记录;解析所述待修复视频生成视频帧序列和帧状态记录;根据所述目标交付规格记录是否共用修复后视频帧序列,生成平台规格兼容关系;根据所述帧状态记录和目标交付规格记录确定关键帧序列;

3、s200、基于所述关键帧序列,按参考帧有效条件为目标关键帧筛选前向参考帧和后向参考帧;将所述目标关键帧、前向参考帧、后向参考帧和前置执行条件写入修复任务单元;基于所述平台规格兼容关系生成公共修复任务、平台专属后处理任务和任务依赖关系;

4、s300、按照满足所述前置执行条件的修复任务单元执行关键帧融合,生成修复图像;对所述修复图像执行质量校验,校验通过时写回所述视频帧序列并更新为修复完成状态,校验未通过时更新输出状态;

5、s400、在公共修复任务中的修复任务单元均为修复完成状态时,固化修复后视频帧序列并提供给平台专属后处理任务;按照目标交付规格记录生成交付视频版本;所述平台专属后处理任务失败时,仅对其执行重试。

6、进一步地,所述目标交付规格记录包括目标分辨率、目标帧率、码率范围、编码格式、封装格式、宽高比、色彩空间和技术规格版本;

7、解析所述目标交付规格记录,提取所述目标分辨率、目标帧率、编码格式、封装格式和技术规格版本。

8、进一步地,所述生成平台规格兼容关系包括:

9、比较多个所述目标交付规格记录;

10、当多个目标分辨率由同一修复后视频帧序列经缩放生成、多个目标帧率由同一修复后视频帧序列经帧率转换生成,且编码格式和封装格式由平台专属后处理任务处理时,将对应的目标交付规格记录写入同一平台规格兼容关系。

11、进一步地,所述修复任务单元包括目标关键帧标识、前向参考帧标识、后向参考帧标识、场景标识、规则版本、技术规格版本、修复参数版本、前置执行条件、输出状态和重试次数;

12、在所述修复任务单元更新为修复完成状态或者原帧回退状态前,保持所述规则版本、技术规格版本和修复参数版本不变。

13、进一步地,所述参考帧有效条件包括场景一致性条件、时间连续性条件、参考帧质量阈值和对齐置信度阈值;

14、比较参考帧与目标关键帧的场景标识、显示时间戳、图像质量参数和对齐置信度,生成参考帧有效性记录;根据所述参考帧有效性记录确定所述前置执行条件。

15、进一步地,所述公共修复任务包括多个修复任务单元;

16、所述平台专属后处理任务将所述公共修复任务完成作为前置执行条件,并共同引用所述修复后视频帧序列;

17、任一平台专属后处理任务更新为平台规格不符合状态时,保持所述公共修复任务和其他平台专属后处理任务的任务状态不变。

18、进一步地,所述关键帧融合包括:

19、将所述目标关键帧和前向参考帧输入ai图像修复模型,进行对齐和融合,生成前向输出图像;

20、将所述目标关键帧和后向参考帧输入所述ai图像修复模型,进行对齐和融合,生成后向输出图像;

21、对所述前向输出图像和后向输出图像进行归一化,生成所述修复图像。

22、进一步地,所述质量校验包括:

23、根据清晰度评价值、重影评价值和边缘一致性评价值进行单帧质量校验;

24、根据闪烁评价值和色彩连续性评价值进行帧间连续性校验,生成修复质量记录;

25、单帧质量校验或者帧间连续性校验未通过时,根据所述修复质量记录将所述输出状态更新为待重新选帧状态、单向修复状态、单帧修复状态或者原帧回退状态。

26、进一步地,接收包含交付视频版本标识的平台技术质量数据;

27、根据所述交付视频版本标识确定平台专属后处理任务,根据所述任务依赖关系确定公共修复任务和修复任务单元,并确定对应的规则版本、技术规格版本和修复参数版本,生成反馈归因记录;

28、根据所述反馈归因记录生成规则更新候选,对所述规则更新候选进行校验后生成新规则版本,保留修复完成状态的修复任务单元对应的规则版本。

29、进一步地,基于关键帧融合的ai视频高清修复系统,其特征在于,包括:视频解析及规格处理模块、关键帧判定模块、修复任务构建模块、融合及质量校验模块、帧序列重组模块、视频编码封装模块;所述系统用于实现上述任一项所述的方法。

30、以下为其主要的有益效果:

31、(1)针对同一待修复视频对应多个目标交付规格时容易重复执行视频帧修复的问题,通过平台规格兼容关系划分公共修复任务和平台专属后处理任务,使多个平台专属后处理任务共同调用同一修复后视频帧序列,避免对相同目标关键帧重复执行关键帧融合,并使不同目标交付规格的编码和封装处理分别进行。

32、(2)针对参考帧状态与关键帧融合执行过程衔接不连续的问题,通过修复任务单元绑定目标关键帧、双向参考帧、版本信息、前置执行条件和输出状态,使不满足参考帧有效条件的视频帧不进入对应关键帧融合过程,并使单个目标关键帧的重新选帧、重试或者原帧回退记录与其他修复任务单元分别维护。

33、(3)针对修复图像质量校验结果与后续视频生成状态脱节,以及单一平台处理失败时重新执行范围难以限定的问题,通过质量校验控制修复图像写回和修复任务单元状态更新,并以多个修复任务单元的修复完成状态控制修复后视频帧序列固化;单个平台专属后处理任务失败时,仅重新执行对应平台专属后处理任务,公共修复任务、修复后视频帧序列和其余交付视频版本的任务状态保持不变。