视频超分方法、装置、设备、存储介质和程序产品与流程

摘要: 本申请涉及音视频和金融科技领域,更具体地涉及一种视频超分方法、装置、设备、存储介质和程序产品。背景技术:1、视频超分辨率技术(videosuperresolut...
视频超分方法、装置、设备、存储介质和程序产品与流程

本申请涉及音视频和金融科技领域,更具体地涉及一种视频超分方法、装置、设备、存储介质和程序产品。

背景技术:

1、视频超分辨率技术(video super resolution,vsr),是指通过一系列技术方法提高视频帧的分辨率,从而显著改善视频的画质。视频超分辨率技术可以应用于视频监控领域,将低分辨率的金融交易监控视频转换为高清视频,使得监控人员能够更清晰地看到交易者的行为、交易物品特征等。

2、相关技术中,视频超分辨率任务和单帧超分辨率相比增加了时序信息。按照利用时序信息的不同方式,基于深度学习的视频超分辨率技术可以大致分为基于多帧级联的方法、基于3d卷积的方法和基于循环结构的方法。这些方式通常是将时间或空间超分区分开,未能充分挖掘时空联合相关性,且缺乏长距离帧间信息的有效利用手段,导致超分性能受限。

技术实现思路

1、鉴于上述问题,本申请的实施例提供了一种视频超分方法、装置、设备、存储介质和程序产品。

2、根据本申请的第一方面,提供了一种视频超分方法,包括:获取视频流中连续的n个视频帧,剔除n个视频帧中的中间帧,对剩余的n-1个视频帧进行特征提取,获得n-1个第一特征帧,n为大于2的整数;利用特征时间插值模块将第二特征帧插入n-1个第一特征帧中,获得包含n个特征帧的特征序列;将特征序列按照不同时长进行分组,获得m组不同时长的特征子序列,每组特征子序列包括第二特征帧和至少两个不同的第一特征帧,m为大于1且小于n的整数,时长表征至少两个不同的第一特征帧之间的最大时间差;将每组特征子序列变换为一个第三特征帧;对于m个第三特征帧,以任意第i个第三特征帧作为第i个输入特征,执行迭代处理,获得第i个输出结果,将第i个输出结果和第i+1个第三特征帧共同作为第i+1个输入特征并返回到执行迭代处理的操作,直至得到第m个输出结果,i=1,2,……,m-1;根据第m个输出结果对视频流进行重建,获得超分视频流。

3、根据本申请的实施例,利用特征时间插值模块将第二特征帧插入n-1个第一特征帧中之前包括:获取中间帧在n个视频帧中的初始位置;将初始位置映射至n-1个第一特征帧中,以在n-1个第一特征帧中确定与初始位置对应的插值位置。

4、根据本申请的实施例,利用特征时间插值模块将第二特征帧插入n-1个第一特征帧中,获得包含n个特征帧的特征序列包括:获取n-1个第一特征帧中与插值位置相邻的两个第一特征帧;基于相邻的两个第一特征帧的特征关系,利用特征时间插值模块对相邻的两个第一特征帧插值处理,生成位于相邻的两个第一特征帧之间的第二特征帧;将第二特征帧插入至插值位置,获得包含n个特征帧的特征序列。

5、根据本申请的实施例,将特征序列按照不同时长进行分组,获得m组不同时长的特征子序列包括:以特征序列中第二特征帧的位置为基准,将n-1个第一特征帧划分成第一组和第二组,第一组包括位于第二特征帧一侧的x个第一特征帧,第二组包括位于第二特征帧的另一侧的y个第一特征帧,x和y均为正整数,x+y=n-1;以第二特征帧为中间帧,将第一组中一个第一特征帧和第二组中一个第一特征帧分别分布到第二特征帧的两侧,以构成一组特征子序列。

6、根据本申请的实施例,将第一组中一个第一特征帧和第二组中一个第一特征帧分别分布到第二特征帧的两侧包括:选取第一组中的一第一特征帧,将第一组中的第一特征帧分布到第二特征帧的一侧;获取该第一组中的第一特征帧至第二特征帧之间的时长;选取第二组中的一个第一特征帧,以使得该第二组中的第一特征帧到第二特征帧之间的时长等于第一组中的第一特征帧至第二特征帧之间的时长,并将第二组中的第一特征帧分布到第二特征帧的另一侧。

7、根据本申请的实施例,将每组特征子序列变换为一个第三特征帧包括:对每组特征子序列分别经过卷积处理,将第二特征帧和至少两个不同的第一特征帧合并为一个第三特征帧。

8、根据本申请的第二方面,提供了一种视频超分装置,包括:数据获取模块,用于获取视频流中连续的n个视频帧,剔除n个视频帧中的中间帧,对剩余的n-1个视频帧进行特征提取,获得n-1个第一特征帧,n为大于2的整数,n个视频帧的分辨率低于预设分辨率阈值;特征序列获取模块,用于利用特征时间插值模块将第二特征帧插入n-1个第一特征帧中,获得包含n个特征帧的特征序列;特征子序列获取模块,用于将特征序列按照不同时长进行分组,获得m组不同时长的特征子序列,每组特征子序列包括第二特征帧和至少两个不同的第一特征帧,m为大于1且小于n的整数,时长表征至少两个不同的第一特征帧之间的最大时间差;第三特征帧获取模块,用于将每组特征子序列变换为一个第三特征帧;输出结果获取模块,用于对于m个第三特征帧,以任意第i个第三特征帧作为第i个输入特征,执行迭代处理,获得第i个输出结果,将第i个输出结果和第i+1个第三特征帧共同作为第i+1个输入特征,返回到迭代处理的操作,直至得到第m个输出结果,i=1,2,……,m-1;超分视频流获取模块,用于根据第m个输出结果对视频流进行重建,获得超分视频流。

9、根据本申请的第三方面,提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个计算机程序,其中,上述一个或多个处理器执行上述一个或多个计算机程序以实现上述方法的步骤。

10、根据本申请的第四方面,还提供了一种计算机可读存储介质,其上存储有计算机程序或指令,上述计算机程序或指令被处理器执行时实现上述方法的步骤。

11、根据本申请的第五方面,还提供了一种计算机程序产品,包括计算机程序或指令,上述计算机程序或指令被处理器执行时实现上述方法的步骤。

1.一种视频超分方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述利用特征时间插值模块将第二特征帧插入所述n-1个第一特征帧中之前包括:

3.根据权利要求2所述的方法,其特征在于,利用特征时间插值模块将第二特征帧插入所述n-1个第一特征帧中,获得包含n个特征帧的特征序列包括:

4.根据权利要求1所述的方法,其特征在于,所述将所述特征序列按照不同时长进行分组,获得m组不同时长的特征子序列包括:

5.根据权利要求4所述的方法,其特征在于,所述将所述第一组中一个所述第一特征帧和所述第二组中一个第一特征帧分别分布到所述第二特征帧的两侧包括:

6.根据权利要求1所述的方法,其特征在于,所述将每组所述特征子序列变换为一个第三特征帧包括:

7.一种视频超分的装置,其特征在于,所述装置包括:

8.一种电子设备,其特征在于,包括:

9.一种计算机可读存储介质,其上存储有计算机程序或指令,其特征在于,所述计算机程序或指令被处理器执行时实现根据权利要求1~6中任一项所述方法的步骤。

10.一种计算机程序产品,包括计算机程序或指令,其特征在于,所述计算机程序或指令被处理器执行时实现根据权利要求1~6中任一项所述方法的步骤。