基于深度学习的视频超分辨率方法及系统、计算机设备

1.本发明涉及视频图像处理技术领域，尤其是一种基于深度学习的视频超分辨率方法及系统、计算机设备。


背景技术：

2.高分辨率高帧率视频的获取在诸多领域有着重要的应用前景，例如：超清视频影像的录制、航空航天视频遥感、高速微小目标检测等等。然而，摄像机若同时满足高分辨率和高帧率的采集要求，则需要更昂贵的记录、传输、存储等硬件设备。在成本的限制下，摄像机可以通过牺牲帧率或者分辨率来满足特定应用场景的需要，也就是常见的高清摄像机和高速摄像机。
3.在视频图像处理技术领域，视频超分辨率算法能够对高速摄像机采集的低分辨率高帧率视频进行重建，显著提高视频序列中单帧图像的空间分辨率，从而生成高分辨率高帧率视频。当前，最为前沿的视频超分辨率技术大多采用基于深度学习的方法。
4.从原理上分析，视频超分辨率的结果是根据原视频图像的空域和时域关系推断获得，但这种时空约束不足以重建所有缺失的真实信息，致使生成的高清细节信息缺乏真实性，与真正的高清图像差异较大。


技术实现要素：

5.本发明提供一种基于深度学习的视频超分辨率方法及系统、计算机设备，用于克服现有技术中生成的高分辨率高帧率视频中细节特征不真实等缺陷。
6.为实现上述目的，本发明提出一种基于深度学习的视频超分辨率方法，包括以下步骤：
7.获取低分辨率高帧率视频序列和高分辨率低帧率视频序列，以低分辨率高帧率视频序列为基础序列，以高分辨率低帧率视频序列为参考序列；对所述基础序列和参考序列进行预处理，之后输入训练好的视频超分辨率处理模型中；
8.根据基础序列中的目标帧，以及所述目标帧的前一帧和后一帧，计算获得初始目标帧；
9.设定所述目标帧的前关键帧和后关键帧，利用所述目标帧与前关键帧进行高分辨率光流估计，得到第一高分辨率光流；利用所述目标帧与后关键帧进行高分辨率光流估计，得到第二高分辨率光流；
10.利用所述第一高分辨率光流对参考序列中对应时刻前关键帧进行运动补偿，得到与所述初始目标帧特征对齐的第一图像帧；利用所述第二高分辨率光流对参考序列中对应时刻后关键帧进行运动补偿，得到与所述初始目标帧特征对齐的第二图像帧；
11.利用多层残差网络分别对所述第一图像帧和第二图像帧进行特征提取，获得第一细节图和第二细节图；
12.根据所述第一高分辨率光流和第二高分辨率光流，分别计算得到所述第一图像帧
的第一加权系数和第二图像帧的第二加权系数；第一加权系数与第二加权系数之和等于1；
13.根据所述第一加权系数与第二加权系数，对所述初始目标帧、第一细节图和第二细节图进行加权聚合，得到高分辨率高帧率的视频帧。
14.为实现上述目的，本发明还提出一种基于深度学习的视频超分辨率系统，包括：
15.视频超分辨率模块，用于获取低分辨率高帧率视频序列和高分辨率低帧率视频序列，以低分辨率高帧率视频序列为基础序列，以高分辨率低帧率视频序列为参考序列；对所述基础序列和参考序列进行预处理，之后输入训练好的视频超分辨率处理模型中；根据基础序列中的目标帧，以及所述目标帧的前一帧和后一帧，计算获得初始目标帧；
16.高分辨率光流估计模块，用于设定所述目标帧的前关键帧和后关键帧，利用所述目标帧与前关键帧进行高分辨率光流估计，得到第一高分辨率光流；利用所述目标帧与后关键帧进行高分辨率光流估计，得到第二高分辨率光流；
17.运动补偿模块，用于利用所述第一高分辨率光流对参考序列中对应时刻前关键帧进行运动补偿，得到与所述初始目标帧特征对齐的第一图像帧；利用所述第二高分辨率光流对参考序列中对应时刻后关键帧进行运动补偿，得到与所述初始目标帧特征对齐的第二图像帧；
18.特征提取模块，用于利用多层残差网络分别对所述第一图像帧和第二图像帧进行特征提取，获得第一细节图和第二细节图；
19.权重估计模块，用于根据所述第一高分辨率光流和第二高分辨率光流，分别计算得到所述第一图像帧的第一加权系数和第二图像帧的第二加权系数；第一加权系数与第二加权系数之和等于1；
20.加权模块，用于根据所述第一加权系数与第二加权系数，对所述初始目标帧、第一细节图和第二细节图进行加权聚合，得到高分辨率高帧率的视频帧。
21.为实现上述目的，本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
22.为实现上述目的，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述方法的步骤。
23.与现有技术相比，本发明的有益效果有：
24.本发明提供的基于深度学习的视频超分辨率方法首先利用低分辨率高帧率视频序列(基础序列)中的目标帧和它的邻近帧计算得到初始目标帧；然后根据目标帧与设定的关键帧进行高分辨率光流估计，并利用该高分辨率光流估计结果对高分辨率低帧率视频序列(参考序列)中的对应关键帧进行运动补偿；继而对补偿后的图像帧进行特征提取得到细节特征图；最后将初始目标帧与细节特征图进行加权聚合，得到最终的高分辨率目标帧，其中加权权重根据高分辨率光流计算获得。本发明通过不同视频序列的信息融合，有效解决了现有技术生成的高分辨率高帧率视频中细节特征不真实的问题。
附图说明
25.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图示出的结构获得其他的附图。
26.图1为本发明提供的基于深度学习的视频超分辨率方法的流程图；
27.图2为本发明提供的基于深度学习的视频超分辨率方法的原理图；
28.图3为本发明中基础序列与参考序列示意图；
29.图4为本发明的方法与其它方法的处理效果对比；其中，左上角的图为真实高分辨率视频帧，右上角的图为现有bicubic插值算法处理后的图，左下角的图为现有sof-vsr算法处理后的图，右下角的图为本发明提供的方法处理后的图。
30.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
31.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
32.另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
33.本发明提出一种基于深度学习的视频超分辨率方法，如图1和2所示，包括以下步骤：
34.101：获取低分辨率高帧率视频序列和高分辨率低帧率视频序列，以低分辨率高帧率视频序列为基础序列，以高分辨率低帧率视频序列为参考序列(如图3所示)；对基础序列和参考序列进行预处理，之后输入训练好的视频超分辨率处理模型中；
35.102：根据基础序列中的目标帧，以及目标帧的前一帧和后一帧，计算获得初始目标帧；
36.103：设定目标帧的前关键帧和后关键帧，利用目标帧与前关键帧进行高分辨率光流估计，得到第一高分辨率光流；利用目标帧与后关键帧进行高分辨率光流估计，得到第二高分辨率光流；
37.104：利用第一高分辨率光流对参考序列中对应时刻前关键帧进行运动补偿，得到与初始目标帧特征对齐的第一图像帧；利用第二高分辨率光流对参考序列中对应时刻后关键帧进行运动补偿，得到与初始目标帧特征对齐的第二图像帧；
38.105：利用多层残差网络分别对第一图像帧和第二图像帧进行特征提取，获得第一细节图和第二细节图；
39.106：根据第一高分辨率光流和第二高分辨率光流，分别计算得到第一图像帧的第一加权系数和第二图像帧的第二加权系数；第一加权系数与第二加权系数之和等于1；
40.107：根据第一加权系数与第二加权系数，对初始目标帧、第一细节图和第二细节图进行加权聚合，得到高分辨率高帧率的视频帧。
41.本发明通过不同视频序列的信息融合，有效解决了现有技术生成的高分辨率高帧率视频中细节特征不真实的问题。
42.本发明采用深度学习的方法，因此需要对视频超分辨率处理模型进行训练，然后
才能处理实际的应用数据。本发明可以在常见的视频超分辨率公共数据集上进行训练和测试，包括但不限于vid4、vimeo-90k、reds等数据集。
43.在其中一个实施例中，对于步骤101，对基础序列和参考序列进行预处理，包括：
44.对基础序列和参考序列进行单帧拆分，生成视频帧序列；
45.将视频帧序列中的单帧图像由rgb颜色空间转换到ycbcr颜色空间，
[0046][0047]
在下一个实施例中，对于步骤102，根据基础序列中的目标帧以及目标帧的前一帧和后一帧计算获得初始目标帧初始目标帧的分辨率与基础序列v
lrhf
的分辨率相同。
[0048]
步骤102中具体的算法可进行替换，可适用各种视频超分辨率算法，包括但不限于caballero等的vespcn算法、xue t等的toflow算法和wang l等的sof-vsr算法。
[0049]
本实施例中具体计算为，
[0050][0051]
式中，为初始目标帧；为t时刻对应v
lrhf
的帧；为t-1时刻对应v
lrhf
的帧；为t 1时刻对应v
lrhf
的帧。
[0052]
在另一个实施例中，对于步骤103，利用目标帧与前关键帧进行高分辨率光流估计，得到第一高分辨率光流，
[0053][0054]
利用目标帧与后关键帧进行高分辨率光流估计，得到第二高分辨率光流，
[0055][0056]
式中，为t时刻对应v
lrhf
的帧，v
lrhf
为基础序列；和分别为t
fkf
和t
pkf
时刻v
lrhf
的前关键帧和后关键帧；和分别为第一高分辨率光流和第二高分辨率光流。
[0057]
第一高分辨率光流和第二高分辨率光流的分辨率与参考序列v
hrlf
的分辨率相同。
[0058]
高分辨率光流估计采用金字塔式多级估计模式，同时在最后一层级引用了图像超分辨率的思想，不同于wang l等的sof-vsr算法中的光流估计模块，本发明采用了更多层级，能够更精确地估计大幅度的物体运动。
[0059]
在下一个实施例中，对于步骤104，利用第一高分辨率光流对参考序列中对应时刻前关键帧进行运动补偿，得到与初始目标帧特征对齐的第一图像帧，
[0060][0061]
利用第二高分辨率光流对参考序列中对应时刻后关键帧进行运动补偿，得到与初始目标帧特征对齐的第二图像帧，
[0062][0063]
式中，和分别为第一图像帧和第二图像帧；和分别为第一高分辨率光流和第二高分辨率光流；和分别为t
fkf
和t
pkf
时刻v
hrlf
的前关键帧和后关键帧，v
hrlf
为参考序列。
[0064]
在某一个实施例中，对于步骤105，利用多层残差网络分别对第一图像帧和第二图像帧进行特征提取，获得第一细节图和第二细节图，
[0065][0066][0067]
式中，和分别为第一细节图和第二细节图；和分别为第一图像帧和第二图像帧。
[0068]
在另一个实施例中，对于步骤106，根据所述第一高分辨率光流和第二高分辨率光流，分别计算得到所述第一图像帧的第一加权系数和第二图像帧的第二加权系数，
[0069][0070][0071]
式中，ωf和ω
p
分别为第一加权系数和第二加权系数；和分别为第一高分辨率光流和第二高分辨率光流；表示l1范数。满足约束ωf ω
p
＝1。
[0072]
在下一个实施例中，对于步骤107，根据第一加权系数与第二加权系数，对初始目标帧、第一细节图和第二细节图进行加权聚合，得到高分辨率高帧率的视频帧，
[0073][0074]
式中，为高分辨率高帧率的视频帧；为初始目标帧；ωf和ω
p
分别为第一加权系数和第二加权系数；和分别为第一细节图和第二细节图。
[0075]
在某个实施例中，对于步骤107，高分辨率高帧率的视频帧，之后还包括：
[0076]
将所述视频帧的cb、cr两个颜色通道进行bicubic插值；
[0077]
以所述视频帧作为y通道，与插值后的cb、cr颜色通道组合，并转换到rgb颜色空
间，得到高分辨率的彩色视频帧，
[0078][0079]
对比实验及结果。
[0080]
以下对本发明提供的方法、bicubic插值算法、以及wang l等的sof-vsr算法(wang l等(wang l,guo y,liu l,et al.deep video super-resolution using hr optical flow estimation[j].ieee transactions on image processing,2020,pp(99):1-1.)提出了一种基于高分辨率光流估计的视频超分辨率算法)进行结果对比，并使用超分辨率研究领域常用的峰值信噪比(psnr)和结构相似性(ssim)作为评价指标，具体如表1所示。
[0081]
对比实验使用vid4数据集，分辨率放大倍数为4。由表1可见，相比其它方法，本发明提供的方法的评价指标更高，表示处理后的视频帧细节部分更丰富，同时与真实的高分辨率视频帧相似度更高。
[0082]
表1本发明提供的方法与现有技术的对比结果表
[0083][0084]
图4为本发明的方法与其它方法的处理效果对比。其中，左上角的图为vid4数据集中calendar视频的一张真实高分辨率视频帧，右上角的图为现有bicubic插值算法处理后的图，左下角的图为现有sof-vsr算法处理后的图，右下角的图为本发明提供的方法处理后的图。对比各方法处理后视频帧中的日期、星期、标牌字母等细节部分，本发明提供的方法的结果中图像的细节部分更丰富也更清晰，因此可以证明本发明能够更有效地重建真实的高分辨率细节。
[0085]
本发明还提出一种基于深度学习的视频超分辨率系统，包括：
[0086]
视频超分辨率模块，用于获取低分辨率高帧率视频序列和高分辨率低帧率视频序列，以低分辨率高帧率视频序列为基础序列，以高分辨率低帧率视频序列为参考序列；对所述基础序列和参考序列进行预处理；根据基础序列中的目标帧，以及所述目标帧的前一帧和后一帧，计算获得初始目标帧；
[0087]
高分辨率光流估计模块，用于设定所述目标帧的前关键帧和后关键帧，利用所述目标帧与前关键帧进行高分辨率光流估计，得到第一高分辨率光流；利用所述目标帧与后关键帧进行高分辨率光流估计，得到第二高分辨率光流；
[0088]
运动补偿模块，用于利用所述第一高分辨率光流对参考序列中对应时刻前关键帧进行运动补偿，得到与所述初始目标帧特征对齐的第一图像帧；利用所述第二高分辨率光流对参考序列中对应时刻后关键帧进行运动补偿，得到与所述初始目标帧特征对齐的第二图像帧；
[0089]
特征提取模块，用于利用多层残差网络分别对所述第一图像帧和第二图像帧进行特征提取，获得第一细节图和第二细节图；
[0090]
权重估计模块，用于根据所述第一高分辨率光流和第二高分辨率光流，分别计算得到所述第一图像帧的第一加权系数和第二图像帧的第二加权系数；第一加权系数与第二加权系数之和等于1；
[0091]
加权模块，用于根据所述第一加权系数与第二加权系数，对所述初始目标帧、第一细节图和第二细节图进行加权聚合，得到高分辨率高帧率的视频帧。
[0092]
本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
[0093]
本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述方法的步骤。
[0094]
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。