一种基于可变形卷积网络的视频超分辨率系统及方法与流程

1.本发明涉及视频增强技术领域，特别涉及一种基于可变形卷积网络的视频超分辨率系统及方法。


背景技术：

2.随着电子技术和通信技术的发展，视频因其直观性、可靠性的特点成为新的应用需求热点。由于视频信息数据量之大，占用了大量的网络资源，为了减少视频传输所需的带宽，视频分辨率变换技术在视频处理中不可或缺。然而现有的视频分辨率变换技术会造成视频图像的失真，造成主观和客观上的视频质量下降，进而影响其他视频相关工作的性能。为了在低码率下保持较高的视频质量，对低分辨率视频的超分辨技术成为了重要的研究领域。
3.视频超分辨技术是通过一定的手段将视频图像中存在的光晕、噪声等降低图像质量的因素去除并扩大图像的分辨率，进而提高图像质量的技术。随着卷积神经网络的发展，其在视频超分辨技术中得到了应用，具有较好的性能。现有技术主要借助视频目标帧的相邻帧信息对目标帧进行超分辨率处理，通过对目标帧与相邻帧进行配对，并将配对好的两帧融合得到特征图，再基于特征图对目标帧进行超分辨操作。
4.现有技术主要存在的不足有：1.当前融合技术主要采用光流法，由于低分辨率视频图像存在模糊失真，可能打破原始分辨率视频帧与帧之间像素级的联系，因而采用光流法得到的结果存在一定的不准确性。2.现有的光流法和基于可变形卷积的方法需要对成对的图像进行重复性的计算，当处理的帧数较多时需要大量的计算，存在效率低的问题。
5.基于上述问题，为了提高视频超分辨技术的准确性和效率，提出一种基于可变形卷积网络的视频超分辨率系统及方法。


技术实现要素：

6.本发明针对现有技术的不足，提出了一种基于可变形卷积网络的视频超分辨率系统及方法，通过可变形卷积对输入视频图像进行融合，略去了寻找关键帧以及帧间匹配的运算，融合部分具有较好的灵活性和鲁棒性，视频超分辨的结果达到了较高的准确度和效率。
7.本发明解决其技术问题所采用的具体技术方案是：一种基于可变形卷积网络的视频超分辨率系统，该系统包括：视频数据采集模块、tfm图像融合模块和sr图像超分辨率模块；
8.所述视频数据采集模块用于获取待进行超分辨的视频，选择视频中的一个目标帧以及目标帧的前r帧和后r帧，共2r 1帧图像，作为tfm图像融合模块的输入；
9.所述tfm图像融合模块包括偏移量预测网络和时空可变形卷积网络：所述视频数据采集模块得到的2r 1帧图像同时输入到偏移量预测网络和时空可变形卷积网络；
10.所述偏移量预测网络将输入的2r 1帧图像经过第一次二次插值下采样得到一组
2r 1帧特征图f0，再对f0经过第二次插值下采样得到2r 1帧特征图f1。f1经过卷积和上采样得到编码后的特征图f3；f0经过卷积得到编码后的特征图f4；将f3与f4连接得到的特征，经过卷积和上采样得到编码后的特征图f5；视频数据采集模块得到的2r 1帧图像经过卷积得到编码后的特征图f6；将f5与f6连接得到的特征经过卷积得到编码后的特征图f7，f7经过卷积操作得到最终目标帧图像上每个像素点对应的偏移量，输入到时空可变形卷积网络；
11.所述时空可变形卷积网络根据输入的偏移量以及输入的2r 1帧图像进行可变形卷积，得到融合特征图f，输入到sr图像超分辨率模块；
12.所述sr图像超分辨率模块根据输入的融合特征图f经过非线性映射后得到超分辨率残差图，与经过s倍比例放大的目标帧相叠加得到最终的超分辨目标帧。
13.进一步地，所述视频数据采集模块每次取视频中的一帧作为目标帧进行超分辨率处理，对时间为t0的目标帧进行超分辨处理时，分别取其相邻的前r帧和后r帧与目标帧连接起来，共2r 1帧图像作为tfm图像融合模块的输入，以得到更好的视频超分辨率效果。
14.进一步地，所述时空可变形卷积网络的运算方式为：根据得到的偏移量对视频图像进行可变形卷积，卷积核大小为k，可变形卷积对于每帧、每个位置的像素均有k2的偏移量，经过下式的可变形卷积运算得到p位置的融合特征图f(p)：
[0015][0016]
其中w
t
表示时间为t的卷积核参数，t0表示目标帧的时刻，p表示当前运算的像素点位置，pk表示进行卷积操作得到的偏移量，δ
(t，p)
表示时空坐标为(t，p)的偏移量，由偏移量预测网络输出得到，a
t
表示针对融合特征过程的可学习权重。
[0017]
进一步地，所述sr图像超分辨率模块包括非线性映射网络和上采样层；所述非线性映射网络由l层残差网络连接一个卷积层构成；卷积层的输出经过上采样层得到残差图，叠加目标帧后得到最终的超分辨目标帧。
[0018]
进一步地，所述tfm图像融合模块和sr图像超分辨率模块中网络的训练过程具体为：同时优化两个模块的参数θ
on
和θ
sr
。tfm图像融合模块和sr图像超分辨率模块联合的损失函数由图像重构损失函数和偏移量引导损失函数构成，其中由原始分辨率图像和超分辨后图像的和方差(sse)给出，和方差计算的是拟合数据和原始数据对应点的误差的平方和，因此损失函数计算式如下：
[0019][0020]
其中||
·
||2表示向量所有元素平方之和，ε表示超参数1
×
10-3
。而偏移量引导损失函数则是将相同条件下训练好的配对形式的偏移量δ
pe
与联合形式的偏移量δ
je
的和方差给出，所述联合形式的偏移量δ
je
即为偏移量预测网络得到的偏移量，损失函数计算式如下：
[0021][0022]
其中δ
pe
，h为偏移量的高，w为偏移量的宽。因此，tfm图像
融合模块和sr图像超分辨率模块联合的损失函数的计算式为
[0023][0024]
其中λ为超参数。
[0025]
本发明还提供了一种基于可变形卷积网络的视频超分辨率方法，该方法包括如下步骤：
[0026]
(1)视频数据采集：获取待进行超分辨的视频，选择视频中的一个目标帧以及目标帧的前r帧和后r帧，共2r 1帧图像；
[0027]
(2)tfm图像融合；包括偏移量预测网络和时空可变形卷积网络：所述步骤(1)得到的2r 1帧图像同时输入到偏移量预测网络和时空可变形卷积网络；
[0028]
(2.1)所述偏移量预测网络将输入的2r 1帧图像经过第一次二次插值下采样得到一组2r 1帧特征图f0，再对f0经过第二次插值下采样得到2r 1帧特征图f1。f1经过卷积和上采样得到编码后的特征图f3；f0经过卷积得到编码后的特征图f4；将f3与f4连接得到的特征，经过卷积和上采样得到编码后的特征图f5；步骤(1)得到的2r 1帧图像经过卷积得到编码后的特征图f6；将f5与f6连接得到的特征经过卷积得到编码后的特征图f7，f7经过卷积操作得到最终目标帧图像上每个像素点对应的偏移量，输入到时空可变形卷积网络；
[0029]
(2.2)所述时空可变形卷积网络根据步骤(2.1)得到的偏移量以及输入的2r 1帧图像进行可变形卷积，得到融合特征图f；
[0030]
(3)sr图像超分辨率：根据步骤(2.2)得到的融合特征图f经过非线性映射后得到超分辨率残差图，与经过s倍比例放大的目标帧相叠加得到最终的超分辨目标帧。
[0031]
本发明的有益效果是：提供了一种基于可变形卷积网络的视频超分辨率系统及方法，用可变形卷积网络获得帧与帧之间相关的信息，完成图像的融合，代替了现有技术中寻找关键帧和目标帧与相邻帧匹配的过程，对多帧进行联合运算获得所需的参数，具有更高的效率和鲁棒性。利用可变形卷积网络得到的图像融合结果对低分辨率图像进行增强，不论从主观视觉上还是从客观评价指标上都比现有最先进技术获得了更高分辨率的图像，具有更高的准确度。除了视频图像超分辨领域，本发明提出的可变形卷积网络还可以应用到其他视频处理任务，包括质量增强、重建、插帧、去噪等。
附图说明
[0032]
图1是本发明的实现结构框图；
[0033]
图2是本发明的tfm图像融合模块网络结构示意图；
[0034]
图3是本发明的sr图像超分辨率模块网络结构示意图；
[0035]
图4是本发明的视频超分辨率结果与其他技术在视觉上的比较图。
具体实施方式
[0036]
以下结合附图对本发明具体实施方式作进一步详细说明。
[0037]
如图1所示，本发明提供了一种基于可变形卷积网络的视频超分辨率系统，其特征在于，该系统包括：视频数据采集模块、tfm图像融合模块和sr图像超分辨率模块；
[0038]
所述视频数据采集模块用于获取待进行超分辨的视频；低分辨率视频的帧与帧之间存在着一定的联系，因此在提高某一帧低分辨率图像时可以借助相邻若干帧图像的信息
以达到较好的效果。基于上述考虑，对给定的视频中时间为t0的目标帧进行超分辨率处理时，分别取其相邻的前r帧和后r帧与目标帧连接起来共2r 1帧图像作为输入，以得到更好的视频超分辨效果。
[0039]
所述tfm图像融合模块，如图2所示，包括偏移量预测网络和时空可变形卷积网络：
[0040]
偏移量预测网络：为了获得可变形卷积的偏移量，将输入图像经过偏移量预测网络，获得2r 1帧图像每个像素点在可变形卷积中所需的偏移量δ：
[0041][0042]
其中表示偏移量预测网络算法，表示低分辨率视频时间为t的帧。令单帧视频图像的高为h，宽为w，可变形卷积核大小为k2，则输出的偏移量大小为h
×w×
(2r 1)
×
2k2。
[0043]
基于金字塔网络的思路设计偏移量预测网络。偏移量预测网络的结构如图2所示，其中包括步长为1的卷积层、步长为2的卷积层和反卷积层，对于步长为1的卷积层采用零填充策略以保持特征图的尺寸不变，步长为2的卷积层和残差块的功能为提取特征，反卷积层的功能为上采样。最后一层的卷积核个数为(2r 1)
×
2k2，使用线性激活函数。除了最后得到偏移量的卷积层以外，前面各层的卷积核个数均为c1，且都使用relu激活函数，relu激活函数的表达式如下：
[0044]
output＝max(0，input)
[0045]
其中output表示relu函数的输出，input表示relu函数的输入。
[0046]
偏移量预测网络的结构具体如下：输入的h
×w×
(2r 1)的低分辨率图像为level 0的输入，经过第一次二次插值下采样得到特征f0的大小为0.5h
×
0.5w
×
(2r 1)作为level 1的输入，经过第二次插值下采样得到特征f1的大小为0.25h
×
0.25w
×
(2r 1)作为level 2的输入。level 2的输入经过一个卷积层、一个残差块和一个卷积层，并经过上采样得到特征f3的大小为0.5h
×
0.5w
×
c1。level 1的输入经过一个卷积层、一个残差块和一个卷积层得到特征f4的大小为0.5h
×
0.5w
×
c1。将f3与f4连接得到大小为0.5h
×
0.5w
×
2c1的特征，经过一个卷积层、一个残差块和一个卷积层，并经过上采样得到特征f5的大小为h
×w×
c1。level 0的输入经过一个卷积层、一个残差块和一个卷积层得到特征f6的大小为h
×w×
c1。将f5与f6连接得到大小为h
×w×
2c1的特征，经过一个卷积层、一个残差块和一个卷积层得到特征f7的大小为h
×w×
c1，经过最后一层卷积得到h
×w×
(2r 1)
×
2k2的结果即为偏移量，每个像素对应的特征个数为(2r 1)
×
2k2，(2r 1)代表帧数，2k2代表k2大小的卷积核上每个位置的偏移量由一个二维坐标给出。
[0047]
时空可变形卷积网络：根据得到的偏移量对视频图像进行可变形卷积，卷积核大小为k，可变形卷积对于每帧、每个位置的像素均有k2的偏移量，经过下式的可变形卷积运算得到p位置的融合特征图f(p)：
[0048][0049]
其中w
t
表示时间为t的卷积核参数，t0表示目标帧的时刻，p表示当前运算的像素点位置，pk表示进行卷积操作得到的偏移量，比如对于k＝3，pk∈{(-1，-1)，(-1，0)，...，(1，
1)}，δ
(t，p)
表示时空坐标为(t，p)的偏移量，由偏移量预测网络输出得到，a
t
表示针对融合特征过程的可学习权重。为了得到最佳性能的卷积核参数w
t，k
，采用64通道的可变形卷积网络对输入的2r 1帧图像进行可变形卷积，得到大小为h
×w×
64的融合特征图。
[0050]
如图3所示，所述sr图像超分辨率模块包括非线性映射网络和上采样层。所述非线性映射网络由l层残差网络连接一个卷积层构成。卷积层的输出经过上采样层得到残差图，除了卷积层以外前面各层都包含c2个以relu为激活函数的卷积通道，最后一层输出超分辨残差
[0051][0052]
超分辨残差叠加目标帧后得到最终的超分辨后的目标帧由下式得到：
[0053][0054]
其中表示原始图像经过s倍比例放大后的图像。
[0055]
对上述视频超分辨率网络进行训练，得到最优化的网络参数。由于tfm图像融合模块和sr图像超分辨率模块是全卷积网络且可导的，因此可以进行端到端的联合训练，同时优化两个模块的参数，训练过程具体为：同时优化两个模块的参数θ
op
和θ
sr
。tfm图像融合模块和sr图像超分辨率模块联合的损失函数由图像重构损失函数和偏移量引导损失函数构成，其中由原始分辨率图像和超分辨后图像的和方差(sse)给出，和方差计算的是拟合数据和原始数据对应点的误差的平方和，因此损失函数计算式如下：
[0056][0057]
其中||
·
||2表示向量所有元素平方之和，ε表示超参数1
×
10-3
。而偏移量引导损失函数则是将相同条件下训练好的配对形式的偏移量δ
pe
与联合形式的偏移量δ
je
的和方差给出，所述联合形式的偏移量δ
je
即为偏移量预测网络得到的偏移量，损失函数计算式如下：
[0058][0059]
其中δ
pe
，h为偏移量的高，w为偏移量的宽。因此，tfm图像融合模块和sr图像超分辨率模块联合的损失函数的计算式为
[0060][0061]
其中λ为超参数，选择为0.01。值得说明的是，由于可变形卷积网络偏移量没有真值ground-truth作为参考，因此联合形式的偏移量预测网络的参数训练是由训练好的配对形式的偏移量参数进行监督的，且完全由最终的损失函数决定。将本发明提出的视频超分辨率技术与现有技术进行比较，原始视频经过二次插值缩小s倍后得到训练集和验证集，在同样的训练集上训练得到网络。
[0062]
本发明还提供了一种基于可变形卷积网络的视频超分辨率方法，该方法包括如下步骤：
[0063]
(1)视频数据采集：获取待进行超分辨的视频，选择视频中的一个目标帧以及目标帧的前r帧和后r帧，共2r 1帧图像；具体过程参考视频数据采集模块；
[0064]
(2)tfm图像融合；包括偏移量预测网络和时空可变形卷积网络：所述步骤(1)得到的2r 1帧图像同时输入到偏移量预测网络和时空可变形卷积网络；具体过程参考tfm图像融合模块；
[0065]
(2.1)所述偏移量预测网络将输入的2r 1帧图像经过第一次二次插值下采样得到一组2r 1帧特征图f0，再对f0经过第二次插值下采样得到2r 1帧特征图f1。f1经过卷积和上采样得到编码后的特征图f3；f0经过卷积得到编码后的特征图f4；将f3与f4连接得到的特征，经过卷积和上采样得到编码后的特征图f5；步骤(1)得到的2r 1帧图像经过卷积得到编码后的特征图f6；将f5与f6连接得到的特征经过卷积得到编码后的特征图f7，f7经过卷积操作得到最终目标帧图像上每个像素点对应的偏移量，输入到时空可变形卷积网络；
[0066]
(2.2)所述时空可变形卷积网络根据步骤(2.1)得到的偏移量以及输入的2r 1帧图像进行可变形卷积，得到融合特征图f；
[0067]
(3)sr图像超分辨率：根据步骤(2.2)得到的融合特征图f经过非线性映射后得到超分辨率残差图，与经过s倍比例放大的目标帧相叠加得到最终的超分辨目标帧，具体过程参考sr图像超分辨率模块。
[0068]
本发明提出的一种基于可变形卷积网络的视频超分辨率系统及方法stdvr-l在vimeo-90k的测试集上达到的平均psnr为36.7，比现有先进技术tdan提高了2.3％，在vid4的测试集上达到平均的psnr为26.86，比tdan提高1.7％，同时运算速度也比tdan高82.9％。如图4所示，在视觉上，本发明提出的技术在图像超分辨上具有更好的效果。综上，本发明提出的一种基于可变形卷积网络的视频超分辨率技术具有更高的准确度和效率。
[0069]
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。