基于孪生超分辨率网络的压缩视频超分辨率方法及系统

技术特征：
1.一种基于孪生超分辨率网络的压缩视频超分辨率方法，其特征在于：将待处理低分辨率视频输入所述孪生超分辨率网络，获得超分辨率视频；所述孪生超分辨率网络，由两支并行设置超分辨率网络组成；所述超分辨率网络，包括编码器网络和上采样模块；所述编码器网络，它由两类卷积层和若干pfrb模块组成；第一类卷积层以输入连续三帧图像的中心帧为输入，每帧大小为64
×
64
×
3，该卷积层将其大小转换为batchsize
×
64
×
64
×
80的特征图，第二类卷积层以除中心帧外其他的补充帧作为输入，输入数据大小为batchsize
×
64
×
64
×
6，卷积层将这样的数据转换为batchsize
×
64
×
64
×
80的特征图，最后，将这两个特征同上一轮上采样前的超分结果一起，输入连续的pfrb模块中；两种输入对应的两个编码器网络共享一个权重；其中，batchsize为梯度优化的批量样本数；所述pfrb模块，数据先被输入到三个大小为3
×
3的卷积层中，这三个卷积层的输入输出通道数均为80，记输出为x1，然后对该卷积层的输出进行拼接，再使用一个1
×
1的卷积层将总通道数240变换为80，并且将得到的结果分别和x1中的三个结果进行拼接，得到的结果记为x2，最后，将x2中的三个结果分别输入到三个卷积层中，将输入数据的通道数压缩为80，然后将得到的三个结果与最初输入的三个结果对应加和，得到最终的结果；其中，各卷积层之间均使用leakyrelu激活函数来引入非线性关系；所述上采样模块，输入数据的大小为batchsize
×3×
64
×
64
×
80，首先经过一个3
×
3的卷积层，将数据通道数240转换为80，继续输入卷积层中，将通道数80转换为48；使用pytorch中的pixelshuffle函数对数据进行尺度为2的上采样，通道数压缩为12；得到的结果再经过一个卷积层处理，最后使用pixelshuffle函数进行一次尺度为2的上采样；输出的超分数据的尺寸为batchsize
×3×
256
×
256
×
3。2.根据权利要求1所述的基于孪生超分辨率网络的压缩视频超分辨率方法，其特征在于：所述孪生超分辨率网络，是训练好的孪生超分辨率网络；其训练过程包括以下步骤：步骤1：针对包括若干高分辨率连续帧的原始数据集，将原始数据集中视频进行m-jpeg压缩并且bicubic下采样处理得到低分辨率的压缩图像，记为压缩视频；将原始数据集中视频进行高斯模糊并且bicubic下采样处理得到传统低质量图像，记为bd视频；步骤2：利用编码器网络对输入的视频进行初步的特征提取，对于输入的5维视频数据，编码网络输出一个4维特征，通过leakyrelu激活函数处理4维特征，引入非线性的函数关系，并且约束提取的两个特征之间的损失；步骤3：分别将提取到的特征送入上采样模块中继续进行超分，输出一个相比于输入长宽放大四倍的视频；分别约束两个输出和真值之间的关系，使其尽可能靠近，做为压缩视频样本和正样本的距离；记超分后的残差、真值视频与压缩视频的差这两者的距离为压缩视频样本与负样本之间的距离，需要在设定范围内尽可能大；步骤4：计算总损失，使用反向传播梯度的方式对所述孪生超分辨率网络进行训练；循环执行步骤1-4，将所述孪生超分辨率网络训练到收敛，得到训练好的孪生超分辨率网络。3.根据权利要求2所述的基于孪生超分辨率网络的压缩视频超分辨率方法，其特征在于：步骤3中，得到bd视频和压缩视频的超分结果，并且将两者与真值做约束，得到损失dis
positive
；
；其中，y
bd
指bd视频超分后的结果，y
compress
指压缩视频超分后的结果，gt指真实值，ε表示一个常量；将dis
positive
记为压缩视频样本和正样本的距离；将压缩视频与bd压缩视频做差，得到负样本，记为x
nega
；计算负样本和压缩视频样本的距离dis
negative
；；其中， m(x
nega
)、x
nega
分别表示负样本输入模型后得到的超分结果和负样本本身。4.根据权利要求2所述的基于孪生超分辨率网络的压缩视频超分辨率方法，其特征在于：步骤4中，根据步骤3中计算得到的压缩视频样本与正样本之间的距离dis
positive
和压缩视频样本与负样本之间的距离dis
negative
，计算最终的损失；；其中，margin为超参数，用来设定两特征距离之间的间隔；计算出损失后，使用adam优化器对所述孪生超分辨率网络进行反向传播并优化。5.一种基于孪生超分辨率网络的压缩视频超分辨率系统，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至4中任一项所述的基于孪生超分辨率网络的压缩视频超分辨率方法。

技术总结
本发明公开了一种基于孪生超分辨率网络的压缩视频超分辨率方法及系统，将待处理低分辨率视频输入本实施例的孪生超分辨率网络，获得超分辨率视频；训练时本发明将原始高质量视频进行M-JPEG格式的压缩。然后将压缩版本和非压缩版本两类数据输入到孪生超分辨率网络中。最后从四个方面约束孪生超分辨率网络的训练，两类视频经编码器提取到的特征应该尽可能靠近；两类视频的超分结果和真实值共同构成了一个三元组，三元组内元素互为正样本；负样本则是压缩数据与传统降质之间的残差超分的结果。通过这样对比学习的方式，孪生超分辨率网络能够最大限度地学习到对压缩视频超分需要的特征参数，获得更精细的超分辨率重建结果。获得更精细的超分辨率重建结果。获得更精细的超分辨率重建结果。


技术研发人员：王中元 李娜 胡思成 罗来干 何政 梁超 韩镇
受保护的技术使用者：武汉大学
技术研发日：2022.11.30
技术公布日：2022/12/30