基于增强深层特征提取和残差上下采样块的视频超分辨率

1.本发明涉及图像超分辨率重建技术，具体涉及一种基于增强深层特征提取和残差上下采样块的视频超 分辨率方法，属于图像处理领域。


背景技术：

2.超分辨率的目标是从观测到的低分辨率图像或视频中恢复出高分辨率图像或视频。在一些对图像或视 频分辨率和细节要求较高的领域，如医学成像、到遥感成像和卫星检测等，都有着广泛的应用。近年来， 随着显示技术的进步，新一代具有4k(3840
×
2160)和8k(7680
×
4320)分辨率的超高清电视正具有广阔 的市场空间，但匹配如此高分辨率的内容仍然稀缺。因而，视频超分辨率正变得越来越重要。卷积神经网 络由于其强大的拟合能力，在视频超分辨率领域取得了显著的进展。然而，现有的基于卷积神经网络的视 频超分辨率方法，在网络结构和重建质量等方面仍有进一步提升空间。


技术实现要素：

3.本发明的目的是利用卷积神经网络提取和融合具有丰富时空信息的特征，进而构建一种有效的视频超 分辨率方法。
4.本发明提出的基于增强深层特征提取和残差上下采样块的视频超分辨率，主要包括以下操作步骤：
5.(1)设计并搭建基于增强深特征提取和残差上下采样块的视频超分辨率卷积神经网络，网络由浅层特 征提取部分、深层特征提取部分、递归特征融合部分和重建部分组成；
6.(2)在视频数据集中构建训练样本对，训练步骤(1)中搭建的卷积神经网络的参数，直到网络收敛；
7.(3)输入视频帧序列到步骤(2)中训练好的网络中，得到超分辨率重建结果。
附图说明
8.图1是本发明基于增强深层特征提取和残差上下采样块的视频超分辨率的原理框图。
9.图2是本发明与另外四种方法对测试视频“calendar”超分辨率重建结果对比图。其中(a)是原始高分辨率 图像，(b)是双三次插值的重建结果，(c)到(f)是方法1到4的重建结果，(g)是本发明的重建结 果。
10.图3是本发明与另外四种方法对测试视频“city”超分辨率重建结果对比图。其中(a)是原始高分辨率图像， (b)是双三次插值的重建结果，(c)到(f)是方法1到4的重建结果，(g)是本发明的重建结果。
具体实施方式
11.下面结合附图对本发明作进一步说明：
12.图1中，基于增强深特征提取和残差上下采样块的视频超分辨率，包括以下步骤：
13.(1)设计并搭建基于增强深层特征提取和残差上下采样块的视频超分辨率卷积神经网络模型，网络由 浅层特征提取部分、深层特征提取部分、递归特征融合部分和重建部分组成；
14.(2)在视频数据集中构建训练样本对，训练步骤(1)中搭建的卷积神经网络模型的参数，直到网络 收敛；
15.(3)输入连续视频帧序列到步骤(2)中训练好的网络模型中，得到超分辨率重建结果。
16.具体地，所述步骤(1)中，搭建的卷积神经网络模型结构如图1所示。
17.在浅层特征提取部分，我们用2n 1个卷积层对输入的视频帧分别进行特征提取。从第t n个视频 帧中提取的浅层特征f
t n
用公式表示如下：
18.f
t n
＝h
sfe
(x
t n
)，
ꢀꢀꢀꢀꢀꢀ
(1)
19.其中，x
t n
是输入的第t n个视频帧，h
sfe
(
·
)表示浅层特征提取部分。通过浅层特征提取，我们得到 浅层特征的集合{f
t-n
,...,f
t
,...,f
t n
}。
20.在深层特征提取部分，我们用2n 1个增强深层特征提取模块进行进一步的特征提取。提取的第 t n个视频帧的深层特征用公式表示如下：
[0021][0022]
其中，h
dfe
(
·
)表示深层特征提取部分。每个视频帧对应一个增强深层特征提取模块，每个增强深层特征 提取模块的输入为对应视频帧中提取的浅层特征以及目标帧中提取的浅层特征。增强深层特征提取模块同 时利用了帧内帧间的时间信息，增强了提取的深层特征的表示能力。具体地，如图1所示，在第t n个 增强深层特征提取模块中，我们首先将第t n个视频帧f
t n
和目标帧f
t
和在通道维度上级联起来，接 着使用卷积层来获得时间融合特征时间融合特征包含了第t n视频帧和目标帧之间的时间信息。 所得到的时间融合特征可以用公式表示如下：
[0023][0024]
其中，h
tf
(
·
)是一个瓶颈卷积层，[
·
]是一个级联操作。然后，我们将f
t n
和在通道维度上级联起 来。级联特征包含两种信息：帧内的空间信息以及第t n个视频帧和目标帧之间的时间信息。最后我们 进一步从帧内时间信息和帧间空间信息中提取得到的第t n个视频帧的深层特征
[0025][0026]
其中，h
eh
(
·
)是一个瓶颈卷积层。通过深层特征提取，我们得到深层特征的集合
[0027]
递归特征融合部分包含了一个瓶颈卷积层和u个递归单元。为了控制模型参数，b个残差上下采样块 构成一个递归单元，各个递归单元之间参数共享。递归学习可以在不添加额外参数的前提下，通过增加递 归单元的个数来提高网络性能。残差上下采样块采用上
vision and pattern recognition，pp.3360-3369，2020”。
[0045]
实验1，分别用双三次插值bicubic，方法1到4，以及本发明对降质后得到的低分辨率测试视频库
ꢀ“
videoset4”进行4倍重建。超分辨率重建结果分别由图2到图3所示。重建结果的客观评价结果如表1所 示。psnr(peak signal to noise ratio，单位db)和ssim(structure similarity index)分别用来评价重建 效果，psnr/ssim的数值越高表明重建效果越好。
[0046]
表1
[0047]
videoset4bicubic方法1方法2方法3方法4本发明calendar20.53/0.567822.18/0.707322.76/0.745022.76/0.746123.01/0.764523.37/0.7788city25.09/0.599726.48/0.723526.96/0.757126.81/0.749027.07/0.769627.30/0.7793foliage23.54/0.566125.17/0.702125.52/0.720725.52/0.717525.71/0.727825.83/0.7359walk25.98/0.798525.17/0.702128.90/0.878229.10/0.883129.75/0.895829.88/0.8999平均23.78.0.633025.53/0.749326.03/0.775326.04/0.773926.39/0.789426.60/0.7985
[0048]
从表1可以看出，本发明取得了较高的psnr和ssim。在图2中的“calendar”视频帧中，本发明相 比于对比方法能够重建出更清晰的文字“maree”。在图2中city视频帧中，本发明重建的建筑物更加笔直。 综上所述，相比于对比方法，本发明的重建结果在主客观评价上都取得了较大的优势。因此本发明是一种 有效的视频超分辨率重建方法。