一种视频图像非整数倍超分辨率重建装置及方法与流程

1.本发明涉及视频图像超分辨率重建技术领域，特别是涉及一种视频图像非整数倍超分辨率重建装置及方法。


背景技术：

2.超分辨率方法是一类利用低分辨率图像重建高分辨率图像的计算机视觉任务。在视频安防、智能手机和移动相机等设备上应用广泛，用以产生清晰的高分辨率图像，提升各类设备的输出质量。
3.非整数倍率超分辨率方法中有基于传统插值技术的，如公开号为cn102881000a的中国专利申请提供了一种视频图像的超分辨率方法，其通过先整数倍上采样得到高分辨率图像，再对中间高分辨率图像进行非整数倍基于插值的方法，然而这种方法中，第一步上采样的图像细节损失会传递至第二步，导致非整数插值法的误差增大，使低分辨率图像中的细节纹理无法准确映射到高分辨率图中。
4.当前，基于深度卷积神经网络(cnn)的超分辨率方法极大地提升了超分辨率的性能，例如srcnn、dcnn为代表的的单幅图像超分辨率方法。但在解决非整数倍超分辨率问题时，需要先使用高倍率超分辨率网络，得到整数倍高分辨率的中间图像，再利用下采样方法，将整数倍高分辨率中间图缩小整数倍，间接达到非整数倍放大的目的。由于高分辨率网络输出图像的纹理细节特征再下采样后效果误差继续增大，同样使低分辨率图像中的细节纹理无法准确映射到高分辨率图中。
5.另外，由于超分辨率网络模型需要使用更大特征图，从而使其相比其他使用cnn的计算机视觉任务需要更大的计算代价。而视频超分辨率方法主要采用逐帧提取的方式，一帧一帧的图片作为输入，或多帧同时输入，如公开号为cn109767383a的中国专利申请提供了一种用于使用卷积神经网络的视频超分辨率的方法，通过使用二阶段运动补偿来构建视频超分辨率系统，由于输入每帧都要对整幅图像做超分，多帧数据，网络的计算量更为巨大。


技术实现要素：

6.为克服上述现有技术存在的不足，本发明之目的在于提供一种视频图像非整数倍超分辨率重建装置及方法，以提高视频图像非整数倍超分辨率对细节复原的能力，同时减少深度神经网络超分辨率方法的计算代价。
7.为达上述及其它目的，本发明提出一种视频图像非整数倍超分辨率重建方法，包括如下步骤：
8.步骤s1，获取图像帧及图像帧运动信息图；
9.步骤s2，对当前帧图像及运动信息图分别进行相同位置的分块处理；
10.步骤s3，根据每个图像块对应的运动信息图进行运动概率估计；
11.步骤s4，对每个图像块的纹理复杂度进行分类；
12.步骤s5，基于图像块的运动概率估计与纹理复杂度分类标签选择超分辨率网络；
13.步骤s6，设计多个不同代价的超分辨率网络，并使用相同数据集训练；
14.步骤s7，利用训练好的k个超分辨率网络，根据步骤s5的选择，对每个图像块选取对应的超分辨率网络进行正向推理，输出每个图像块对应的非整数倍超分辨率图像块；
15.步骤s8，将每个图像块的超分辨率结果与前一帧对应块的超分结果进行基于运动的加权融合，得到当前帧视频图像的超分辨率输出；
16.步骤s9，对当前帧所有图像块的超分辨率结果进行拼接融合，得到当前帧全幅面超分辨率结果。
17.优选地，于步骤s2中，对当前帧图像，从视频流中获取单帧图像，先对图像进行边界扩展操作，使用相互重叠的分割方式，再将图像分割为若干个相同子块，运动信息图为单通道，使用与图像块相同的分割参数进行分块操作。
18.优选地，步骤s3进一步包括：
19.步骤s300，对每个图像块的运动信息进行先腐蚀再膨胀的形态学操作，得到预处理后的运动信息图；
20.步骤s301，对预处理后的运动信息图进行直方图统计，得到频数分布；
21.步骤s302，根据每个位置的运动信息进行加权系数配置；
22.步骤s303，基于频数分布计算图像块运动概率。
23.优选地，于步骤s301中，先对每个位置的运动信息c
ij
进行归一化至0-1操作，然后设定直方图的组数为k，则组距大小为1/k，遍历所有位置的c
ij
，分别计数到对应组内，得到k个频数。
24.优选地，步骤s4进一步包括：
25.步骤s400，对每个图像块进行二值化处理；
26.步骤s401，对每个图像块进行图像纹理复杂度特征提取；
27.步骤s402，基于提取的图像纹理复杂度特征构建纹理复杂度分类模型；
28.优选地，于步骤s401中，提取的5个图像纹理复杂度特征分别为最大值特征、均值特征、样本平均值、样本标准差以及熵值。
29.优选地，所述纹理复杂度分类模型的训练数据预处理过程如下：
30.从超分辨率训练集中随机抽取多组训练图像。每组训练图像由低分辨图像和对应高分辨率图像组成，并对每组图像进行随机分块，得到n组图像块数据((lr1,hr1),
…
,(lrn,hrn))；
31.使用步骤s400和步骤s401对每组训练图像块中高分辨率图像块进行预处理得到训练特征数据(f1,
…
,fn)；
32.获取特征向量对应的纹理复杂度标签，先对训练图像块高分辨率图像块进行下采样至低分辨率同等尺寸，然后计算下采样图像块与原低分辨图像块之间的psnr值记作pi，i＝1,
…
,n；
33.基于所有训练图像块的psnr分布状况，对纹理复杂度进行标签划分。设图像纹理复杂度共设有l类，将所有训练数据的psnr从大到小排列，按数据个数将其分为l组，每组图像块的标签依次设置为1,
…
,l，表示纹理从简单到复杂；
34.最终得到的训练数据及标签(fi，yi)，其中yi＝1,
…
,l，表示对应数据的标签。
35.优选地，于步骤s6中，所述非整数倍超分辨率网络包括：
36.低分辨率图像块输入单元，用于负责将图像块输入超分辨率网络中；
37.低分辨率特征重建单元，用于从低分辨率图像中提取特征，在不改变幅面大小的情况下，进行特征提取；
38.非整数倍特征超分辨率单元，用于对输入低分辨率特征，通过双向特征重建，实现对非整数倍超分辨率的高频特征进行快速精准学习，以便可以更好地从低分辨率图像中的恢复非整数超分辨率图像的细节纹理，提升非整数倍超分辨率的性能；
39.高分辨率特征重建单元，用于从非整数倍超分辨率特征中提取非整数倍超分辨率图像，在不改变特征大小的情况下，进行特征通道压缩；
40.高分辨率图像块输出单元，用于输出网络正向推理后的非整数倍超分辨率图像。
41.优选地，所述非整数倍特征超分辨率单元包括：
42.输入单元，用于对所述低分辨率特征重建单元的输出低分辨率特征进行通道压缩得到低分辨率输入特征，压缩的程度随网络计算量的增大而减小；
43.初始非整数倍上下采样单元与非整数上下采样单元，两个单元之间设有稠密残差连接结构构成的密集联通层，以实现对非整数倍超分辨率的高频特征进行快速精准学习；
44.非整数倍超分单元，由上采样单元构成，用于对双向采样特征进行非整数倍超分辨率，从而避免直接对输入特征进行非整数倍超分时的细节丢失。
45.为达到上述目的，本发明还提供一种视频图像非整数倍超分辨率重建装置，包括：
46.图像帧及图像运动信息获取单元，用于获取图像帧及图像帧运动信息图；
47.分块操作单元，用于对当前帧图像及运动信息图分别进行相同位置的分块处理；
48.图像块运动估计单元，用于根据每个图像块对应的运动信息图进行运动概率估计；
49.图像块纹理复杂度分类单元，用于对每个图像块的纹理复杂度进行分类；
50.超分辨率网络选择单元，用于基于图像块的运动概率估计与纹理复杂度分类标签选择超分辨率网络；
51.非整数倍超分辨率网络构建及训练单元，用于设计多个不同代价的超分辨率网络，并使用相同数据集训练；
52.图像块超分辨率计算单元，用于利用训练好的k个超分辨率网络，根据超分辨率网络选择单元的选择，对每个图像块选取对应的超分辨率网络进行正向推理，输出每个图像块对应的非整数倍超分辨率图像块；
53.图像块时域加权单元，用于将每个图像块的超分辨率结果与前一帧对应块的超分结果进行基于运动的加权融合，得到当前帧视频图像的超分辨率输出；
54.图像块超分辨率输出融合单元，用于对当前帧所有图像块的超分辨率结果进行拼接融合，得到当前帧全幅面超分辨率结果。
55.与现有技术相比，本发明一种视频图像非整数超分辨率方法及装置，通过根据图像的运动信息及纹理复杂度综合选择使用不同计算量的非整数倍超分辨率网络，减少了视频超分辨率计算的代价，同时本发明提出一种用于构建超分辨网络的非整数倍特征超分辨率单元，使该单元构建的超分辨率网络可以更好地从低分辨率图像中的恢复非整数超分辨率图像的细节纹理，提升非整数倍超分辨率的性能。
附图说明
56.图1为本发明一种视频图像非整数倍超分辨率重建方法的步骤流程图；
57.图2为本发明具体实施例中非整数倍超分辨率网络的基本结构图；
58.图3为本发明具体实施例中非整数倍特征超分辨率单元的结构图；
59.图4为本发明一种视频图像非整数倍超分辨率重建装置的系统架构图；
60.图5为本发明具体实施例中图像块运动估计单元的结构图；
61.图6为本发明具体实施例中图像块纹理复杂度分类单元的结构图；
62.图7为本发明实施例的流程图。
具体实施方式
63.以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
64.图1为本发明一种视频图像非整数倍超分辨率重建方法的步骤流程图。如图1所示，本发明一种视频图像非整数倍超分辨率重建方法，包括如下步骤：
65.步骤s1，获取图像帧及图像帧运动信息图。
66.在本发明中，所述方法可应用于视频解码器或isp(图像信号处理器)之后，若应用于视频解码器之后，则获取的图像帧来自终端设备视频解码模块解码后的输出，因此可以获取对应编码块的编码相关信息，包括帧间运动信息，由于编码器中运动信息是以图像编码块为大小，因此需要先合并当前帧所有编码块的编码信息得到全幅面的初始图像运动信息图，再对该运动信息图进行高斯滤波处理，减少编码块中噪声引起的运动估计错误；若选择置于isp(图像信号处理器)之后，则无需解码即可获取单帧图像数据，并从时域降噪模块中获取当前帧图像的运动信息图
67.步骤s2，对当前帧图像及运动信息图分别进行相同位置的分块处理。
68.具体地，对当前帧图像的分块处理如下：从视频流中获取单帧图像，先对图像进行边界扩展操作，使用相互重叠的分割方式，再将图像分割为若干个相同子块，具体地，图像分割需满足以下条件：
69.w 2α1＝m*w-(m-1)*β1，h 2α2＝n*h-(n-1)*β270.其中图像的宽和高分别为w和h，图像上下、左右两侧的补偿大小分别为α1、α2，边界补偿使用镜像映射，即使用图像内的像素值按图像边缘为中轴线对称到补偿区域，w、h分别表示图像子块的宽高，m、n分别表示横向及纵向的图像子块个数，β1、β2表示图像块之间的重叠距离。
71.由于单帧图像具有r、g、b三通道，rgb三通道的图像具有三个全幅面大小的图，因此需要进行三次分块操作，而运动信息图为单通道，使用与图像块相同的分割参数进行分块操作
72.步骤s3，根据每个图像块对应的运动信息图进行运动概率估计。
73.在本发明中，根据图像块的运动信息估计其运动概率，概率越小表示图像块越安静，则可以使用更多的前一帧对应图像块的超分辨率输出作为参考，使该图像块在不考虑
纹理复杂度情况下可选用计算量更低的超分辨率模型，并且不影响图像块的超分辨率效果。
74.具体地，步骤s3进一步包括：
75.步骤s300，对每个图像块的运动信息进行先腐蚀再膨胀的形态学操作，得到预处理后的运动信息图。
76.具体地，设当前图像块的运动信息图大小为w
×
h，则对该图像块的运动信息进行先腐蚀再膨胀的形态学操作，得到预处理后的运动信息图c，每个位置的运动信息为c
ij
，i＝1,
…
,h，j＝1,
…
,w。
77.步骤s301，对预处理后的运动信息图进行直方图统计，得到频数分布。
78.具体地，先对每个位置的运动信息c
ij
进行归一化至0-1操作，然后设定直方图的组数为k，则组距大小为1/k，遍历所有位置的c
ij
，分别计数到对应组内，得到k个频数。
79.步骤s302，根据每个位置的运动信息进行加权系数配置。
80.对于不同取值的c
ij
表示运动程度不同，因此对于值越大的c
ij
对运动的贡献越大，若μ
x
表示加权系数，x＝1，...，k，则满足μ
x 1
＝μ
x
1。
81.步骤s303，基于频数分布计算图像块运动概率。
82.在步骤s303中，基于频数分布计算图像块运动概率如下：
[0083][0084]
其中c
x
表示第x组的频数，该组中值越小，权重越小，参考配置k＝5，
[0085]
步骤s4，对每个图像块的纹理复杂度进行分类。
[0086]
一般来说，复杂度高的图像块超分辨率复原难度更大，应采用计算代价更大的非整数倍超分辨率网络；复杂度低的图像块超分辨率复原难度较小，采用较小计算代价的网络即可满足需求。具体地，步骤s4进一步包括：
[0087]
步骤s400，对每个图像块进行二值化处理。
[0088]
由于纹理复杂度特征计算主要在亮度域进行，所以本发明中，先将三通道的彩色图像块先转为亮度图像块，其公式为：
[0089]
y＝0.299r 0.587g 0.114b，
[0090]
设每个位置亮度取值范围为：0，...，g，v表示图像最大灰度值，则生成g个二值图分别为其中δ为二值化阈值取值1，...，g。
[0091]
步骤s401，对每个图像块进行图像纹理复杂度特征提取。
[0092]
若本发明之方法应用于视频解码器之后，则可使用步骤s400得到的g个二值图，基于周围领域点与其自身取值的差异构建图像的复杂度统计值：
[0093][0094]
其中表示二值图i
δ
中第i行第j列的值，表示二值图i
δ
中第i行第j-1列的值。w、h分别表示图像子块的宽高，输出5个图像纹理复杂度特征分别为：最大值特征f1＝
max(c(δ))，均值特征样本平均值样本标准差熵值
[0095]
若本发明之方法应用于isp之后，则可从锐化等模块获取细节层d，细节层在一定程度上表示图像中纹理分布。先将细节层进行与图像帧相同的分块处理，大小仍为w
×
h，然后提取的纹理复杂度特征分别为：最大值f1＝max(d)，均值绝对差际准差熵值d(i，j)表示细节层中第i行第j列的值。
[0096]
步骤s402，基于提取的图像纹理复杂度特征构建纹理复杂度分类模型。
[0097]
具体地，基于提取的图像纹理复杂度特征构建纹理复杂度分类模型，即逻辑斯谛多分类模型，所述逻辑斯谛多分类模型如下：
[0098]
设属于每个类别的概率：
[0099][0100]
其中f表示输入图像块的6维特征向量(f1，...，fs，1)，模型参数，1)，模型参数未知，l取值1，...，l-1。y表示该图像块类别标签，p(y＝l|f)表示在输入特征向量f的条件下，该图像块纹理复杂度为类别为l的条件概率。
[0101]
使用步骤s401中的其中一种提取特征方式，将图像纹理复杂度由5个特征表示并输入纹理复杂度分类模型，输出图像块纹理复杂度分类标签。标签越小表示纹理越简单，越大则纹理越复杂。
[0102]
具体地，纹理复杂度分类模型的训练数据预处理过程如下：
[0103]
1、从超分辨率训练集中随机抽取多组训练图像。每组训练图像由低分辨图像和对应高分辨率图像组成，并对每组图像进行随机分块，得到n组图像块数据((lr1，hr1)，...，(lrn，hrn))；
[0104]
2、使用步骤s400和步骤s401对每组训练图像块中高分辨率图像块进行预处理得到训练特征数据(f1，...，fn)，本发明支持根据所处位置使用不同的特征数据训练模型，其中f1、fn分别表示hr1、hrn图像块提取的5个复杂度纹理特征组成的特征向量(f
11
，...，f
51
)、(f
1n
，...，f
5n
)；
[0105]
3、获取特征向量对应的纹理复杂度标签。先对训练图像块高分辨率图像块进行下采样至低分辨率同等尺寸，然后计算下采样图像块与原低分辨图像块之间的psnr值记作pi，i＝1，...，n；
[0106]
4、基于所有训练图像块的psnr分布状况，对纹理复杂度进行标签划分。设图像纹理复杂度共设有l类，将所有训练数据的psnr从大到小排列，按数据个数将其分为l组，每组图像块的标签依次设置为1，...，l，表示纹理从简单到复杂。
[0107]
5、最终得到的训练数据及标签(fi，yi)，其中yi＝1，...，l，表示对应数据的标签。
[0108]
对于获取的训练数据集t＝{(f1，y1)，(f2，y2)，...，(fn，yn)}，应用极大似然估计得到模型的参数w1，...，w
l-1
。由于极大似然估计为通用技术，这里不予赘述。
[0109]
本发明中，模型的训练数据预处理及参数估计过程可离线完成，正式运行时只需输入图像块，在通过步骤s400、步骤s401提取出特征后可计算图像块纹理复杂度类别分别为属于1，...，l的概率：
[0110][0111]
选择概率最大对应的标签作为模型输出，则可得到图像块的图像块纹理复杂度类别，记为lc。
[0112]
步骤s5，基于图像块的运动概率估计与纹理复杂度分类标签选择超分辨率网络。
[0113]
在本发明中，基于图像块的运动概率估计与纹理复杂度分类标签综合判断使用何种计算代价的网络。预设的非整数倍超分辨率网络共k个，编号从小到大计算代价依次增大。图像块经过步骤s3输出运动概率pm，其中pm∈(0，1)；步骤s4输出复杂度类别lc，lc∈(1，l)，根据运动概率及纹理复杂度再选择网络大小中的偏好，设定纹理复杂度权重为μ，则选择的超分辨率网络编号：
[0114][0115]
其中round表示向下取整函数，
[0116]
步骤s6，设计多个不同代价的超分辨率网络，并使用相同数据集训练。
[0117]
在本发明中，设计k个不同计算代价的非整数倍超分辨率网络，每个非整数倍超分辨率网络具有相同的基本结构如图2所示，根据步骤s5输出的超分辨率网络编号，选择对应的网络进行正向推理输出相应的超分辨率图像，不同计算代价的网络主要区别在于每个单元内的特征通道数，因此使用的卷积核个数也不同，进而导致网络计算的复杂度也不同，总的来说计算代价越小通道数越小。
[0118]
如图2所示，该非整数倍超分辨率网络具体包括：
[0119]
低分辨率图像块输入单元201，用于负责将图像块输入超分辨率网络中；
[0120]
低分辨率特征重建单元202，用于从低分辨率图像中提取特征，在不改变幅面大小的情况下，进行特征提取。在本发明具体实施例中，可以使用已有的传统超分辨率网络技术中的卷积层及其相关特征提取组合。
[0121]
非整数倍特征超分辨率单元203，用于对输入低分辨率特征，通过双向特征重建，实现对非整数倍超分辨率的高频特征进行快速精准学习，以便可以更好地从低分辨率图像中的恢复非整数超分辨率图像的细节纹理，提升非整数倍超分辨率的性能。
[0122]
具体地，如图3所示，所述非整数倍特征超分辨率单元203包括：
[0123]
输入单元203-1，用于对低分辨率特征重建单元202的输出低分辨率特征进行通道压缩得到低分辨率输入特征，压缩的程度随着网络计算量的增大而减小；
[0124]
初始非整数倍上下采样单元203-2与非整数上下采样单元203-3，单元之间有稠密残差连接结构构成的密集联通层，以实现对非整数倍超分辨率的高频特征进行快速精准学习。在本发明具体实施例中，以非整数倍上采样为例介绍该非整数倍特征超分辨率网络单
元，应当可以理解的是，本发明所述的非整数倍超分辨率单元结构中卷积与反卷积层对调即可实现下采样功能。
[0125]
初始非整数倍上下采样单元203-2和非整数上下采样单元203-3主要由若干上采样单元和下采样单元构成，上采样单元用于将特征放大，其内部由传统反卷积层1和卷积层1组成。反卷积层1将特征幅面放大x倍，其中n为正整数。卷积层1将特征缩小y倍,其中经过上采样单元的数据特征幅面将变为原来的倍；另外，为避免只使用上采样单元导致的高频特征丢失问题，在每个上采样单元后串联一个由反卷积层2(放大倍)和卷积层2(缩小倍)组成的低倍率下采样单元，其中n2＞＝2,n2∈n,m2＞＝3,m2∈n且n2＜m2。该结构从低分辨率到高分辨和高分辨率到低分辨率结构，因此具有双向特征重建功能。为保证每个单元构输入特征数与输入保持一致，当稠密残差连接存在时，采样单元之间需有1
×
1卷积层结构将多倍特征进行压缩。同时，为保证本发明的适用性，非整数上下采样单元203-3中可根据需求串联一个或多个上采样单元-下采样单元结构，此处示意图中只有一个；
[0126]
非整数倍超分单元203-4，由上采样单元构成，用于对双向采样特征进行非整数倍超分辨率，避免了直接对输入特征进行非整数倍超分时的细节丢失。
[0127]
非整数倍特征超分辨率单元中稠密可分为三类：1、低分辨率输入特征直接跨越初始非整数倍上下采样单元203-2与非整数上下采样单元203-3的连接，如图中标识线“a”所示。其作用是使
‘
放大-缩小’级联单元结构进行局部残差学习；2、上采样单元输出与后续放大单元输出之间的残差连接，如图中标识线“b”所示。其作用是对多个放大单元输出特征进行融合，加速下采样单元的特征学习；3、下采样单元输出与之后的下采样单元输出之间的残差连接，如图中标识线“c”所示，其作用是对多个下采样单元输出特征进行融合，加速低分辨率特征学习。
[0128]
高分辨率特征重建单元204，用于从非整数倍超分辨率特征中提取非整数倍超分辨率图像，在不改变特征大小的情况下，进行特征通道压缩。可以使用已有的传统超分辨率网络技术中的输出卷积层及其相关卷积层的组合。
[0129]
高分辨率图像块输出单元205，用于输出网络正向推理后的非整数倍超分辨率图像。
[0130]
步骤s7，利用训练好的k个超分辨率网络，根据步骤s5的选择，对每个图像块选取对应的超分辨率网络进行正向推理，输出每个图像块对应的非整数倍超分辨率图像块。
[0131]
具体地，对每个图像块通过步骤s5计算所得编号，选取对应的超分辨率网络进行正向推理，输出每个图像块对应的非整数倍超分辨率图像块。
[0132]
步骤s8，将每个图像块的超分辨率结果与前一帧对应块的超分结果进行基于运动的加权融合，得到当前帧视频图像的超分辨率输出。
[0133]
具体地，对于某一帧输出的某一非整数倍超分辨率图像块sr
t
，其运动信息由编码器获取为c
t
，可取得的最大值为c
max
，上一帧输出的对应图像块的非整数倍超分辨率图像块为sr
t-1
。则先对c
t
进行传统双三次插值的非整数倍超分辨率得到sc
t
，使其大小与超分辨率后的图像块保持一致。然后使用sr
t
每个位置的像素值sr
t
(i，j)的值与前一帧对应位置像素值sr
t-1
(i，j)进行基于运动信息的加权，得到基于运动图融合的值sr
t
(i，j)＝(sr
t
(i，j)*
sc
t
(i*j) sr
t-1
(i，j)*(c
max-sc
t
(i*j)))/c
max
。
[0134]
步骤s9，对当前帧所有图像块的超分辨率结果进行拼接融合，得到当前帧全幅面超分辨率结果。
[0135]
由步骤s2可知，每个图像块之间有重叠区域，因此在融合拼接过程中，需要对重合区域进行平均，以消除块效应。
[0136]
图4为本发明一种视频图像非整数倍超分辨率重建装置的系统架构图。如图4所示，本发明一种视频图像非整数倍超分辨率重建装置，包括：
[0137]
图像帧及图像运动信息获取单元101，用于获取图像帧及图像帧运动信息图。
[0138]
在本发明中，本发明之装置可用于视频解码器或isp(图像信号处理器)之后，若用于视频解码器之后，则图像帧及图像运动信息获取单元101获取的图像帧来自终端设备视频解码模块解码后的输出，因此可以获取对应编码块的编码相关信息，包括帧间运动信息，由于编码器中运动信息是以图像编码块为大小，因此需要先合并当前帧所有编码块的编码信息得到全幅面的初始图像运动信息图，再对该运动信息图进行高斯滤波处理，减少编码块中噪声引起的运动估计错误；若选择置于isp(图像信号处理器)之后，则无需解码即可获取单帧图像数据，并从时域降噪模块中获取当前帧图像的运动信息图
[0139]
分块操作单元102，用于对当前帧图像及运动信息图分别进行相同位置的分块处理。
[0140]
具体地，分块操作单元102对当前帧图像的分块处理如下：从视频流中获取单帧图像，先对图像进行边界扩展操作，使用相互重叠的分割方式，再将图像分割为若干个相同子块，具体地，图像分割需满足以下条件：
[0141]
w 2α1＝m*w-(m-1)*β1，h 2α2＝n*h-(n-1)*β2[0142]
其中图像的宽和高分别为w和h，图像上下、左右两侧的补偿大小分别为α1、α2，边界补偿使用镜像映射，即使用图像内的像素值按图像边缘为中轴线对称到补偿区域，w、h分别表示图像子块的宽高，m、n分别表示横向及纵向的图像子块个数，β1、β2表示图像块之间的重叠距离。
[0143]
由于单帧图像具有r、g、b三通道，因此需要进行三次分块操作；运动信息图为单通道，使用与图像块相同的分割参数进行分块操作
[0144]
图像块运动估计单元103，用于根据每个图像块对应的运动信息图进行运动概率估计。
[0145]
在本发明中，图像块运动估计单元103根据图像块的运动信息估计其运动概率，概率越小表示图像块越安静，则可以使用更多的前一帧对应图像块的超分辨率输出作为参考，使该图像块在不考虑纹理复杂度情况下可选用计算量更低的超分辨率模型，并且不影响图像块的超分辨率效果。
[0146]
具体地，如图5所示，图像块运动估计单元103进一步包括：
[0147]
图像块运动信息预处理单元103-1，用于对每个图像块的运动信息进行先腐蚀再膨胀的形态学操作，得到预处理后的运动信息图。
[0148]
具体地，设当前图像块的运动信息图大小为w
×
h，则对该图像块的运动信息进行先腐蚀再膨胀的形态学操作，得到预处理后的运动信息图c，每个位置的运动信息为c
ij
，i＝1，...，h，j＝1，...，w。
[0149]
运动信息的直方图统计单元103-2，用于对预处理后的运动信息图进行直方图统计，得到频数分布。
[0150]
具体地，先对每个位置的运动信息c
ij
进行归一化至0-1操作，然后设定直方图的组数为k，则组距大小为1/k，遍历所有位置的c
ij
，分别计数到对应组内，得到k个频数。
[0151]
加权系数配置单元103-3，根据每个位置的运动信息进行加权系数配置。
[0152]
对于不同取值的c
ij
表示运动程度不同，因此对于值越大的c
ij
对运动的贡献越大，若μ
x
表示加权系数，x＝1，...，k，则满足μ
x 1
＝μ
x
1。
[0153]
图像块运动概率计算单元103-4，基于频数分布计算图像块运动概率。
[0154]
在图像块运动概率计算单元103-4中，基于频数分布计算图像块运动概率如下：
[0155][0156]
其中c
x
表示第x组的频数，该组中值越小，权重越小，参考配置k＝5，
[0157]
图像块纹理复杂度分类单元104，用于对每个图像块的纹理复杂度进行分类。
[0158]
一般来说，复杂度高的图像块超分辨率复原难度更大，应采用计算代价更大的非整数倍超分辨率网络；复杂度低的图像块超分辨率复原难度较小，采用较小计算代价的网络即可满足需求。具体地，如图6所示，图像块纹理复杂度分类单元104进一步包括：
[0159]
图像块二值化处理单元104-1，用于对每个图像块进行二值化处理。
[0160]
由于纹理复杂度特征计算主要在亮度域进行，所以本发明中，先将三通道的彩色图像块先转为亮度图像块，其公式为：
[0161]
y＝0.299r 0.587g 0.114b，
[0162]
设每个位置亮度取值范围为：0，...，g，v表示图像最大灰度值，则生成g个二值图分别为其中δ为二值化阈值取值1，...，g。
[0163]
图像块纹理复杂度特征提取单元104-2，用于对每个图像块进行图像纹理复杂度特征提取。
[0164]
若本发明之装置用于视频解码器之后，则可使用图像块二值化处理单元104-1得到的g个二值图，基于周围领域点与其自身取值的差异构建图像的复杂度统计值：
[0165][0166]
其中表示二值图i
δ
中第i行第j列的值，表示二值图i
δ
中第i行第j-1列的值。w、h分别表示图像子块的宽高，输出5个图像纹理复杂度特征分别为：最大值特征f1＝max(c(δ))，均值特征样本平均值样本标准差熵值
[0167]
若本发明之装置用于isp之后，则可从锐化等模块获取细节层d，细节层在一定程度上表示图像中纹理分布。先将细节层进行与图像帧相同的分块处理，大小仍为w
×
h，然后
提取的纹理复杂度特征分别为：最大值f1＝max(d)，均值绝对差标准差熵值d(i，j)表示细节层中第i行第j列的值。
[0168]
纹理复杂度分类模型生成单元104-3，用于基于提取的图像纹理复杂度特征构建纹理复杂度分类模型。
[0169]
具体地，纹理复杂度分类模型生成单元104-3基于提取的图像纹理复杂度特征构建纹理复杂度分类模型，即逻辑斯谛多分类模型，所述逻辑斯谛多分类模型如下：
[0170]
设属于每个类别的概率：设属于每个类别的概率：其中f表示输入图像块的6维特征向量(f1，...，fs，1)，模型参数未知，l取值1，...，l-1。y表示该图像块类别标签，p(y＝l|f)表示在输入特征向量f的条件下，该图像块纹理复杂度为类别为(的条件概率。
[0171]
使用图像块纹理复杂度特征提取单元104-2中的其中一种提取特征方式，将图像纹理复杂度由5个特征表示并输入纹理复杂度分类模型，输出图像块纹理复杂度分类标签。标签越小表示纹理越简单，越大则纹理越复杂。
[0172]
具体地，纹理复杂度分类模型的训练数据预处理过程如下：
[0173]
1、从超分辨率训练集中随机抽取多组训练图像。每组训练图像由低分辨图像和对应高分辨率图像组成，并对每组图像进行随机分块，得到n组图像块数据((lr1，hr1)，...，(lrn，hrn))；
[0174]
2、使用图像块二值化处理单元104-1和图像块纹理复杂度特征提取单元104-2对每组训练图像块中高分辨率图像块进行预处理得到训练特征数据(f1，...，fn)，本发明支持根据所处位置使用不同的特征数据训练模型，其中f1、fn分别表示hr1、hrn图像块提取的5个复杂度纹理特征组成的特征向量(f
11
，...，f
51
)、(f
1n
，...，f
5n
)；
[0175]
3、获取特征向量对应的纹理复杂度标签。先对训练图像块高分辨率图像块进行下采样至低分辨率同等尺寸，然后计算下采样图像块与原低分辨图像块之间的psnr值记作pi，i＝1，...，n；
[0176]
4、基于所有训练图像块的psnr分布状况，对纹理复杂度进行标签划分。设图像纹理复杂度共设有l类，将所有训练数据的psnr从大到小排列，按数据个数将其分为l组，每组图像块的标签依次设置为1，...，l，表示纹理从简单到复杂。
[0177]
5、最终得到的训练数据及标签(fi，yi)，其中yi＝1，...，l，表示对应数据的标签。
[0178]
对于获取的训练数据集t＝{(f1，y1)，(f2，y2)，...，(fn，yn)}，应用极大似然估计得到模型的参数w1，...，w
l-1
。由于极大似然估计为通用技术，这里不予赘述。
[0179]
本发明中，模型的训练数据预处理及参数估计过程可离线完成，正式运行时只需输入图像块，在通过图像块二值化处理单元104-1、图像块纹理复杂度特征提取单元104-2提取出特征后可计算图像块纹理复杂度类别分别为属于1，...，l的概率
选择概率最大对应的标签作为模型输出，则可得到图像块的图像块纹理复杂度类别，记为lc。
[0180]
超分辨率网络选择单元105，用于基于图像块的运动概率估计与纹理复杂度分类标签选择超分辨率网络。
[0181]
在本发明中，基于图像块的运动概率估计与纹理复杂度分类标签综合判断使用何种计算代价的网络。预设的非整数倍超分辨率网络共k个，编号从小到大计算代价依次增大。图像块经过步骤s3输出运动概率pm，其中pm∈(0，1)；步骤s4输出复杂度类别lc，lc∈(1，l)，根据运动概率及纹理复杂度再选择网络大小中的偏好，设定纹理复杂度权重为μ，则选择的超分辨率网络编号：
[0182][0183]
其中round表示向下取整函数，
[0184]
非整数倍超分辨率网络构建及训练单元106，用于设计多个不同代价的超分辨率网络，并使用相同数据集训练。
[0185]
在本发明中，设计k个不同计算代价的非整数倍超分辨率网络，每个非整数倍超分辨率网络具有相同的基本结构如图2所示，根据超分辨率网络选择单元105输出的超分辨率网络编号，选择对应的网络进行正向推理输出相应的超分辨率图像，不同计算代价的网络主要区别在于每个单元内的特征通道数，因此使用的卷积核个数也不同，进而导致网络计算的复杂度也不同，总的来说计算代价越小通道数越小。
[0186]
由于非整数倍超分辨率网络已于前述，在此不予赘述。
[0187]
图像块超分辨率计算单元107，用于利用训练好的k个超分辨率网络，根据超分辨率网络选择单元105的选择，对每个图像块选取对应的超分辨率网络进行正向推理，输出每个图像块对应的非整数倍超分辨率图像块。
[0188]
具体地，对每个图像块通过超分辨率网络选择单元105计算所得编号，选取对应的超分辨率网络进行正向推理，输出每个图像块对应的非整数倍超分辨率图像块。
[0189]
图像块时域加权单元108，用于将每个图像块的超分辨率结果与前一帧对应块的超分结果进行基于运动的加权融合，得到当前帧视频图像的超分辨率输出。
[0190]
具体地，对于某一帧输出的某一非整数倍超分辨率图像块sr
t
，其运动信息由编码器获取为c
t
，可取得的最大值为c
max
，上一帧输出的对应图像块的非整数倍超分辨率图像块为sr
t-1
。则先对c
t
进行传统双三次插值的非整数倍超分辨率得到sc
t
，使其大小与超分辨率后的图像块保持一致。然后使用sr
t
每个位置的像素值sr
t
(i，j)的值与前一帧对应位置像素值sr
t-1
(i，j)进行基于运动信息的加权，得到基于运动图融合的值sr
t
(i，j)＝(sr
t
(i，j)*sc
t
(i*j) sr
t-1
(i，j)*(c
max-sc
t
(i*j)))/c
max
。
[0191]
图像块超分辨率输出融合单元109，用于对当前帧所有图像块的超分辨率结果进行拼接融合，得到当前帧全幅面超分辨率结果。
[0192]
由图像及运动信息图的分块操作单元102可知，每个图像块之间有重叠区域，因此在融合拼接过程中，需要对重合区域进行平均，以消除块效应。
[0193]
实施例
[0194]
在本实施例中，以提供一种置于解码器之后的视频图像非整数倍超分辨率装置为例，如图7所示，包括：
[0195]
步骤301，使用传输介质传输视频流数据至视频解码器中。传输介质包括但不限于同轴电缆，双绞线及光纤。视频解码器在视频接收端装置中，包括但不限于电脑、手机等具有显示图像功能的设备。
[0196]
步骤302，使用视频解码器获取当前帧的yuv格式图像，使用相关图像格式转换设备得到当前帧r、g、b三通道数据。
[0197]
步骤303，使用视频解码器解码输出的解码信息，提取当前帧对应编码块的运动信息，对当前图像的所有编码信息进行拼接，并使用5
×
5高斯率滤波获取当前帧完整运动信息图。
[0198]
步骤304，对图像帧进行分块处理，在对边界进行扩展后分成相互重叠的图像块。本实施例以1920
×
1080的视频流图像帧大小为例，给出一种可实施的图像边界扩展及图像分割操作为：对图像边缘分别扩展22个像素，补偿区域的像素值由边缘为中轴线对称的图内。得到的图像大小为1964
×
1124。将图像分割为32
×
32的子图像块，则每个图像块之间的重叠区域大小为。
[0199]
步骤305，对运动图像信息图也进行相同的分块操作，具体操作同步骤304。
[0200]
步骤306，对每个运动信息图块进行运动估计，以32
×
32大小的运动信息图块为例，将先对图像进行3
×
3形态学腐蚀操作，去除运动信息中的噪声点；接着使用3
×
3的形态学膨胀操作，补偿运动区域的部分空洞。然后进行运动信息的直方图统计，设置组数为5，运动信息图中每个位置可取得的最大值为1，则每个组的大小0.2。设置每组的加权系数分别为1/15，...，5/15。得到图像块运动概率计算公式为
[0201]
步骤307，对每个图像块进行纹理分类，先对图像块进行二值化处理，本实施例中图像为8bit，则最大灰度值为255，则可以得到255个二值图，每个图像块有1024个像素点。计算每个二值图的统计值c(δ)，得到255个统计值后分别计算得到四种特征，将(f1，...，f5，1)输入纹理分类模型中得到该图像块的分类标签lc。
[0202]
步骤308，在正式实施本发明超分辨率装置前对纹理分类模型进行预训练以得到模型参数。本实施例给出视频图像放大2.25倍的训练数据获取方式：首先从超分辨率数据集中随机选择512组图片，每组训练图像由低分辨图像和对应高分辨率图像组成。将为每组的两张图片进行随机分块，随机切割成128对大小分别为32
×
32、48
×
48的图像块。对所有65536张高分辨率训练图像块进行双三次下采样至32
×
32大小，并计算下采样后图像块与该组低分辨率图像块之间的psnr值，并按从小到大排列。以设置图像纹理复杂度为3类为例，按照上述图像块的psnr值将其分为3组，每组标签分别为1、2、3。
[0203]
步骤308，使用极大似然估计方法估计12个参数，则图像块属于各类的概率为：步骤308，使用极大似然估计方法估计12个参数，则图像块属于各类的概率为：选择概率最大对应的标签作为图像块的纹理复杂度类别。
[0204]
步骤309，综合图像块的运动概率与纹理复杂度分类标签选择合适计算代价的超分辨率网络。本实例使用纹理复杂度权重为0.5，则在已知某图像块的运动估计概率为pm、纹理复杂度分类标签lc的情况下，则选用的超分辨率网络编号为：
[0205]
步骤310、根据图像块选择的超分辨率网络编号，选择对应的网络进行正向推理。本实施例给出三种不同计算量的网络：
[0206]
1.低分辨率输入与输出单元相同；
[0207]
2.低分辨率特征重建单元输入的图像尺寸相同，均为32
×
32
×
3，其中多个卷积层分别有个3
×
3大小的卷积核，其中表示网络的标签，ni表示计算量小的网络当前卷积核个数。使用多个残差块连接，每个残差块有两层卷积，当有2个残差块时共有4层卷积网络进一步提取图像中的深层次信息。具体地，每个残差块的构造如下：依次串联卷积层、批量归一化层、非线性激励函数层、卷积层、批量归一化层。残差块的输入与输出又直接相连，以提取局部的残差特征。当输入的数据经过上述所示低分辨率特征重建模块后，可得到大小为的低分辨率深层特征。
[0208]
3.本实施例给出2.25倍的超分辨率单元设置。因此每个子模块的上采样单元中反卷积层1的卷积核大小k1＝7，步长s1＝3，边缘填充p1＝2，即该层使用个大小的三维卷积，其中mi表示计算量最小的网络卷积个数，当前层输出图像放大9倍(面积)。然后设置卷积层1的卷积核大小k2＝6，步长s2＝2，边缘填充p2＝2，即该层使用个大小的三维卷积，经过此层的数据幅面的面积将变为0.25倍。因此当数据经过下采样单元后，幅面变为2.25倍。同理，需设置下采样单元的反卷积层2和卷积层2参数，将上述参数带入即可得到所需的卷积核大小。显然升采样单元中反卷积、卷积层参数与降采样单元中卷积、反卷积层参数相同。
[0209]
4.高分辨率特征重建单元输入特征尺寸为其中m
last
表示3中计算量最小的网络最后一层卷积层中卷积的个数。本实施例中由两个卷积层构成，每层均由个3
×
3小的卷积核构成。最后输出的超分辨率图像大小为48
×
48
×
3。
[0210]
步骤311，在正式实施本发明超分辨率装置前对非整数倍超分辨率网络进行训练以得到网络参数。类似308中获取训练图像块的方式，区别在于无需计算训练数据标签，网络输入低分辨率图像块，输出高分辨率图像块，每组图像块为一组训练数据；利用损失函数来度量输入与输出训练数据间的差异，本发明实施例采用均衡误差mse作为损失函数，该技术有较多相关技术资料，这里不详细叙述；使用反向传播算法分别更新不同计算代价的网络的参数，本发明实例中使用随机梯度下降算法，可根据训练数据的量等情况，不作具体限定。
[0211]
步骤312，使用上一帧的对应超分辨率输出图像块与当前帧网络输出的超分辨率图像块，根据运动权重进行加权，本实施例中获取的编码器的图像运动信息的最大值为255，则输出的时域加权超分辨率图像块为当前帧的图像块对应像素乘以运动信息值加上前一帧图像块对应像素值乘以255减去运动信息值，然后结果除以255。
[0212]
步骤313，图像块进行拼接融合，本实施例中的图像块重叠区域大小为4，则相互重合区域的图像像素值由两个图像块的重合像素取平均获得，以消除快效应。
[0213]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本
领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。