基于改进邻域嵌入与先验学习的超分辨率图像重建方法与流程

1.本发明涉及图像处理技术领域，尤其涉及基于改进邻域嵌入与先验学习的图像超分辨率重建方法。


背景技术：

2.图像超分辨率重建是计算机视觉领域中一个重要的研究方向，并且在许多实际的应用中(公共安全、视频监控、医学成像、高清视频等)起着至关重要的作用。目前，研究人员提出了不同的图像超分辨率重建算法，并在不同的应用场景下，取得了一定的成功。传统的邻域嵌入超分辨率重建方法在一定程度上提高了图像的重建效果，但搜索邻域需要非常大的计算量，算法的时间效率低。


技术实现要素：

3.针对上述存在的问题，本发明旨在提供一种基于改进邻域嵌入与先验学习的超分辨率图像重建方法，将邻域嵌入算法进行改进，通过引入非局部正则化项与局部正则化项对改进邻域嵌入的重构结果进行最大后验概率(map)估计，使得最终的重建效果更佳，细节更丰富，纹理更清晰。
4.为了实现上述目的，本发明所采用的技术方案如下：
5.基于改进邻域嵌入与先验学习的超分辨率图像重建方法，其特征在于，包括以下步骤，
6.s1：对训练集中的高分辨率训练图像进行降质处理，得到训练集中的低分辨率训练图像；
7.s2：把高、低分辨率训练图像分块，分别得到高分辨率训练图像块和低分辨率训练图像块，高分辨率训练图像块与低分辨率训练图像块的数量相同，但大小不同；
8.s3：将待重建的低分辨率输入图像进行放大2倍预处理，然后进行分块，得到低分辨率输入图像块；所述低分辨率输入图像块与低分辨率训练图像块的大小相同；
9.s4：在全部低分辨率训练图像块中搜索与低分辨率输入图像块最相似的k个图像块组成邻域集，将邻域集中的图像块按权值线性组合，通过最小化邻域集中图像块与低分辨率输入图像块的误差，计算出邻域集中每个图像块的重建权值；
10.s5：根据邻域集中的k个低分辨率训练图像块，以及步骤s2中高分辨率训练图像块与低分辨率训练图像块之间的对应关系，得到与邻域集相对应的k个高分辨率训练图像块，将k个高分辨率训练图像块与步骤s4中得到的重建权值按权值对应线性组合，得到基于邻域嵌入重建的高分辨率图像块，将所有重建的高分辨率图像块进行组合，得到初步重建的高分辨率图像；
11.s6：对初步重建的高分辨率图像进行最大后验概率估计，利用非局部均值算法学习的非局部先验与自适应高斯核学习的局部先验构造正则化项，对重建过程进行约束，求解约束优化问题，得到最终重建的超分辨率图像。
12.进一步的，步骤s1的具体操作包括以下步骤，
13.s101：使用大小为7
×
7，方差为1.1的高斯滤波器对训练集中的高分辨率图像y
s
进行模糊处理，然后使用双三次插值进行3倍下采样，得到临时低分辨率图像；
14.s102：对临时低分辨率图像进行放大2倍预处理，得到低分辨率训练图像x
s
。
15.进一步的，步骤s102中对临时低分辨率图像进行放大2倍预处理，以及步骤s3中将待重建的低分辨率输入图像进行放大2倍预处理均采用双三次插值的方式进行。
16.进一步的，步骤s2中将高分辨率训练图像分成大小为9
×
9的图像块，将低分辨率训练图像分成大小为6
×
6的图像块，高分辨率训练图像块和低分辨率训练图像块数量相同，且图像块之间互相对应。
17.进一步的，步骤s4的具体操作包括以下步骤，
18.s401：令表示低分辨率训练图像x
s
的图像块；x
t
为待重建的低分辨率输入图像，表示图像x
t
的图像块，p，q＝1，2，
…
为图像块索引；对图像块在低分辨率训练图像块中搜索与最相似的k个图像块组成邻域集组成邻域集的搜索方式如下：
[0019][0020]
式中，分别为图像块内像素灰度值的均值，std(
·
)表示计算标准差，μ1、σ1分别设定为0.85、0.7；k的值设定为100，如果中元素个数小于100，则适当调整μ1与σ1的大小，使中元素个数为100；
[0021]
s402：将中k个图像块按权值线性组合，重建图像块重建误差代价函数定义为邻域集中图像块与低分辨率输入图像块的误差，也即该误差代价函数的约束条件为式中，ω
qp
表示邻域集中第p个近邻图像块的重建权值；
[0022]
s403：求解最小化重建误差代价函数，计算出邻域集中每个图像块的重建权值。
[0023]
进一步的，根据步骤s4中求得的重建权值ω
qp
，步骤s5中所述的基于邻域嵌入重建的高分辨率图像块可表示为：
[0024][0025]
式中，为高分辨率训练图像y
s
的图像块，表示与中图像块相对应的高分辨率训练图像块组成的邻域集；
[0026]
将所有基于邻域嵌入重建的高分辨率图像块进行组合，初步重建的高分辨率图像y。
[0027]
进一步的，步骤s6的具体操作包括以下步骤，
[0028]
对初步重建的高分辨率图像y进行最大后验概率估计，以实现超分辨率重建，最大后验概率估计问题可转化为最小能量泛函求解问题，也即
[0029]
式中，为最终重建的超分辨率图像；为保真项，以确保最终重建的超分辨率图像与初步重建的高分辨率图像y具有一致性，d和h分别表示下采样操作和模糊操作，x为待求的超分辨率图像；为非局部正则化项；x
i
为待求图像x中的第i个像素；p
i
为以像素i为中心的局部区域内像素按字典顺序排列而成的列向量，局部区域大小设定为21
×
21；
[0030]
为非局部均值算法在局部区域内计算的权值排列成的行向量，先验反映了像素与其邻域像素的非局部相似性，其计算公式为其中，h
n
为非局部均值算法的滤波参数，设定为8，n
i
与n
j
分别表示以像素i和j为中心的图像块内像素灰度值向量，图像块大小设定为7
×
7；
[0031]
l
i
为局部区域内的像素按字典顺序排列而成的列向量，局部区域大小设定为5
×
5；
[0032]
为自适应高斯核计算的权值排列成的行向量，先验反映了像素与其邻域像素的相似程度，其计算公式为其中，h
k
为自适应高斯核的滤波参数，设定为2.5，z
i
为图像中像素i的坐标，c
i
表示在像素i处的梯度域协方差矩阵，det(
·
)为计算行列式的值，t表示矩阵转置，λ1和λ2分别为正则化参数。
[0033]
本发明的有益效果是：
[0034]
本发明中基于改进邻域嵌入与先验学习的图像超分辨率重建方法，与现有技术相比，将图像块的均值与标准差特征引入到邻域嵌入的超分辨率重建中，在训练集中选择与待重构图像块的均值与标准差相似的图像块作为邻域进行重建，提高了时间效率与图像重建质量，然后再通过引入非局部均值算法学习的非局部先验与自适应高斯核学习的局部先验构造正则化项对改进邻域嵌入的重构结果进行最大后验概率(map)估计，利用梯度下降法求解这个优化问题，得到最终的超分辨率图像重建的结果，整体上提高了重建图像的峰值信噪比与结构相似度，提升了重建图像的视觉效果，细节更丰富，纹理更清晰。
附图说明
[0035]
图1为本发明中超分辨率图像重建方法流程图；
[0036]
图2为本发明改进邻域嵌入方法的流程图；
[0037]
图3(a)为仿真实验一中原始图像；
[0038]
图3(b)为仿真实验一中模糊下采样后得到的低分辨率图像；
[0039]
图3(c)为仿真实验一中利用本发明方法得到的重建图像；
[0040]
图3(d)为仿真实验一中利用双三次插值算法得到的重建图像；
[0041]
图3(e)为仿真实验一中利用传统邻域算法得到的重建图像；
[0042]
图3(f)为仿真实验一中利用稀疏编码算法得到的重建图像；
[0043]
图3(g)为仿真实验一中利用卷积神经网络算法得到的重建图像；
[0044]
图4(a)为仿真实验二中原始图像；
[0045]
图4(b)为仿真实验二中模糊下采样后得到的低分辨率图像；
[0046]
图4(c)为仿真实验二中利用本发明方法得到的重建图像；
[0047]
图4(d)为仿真实验二中利用双三次插值算法得到的重建图像；
[0048]
图4(e)为仿真实验二中利用传统邻域算法得到的重建图像；
[0049]
图4(f)为仿真实验二中利用稀疏编码算法得到的重建图像；
[0050]
图4(g)为仿真实验二中利用卷积神经网络算法得到的重建图像。
具体实施方式
[0051]
为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合附图和实施例对本发明的技术方案做进一步的描述。
[0052]
参照附图1
‑
2所示，基于改进邻域嵌入与先验学习的超分辨率图像重建方法，包括以下步骤，
[0053]
s1：对训练集中的高分辨率训练图像进行降质处理，得到训练集中的低分辨率训练图像；
[0054]
具体的，s101：使用大小为7
×
7，方差为1.1的高斯滤波器对训练集中的高分辨率图像y
s
进行模糊处理，然后使用双三次插值进行3倍下采样，得到临时低分辨率图像；
[0055]
s102：采用双三次插值的方式对临时低分辨率图像进行放大2倍预处理，得到低分辨率训练图像x
s
，保证高、低分辨率训练图像之间的邻域关系得到较好的保持。
[0056]
进一步的，s2：把高、低分辨率训练图像分块，分别得到高分辨率训练图像块和低分辨率训练图像块，高分辨率训练图像块与低分辨率训练图像块的数量相同，但大小不同；
[0057]
具体的，将高分辨率训练图像分成大小为9
×
9的图像块，将低分辨率训练图像分成大小为6
×
6的图像块，高分辨率训练图像块和低分辨率训练图像块数量相同，且图像块之间互相对应。
[0058]
进一步的，s3：采用双三次插值对待重构的低分辨率输入图像进行放大2倍预处理，然后进行分块，得到低分辨率输入图像块；所述低分辨率输入图像块与低分辨率训练图像块大小相同。
[0059]
进一步的，s4：在全部低分辨率训练图像块中搜索与低分辨率输入图像块最相似的k个图像块组成邻域集，将邻域集中的图像块按权值线性组合，通过最小化邻域集中图像
块与低分辨率输入图像块的误差，计算出邻域集中每个图像块的重建权值；
[0060]
具体的，s401：令表示低分辨率训练图像x
s
的图像块；x
t
为待重建的低分辨率输入图像，表示图像x
t
的图像块，p，q＝1，2，
…
为图像块索引；对图像块在低分辨率训练图像块中搜索与最相似的k个图像块组成邻域集组成邻域集的搜索方式如下：
[0061][0062]
式中，式中，分别为图像块分别为图像块内像素灰度值的均值，std(
·
)表示计算标准差，μ1、σ1分别设定为0.85、0.7；k的值设定为100，如果中元素个数小于100，则适当调整μ1与σ1的大小，使中元素个数为100；
[0063]
s402：将中k个图像块按权值线性组合，重建图像块重建误差代价函数定义为邻域集中图像块与低分辨率输入图像块的误差，也即该误差代价函数的约束条件为式中，ω
qp
表示邻域集中第p个近邻图像块的重建权值；
[0064]
s403：求解最小化重建误差代价函数，计算出邻域集中每个图像块的重建权值。
[0065]
进一步的，s5：根据邻域集中的k个低分辨率训练图像块，以及步骤s2中高分辨率训练图像块与低分辨率训练图像块之间的对应关系，得到与邻域集相对应的k个高分辨率训练图像块，将k个高分辨率训练图像块与步骤s4中得到的重建权值按权值对应线性组合，得到基于邻域嵌入重建的高分辨率图像块，将所有重建的高分辨率图像块进行组合，得到初步重建的高分辨率图像；
[0066]
具体的，根据步骤s4中求得的重建权值ω
qp
，步骤s5中所述的基于邻域嵌入重建的高分辨率图像块可表示为：
[0067][0068]
式中，为高分辨率训练图像y
s
的图像块，表示与中图像块相对应的高分辨率训练图像块组成的邻域集；
[0069]
将所有基于邻域嵌入重建的高分辨率图像块进行组合，初步重建的高分辨率图像y。
[0070]
进一步的，s6：对初步重建的高分辨率图像进行最大后验概率(map)估计，利用非局部均值算法学习的非局部先验与自适应高斯核学习的局部先验构造正则化项，对重建过
程进行约束，求解约束优化问题，得到最终重建的超分辨率图像。
[0071]
具体的，对初步重建的高分辨率图像y进行最大后验概率估计，以实现超分辨率重建，最大后验概率估计问题可转化为最小能量泛函求解问题，也即
[0072]
式中，为最终重建的超分辨率图像；为保真项，以确保最终重建的超分辨率图像与初步重建的高分辨率图像y具有一致性，d和h分别表示下采样操作和模糊操作，x为待求的超分辨率图像；为非局部正则化项；x
i
为待求图像x中的第i个像素；p
i
为以像素i为中心的局部区域内像素按字典顺序排列而成的列向量，局部区域大小设定为21
×
21；
[0073]
为非局部均值算法在局部区域内计算的权伯排列成的行向量，先验反映了像素与其邻域像素的非局部相似性，其计算公式为其中，h
n
为非局部均值算法的滤波参数，设定为8，n
i
与n
j
分别表示以像素i和j为中心的图像块内像素灰度值向量，图像块大小设定为7
×
7；
[0074]
l
i
为局部区域内的像素按字典顺序排列而成的列向量，局部区域大小设定为5
×
5；
[0075]
为自适应高斯核计算的权值排列成的行向量，先验反映了像素与其邻域像素的相似程度，其计算公式为其中，h
k
为自适应高斯核的滤波参数，设定为2.5，z
i
为图像中像素i的坐标，c
i
表示在像素i处的梯度域协方差矩阵，det(
·
)为计算行列式的值，t表示矩阵转置，λ1和λ2分别为正则化参数。
[0076]
为了求解能量泛函，可将上述能量泛函问题表述成如下简明的形式：
[0077][0078]
式中，i是单位矩阵，
[0079]
利用梯度下降法求解上式的优化问题：
[0080]
[0081]
式中，τ为迭代次数，ρ为梯度下降法的步长，设定为2.5，α与β为正则化参数(此处需要说明的是，此处的α与β，以及上述的λ1与λ2均为正则化参数，λ1与λ2是能量泛函中的“临时”正则化参数，α与β为推导出的数值求解迭代公式中的正则化参数，α＝ρ
×
λ1，β＝ρ
×
λ2)，分别设定0.06与0.7。x
τ
表示第τ次迭代得到的重建图像，将改进邻域嵌入超分辨率重建结果y作为迭代初始值x0。
[0082]
仿真实验一：
[0083]
在该仿真实验中，给出原始高分辨率输入图像如附图3(a)所示；对其进行大小为7
×
7，方差为1.1的高斯核模糊，并进行3倍下采样，得到待重建的低分辨率输入图像，如附图3(b)所示，然后采用本发明中的超分辨率图像重建方法对其进行重建，重建结果如附图3(c)所示，采用双三次插值算法、传统邻域算法、稀疏编码算法和卷积神经网络算法对其进行重建的结果分别如附图3(d)、3(e)、3(f)、3(g)所示；通过对比可以发现，利用本发明中的重建方法最终得到的重建效果最佳，细节最丰富，纹理最清晰。
[0084]
仿真实验二：
[0085]
在该仿真实验中，给出原始高分辨率输入图像如附图4(a)所示；对其进行大小为7
×
7，方差为1.1的高斯核模糊，并进行4倍下采样，得到待重建的低分辨率输入图像，如附图4(b)所示，然后采用本发明中的超分辨率图像重建方法对其进行重建，重建结果如附图4(c)所示，采用双三次插值算法、传统邻域算法、稀疏编码算法和卷积神经网络算法对其进行重建的结果分别如附图4(d)、4(e)、4(f)、4(g)所示；通过对比可以发现，利用本发明中的重建方法最终得到的重建效果最佳，细节最丰富，纹理最清晰。
[0086]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。