一种基于像素分布估计的单张图像超分辨重建系统及方法与流程

1.本发明属于图像处理技术领域，涉及基于深度学习的单张图像超分辨重建方法，尤其涉及基于像素分布估计的图像超分辨重建方法。


背景技术：

2.图像超分辨率(super
‑
resolution,sr)是指由一幅低分辨率图像(low
‑
resolution,lr)或图像序列恢复出高分辨率图像(high
‑
resolution,hr)。hr意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。要获得高分辨率图像，最直接的办法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制，在很多场合和大规模部署中很难实现。因此，利用现有的设备，通过超分辨率技术获取hr图像具有重要的现实意义。
3.单张图像超分辨率重建问题属于不适定的算法问题，即对于任意的低分辨率图像，都存在无数的高分辨率图像与之对应。通常，基于单张图像的超分辨率重建算法可以分为插值算法，重建模型算法和学习算法三大类。其中，最常见的单图像超分辨率插值算法包括最近邻插值，双线性插值，双三次插值等算法。而基于重建模型的方法是将图像的先验知识输入到图像超分辨重建过程中，使单张图像超分辨重建的不适定性变得有解。基于学习的方法通过训练图像数据集学习低分辨率和高分辨率图像之间的映射关系，来预测低分辨率图像中丢失的高频信息从而达到重建高分辨率图像的目的；包括使用机器学习、稀疏表示和耦合字典训练。
4.近年来，随着研究人员对深度学习的领域不断挖掘，基于深度学习的图像超分辨算法也得到了快速发展，其中，最早的是由dong等人提出的基于卷积神经网络的超分辨率重建(super
‑
resolution using convolutionalneural networks，srcnn)方法。随后几年中，fsrcnn，espcn，vdsr等一些列模型被提出应用在超分辨领域，都取得了不错的效果。但是，这一系列基于深度学习的重建算法理论基础是相似的，都是学习图像之间的映射关系，而且，随着模型的发展，模型的体积越来越大，训练成本逐渐增加。


技术实现要素：

5.针对现有的单张图像超分辨重建技术的理论基础相似，运算成本高的问题，本发明提供了一种基于像素分布估计的单张图像超分辨重建系统及方法，该方法从像素分布估计的角度解释并实现了图像超分辨重建，运用简单的模型结构就可以实现不错的重建效果。
6.一种基于像素分布估计的单图像超分辨重建方法，步骤如下：
7.步骤(1)、数据预处理；
8.对数据集图片进行格式转换，将图片统一转换成ycrcb格式，并只保留图片的y通道信息，即得到所需要的高分辨率图片i
hr
。对只包含y通道信息的图片利用双三次插值法进行指定倍数下采样的模糊处理，得到低分辨率图片i
lr
。
9.步骤(2)、构建基于像素分布估计的图像超分辨重建网络；
10.图像超分辨重建网络包括权重提取模块和像素分布估计模块。权重提取模块用于从输入的低分辨率图片i
lr
中计算出像素分布估计模块所需要的权重，而像素分布估计模块根据预先设定的倍数s对输入图片像素的邻域像素相对坐标进行像素估计，实现图像的超分辨重建过程。
11.步骤(3)、训练基于像素分布估计的图像超分辨重建网络。
12.步骤(4)、通过训练好的图像超分辨重建网络完成图像超分辨重建任务。
13.步骤(1)具体方法如下；
14.采用公开数据集b100数据集作为训练数据，b100数据集包含100张图片。
15.对训练数据进行处理：对训练数据图片进行格式转换，将图片统一转换成ycrcb格式，并只保留图片的y通道信息，即得到所需要的高分辨率图片i
hr
。对只包含y通道信息的图片利用双三次插值法进行指定倍数下采样的模糊处理，得到低分辨率图片i
lr
。将训练数据的低分辨率图片i
lr
作为模型训练过程中的输入图片，高分辨率图片i
hr
作为模型训练过程中的用于与模型输出图片进行对比的对比图片。
16.步骤(2)具体方法如下；
[0017]2‑
1：基于像素分布估计的图像超分辨重建理论。
[0018]
低分辨率图片由高分辨率图片i
hr
经过倍数为s倍的双三次插值法下采样得到，即低分辨率图片i
lr
的宽和高均为高分辨率图片i
hr
的1/s。则低分辨率图片i
lr
的一个像素对应高分辨率图片i
hr
的s2个像素，低分辨率图片的超分辨重建过程是一个针对特定像素学习一种像素分布估计函数，然后利用学习到的像素分布估计函数将低分辨率图片i
lr
中第(i,j)个像素映射到高分辨率图片i
hr
中的(i,j)的s2个邻域像素的过程。因此基于像素分布估计的图像超分辨重建过程能够公式化为：
[0019][0020]
其中表示低分辨率图片i
lr
中的第(i,j)像素的像素值，p(i,j)表示针对第(i,j)像素的一种像素分布估计函数，其结果等于当低分辨率图片i
lr
需要经过倍数为s倍的超分辨重建，低分辨率图片i
lr
中第(i,j)像素将对应高分辨率图片i
hr
中的(i,j)的s2个邻域像素，
[0021][0022]
其中ω
i,j
表示第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标，表示为：
[0023][0024]
表示使用像素分布估计函数映射后的输出结果，近似于高分辨率图片i
hr
的对应位置的像素值，则完成低分辨率图片i
lr
的超分辨重建。
[0025]2‑
2：构建基于像素分布估计的图像超分辨重建网络模型。
[0026]
图像超分辨重建网络包括权重提取模块和像素分布估计模块。权重提取模块用于从输入的低分辨率图片i
lr
中计算出像素分布估计模块所需要的权重，而像素分布估计模块用于对输入的第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标进行像素估计，实现图像的超分辨重建过程。
[0027]
权重提取模块结构如下：输入的低分辨率图片i
lr
的尺寸为w*h*c。首先经过一个卷积核数量为n1，滤波核尺寸3*3的卷积层；其次经过一个密集块，密集块包含5个卷积核数量为n2，滤波核尺寸3*3的卷积层；最后经过一个卷积核数量为n3，滤波核尺寸3*3的卷积层。其中每个卷积层后面都连接一个relu非线性激活函数。经过权重提取模块，输入的低分辨率图片i
lr
的尺寸变为w*h*n3。
[0028]
像素分布估计模块结构如下：包含一层节点数为k1的全连接层，一层节点数k2全连接层，一层节点数k3＝3的全连接层和一层倍数为s倍的pixelshuffle层。全连接层目的是对输入像素进行像素分布估计，pixelshuffle层目的是把输出的s2个估计结果重新排列，生成尺寸为(w*s)*(h*s)*c的输出图像。在节点数为k1，k2的全连接层后面分别连接一个relu非线性激活函数。其中k1，k2和k3的取值和权重提取模块中输出图片的通道数有关，即n3＝2*k1 k1*k2 k2*k3。像素分布估计模块采用的全连接层的参数是由权重提取模块结构的输出的尺寸为w*h*n3的特征得到的，将w*h*n3的特征按照通道数依次加载到像素分布估计模块中全连接层的每一个节点。像素分布估计模块采用的全连接层的参数分配过程在网络训练过程中实时进行。
[0029]
步骤(3)具体方法如下。
[0030]
图像超分辨重建网络的输入包括两部分：第一部分是用于权重提取的低分辨率图片i
lr
；第二部分是低分辨率图片第(i,j)像素的s2个邻域像素相对于第(i,j)像素的相对坐标，用一个w*h的2通道特征图分别表示一个相对坐标的值。输入的低分辨率图片i
lr
经过权重提取模块计算得到像素分布估计模块所需要的参数，并将权重提取模块的输出特征分配给像素分布估计模块；输入的第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标以w*h的2通道特征图的形式输入像素分布估计模块，得到具有超分辨重建效果的尺寸为(w*s)*(h*s)*c的输出图片。采用l1损失函数进行监督，实现l1(i
out
‑
(i
hr
))
→
0,即使得基于像素分布估计的图像超分辨重建网络输出图片(i
out
)和高分辨率图片(i
hr
)具有近似相同的输出结果。
[0031]
步骤(4)具体方法如下。
[0032]
将需要进行超分辨重建的真实低分辨率图片，输入训练好的图像超分辨重建网络中，依次经过权重提取模块和像素分布估计模块，输入的真实低分辨率图片经过权重提取模块计算得到像素分布估计模块所需要的参数，并将权重提取模块的输出特征分配给像素分布估计模块；同时将真实低分辨率图片第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标以w*h的2通道特征图的形式输入像素分布估计模块，得到具有超分辨重建效果的尺寸为(w*s)*(h*s)*c的输出图片。
[0033]
一种基于像素分布估计的图像超分辨重建系统，包括权重提取模块和像素分布估计模块；
[0034]
所述的权重提取模块用于从输入的低分辨率图片i
lr
中计算出像素分布估计模块所需要的权重；
[0035]
权重提取模块结构如下：输入的低分辨率图片i
lr
的尺寸为w*h*c。首先经过一个卷积核数量为n1，滤波核尺寸3*3的卷积层；其次经过一个密集块，密集块包含5个卷积核数量为n2，滤波核尺寸3*3的卷积层；最后经过一个卷积核数量为n3，滤波核尺寸3*3的卷积层。其中每个卷积层后面都连接一个relu非线性激活函数。经过权重提取模块，输入的低分辨率图片i
lr
的尺寸变为w*h*n3。
[0036]
所述的像素分布估计模块用于对输入的第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标进行像素估计，实现图像的超分辨重建过程。
[0037]
像素分布估计模块结构如下：包含一层节点数为k1的全连接层，一层节点数k2全连接层，一层节点数k3＝3的全连接层和一层倍数为s倍的pixelshuffle层。全连接层目的是对输入像素进行像素分布估计，pixelshuffle层目的是把输出的s2个估计结果重新排列，生成尺寸为(w*s)*(h*s)*c的输出图像。在节点数为k1，k2的全连接层后面分别连接一个relu非线性激活函数。其中k1，k2和k3的取值和权重提取模块中输出图片的通道数有关，即n3＝2*k1 k1*k2 k2*k3。像素分布估计模块采用的全连接层的参数是由权重提取模块结构的输出的尺寸为w*h*n3的特征得到的，将w*h*n3的特征按照通道数依次加载到像素分布估计模块中全连接层的每一个节点。
[0038]
本发明有益效果如下：
[0039]
本发明方法创新的提出了基于像素分布估计的重建算法，不再是传统超分辨重建算法中的端到端的映射理论。本发明方法从像素分布估计的角度解释并实现了图像超分辨重建，运用简单的模型结构就可以实现不错的重建效果。模型结构简单，权重学习模块结构用卷积层就可以很好的学习，运算成本低，且效果好。
附图说明
[0040]
图1为本发明实施例流程图；
[0041]
图2为本发明实施例图像超分辨重建网络结构图。
具体实施方式
[0042]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0043]
本发明首先进行以下定义及说明：
[0044]
高分辨率图像l
hr
：目标图片，未经过插值处理过的高分辨图片。
[0045]
低分辨率图像l
lr
：由高分辨率图像l
hr
经过插值得到低分辨率图片。
[0046]
输出高分辨图片l
out
：低分辨率图像l
lr
经过算法计算后得到的高分辨率图片。
[0047]
下采样s倍：高分辨率图像l
hr
双三次插值的下采样倍数。
[0048]
符号n1，n2，n3：权重提取模块中，各个卷积层所对应的滤波核数量。
[0049]
符号k1，k2，k3：像素分布估计模块中，全连接层所对应的结点数。
[0050]
一种基于深度学习的单张图像的运动估计方法，其步骤如图1所示，包括：
[0051]
步骤(1)、数据预处理；
[0052]
采用公开数据集b100数据集作为训练数据，b100数据集包含100张图片；
[0053]
训练数据处理：对b100数据集的100张图片进行格式转换，将图片统一转换成ycrcb格式，并只保留图片的y通道信息，即得到所需要的高分辨率图片i
hr
。对只包含y通道信息的图片利用双三次插值法进行倍数s＝2下采样的模糊处理，得到低分辨率图片i
lr
。低分辨率图片i
lr
作为模型训练过程中的输入图片，高分辨率图片i
hr
作为模型训练过程中的用于与模型输出图片进行对比的对比图片。
[0054]
步骤(2)、构建基于像素分布估计的图像超分辨重建网络；
[0055]2‑
1：基于像素分布估计的图像超分辨重建理论。
[0056]
低分辨率图片由高分辨率图片i
hr
经过倍数为2的双三次插值法下采样得到，即低分辨率图片i
lr
的宽和高均为高分辨率图片i
hr
的1/2。本发明提出了一种基于像素分布估计的图像超分辨重建理论，提出低分辨率图片i
lr
的一个像素对应高分辨率图片i
hr
的4个像素，低分辨率图片的超分辨重建过程是一个针对特定像素学习一种像素分布估计函数，然后利用学习到的像素分布估计函数将低分辨率图片i
lr
中第(i,j)个像素映射到高分辨率图片i
hr
中的(i,j)的4个邻域像素的过程。本发明提出的基于像素分布估计的图像超分辨重建过程可以公式化为：
[0057][0058]
其中表示低分辨率图片i
lr
中的第(i,j)像素的像素值，p(i,j)表示针对第(i,j)像素的一种像素分布估计函数，其结果等于当低分辨率图片i
lr
需要经过倍数为2的超分辨重建，低分辨率图片i
lr
中第(i,j)像素将对应高分辨率图片i
hr
中的(i,j)的4个邻域像素，
[0059][0060]
其中ω
i,j
表示第(i,j)像素的4个邻域像素对于第(i,j)像素的相对坐标，表示为
[0061][0062]
表示使用像素分布估计函数映射后的输出结果，近似于高分辨率图片i
hr
的对应位置的像素值，则完成低分辨率图片i
lr
的超分辨重建。
[0063]2‑
2：构建基于像素分布估计的图像超分辨重建网络模型。基于像素分布估计的图像超分辨重建网络包含两部分：第一部分是权重提取模块，第二部分是像素分布估计模块。
[0064]
权重提取模块结构如下：输入的低分辨率图片i
lr
的尺寸为256*256*3。首先经过一个卷积核数量为n1＝64，滤波核尺寸3*3的卷积层；其次经过一个密集块，密集块包含5个卷积核数量为n2＝128，滤波核尺寸3*3的卷积层；最后经过一个卷积核数量为n3＝215，滤波核尺寸3*3的卷积层。其中每个卷积层后面都连接一个relu非线性激活函数。经过权重提取模块，输入的低分辨率图片i
lr
的尺寸变为256*256*215。
[0065]
像素分布估计模块结构如下：包含一层节点数为k1＝10的全连接层，一层节点数k2＝15全连接层，一层节点数k3＝3的全连接层和一层倍数为2倍的pixelshuffle层。全连接层目的是对输入像素进行像素分布估计，pixelshuffle层目的是把输出的4个估计结果重
新排列，生成尺寸为(w*2)*(h*2)*c的输出图像。在节点数为k1，k2的全连接层后面分别连接一个relu非线性激活函数。其中k1，k2和k3的取值和权重提取模块中输出图片的通道数有关，即n3＝2*k1 k1*k2 k2*k3＝215。像素分布估计模块采用的全连接层的参数是由权重提取模块结构的输出的尺寸为256*256*215的特征得到，将256*256*215的特征按照通道数依次加载到像素分布估计模块中全连接层的每一个节点。另外，像素分布估计模块采用的全连接层的参数分配过程在网络训练过程中实时进行。
[0066][0067]
图2为本发明实施例图像超分辨重建网络结构图。
[0068]
步骤(3)、训练基于像素分布估计的图像超分辨重建网络。
[0069]
图像超分辨重建网络的输入包括两部分：第一部分是用于权重提取的低分辨率图片i
lr
；第二部分是低分辨率图片第(i,j)像素的4个邻域像素对于第(i,j)像素的相对坐标，用一个256*256的2通道特征图分别表示一个相对坐标的值。输入的低分辨率图片i
lr
经过权重提取模块计算得到像素分布估计模块所需要的参数，并将权重提取模块的输出特征分配给像素分布估计模块；输入的第(i,j)像素的4个邻域像素对于第(i,j)像素的相对坐标以256*256的2通道特征图的形式输入像素分布估计模块，得到具有具有超分辨重建效果的尺
寸为512*512*3的输出图片。基于像素分布估计的图像超分辨重建网络采用l1损失函数进行监督，实现l1(i
out
‑
(i
hr
))
→
0,即使得基于像素分布估计的图像超分辨重建网络输出图片(i
out
)和高分辨率图片(i
hr
)具有近似相同的输出结果。
[0070]
步骤(4)、通过训练好的图像超分辨重建网络完成图像超分辨重建任务。
[0071]
将需要进行超分辨重建的真实低分辨率图片，输入训练好的图像超分辨重建网络中，依次经过权重提取模块和像素分布估计模块，输入的真实低分辨率图片经过权重提取模块计算得到像素分布估计模块所需要的参数，并将权重提取模块的输出特征分配给像素分布估计模块；同时将真实低分辨率图片第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标以256*256的2通道特征图的形式输入像素分布估计模块，得到具有超分辨重建效果的尺寸为512*512*3的输出图片。
[0072]
一种基于像素分布估计的图像超分辨重建系统，包括权重提取模块和像素分布估计模块；
[0073]
所述的权重提取模块用于从输入的低分辨率图片i
lr
中计算出像素分布估计模块所需要的权重；
[0074]
权重提取模块结构如下：输入的低分辨率图片i
lr
的尺寸为w*h*c。首先经过一个卷积核数量为n1，滤波核尺寸3*3的卷积层；其次经过一个密集块，密集块包含5个卷积核数量为n2，滤波核尺寸3*3的卷积层；最后经过一个卷积核数量为n3，滤波核尺寸3*3的卷积层。其中每个卷积层后面都连接一个relu非线性激活函数。经过权重提取模块，输入的低分辨率图片i
lr
的尺寸变为w*h*n3。
[0075]
所述的像素分布估计模块用于对输入的第(i,j)像素的s2个邻域像素对于第(i,j)像素的相对坐标进行像素估计，实现图像的超分辨重建过程。
[0076]
像素分布估计模块结构如下：包含一层节点数为k1的全连接层，一层节点数k2全连接层，一层节点数k3＝3的全连接层和一层倍数为s倍的pixelshuffle层。全连接层目的是对输入像素进行像素分布估计，pixelshuffle层目的是把输出的s2个估计结果重新排列，生成尺寸为(w*s)*(h*s)*c的输出图像。在节点数为k1，k2的全连接层后面分别连接一个relu非线性激活函数。其中k1，k2和k3的取值和权重提取模块中输出图片的通道数有关，即n3＝2*k1 k1*k2 k2*k3。像素分布估计模块采用的全连接层的参数是由权重提取模块结构的输出的尺寸为w*h*n3的特征得到的，将w*h*n3的特征按照通道数依次加载到像素分布估计模块中全连接层的每一个节点。