一种图像超分辨率重建方法及系统

1.本发明属于图像重建技术领域，尤其涉及一种图像超分辨率重建方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.图像超分辨率(sr)重建即提高图像的分辨率，就是一个从低分辨率(low resolution，lr)图像到高分辨率(high resolution，hr)图像的实现过程。目前的超分辨率算法主要可以分为三大类别：基于插值的sr重建、基于重构的sr重建以及基于学习的sr重建。近年来，随着深度学习的不断发展，基于学习的sr重建中的基于深度学习的超分辨率重建方法取得了快速发展。深度学习应用卷积神经网络，使得重建的效果有了很大程度的提升。目前基于深度学习的超分辨率算法主要分为以下几个类别：基于线性网络的算法、基于残差网络的算法、基于密集网络的算法、基于循环网络的算法、基于gan网络的算法以及基于注意力网络的算法等。
4.基于cnn结构的端到端的超分辨率算法srcnn带动了深度卷积神经网络的发展，对于端到端的网络，大多使用峰值信噪比(psnr)和结构相似性(ssim)来评估sr重建质量。然而，这些以psnr为导向的方法往往输出过度平滑的结果，而没有足够的高频细节，因为psnr度量从根本上不符合人类观察者的主观评价。


技术实现要素：

5.为了解决上述背景技术中存在的技术问题，本发明提供一种图像超分辨率重建方法及系统，重建出更真实的高分辨率图像，提高了图像的恢复质量。
6.为了实现上述目的，本发明采用如下技术方案：
7.本发明的第一个方面提供一种图像超分辨率重建方法，其包括：
8.获取低分辨率图像；
9.将低分辨率图像依次输入生成器和鉴别器，得到重建图像；
10.其中，生成器采用卷积层提取低分辨率图像的浅层特征图，浅层特征图经过残差密集分支得到第一特征图，浅层特征经过最小可觉察误差分支得到第二特征图，第一特征图和第二特征图相乘后的结果与第二特征图输入残差块，进行残差操作后，得到第三特征图，将第三特征图依次输入上采样块和重建块后，得到初步重建图像。
11.进一步的，所述最小可觉察误差分支用于计算浅层特征图卷积后的特征图中每个像素的最小可觉察误差，得到第二特征图。
12.进一步的，所述最小可觉察误差的计算方法为：
13.计算所述每个像素的能见度阈值和空间掩蔽效应；
14.取能见度阈值与空间掩蔽效应二者的最小值；
15.能见度阈值与空间掩蔽效应的和，减去增益参数与所述最小值的乘积后的差值，
即为每个像素的最小可觉察误差。
16.进一步的，所述能见度阈值与每个像素的背景亮度相关。
17.进一步的，所述空间掩蔽效应与每个像素的亮度对比度相关。
18.进一步的，所述残差密集分支由多个密集块组成的，每个密集块连接一个残差缩放块。
19.进一步的，所述残差密集分支有多个卷积层依次连接组成，每个卷积层的输出被用作后面所有卷积层的输入。
20.本发明的第二个方面提供一种图像超分辨率重建系统，其包括：
21.图像获取模块，其被配置为：获取低分辨率图像；
22.图像重建模块，其被配置为：将低分辨率图像依次输入生成器和鉴别器，得到重建图像；
23.其中，生成器采用卷积层提取低分辨率图像的浅层特征图，浅层特征图经过残差密集分支得到第一特征图，浅层特征经过最小可觉察误差分支得到第二特征图，第一特征图和第二特征图相乘后的结果与第二特征图输入残差块，进行残差操作后，得到第三特征图，将第三特征图依次输入上采样块和重建块后，得到初步重建图像。
24.本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的一种图像超分辨率重建方法中的步骤。
25.本发明的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的一种图像超分辨率重建方法中的步骤。
26.与现有技术相比，本发明的有益效果是：
27.本发明提供了一种图像超分辨率重建方法，其在增强型超分辨率生成对抗网络(enhanced super-resolution generative adversarial networks，esrgan)的基础上加入了最小可觉察误差(jnd)分支，并且以并行的方式布置jnd分支与残差密集分支(rrdb)，重建出更真实、更符合人眼感知的高分辨率图像。
附图说明
28.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
29.图1是本发明实施例一的生成器的结构图；
30.图2是本发明实施例一的残差密集分支的结构图；
31.图3是本发明实施例一的重建结果示意图。
具体实施方式
32.下面结合附图与实施例对本发明作进一步说明。
33.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
34.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根
据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
35.实施例一
36.本实施例提供了一种图像超分辨率重建方法，在增强型超分辨率生成对抗网络(esrgan)的基础上加入了最小可觉察误差(jnd)的计算结构，在输入一张低分辨率图像的基础上，重建出更真实、更符合人眼感知的高分辨率图像。
37.如图1所示，具体包括以下步骤：
38.步骤1、获取待重建的低分辨率图像。
39.步骤2、待重建的低分辨率图像依次输入生成器和鉴别器。生成器包括第一卷积层、第二卷积层、残差密集分支(rrdb)、最小可觉察误差分支(jnd)、残差块、上采样层(upsample)和重建块。最小可觉察误差分支包括依次连接的卷积层和最小可觉察误差块。
40.具体的，采用卷积层(conv)提取低分辨率图像的浅层特征图，浅层特征图经过残差密集分支得到第一特征图，浅层特征经过最小可觉察误差分支得到第二特征图，第一特征图和第二特征图相乘后的结果与第二特征图输入残差块，进行残差操作后，得到第三特征图，将第三特征图送入上采样块，最后经过重建块(两层卷积层)重建sr图像，得到初步重建图像，再将初步重建图像送入鉴别器，以此来生成更逼真的sr图像，即最终的重建图像。
41.采用卷积层提取低分辨率图像的浅层特征图f0，
42.f0＝h0(i
lr
)
ꢀꢀꢀ
(1)
43.其中，i
lr
表示输入的低分辨率图像，h0()表示卷积的功能，浅层特征图f0经过残差密集分支得到第一特征图f1，
44.f1＝h
rrdb
(f0)
ꢀꢀꢀ
(2)
45.其中，h
rrdb
()表示残差密集分支的功能，浅层特征f0经过最小可觉察误差分支得到第二特征图f2，
46.f2＝h
jnd
(f0)
ꢀꢀꢀ
(3)
47.其中，h
jnd
()表示最小可觉察误差分支的功能，第一特征图f1再和第二特征图f2相乘得到fx，
48.fx＝f1×
f2ꢀꢀꢀ
(4)
49.fx再与第二特征图f2一起输入残差块，进行残差操作后，得到第三特征图f3，
50.f3＝fx f2ꢀꢀꢀ
(5)
51.将第三特征图f3送入上采样块进行上采样操作，
52.f4＝h
us
(f3)
ꢀꢀꢀ
(6)
53.h
us
表示上采样模块的功能，f3表示放大之后的特征，最后经过重建块重建sr图像，得到初步重建图像，再将初步重建图像送入鉴别器，以此来生成更逼真的sr图像，即最终的重建图像。
54.其中，rrdb结合了多层次残差网络和密集连接。rrdb的结构如图2左侧所示，每个rrdb内部都是由3个密集块组成的，具有残差中残差(residual-in-residual)的结构，在不同的层次上使用残差学习的结构。另外，每个密集块连接一个残差缩放块，即，在每一个密集块的后面还使用了一个残差缩放，即通过在0到1之间乘以一个常数来缩小残差，然后将
它们添加到主路径中，以防止不稳定性。每个密集块的结构如图2右侧所示，密集块(denseblock)就是里面采用密集连接，残差密集分支有多个卷积层依次连接组成，每个卷积层的输出被用作后面所有卷积层的输入，就是每一层都不止一个输入(除了第一层)，每一层的输出也都被用作它后面所有层的输入，这种密集的连接使得网络容量更高。
55.最小可觉察误差分支用于计算浅层特征图卷积后的特征图中每个像素的最小可觉察误差(即jnd阈值)，得到第二特征图，最小可觉察误差用于表示人眼不能察觉的最大图像失真，体现了人眼对图像改变的容忍度。在图像处理领域，jnd可以用来度量人眼对图像中不同区域失真的敏感性。传统的图像或者视频编码技术鲜少考虑到人眼视觉系统的特性和心理效应，因此大量视觉冗余数据被编码并传输，为了进一步提高编码的效率，需要去除视觉冗余的研究。目前一个表征视觉冗余的有效方法就是基于心理学和生理学的最小可察觉失真模型，即人眼不能感知的变化，由于人眼的各种屏蔽效应，人眼只能察觉到超过某一阈值的变化，该阈值就是人眼的恰可觉差。
56.对于任意的一个图像f(即浅层特征图)，取它的局部区域r∈f，每个像素x∈r的方向与梯度有关，取x的梯度方向为其取向θ：
[0057][0058]
其中，gv(x)表示像素x沿竖直方向的梯度变化，gh(x)表示像素x沿水平方向的梯度变化。各模式r的复杂度与θ(x)之间的相互作用是直接相关。若一个模式r有很多不同的θ(x)，那它就很有可能是一个不规则的模式，这种模式有着复杂的相互作用，并表现出强烈的掩蔽效应。若一个模式r有的θ(x)都很相似，那它就很有可能是一个规则的模式，它的掩蔽效应也就不是那么强烈。所以，一个模式的复杂度可以看作是所有θ(x)∈r的多样性。由已知，规则模式的直方图是稀疏的，而不规则模式的直方图是密集的。因此，每个像素x的模式复杂度c
p
计算为对应直方图的稀疏度：
[0059][0060]
其中，||
·
||0表示l0范数，hk(x)为像素x对应的直方图：
[0061][0062]
其中，δ(
·
)为脉冲函数：
[0063][0064]
其中，是以t＝12
°
为区间量化后的θ(x)。
[0065]
模式掩蔽效果是由亮度对比度和模式复杂度共同决定的。因此，在模式掩蔽估计中，jnd模型同时考虑了亮度对比度c
l
和模式复杂度c
p
，模式复杂度c
p
如公式(8)所示，每个像素x的亮度对比度c
l
可通过如下公式计算：
[0066][0067]
其中，gv和gh是沿着垂直和水平方向的梯度大小。经实验发现，在网络结构中，同时使用亮度对比度c
l
和模式复杂度c
p
的话，并不会产生有益结果。所以，单独使用亮度对比度cl
或模式复杂度c
p
，经过实验得出，将jnd应用到网络结构中时，单独使用亮度对比度c
l
的效果比较好。
[0068]
所以，在本发明中，最小可觉察误差的计算方法为：计算所述每个像素的能见度阈值和空间掩蔽效应；取能见度阈值与空间掩蔽效应二者的最小值；能见度阈值与空间掩蔽效应的和，减去增益参数与所述最小值的乘积后的差值，即为每个像素的最小可觉察误差。具体的：
[0069]
jnd中的总的空间掩蔽效应仅考虑对比度掩蔽函数，对比度掩蔽函数a
cm
与亮度对比c
l
有关。所以，每个像素x的总的空间掩蔽效应就可以表示为:
[0070][0071]
其中，α和β是两个参数，分别设置为16和26。
[0072]
另外，人类视觉系统(hvs)对不同的背景亮度会有不同的敏感度，不同亮度背景下的能见度阈值是不同的，因此也需要考虑到亮度适应，每个像素x的亮度适应的能见度阈值l
ada
建模为：
[0073][0074]
其中，b(x)为像素x的背景亮度，是x所处周围区域的平均亮度值。
[0075]
最后，每个像素x的jnd阈值t
jnd
(x)可以计算为：
[0076]
t
jnd
(x)＝l
ada
(x) a
cm
(x)-c
·
min{l
ada
(x)，a
cm
(x)}
ꢀꢀꢀ
(14)
[0077]
其中，c是一个增益参数，设置为0.3。
[0078]
鉴别器使用esrgan中的相对鉴别器(relativistic discriminator)，相对鉴别器用于预测真实图像xr相对于假图像xf更真实的概率，其中，真实图像xr指的是真实的的高分辨率图像，假图像xf是指生成器生成的(也就是初步重建的)高分辨率图像。相对鉴别器的原理是预测真实图像相对于假图像真实的概率。在标准的gan中，鉴别器用来估计输入样本为真实样本的概率，生成器用来生成逼真的样本，来提高被鉴别器鉴别为真实样本的概率。而本发明使用的相对鉴别器用来估计真实样本比虚假样本更真实的概率，核心观点是，当假图像xf的预测概率值升高的时候(即生成器生成的样本变得愈加逼真)，真实图像xr的预测概率值应该降低。
[0079]
本发明的生成器的损失函数lg采用esrgan中的损失函数，如下所示：
[0080][0081]
其中，λ和η是平衡不同损失项的系数，第一项l
percep
是一种感知损失，在激活前提取特征，即使用激活之前的vgg特征来代替srgan中激活之后的vgg特征，从而得到更有效的感知损失；第三项l1为计算恢复的图像g(xi)与地面真实值xr之间的1-范数距离的内容损失：
[0082]
[0083]
其中，表示损失函数的操作，g(xi)是恢复的图像，xr是真实图像。
[0084]
第二项是gan对抗损失：
[0085][0086]
其中，xf＝g(xi)，xi为输入的lr图像，表示对小批量处理中的所有真实数据(也就是xr)取平均数的操作，d
ra
表示的就是本发明使用的相对平均鉴别器(也叫相对鉴别器)，xr指的是真实的的高分辨率图像，xf是指生成器生成的(也就是初步重建的)高分辨率图像，是对小批量处理中的所有假数据(也就是xf)取平均数的操作。
[0087]
本发明的鉴别器的损失采用esrgan中的损失：
[0088][0089]
为验证本发明的方法的重建效果，采用了psnr、ssim、pi和rmse四个评价指标：
[0090]
psnr:目前大多数的方法是以psnr为导向的，峰值信噪比(psnr)是最流行的有损变换重建质量度量之一(例如，图像压缩、图像修复)。对于图像超分辨率，psnr是通过最大像素值(表示为l)和图像之间的均方误差(mse)来定义的。给定两个大小相同为m
×
n的图像x和y，均方误差(mse)定义为：
[0091][0092]
然后，psnr(db)就定义为：
[0093][0094]
其中，为图片可能的最大像素值。
[0095]
一般情况下，使用8位表示的l等于255。从公式里可以看出psnr只与像素级mse相关，所以它只关心对应像素之间的差异而不是视觉感知，因此往往导致在真实场景中再现质量的表现不佳，然而，psnr仍然是目前应用最广泛的sr模型评估标准。
[0096]
ssim：考虑到人类视觉系统(hvs)高度适应提取图像结构，基于亮度、对比度方面的独立比较，结构相似性指数(ssim)被提出用于测量图像之间的结构相似性，给定两个图像x和y，两张图像的结构相似性可按照以下方式求出：
[0097][0098]
其中，μ
x
是x的平均值，μy是y的平均值，是x的方差，是y的方差，σ
xy
是x和y的协方差；c1＝(k1l)2、c2＝(k2l)2是用来维持稳定的常数；l是像素值的动态范围；k1＝0.01，k2＝0.03。
[0099]
由于人类的视觉系统很复杂，判断两幅图像之间的差异涉及很多方面，即图像内部的纹理和流动，追求绝对相似性差异(psnr/ssim)的方法并不总是表现良好。尽管失真测量已被广泛使用，但重建精度的提高并不总是伴随着视觉质量的提高。事实上，在某些情况下，失真和感知质量是不一致的。图像的图像感知质量定义为它看起来像自然图像的程
度，这与其与任何参考图像的相似性无关。
[0100]
自然图像质量评估器(niqe)：niqe是一种完全盲的图像质量评估方法。niqe不需要关于训练例子和相应的人类观点分数形式的知识，niqe只使用了从自然图像中观察到的统计规律的可测量偏差。它基于自然场景统计(nss)模型从图像中提取一组局部(质量感知)特征，然后将特征向量拟合到一个多元高斯(mvg)模型中。然后通过从自然图像中学习到的mvg模型和mvg模型之间的距离来预测测试图像的质量：
[0101][0102]
其中，v1、v2和σ1、σ2为hr和sr图像的mvg模型的平均向量和协方差矩阵，nqie指数越高，说明图像感知质量越低。
[0103]
感知指数(pi)是无参考图像质量测量ma和niqe的组合：
[0104][0105]
其中，ma是一种基于学习的无参考图像质量评估；pi越低，说明感知质量越好。
[0106]
rmse：均方根误差也叫标准误差，是观测值与真值偏差的平方和与观测次数m比值的平方根，用来衡量观测值同真值之间的偏差。
[0107][0108]
其中，m
×
n为两张图像x和y的大小。
[0109]
图3为本发明重建效果图，可以看出图像的恢复效果是很好的，本发明的方法很好的还原了图像的细节以及纹理。
[0110]
表1是本发明与esrgan的重建效果对比。虽然本发明的方法更注重于人眼的感知质量，更关注图像的质量，与此同时，本发明也没有忽视psnr和ssim的数值，由表1可以看出本发明不仅在pi指标上有了提升，在psnr和ssim指标上也有了不同程度的提高。
[0111]
表1重建效果对比表
[0112]
[0113][0114]
实施例二
[0115]
本实施例提供了一种图像超分辨率重建系统，其具体包括如下模块：
[0116]
图像获取模块，其被配置为：获取低分辨率图像；
[0117]
图像重建模块，其被配置为：将低分辨率图像依次输入生成器和鉴别器，得到重建图像；
[0118]
其中，生成器采用卷积层提取低分辨率图像的浅层特征图，浅层特征图经过残差密集分支得到第一特征图，浅层特征经过最小可觉察误差分支得到第二特征图，第一特征图和第二特征图相乘后的结果与第二特征图输入残差块，进行残差操作后，得到第三特征图，将第三特征图依次输入上采样块和重建块后，得到初步重建图像。
[0119]
此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
[0120]
实施例三
[0121]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的一种图像超分辨率重建方法中的步骤。
[0122]
实施例四
[0123]
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种图像超分辨率重建方法中的步骤。
[0124]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序
产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0125]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0126]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0127]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0128]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random accessmemory，ram)等。
[0129]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。