基于单张图像超分辨率的轻量级网络模型及处理方法与流程

1.本发明属于图像超分辨率、机器学习、计算机视觉技术领域，尤其涉及一种基于单张图像超分辨率的轻量级网络模型及处理方法。


背景技术：

2.图像分辨率是图像的重要参数，可以用来反映图像的精细程度。通常情况下，图像的分辨率越高，所包含的像素就越多，可以提供的纹理细节就越多，图像也就越清晰。由于图像采集设备的缺陷，成像过程中自然因素的影响，传输、存储过程中被压缩处理等因素，所获取到的往往是较低分辨率的图像，影响观看体验。因此图像超分辨率重建技术成为一个具有实用价值的研究热点，它的目的是将成像效果较差的低分辨率图像重建出与其对应的视觉效果更好的高分辨率图像。由于图像超分辨率重建技术可以把模糊的低分辨率图像重建出纹理细节较多的高分辨率图像，因此该技术可以运用到许多领域，例如，提高老旧影像资料的清晰度；在卫星成像系统中，提高遥感图像分辨率以满足人类对高质量卫星成像的需求；在医学成像系统中，提高医疗图像分辨率，使得医生能够对病灶区域更加仔细地观察，以提高疾病诊断效率以及准确度。
3.针对当前限制图像超分辨率发展的种种问题，国内外研究者将图像超分辨率任务与计算机技术融合，研究方法可分为两大类：基于传统方法算法和基于深度学习算法。
4.传统方法主要有凸集投影法、贝叶斯分析方法、反投影法、最大后验概率方法、消混叠方法以及空域类方法。
5.近年来，由于深度学习的飞速发展，基于深度学习的图像超分辨率重建方法成为了一个重点的研究方向。通过搭建一个卷积神经网络模型，并让模型学习低分辨率图像与高分辨率图像之间的非线性映射关系。通过对训练好的模型输入低分辨率图像即可重建对应的高分辨率图像。由于卷积神经网络强大的拟合能力，基于卷积神经网络的图像超分辨率算法的效果比传统插值算法的效果更好。为了进一步提升超分辨率精度，网络的加深加宽已经成为了基于卷积神经网络图像超分辨率算法的发展趋势。随着网络的加宽加深，重建的效果得到提升，但是网络的参数量和计算量也在不断增加，网络更加依赖于高性能的计算设备，难以投入到实际使用。


技术实现要素：

6.针对当前现有的技术无法有效的平衡重建质量和重建效率的关系，重建质量高但重建效率低下，重建效率高但重建质量低下，无法达到实际工程需求的问题。为了弥补现有技术的空白和不足，本发明的目的在于提供一种基于单张图像超分辨率的轻量级网络模型及处理方法，可以通过低分辨率图像有效地重建出质量较高的超分辨率图像，同时算法的重建效率高，能够有效地平衡重建质量和重建效率，不仅能重建出高分辨率图像，而且重建速度快，且该算法泛化性好，可以应用于多种场景的图像超分辨率问题，可达到实际工业需求。
7.其主要包括特征提取部分、非线性映射部分、重建模型和插值模块。特征提取部分提取出低分辨率图像的浅层特征，将浅层特征输入非线性映射部分进行更充分的学习得到高级特征，最后将高级特征输入到重建模型和插值模块，并引入双线性插值得到最后的高分辨率图像。
8.本发明具体采用以下技术方案：
9.一种基于单张图像超分辨率的轻量级网络模型，其特征在于，包括：依次连接的特征提取模块、非线性映射模块、以及重建模型和插值模块；
10.所述特征提取模块为一个3
×
3的二维卷积，将训练集的低分辨率图像输入至特征提取器进行学习得到浅层特征，具体操作如下：
[0011][0012]
其中，i
lr
表示的低分辨率图像，表示低分辨率图像的特征图，conv(
·
)表示卷积操作，通过卷积操作，在保证特征图不被下采样的前提下进行特征提取，从而得到浅层的特征；
[0013]
所述非线性映射层由两个密集特征精炼模块和一个特征精炼模块构成，具体表示为：
[0014][0015][0016][0017]
f
n
表示特征图经过非线性映射层得到的输出结果，和分别表示第一个密集特征精炼模块和第二个密集特征精炼模块的输出特征图，cat(
·
)表示对特征图对通道维度上叠加，dfrb(
·
)和frb(
·
)分别表示密集特征精炼模块和特征精炼模块；
[0018]
所述重建模型和插值模块由以下步骤组成：
[0019]
i
sr
＝
↑
(i
lr
) pxielshuffle(conv(f
n
))
[0020]
其中，i
sr
表示超分辨率重建后的高分辨率图像，pxielshuffle(
·
)操作表示对特征图进行上采样至目标分辨率，
↑
(
·
)操作表示对低分辨率图像进行双线性插值至目标分辨率。
[0021]
进一步地，网络模型的损失函数表示为：
[0022][0023][0024]
其中，先使用loss1将网络训练到收敛，然后再采取loss2对网络进行微调，从而获得最终的网络模型。
[0025]
进一步地，所述特征精炼模块由4个计算单元构成，其中，前三个计算单元由一个3
×
3的卷积层和一个基于注意力机制的通道切分模块acs组成；
[0026]
前三个计算单元利用通道注意力机制计算出每个中间特征图的权重，将权重按照降序的方式进行排序，利用权重按3:7的比例划分出精致的特征图和粗糙的特征图，精致的特征图将被保留下来，粗糙的特征图送入到下一个计算单元里进行计算；最后一个计算单元对上一级计算单元划分出来的粗糙的特征图进行调整。
[0027]
具体的详细步骤如下：
[0028][0029][0030][0031][0032]
进一步地，所述密集特征精炼模块由三个特征精炼模块frb(feature refinement block)构成，基于密集连接的思想，将三个特征精炼模块连接起来：
[0033]
具体的详细步骤如下：
[0034][0035][0036][0037][0038]
进一步地，模型训练方式分为两个阶段，第一阶段使用loss1将模型训练到收敛，第二阶段使用loss2对网络模型进行微调，从而获得最终的网络模型权重；模型训练采用余弦退火策略，第一阶段的初始学习率设置为1e
‑3，最低的学习率设置为1e
‑7，训练50万次迭代，学习率最大衰减一次。第二阶段的初始学习率设置为1e
‑4，最低的学习率设置为1e
‑8，训练20万次迭代，学习率最大衰减一次。通过两个阶段的训练，从而得到最终的模型。
[0039]
以及，一种基于单张图像超分辨率的轻量级网络模型的构建方法，包括以下步骤：
[0040]
步骤s1：获取清晰干净的高分辨率图像和低分辨率图像的成对图像，对数据进行切块和清洗，并对数据进行增强，构建图像数据集；所述数据清洗包括计算图像对比度与方差，剔除废弃的图像；数据增强包括对图像进行旋转和翻转操作；
[0041]
步骤2：构建密集特征精炼模块和特征精炼模块；
[0042]
步骤3：构建超分辨率网络模型以及训练该模型；所述超分辨率网络模型为如上所述的基于单张图像超分辨率的轻量级网络模型。
[0043]
由于低分辨率的图像在生活中是广泛存在的，图像超分辨率问题从上个世纪起就得到了关注和研究。随着时间的发展，为了更有效地重建出高分辨率图像，去图像超分辨率已经衍生出许多的方法，主要可以分为基于传统的方法和基于深度学习的方法。本发明的工作立足于深度学习的方法，提出一个能够有效平衡重建质量和重建效率的网络模型。
[0044]
本发明及其优选方案的特征提取部分能够提取到低分辨率图像的浅层特征，但随着网络深度的增加，浅层特征会逐渐退化，为了解决这一问题，本发明在非线性映射部分设计了密集特征精炼模型和特征精炼模型，密集连接充分利用了中间的特征图，减轻了网络
训练中梯度消失的问题，同时加强了中间特征的传递，更有效地利用了特征，有利于网络训练。在最后的重建部分，引入双线性插值，让整个网络去学习低分辨率图像所缺失的高频细节，有利于网络的收敛和重建效果。
[0045]
由于图像采集设备的缺陷，成像过程中自然因素的影响，传输、存储过程中被压缩处理等因素，所获取到的往往是较低分辨率的图像，影响观看体验。目前很多研究都已经将低分辨率图像重建出高分辨率图像，获得良好的视觉效果,但是很少方法在确保重建质量的同时考虑到模型的运行效率。本发明所设计的方法可以在确模型运行效率，并且重建出高质量的高分辨率图像，可达工业要求，泛化性好，能够移植到移动端、嵌入式等其他低功耗，计算量有限的平台。
附图说明
[0046]
下面结合附图和具体实施方式对本发明进一步详细的说明：
[0047]
图1为本发明实施例整体流程示意图。
[0048]
图2为本发明实施例相关得分计算模块工作流程意图。
[0049]
图3为本发明实施例观点得分计算模块工作流程示意图。
具体实施方式
[0050]
为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：
[0051]
应该指出，以下详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0052]
图像分辨率是图像的重要参数，可以用来反映图像的精细程度。通常情况下，图像的分辨率越高，所包含的像素就越多，可以提供的纹理细节就越多，图像也就越清晰。本实施例提出了一种基于单张图像超分辨率的轻量级算法，该算法可以通过低分辨率图像有效地重建出质量较高的超分辨率图像，同时算法的重建效率高，能够有效地平衡重建质量和重建效率。该算法主要包括特征提取部分、非线性映射部分、重建模型和插值模块。特征提取部分提取出低分辨率图像的浅层特征，将浅层特征输入非线性映射部分进行更充分的学习得到高级特征，最后将高级特征输入到重建模型和插值模块，并引入双线性插值得到最后的高分辨率图像。
[0053]
如图1
‑
图3所示，本发明实施例提供的基于单张图像超分辨率的轻量级网络模型及处理方法的方案包括：
[0054]
特征提取部分、非线性映射部分、重建模型和插值模块。特征提取部分提取出低分辨率图像的浅层特征，将浅层特征输入非线性映射部分进行更充分的学习得到高级特征，最后将高级特征输入到重建模型和插值模块，并引入双线性插值得到最后的高分辨率图像。
[0055]
总体框架流程图如图1所示。
[0056]
网络模型的具体构建步骤如下：
[0057]
1、数据集准备
[0058]
低分辨率图像和高分辨率图像的成对图像，对数据进行切块和清洗，并对数据进行增强，构建图像数据集。数据清洗包括计算图像对比度与方差，剔除一些不要的图像，数据增强包括对图像进行旋转和翻转操作。
[0059]
2、特征精炼模块
[0060]
特征精炼模块如图2所示，特征精炼模块主要由4个计算单元构成，如图2左图灰色部分。前三个计算单元主要由一个3
×
3的卷积层和一个基于注意力机制的通道切分模块组成，基于注意力机制的通道切分模块详见图2右图部分。
[0061]
前三个计算单元利用通道注意力机制计算出每个中间特征图的权重，将权重按照降序的方式进行排序，通常认为权重越大的特征图是比较精致的特征图，利用权重按3:7的比例划分出精致的特征图和粗糙的特征图，精致的特征图将会被保留下来，而粗糙的特征图将送入到下一个计算单元里进行计算。最后一个计算单元主要是对上一级计算单元划分出来的粗糙的特征图做一个调整。
[0062]
具体的详细步骤如下：
[0063][0064][0065][0066][0067]
3、密集特征精炼模块
[0068]
密集特征精炼模块如图3所示：密集特征精炼模块主要由三个特征精炼模块构成，基于密集连接的思想，将三个特征精炼模块连接起来，这种连接方式充分利用了中间的特征图，减轻了网络训练中梯度消失的问题，同时加强了中间特征的传递，更有效地利用了特征，有利于网络训练。
[0069]
具体的详细步骤如下：
[0070][0071][0072][0073][0074]
4、超分辨率网络
[0075]
超分辨率网络由图3所示，主要包括特征提取部分、非线性映射部分、重建模块和插值模块四个部分。输入一张低分辨率图像至网络，首先会提取低分辨率图像的特征，从而进入到非线性映射部分中进行更高级的特征学习，为了得到高分辨率的图像，需要通过重建模块以及插值模块，从而输出一张高分辨率的图像。
[0076]
特征提取部分，将低分辨率图像输入至特征提取器执行特征提取阶段，具体步骤
详情如下：
[0077][0078]
其中，i
lr
表示的低分辨率图像，表示低分辨率图像的特征图，conv(
·
)表示卷积操作，通过卷积操作，在保证特征图不被下采样的条件下进行特征提取，从而将低分辨率图像的特征图输入到非线性映射部分。
[0079]
特征提取部分输出的特征图经由非线性映射部分进行充分的特征学习，学习低分辨率图像的深层次特征，非线性映射层主要由两个密集特征精炼模块和一个特征精炼模块构成，具体表示为：
[0080][0081][0082][0083]
f
n
表示上述特征图经过非线性映射层得到的输出结果，和分别表示第一个密集特征增强模块和第二个密集特征精炼模块的输出特征图，cat(
·
)表示对特征图对通道维度上叠加，dfrb(
·
)和frb(
·
)分别表示密集特征精炼模块和特征精炼模块。
[0084]
低分辨率图像经过特征提取部分和非线性映射部分的充分学习，最终传递到，重建模块由以下步骤组成：
[0085]
i
sr
＝
↑
(i
lr
) pxielshuffle(conv(f
n
))
ꢀꢀꢀ
(13)
[0086]
其中，i
sr
表示超分辨率重建后的高分辨率图像，pxielshuffie(
·
)操作表示对特征图进行上采样至目标分辨率，
↑
(
·
)操作表示对低分辨率图像进行双线性插值至目标分辨率，通常低分辨率图像和高分辨率图像它们的低频信息是相似的，不同点在于高分辨率图像的高频细节比较多，引入双线性插值的方法是为了让整个网络去学习低分辨率图像所缺失的高频细节，有利于网络的收敛和重建效果。
[0087]
5、损失函数
[0088]
根据网络模型的要求，采用了两个损失函数进行训练，表示为：
[0089][0090][0091]
其中，先使用loss1将网络训练到收敛，然后再采取loss2对网络进行微调，从而获得最终的网络模型。
[0092]
本实施例实现过程如下：
[0093]
步骤1：获取清晰干净的高分辨率图像和低分辨率图像的成对图像，对数据进行切块和清洗，并对数据进行增强，构建图像数据集。所述数据清洗包括计算图像对比度与方差，剔除一些不要的图像，数据增强包括对图像进行旋转和翻转操作。
[0094]
步骤2：构建密集特征精炼模块和特征精炼模块。
[0095]
步骤3：构建超分辨率网络模型以及训练该模型。
[0096]
模型训练方式分为两个阶段，第一阶段使用loss1将模型训练到收敛，第二阶段使
用loss2对网络模型进行微调，从而获得最终的网络模型权重。上述模型训练采用余弦退火策略，第一阶段的初始学习率设置为1e
‑3，最低的学习率设置为1e
‑7，训练50万次迭代，学习率最大衰减一次。第二阶段的初始学习率设置为1e
‑4，最低的学习率设置为1e
‑8，训练20万次迭代，学习率最大衰减一次。通过两个阶段的训练，从而得到最终的模型。
[0097]
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
[0098]
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于单张图像超分辨率的轻量级网络模型及处理方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。