一种极轻量的图像超分辨率重建方法与流程

1.本发明涉及计算机视觉领域，尤其涉及一种极轻量的图像超分辨率重建方法。


背景技术：

2.单幅图像超分辨率旨在从低分辨率输入中重建出高分辨率图像，但由于一张确定的低分辨率图像可以由多种高分辨率图像退化而成，导致了任务的不确定性和高难度。为了更好地解决这个问题，许多基于卷积神经网络的方法出现并取代了之前的传统方法，得到了很好的结果。但是，这些方法往往拥有大量的参数量和昂贵的计算消耗，因此轻量超分网络被进一步提出和研究。
3.早期的轻量超分网络仅仅采用20层来进行特征提取，但是其效果仅仅比传统方法好上一点。接着循环结构被引入轻量超分，虽然其大幅度削减了模型部署的大小，它的计算量得到了几何倍数的增长。不久后可记忆网络架构被引入超分，一定程度上解决了参数量和计算量失衡的问题。后来，一种非常有效的蒸馏网络架构被提出，该方法经历了好几个版本的更迭和优化，证明了其自身的优越性并达到当时最好的性能。最近，神经网络结构搜索也被应用于轻量超分领域，对手工设计的网络架构进行自适应修正，使之得到了不错的提升。
4.但是，目前的方法都没有考虑到多尺度感受野信息融合对轻量超分的重要性，以及忽略了网络传输过程中浅层信息逐渐损失的现象，并且采用传统低效的卷积特征提取算子，这些因素大大限制了网络的表达能力和网络的轻量化。
5.除此之外，注意力机制在轻量超分任务中也占据着重要的地位，以往的注意力机制仅仅结合了空间信息和通道信息，或者仅仅结合了通道信息和二阶信息，并没有哪一种方法充分利用三种信息，这是不足够的。
6.特别地，non－local是一种特殊的自注意力机制，它充分利用了图像的先验信息，计算成对点之间的相似性并根据该相似权重图对输入特征进行修正。虽然该机制非常适用于超分任务，其巨额计算量限制了它的应用，即使存在数种方法对其进行简化，它对于轻量超分来说仍是不可接受的。


技术实现要素：

7.本发明针对现有技术中存在的技术问题，提供一种极轻量的图像超分辨率重建方法，其目的在于解决现有技术并不够轻量高效的问题。
8.根据本发明的第一方面，提供了一种极轻量的图像超分辨率重建方法，包括：步骤1，构建密集特征融合神经网络模型的骨架，所述神经网络模型的骨架包括依次层级连接的多个特征提取模块和一个注意力模块；
9.步骤2，基于蒸馏网络机制，将所述特征提取模块设计为多尺度感受野特征融合架构；
10.步骤3，在所述神经网络模型的骨架中添加基于哈希映射的极简non－local模块，
通过所述non－local模块通融合所述神经网络模型的各个网络层次所包含的特征信息；
11.步骤4，融合通道注意力信息、空间注意力信息和二阶注意力信息后得到所述注意力模块。
12.在上述技术方案的基础上，本发明还可以作出如下改进。
13.可选的，所述步骤1包括：
14.融合每个所述特征提取模块前后的特征作为该特征提取模块的最终输出；
15.融合所有所述特征提取模块的特征并通过所述注意力模块对该特征进行修正。
16.可选的，融合层级连接的各个所述特征提取模块前后的特征的过程包括：
17.各个所述特征提取模块的后方设置一条线将紧邻的前层特征提取模块的特征传递过来并进行通道级联，通过一个1
×
1卷积和激活函数进行特征融合；
18.将每个所述特征提取模块得到的不同深度的特征通过下方的信息通道传输出来并进行通道级联和特征融合。
19.可选的，所述特征提取模块包括：多个特征提取支路和对应的蒸馏支路，各个特征提取支路上设置有特征提取子单元，所述蒸馏支路由1
×
1卷积构成；
20.所述步骤2中设计多尺度感受野特征融合架构的方法包括：
21.将各个所述特征提取子单元感受野设置为不同的大小；
22.各个所述蒸馏支路分别对不同感受野大小的特征进行蒸馏并融合；
23.对融合信息进行注意力修正和残差修正。
24.可选的，所述特征提取子单元对特征进行提取的过程包括：
25.结合特征复用对输入特征进行超轻量通道升维；
26.对升维后的输入特征进行特征融合筛选后降维到输入特征大小；
27.对输出特征进行修正。
28.可选的，所述步骤3中所述non－local模块的构建过程包括：
29.基于可学习的哈希映射对像素进行相似性聚类；
30.针对聚类好的相似点进行再排序以进行并行加速点相似权重计算；
31.对相似度计算支路和特征变换支路进行通道衰减。
32.可选的，所述步骤4中得到所述注意力模块的过程包括：
33.分别对x方向和y方向做通道注意力计算并融合；
34.进行所述通道注意力计算时融合二阶信息。
35.可选的，计算x方向和y方向的通道注意力的过程包括：通过通道级联和共同卷积层进行信息融合后，再次分离分别进行不同方向特征编码，进行点乘得到注意力分布图。
36.可选的，进行通道注意力计算时融合二阶信息的方法包括：在使用通道一阶信息平均值的基础上增加通道二阶信息方差。
37.本发明提供的一种极轻量的图像超分辨率重建方法，通过构建密集特征融合神经网络骨架，有效地缓解了浅层信息损失的问题；本发明基于蒸馏网络机制，设计了多尺度感受野特征融合架构，能提取到更为丰富多样的特征；本发明针对特征提取子单元，采用更加高效轻量的特征提取模块，大大提高整个网络的效率；本发明设计了基于哈希映射的极简non－local模块，以非常小的代价深度发掘点与点之间的相关性；另外，本发明巧妙融合空间信息，通道信息和二阶信息，得到了性能更佳的注意力模块。本发明提出的方法参数量
少，计算量小，精度高，超越了目前800k以下的所有图像超分辨率重建方法。
附图说明
38.图1为本发明提供的一种极轻量的图像超分辨率重建的流程图；
39.图2为本发明实施例提供的一种密集特征融合神经网络骨架示意图；
40.图3为本发明实施例提供的一种基于蒸馏网络机制的多尺度感受野特征融合架构示意图；
41.图4所示为本发明实施例提供的一种更加高效轻量的特征提取子单元示意图；
42.图5为本发明实施例提供的一种基于哈希映射的极简non－local模块的结构示意图；
43.图6为本发明实施例提供的一种融合空间信息、通道信息和二阶信息的注意力模块的主架构示意图；
44.图7为本发明实施例提供的一种融合空间信息、通道信息和二阶信息的注意力模块中contrast模块的结构示意图；
45.图8为本发明实施例提供的一种图像超分辨率重建在urban100＿x4数据集上与现有技术对比的部分结果示意图。
具体实施方式
46.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
47.图1为本发明提供的一种极轻量的图像超分辨率重建方法的流程图，如图1所示，该图像超分辨率重建方法包括：
48.步骤1，构建密集特征融合神经网络模型的骨架，神经网络模型的骨架包括依次层级连接的多个特征提取模块和一个注意力模块。
49.步骤2，基于蒸馏网络机制，将特征提取模块设计为多尺度感受野特征融合架构。
50.步骤3，在神经网络模型的骨架中添加基于哈希映射的极简non－local模块，通过non－local模块通融合神经网络模型的各个网络层次所包含的特征信息。
51.步骤4，融合通道注意力信息、空间注意力信息和二阶注意力信息后得到性能更佳的注意力模块。
52.本发明提供的一种极轻量的图像超分辨率重建方法，首先构建一个密集特征融合神经网络骨架，该骨架可以有效缓解浅层信息损失的问题并充分利用不同深度的信息；接着基于蒸馏网络机制，设计多尺度感受野特征融合架构作为主特征提取模块，这种结构可以有效地提取到更为丰富多样的特征，而不是彼此类似的冗余特征；然后针对特征提取子单元，采用更加高效轻量的特征提取模块，在节省大量参数和计算量的前提下提升网络的性能；与此同时，设计了一种基于哈希映射的极简non－local模块，该模块即插即用并能够以非常小的参数量和计算量捕捉到图像长距离依赖；最后，融合空间信息，通道信息和二阶信息得到性能更佳的注意力模块，使得网络更加鲁棒。
53.实施例1
54.本发明提供的实施例1为本发明提供的一种极轻量的图像超分辨率重建方法的实
施例，结合图1可知，该图像超分辨率重建方法的实施例包括：
55.步骤1，构建密集特征融合神经网络模型的骨架，神经网络模型的骨架包括依次层级连接的多个特征提取模块和一个注意力模块。
56.在一种可能的实施例方式中，步骤1包括：
57.步骤11，融合每个特征提取模块前后的特征作为该特征提取模块的最终输出。
58.步骤12，融合所有特征提取模块的特征并通过注意力模块对该特征进行修正。
59.在一种可能的实施例方式中，融合层级连接的各个特征提取模块前后的特征的过程包括：
60.具体实施中，如图2所示为本发明实施例提供的一种密集特征融合神经网络骨架示意图，结合图1和图2可知，各个特征提取模块(mrfb)的后方设置一条线将紧邻的前层特征提取模块的特征传递过来并进行通道级联，而后通过一个1
×
1卷积和激活函数(细长窄条，后续图片同理，不再赘述)进行特征融合；通过这样层层传递和融合的方式，保证了浅层信息的稳定性，使得浅层信息在网络运行的过程中不会随着网络的加深而逐渐损失，这对超分辨率细节的重建是非常重要的。
61.另外，将每个特征提取模块(mrfb)得到的不同深度的特征通过下方的信息通道传输出来并进行通道级联和特征融合，该操作使得不同深度的信息得到充分地利用，能充分利用不同深度的信息并且对其进行注意力调整，能够大幅提升网络的鲁棒性。
62.最后在融合层后加上一个注意力模块(soca)对该特征进行修正，加强网络的学习能力。
63.步骤2，基于蒸馏网络机制，将特征提取模块设计为多尺度感受野特征融合架构。
64.在一种可能的实施例方式中，特征提取模块包括：多个特征提取支路和对应的蒸馏支路，各个特征提取支路上设置有特征提取子单元，蒸馏支路由1
×
1卷积构成。
65.步骤2中设计多尺度感受野特征融合架构的方法包括：
66.步骤21，将各个特征提取子单元感受野设置为不同的大小。
67.步骤22，各个蒸馏支路分别对不同感受野大小的特征进行蒸馏并融合。
68.步骤23，对融合信息进行注意力修正和残差修正。
69.具体实施中，如图3所示为本发明实施例提供的一种基于蒸馏网络机制的多尺度感受野特征融合架构示意图，结合图1－图3可知，图3给出的实施例中，下方从左往右的四个1
×
1卷积构成蒸馏支路，上方的三个特征提取子单元(frgb)层级串联构成各个特征提取支路，frgb－3代表该子单元提取的是感受野为3
×
3的特征信息，frgb－5和frgb－7依次类推。
70.当输入进入该特征提取支路后，由于经过了提取不同大小感受野的三个frgb模块，分别可以得到感受野为1
×
1(原输入)，3
×
3，5
×
5和7
×
7的特征信息，通过将特征提取支路的特征提取子单元感受野设置为不同的大小，可以得到具有不同感受野的特征信息，这些信息之间的信息差异度和空间特异性会比具有相同感受野的特征信息大得多，因此不存在过多的信息冗余。此时，再通过蒸馏支路分别对不同感受野大小的特征进行蒸馏并融合，可以有效地提取到更为丰富多样的特征，而不是彼此类似的冗余特征，这可以大大提高网络的性能。最后，对融合信息进行注意力修正(soca)和残差修正，使得网络更加稳定和容易学习，同时与输入信息做残差加速网络的收敛。
71.在一种可能的实施例方式中，特征提取子单元对特征进行提取的过程包括：
72.步骤31，结合特征复用对输入特征进行超轻量通道升维。
73.步骤32，对升维后的输入特征进行特征融合筛选后降维到输入特征大小。
74.步骤33，对输出特征进行适应性修正。
75.针对特征提取子单元，采用更加高效轻量的特征提取模块。具体地，如图4所示为本发明实施例提供的一种更加高效轻量的特征提取子单元示意图，先将输入i输入一个pointwise(pwise)卷积得到一个与输入通道数相同的特征f1，接着将特征f1输入一个depthwise(dwise)卷积得到一个与输入通道数相同的特征f2，同时对输入采用特征复用，直接将特征f1、特征f2和i通道级联，得到了一个通道数为原来三倍大小的特征，这部分操作被称之为超轻量通道升维，可以将特征通道信息容纳能力显著提升。通过结合特征复用对输入特征进行超轻量通道升维，相比于直接采用1
×
1卷积对输入进行通道升维，节省了大量的参数量和计算量的前提下将特征通道信息容纳能力显著提升。而后再通过一个pwise卷积和dwise卷积在增广后的升维特征内部进行特征融合和筛选，挑出超分任务最需要的信息，同时将高维度特征降维到原输入大小。这两个操作对原本的bottleneck思想做了进一步的改进，是网络轻量化和高效的关键之一。最后，为了降低dwise卷积带来的边缘效应，引入shuffle操作对特征进行再排序。根据所采用的具体特征提取子单元结构对输出特征进行适应性修正。
76.步骤3，在神经网络模型的骨架中添加基于哈希映射的极简non－local模块，通过non－local模块通融合神经网络模型的各个网络层次所包含的特征信息。
77.在一种可能的实施例方式中，步骤3中non－local模块的构建过程包括：
78.步骤41，基于可学习的哈希映射对像素进行相似性聚类。
79.步骤42，针对聚类好的相似点进行再排序以进行并行加速点相似权重计算。
80.步骤43，对相似度计算支路和特征变换支路进行通道衰减，减少计算量。
81.具体地，如图5所示为本发明实施例提供的一种基于哈希映射的极简non－local模块的结构示意图，图5中上方支路为相似度计算支路，下方支路为特征变换支路。本发明提供的一种基于哈希映射的极简non－local模块与传统non－local不同的是，不再计算某点与图片上所有点的相似度，而是首先通过哈希映射对像素进行相似性聚类，在聚类内部计算点与点之间的相似性，该方法能在几乎不降低精度的前提下大幅度降低non－local模块的复杂度。然而，现有技术中的哈希映射方法采用的是多次随机映射后加权取平均，因此进一步将哈希映射函数设置成可学习的，只需要一次映射即可得到较好的聚类结果，在提升性能的同时成倍降低计算量，这就是learnable s－lsh模块的作用。在得到聚类结果后，为了使用gpu对计算进行并行加速，引入聚类排序和切片操作，使得数据结构规整化。此外，针对相似度计算支路特征信息冗余问题，直接增大其通道衰减；针对特征变换支路计算量太大的问题，首先使用一个pointwise(pwise)卷积进行通道衰减，然后使用一个depthwise(dwise)卷积和通道级联进行通道恢复，做到了模型大小和性能的较好平衡。总体上，本发明以非常小的代价深度发掘了点与点之间的相关性，大大提升了超分效果。
82.步骤4，融合通道注意力信息、空间注意力信息和二阶注意力信息后得到性能更佳的注意力模块。
83.在一种可能的实施例方式中，步骤4中得到注意力模块的过程包括：
84.步骤51，分别对x方向和y方向做通道注意力计算并融合。
85.步骤52，进行通道注意力计算时融合二阶信息。
86.在一种可能的实施例方式中，计算x方向和y方向的通道注意力的过程包括：通过通道级联和共同卷积层进行信息融合后，再次分离分别进行不同方向特征编码，进行点乘得到注意力分布图。
87.在一种可能的实施例方式中，进行通道注意力计算时融合二阶信息的方法包括：在使用通道一阶信息平均值(avg)的基础上增加通道二阶信息方差(stv)。
88.图6是本发明实施例提供的一种融合空间信息、通道信息和二阶信息的注意力模块的主架构示意图，图7是本发明实施例提供的一种融合空间信息、通道信息和二阶信息的注意力模块中contrast模块的结构示意图，结合图6和图7可知，图6给出的注意力模块的主架构的实施例中，注意力模块主架构可以分为上下两个部分，上方处理的是y方向的通道注意力，下方处理的是x方向的通道注意力，并且两者通过通道级联和共同卷积层进行信息融合，而后再次分离分别进行不同方向特征编码，最后进行点乘得到注意力分布图。通过分别处理x方向和y方向的通道信息并巧妙融合，该架构能够深层次地将通道注意力信息和空间注意力信息结合到一起。图7给出的注意力模块的主架构的contrast模块的实施例中，该模块在使用通道一阶信息平均值(avg)的基础上增添了通道二阶信息方差(stv)，此操作通过将通道注意力信息和二阶注意力信息结合到一起，更加有益于网络对图像边缘的重建。基于上述两种融合方式，将通道注意力信息，空间注意力信息和二阶注意力信息三者巧妙地融合到了一起，得到了更好的性能。
89.实施例2
90.本发明提供的实施例2为本发明提供的一种极轻量的图像超分辨率重建方法的具体应用实施例，图8是本发明实施例提供的一种图像超分辨率重建在urban100＿x4数据集上与现有技术对比的部分结果示意图。
91.为了证明采用本发明提供的一种极轻量的图像超分辨率重建方法所得的超分辨率图像的超分效果，分别采用本发明所提供的方法、以及现有的bicubic算法、srcnn算法、fsrcnn算法、vdsr算法、drcn算法、lapsrn算法、drrn算法、memnet算法、carn算法、carn－m算法、idn算法、esrn－v算法、imdn算法、rfdn算法、rfdn＿l算法，在图像超分辨率五个标准数据集set5、set14、b100、urban100、manga109上进行x2，x3，x4超分实验，得到的结果如下表所示：
[0092][0093][0094]
其中，评估指标分别为psnr(峰值信噪比)和ssim(结构相似性)，这两个值越高，表示所得高分辨率图像与原始真实图像的细节和结果越相似，超分效果越好。
‘
’号表示在测
试过程中采用了自相似策略，加粗表示该结果为最好结果，下划线表示该结果为次好结果。由上表可以看出本发明所提出的方法与其他各轻量超分算法相比，不仅参数量和计算量几乎最低，模型复杂度最小，而且在不同标准数据集上，psnr与ssim的得分均最高，超分效果最好。
[0095]
同时，还可以从可视化结果验证本发明的优越性。
[0096]
具体地，如图8所示，本发明在随机选取的图片上都有最佳的超分重建效果。从
‘
img005’和
‘
img008’可以看到本发明在复杂场景下可以还原更多的图像细节；从
‘
img012’和
‘
img062’可以看到本发明可以更好地修复图像的栅格网状结构，无论是在方向上还是纹理上。这些可视化结果进一步显示了本发明的有效性。
[0097]
本发明实施例提供的一种极轻量的图像超分辨率重建方法，其通过构建密集特征融合神经网络骨架，有效地缓解了浅层信息损失的问题；本发明基于蒸馏网络机制，设计了多尺度感受野特征融合架构，能提取到更为丰富多样的特征；本发明针对特征提取子单元，采用更加高效轻量的特征提取模块，大大提高整个网络的效率；本发明设计了基于哈希映射的极简non－local模块，以非常小的代价深度发掘点与点之间的相关性；另外，本发明巧妙融合空间信息，通道信息和二阶信息，得到了性能更佳的注意力模块。本发明提出的方法参数量少，计算量小，精度高，超越了目前800k以下的所有图像超分辨率重建方法。
[0098]
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
[0099]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0100]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0101]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0102]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0103]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选
实施例以及落入本发明范围的所有变更和修改。
[0104]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。