图像重构方法、装置、计算机设备和存储介质与流程

1.本技术涉及人工智能技术领域，特别是涉及一种图像重构方法、装置、计算机设备和存储介质。


背景技术：

2.单幅图像超分辨率重构是指将给定的低分辨率图像经过特定的算法恢复成相应高分辨率图像，即从给定的低分辨率图像中重构出高分辨率图像的过程。
3.由于图像的分辨率越高，其提供的图像信息越丰富，因此，单幅图像超分辨率重构便于后续的计算机视觉处理任务以及决策的制定，并广泛应用于图像增强、视频监督、人脸识别等领域。
4.故而，单幅图像超分辨率的重构是本领域人员的重点研究内容。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种不但能够重构出更高分辨率的图像，而且能够保证重构出的更高分辨率的图像的质量的图像重构方法、装置、计算机设备和存储介质。
6.第一方面，本技术提供了一种图像重构方法。所述方法包括：
7.对初始待重构图像进行多方向递归算法处理得到目标图像；
8.将该目标图像输入图像重构模型中的注意力模型得到注意力权重图；
9.将该初始待重构图像输入该图像重构模型中的特征提取模型得到目标特征图；
10.根据该目标特征图和该注意力权重图，得到重构图像，其中，该重构图像的分辨率大于该初始待重构图像的分辨率。
11.第二方面，本技术还提供了一种图像重构装置。所述装置包括：
12.处理模块，用于对初始待重构图像进行多方向递归算法处理得到目标图像；
13.获得模块，用于将该目标图像输入图像重构模型中的注意力模型得到注意力权重图；
14.特征提取模块，用于将该初始待重构图像输入该图像重构模型中的特征提取模型得到目标特征图；
15.重构模块，用于根据该目标特征图和该注意力权重图，得到重构图像，其中，该重构图像的分辨率大于该初始待重构图像的分辨率。
16.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一方法的步骤。
17.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法的步骤。
18.第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算
机程序，该计算机程序被处理器执行时实现上述任一方法的步骤。
19.上述图像重构方法、装置、计算机设备和存储介质，首先对初始待重构图像进行多方向递归算法处理得到目标图像，并将目标图像输入图像重构模型中的注意力模型得到注意力权重图，然后将初始待重构图像输入图像重构模型中的特征提取模型得到目标特征图，从而根据目标特征图和注意力权重图，得到重构图像。由于进行了多方向递归算法，使目标图像中的每一个像素点都包括其多个方向上的信息，因此，目标图像中的各像素点的信息更丰富，进而根据包括丰富信息的目标图像确定的注意力权重图中各像素点的注意力权重更准确。进一步地，由于注意力权重图更准确，因此，初始待重构图像中需要关注的细节内容的权重会更大，因此计算机设备根据目标特征图和准确的注意力权重图得到的重构图像的细节会比初始待重构图像中的细节更加准确且丰富。因此，本技术提供的图像重构方法能够对初始待重构图像的分辨率进行重构，重构图像的分辨率不仅大于初始待重构图像的分辨率，重构图像的质量也会比初始待重构图像更好。
附图说明
20.图1为本技术实施例中图像重构方法的应用环境图；
21.图2为本技术实施例中图像重构方法的流程示意图；
22.图3为本技术实施例中一种得到目标特征图的流程示意图；
23.图4为本技术实施例中一种得到第一特征图的流程示意图；
24.图5为本技术实施例中另一种得到目标特征图的流程示意图；
25.图6为本技术实施例中图像重构模型的示意图；
26.图7为本技术实施例中一种得到图像重构模型的流程示意图；
27.图8为本技术实施例中一种训练初始图像重构模型的流程示意图；
28.图9为本技术实施例中图像重构原理的示意图；
29.图10为本技术实施例中图像重构装置的结构框图。
具体实施方式
30.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
31.图1为本技术实施例中图像重构方法的应用环境图，本技术实施例提供的图像重构方法，可以应用于如图1所示的应用环境中。图1为在本技术实施例中计算机设备的内部结构图。在本技术实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像重构方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该
计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
32.本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
33.本领域技术人员可以理解，图1中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
34.图2为本技术实施例中图像重构方法的流程示意图，该方法可以应用于图1所示的计算机设备中，在一个实施例中，如图2所示，包括以下步骤：
35.s201，对初始待重构图像进行多方向递归算法处理得到目标图像。
36.在本实施例中，计算机设备首先获取到初始待重构图像。可以理解的是，初始待重构图像是指需要经过重构，以重建出高分辨率的图像。计算机设备可以通过接收其他设备，例如用户终端发送的初始待重构图像，也可以从存储中获取初始待重构图像。初始待重构图像的格式可以是jpg等图像格式，也可以是多张初始待重构图像构成的zip等压缩包格式，本实施例不做限制。
37.计算机设备获取初始待重构图像后会对初始待重构图像进行多方向递归算法处理得到目标图像。具体地，每张初始待重构图像都具有自身的图像分辨率，因此，计算机设备能够确定待重构图像的初始特征图，例如，计算机设备确定三行三列的初始特征图，初始特征图中的各位置都有对应的数值，例如第3行第3列的数值是255。其中，初始特征图中的各位置可以理解为初始待重构图像的各个像素。
38.进一步地，计算机设备获取到初始待重构图像的初始特征图后，会对初始特征图进行多方向递归算法处理。多方向包括上、下、左、右各方向中的多种方向。多方向递归算法处理是对初始特征图中每个位置的数值进行多方向递归，得到递归特征图，从而使得各位置都包括其多个方向上的所有信息。计算机设备对初始待重构图像进行多方向递归算法处理后，就得到了目标图像。其中，目标图像包括递归特征图。
39.对初始特征图进行多方向递归算法处理的一种可以实现的方式是：本技术对初始特征图进行四方向递归算法处理。以下结合举例对四方向递归算法进行说明。例如计算机设备确定3行3列的初始特征图，则计算机设备根据四方向递归算法处理后会更新初始特征图上各位置的数值。例如，对于第2行第2列，其上下左右四个方向都只需要计算一个位置的数值，因此更新后的数值是α1(1,2) α2(3,2) α3(2,1) α4(2,3) α4(2,2)。而对于第1行第1列，左方向和上方向不需要进行计算，而下右方向和下方向需要均需要计算两个位置的数值，因此更新后的数值是α5(1,2) α6(1,3) α7(2,1) α8(3,1) α9(1,1)。
40.其中，α1～α9表示各位置的参数，可以根据实际的需要设置，本实施例不做限制。(1,2)表示第1行第2列的位置的数值，其他同理。
41.可以理解的是，计算机设备对初始特征图进行四方向递归算法处理后，递归特征图较初始特征图而言，行列并不会变化，只是各个位置的数值发生了变化，进而初始待重构图像中单一像素点在上、下、左、右四个方向的进行了信息融合，从而目标图像中的每一个
像素点都将包含初始待重构图像的全局信息。
42.s202，将目标图像输入图像重构模型中的注意力模型得到注意力权重图。
43.在本实施例中，计算机设备将目标图像输入图像重构模型中的注意力模型得到注意力权重图。由于目标图像包括递归特征图，因此，将目标图像输入图像重构模型中的注意力模型后，计算机设备会对目标图像中的递归特征图进行卷积操作，从而得到目标图像的注意力权重图map(w,h)。
44.将目标图像输入图像重构模型中的注意力模型得到注意力权重图的实现方式可以为对目标图像进行卷积操作，从而得到目标图像的注意力权重图。例如，计算机设备按照如下式(1)对递归特征图m进行卷积操作。
45.map(w,h)＝softmax(conv(m；θ)；β)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
46.其中，map(w,h)表示宽度w高度h的目标图像的注意力权重图，conv(；θ)表示卷积操作，θ表示卷积参数，softmax(；β)表示激活函数，β表示线性激活函数参数。卷积参数包括卷积核和步长，本技术中卷积核设置为3
×
3，步长设置为1。
47.具体地，继续以3行3列的初始特征图为例，初始特征图经过四方向递归算法后得到3行3列的递归特征图，递归特征图经过式(1)的卷积操作后，得到3行3列的注意力权重图map(w,h)。其中，注意力权重图各位置的数值均是大于等于0小于等于1的数。也就是说，对递归特征图经过式(1)的卷积操作后，递归特征图中各位置的数值均被映射在[0,1]之间。可以理解的是，注意力权重图中权重越高，表示该位置的图像信息更重要，该位置的图像细节会更丰富。
[0048]
s203，将初始待重构图像输入图像重构模型中的特征提取模型得到目标特征图。
[0049]
在本实施例中，计算机设备还需要将初始待重构图像输入图像重构模型中的特征提取模型，从而得到目标特征图。一种可以实现的方式是，特征提取模型会对初始待重构图像进行一次下采样，得到初始待重构图像的1/2尺度的特征图，然后特征提取模型会对初始待重构图像的1/2尺度的特征图再进行一次上采样，得到与初始待重构图像同尺度的特征图，计算机设备将与初始待重构图像同尺度的特征图和初始待重构图像进行融合，得到目标特征图当然，计算机设备也可以采用其他方式得到目标特征图本实施例不做限制。需要注意的是，目标特征图的尺度等于初始待重构图像的尺度。
[0050]
s204，根据目标特征图和注意力权重图，得到重构图像，其中，重构图像的分辨率大于初始待重构图像的分辨率。
[0051]
在本实施例中，计算机设备根据目标特征图和注意力权重图map(w,h)，得到重构图像。一种可以实现的方式是，计算机设备将目标特征图和注意力权重图map(w,h)进行相乘，得到加权后的目标特征图fi，即然后计算机设备对加权后的目标特征图fi进行卷积操作，从而得到重构图像i
*
。
[0052]
具体地，计算机设备按照如下式(2)对加权后的目标特征图进行卷积操作。
[0053][0054]
其中，conv(；θ)表示卷积操作，θ表示卷积参数，表示线性激活函数，β表示线性激活函数参数。卷积参数包括卷积核和步长，本技术中卷积核设置为3
×
3，步长设置为
1。
[0055]
本技术实施例提供的图像重构方法，首先对初始待重构图像进行多方向递归算法处理得到目标图像，并将目标图像输入图像重构模型中的注意力模型得到注意力权重图，然后将初始待重构图像输入图像重构模型中的特征提取模型得到目标特征图，从而根据目标特征图和注意力权重图，得到重构图像。由于进行了多方向递归算法，使目标图像中的每一个像素点都包括其多个方向上的信息，因此，目标图像中的各像素点的信息更丰富，进而根据包括丰富信息的目标图像确定的注意力权重图中各像素点的注意力权重更准确。进一步地，由于注意力权重图更准确，因此，初始待重构图像中需要关注的细节内容的权重会更大，因此计算机设备根据目标特征图和准确的注意力权重图得到的重构图像的细节会比初始待重构图像中的细节更加准确且丰富。因此，本技术提供的图像重构方法能够对初始待重构图像的分辨率进行重构，重构图像的分辨率不仅大于初始待重构图像的分辨率，重构图像的质量也会比初始待重构图像更好。
[0056]
图3为本技术实施例中一种得到目标特征图的流程示意图，参照图3，本实施例涉及的是如何将初始待重构图像输入图像重构模型中的特征提取模型得到目标特征图的一种可选的实现方式。在上述实施例的基础上，上述的s203包括如下步骤：
[0057]
s301，将初始待重构图像输入下采样网络，得到第一尺度的第一特征图。
[0058]
在本实施例中，特征提取模型包括下采样网络和上采样网络。首先，计算机设备将初始待重构图像输入下采样网络，得到第一尺度的第一特征图。一种可以实现的方式是，计算机设备将初始待重构图像输入下采样网络后，下采样网络对目标图像进行一次下采样，从而得到初始待重构图像的1/2尺度的第一特征图。
[0059]
s302，根据第一特征图和上采样网络，得到目标特征图，其中，目标特征图的尺度等于初始待重构图像的尺度。
[0060]
在本实施例中，计算机设备根据第一特征图和上采样网络，得到目标特征图。一种可以实现的方式是，计算机设备将第一特征图输入上采样网络，从而上采样网络对第一特征图进行一次上采样，得到第一特征图的2倍尺度的特征图，也就是说，上采样网络对第一特征图进行一次上采样后，得到了和初始待重构图像同尺寸的特征图。然后，计算机设备将初始待重构图像和对第一特征图进行一次上采样后得到的特征图进行融合处理，得到目标特征图。可以理解的是，目标特征图的尺度等于初始待重构图像的尺度。
[0061]
本实施例将初始待重构图像输入下采样网络，得到第一尺度的第一特征图，然后根据第一特征图和上采样网络，得到等于初始待重构图像尺度的目标特征图，进而根据目标特征图和注意力权重图就能够得到同尺度的重构图像。而由于意力权重图包括目标图像的各个像素点的注意力权重，因此根据目标特征图和准确的注意力权重图得到的重构图像的细节会比初始待重构图像中的细节更加准确且丰富。
[0062]
图4为本技术实施例中一种得到第一特征图的流程示意图，参照图4，本实施例涉及的是如何将目标图像输入下采样网络，得到第一尺度的第一特征图的一种可选的实现方式。在上述实施例的基础上，上述的s301包括如下步骤：
[0063]
s401，将初始待重构图像输入下采样网络，以由各下采样模块根据初始待重构图像进行下采样处理，得到各下采样模块输出的第二尺度的第二特征图。
[0064]
在本实施例中，下采样网络包括多个级联连接的下采样模块，下采样模块包括第
一特征提取层和与第一特征提取层连接的下采样层。
[0065]
此处以下采样网络包括3个下采样模块为例进行说明。计算机设备将初始待重构图像输入下采样网络后，下采样网络中的第一个下采样模块对初始待重构图像进行下采样处理，得到第一个下采样模块输出的初始待重构图像的尺度的1/2的第二特征图。由于下采样模块级联，第一个下采样模块的输出端连接第二个下采样模块的输入端，因此，第二个下采样模块对初始待重构图像的尺度的1/2的第二特征图再进行下采样处理，得到第二个下采样模块输出的初始待重构图像的尺度的1/4的第二特征图。同理，第三个下采样模块对初始待重构图像的尺度的1/4的第二特征图再一次进行下采样处理，得到第三个下采样模块输出的初始待重构图像的尺度的1/8的第二特征图。
[0066]
可以理解的是，每一次下采样处理都会缩小一半的尺度。第二尺度的第二特征图包括初始待重构图像的尺度的1/2的第二特征图、初始待重构图像的尺度的1/4的第二特征图、初始待重构图像的尺度的1/8的第二特征图。
[0067]
s402，根据最后一个下采样模块输出的第二尺度的第二特征图，得到第一尺度的第一特征图，其中，最后一个下采样模块输出的第二特征图的第二尺度等于第一尺度。
[0068]
在本实施例中，计算机设备可以直接将第三个下采样模块输出的初始待重构图像的尺度的1/8的第二特征图作为第一尺度的第一特征图。计算机设备也可以对第三个下采样模块输出的初始待重构图像的尺度的1/8的第二特征图进行卷积操作后，将第二特征图卷积操作后得到的特征图作为第一尺度的第一特征图。本实施例不做限制。需要注意的是，最后一个下采样模块输出的第二特征图的第二尺度等于第一尺度。
[0069]
本实施例将初始待重构图像输入下采样网络，以由各下采样模块根据初始待重构图像进行下采样处理，得到各下采样模块输出的第二尺度的第二特征图，然后根据最后一个下采样模块输出的第二尺度的第二特征图，得到第一尺度的第一特征图，进而计算机设备能够确定目标特征图，从而得到质量较好的重构图像。
[0070]
图5为本技术实施例中另一种得到目标特征图的流程示意图，参照图5，本实施例涉及的是如何根据第一特征图和上采样网络得到目标特征图的一种可选的实现方式。在上述实施例的基础上，上述的s302包括如下步骤：
[0071]
s501，将第一特征图输入上采样网络，以由各上采样模块根据第一特征图进行上采样处理，得到各上采样模块输出的第三尺度的第三特征图。
[0072]
在本实施例中，上采样网络包括多个上采样模块，上采样模块包括上采样层和与上采样层连接的融合层，各上采样模块对应一个下采样模块。此处仍以3个下采样模块为例进行说明，则上采样网络也包括3个上采样模块。
[0073]
计算机设备将s402得到的第一特征图输入上采样网络后，由各上采样模块根据第一特征图进行上采样处理。例如，第一个上采样模块对输入的第一特征图进行上采样处理，得到初始待重构图像的尺度的1/4的第三特征图。可以理解的是，每一次下采样处理都会放大1倍的尺度。第三尺度的第三特征图包括初始待重构图像的尺度的第三特征图、初始待重构图像的尺度的1/2的第三特征图、初始待重构图像的尺度的1/4的第三特征图。
[0074]
s502，根据各第三特征图、各第二特征图、第一个下采样模块中特征提取层输出的特征图以及各上采样模块中的融合层，得到目标特征图；其中，融合层用于将对应的上采样层输出的第三特征图和与第三特征图同尺度的特征图进行融合处理，得到融合处理后的特
征图，并将融合处理后的特征图输入下一个上采样模块中上采样层。
[0075]
在本实施例中，具体地，第一个上采样模块中的上采样层对输入的第一特征图进行上采样处理，得到初始待重构图像的尺度的1/4的第二特征图后，第一个融合层将第一个上采样层输出的初始待重构图像的尺度的1/4的第三特征图，与第二个下采样模块输出的初始待重构图像的尺度的1/4的第二特征图进行融合处理，得到融合处理后的初始待重构图像的尺度的1/4的特征图。
[0076]
进一步地，计算机设备将融合处理后的初始待重构图像的尺度的1/4的特征图输入给第二个上采样模块中的上采样层，第二个上采样模块中的上采样层对融合处理后的初始待重构图像的尺度的1/4的特征图进行上采样处理，得到初始待重构图像的尺度的1/2的第三特征图。第二个融合层将第二个上采样层输出的初始待重构图像的尺度的1/2的第三特征图，与第一个下采样模块输出的初始待重构图像的尺度的1/2的第二特征图进行融合处理，得到融合处理后的初始待重构图像的尺度的1/2的特征图。
[0077]
s503，根据最后一个上采样模块输出的第三尺度的第三特征图，得到第一尺度的目标特征图。
[0078]
在本实施例中，更进一步地，上述s502后，计算机设备将融合处理后的初始待重构图像的尺度的1/2的特征图输入给第三个上采样模块中的上采样层，第二个上采样模块的对融合处理后的初始待重构图像的尺度的1/2的特征图进行上采样处理，得到初始待重构图像的尺度的第三特征图。第三个融合层将第三个上采样层输出的初始待重构图像的尺度的第三特征图，与初始待重构图像进行融合处理，得到第一尺度的目标特征图。
[0079]
为了更清楚地对本技术提供的图像重构方法进行解释，在此结合图6进行说明。图6为本技术实施例中图像重构模型的示意图。如图6所示，c表示级联，x表示相乘，/2表示下采样处理，x2表示上采样处理。图像重构模型包括注意力模型和特征提取模型。特征提取模型包括上采样网络和下采样网络。一种可以实现的方式是，net_level1～net_level4是vgg16网络的前4个块，vgg16的网络结构规整，参数量较少，易于根据需求修改，并且占用内存较少。计算机设备按照如下流程执行：
[0080]ⅰ、计算机设备获取初始待重构图像i，并对初始待重构图像进行多方向递归算法处理得到目标图像，并将目标图像输入注意力模型中，得到注意力权重图map(w,h)。
[0081]ⅱ、计算机设备将初始待重构图像i输入特征提取模型，得到目标特征图
[0082]
(1)计算机设备将初始待重构图像i输入特征提取模型中的下采样网络，从而得到第一尺度的第一特征图f
n 1
。第一特征图f
n 1
满足如下式(3)。
[0083][0084]
其中，conv(；θ)表示卷积操作，θ表示卷积参数，表示线性激活函数，β表示线性激活函数参数，ds表示下采样，ω表示下采样参数。本技术中卷积参数包括卷积核和步长，本技术中卷积核设置为3
×
3，步长设置为1，下采样参数均为2。n表示上采样模块的个数。
[0085]
具体地，请参考图6。上采样网络的下采样模块对初始待重构图像f1进行下采样处理，得到初始待重构图像的尺度的1/2的第二特征图f2，上采样网络中的下采样模块对第二特征图f2进行下采样处理，得到初始待重构图像的尺度的1/4的第二特征图f3，上采样网络
中的下采样模块对第二特征图f3进行下采样处理，得到初始待重构图像的尺度的1/8的第二特征图f4。net_level4直接将初始待重构图像的尺度的1/8的第二特征图f4，作为第一尺度的第一特征图。
[0086]
(2)根据第一特征图f
n 1
和上采样网络，得到目标特征图目标特征图满足如下式(4)。
[0087][0088]
其中，conv(；θ)表示卷积操作，θ表示卷积参数，表示线性激活函数，us表示上采样，ε表示上采样参数，concat表示级联。本技术中卷积参数包括卷积核和步长，本技术中卷积核设置为3
×
3，步长设置为1，上采样参数均为2。n表示下采样模块的个数。
[0089]
具体地，请继续参考图6。上采样网络的上采样模块中的第一个上采样层对输入的第一特征图f4进行上采样处理，得到初始待重构图像的尺度的1/4的第三特征图第一个融合层将第三特征图与第二特征图f3进行融合处理，得到融合处理后的特征图其中，第三特征图和第二特征图f3的尺度均是初始待重构图像尺度的1/4。
[0090]
进一步地，第二个上采样层获取到并对进行上采样处理，得到初始待重构图像的尺度的1/2的第三特征图。第二个融合层将初始待重构图像的尺度的1/2的第三特征图(初始待重构图像的尺度的1/2的第三特征图的尺度等于的尺度的2倍)与第二特征图f2进行融合处理，得到融合处理后的特征图其中，第二特征图f2的尺度也是初始待重构图像尺度的1/2。
[0091]
更进一步地，第三个上采样层获取到并对进行上采样处理，得到与初始待重构图像同尺度的第三特征图(该第三特征图的尺度等于的尺度的2倍)。第三个融合层将与初始待重构图像同尺度的第三特征图与f1进行融合处理，得到融合处理后的特征图计算机设备将作为目标特征图。
[0092]ⅲ、计算机设备将步骤ⅰ得到的注意力权重图map(w,h)和步骤ⅱ得到的目标特征图相乘，得到加权后的目标特征图fi，即
[0093]ⅳ、计算机设备对步骤ⅲ得到的加权后的目标特征图fi进行重构操作得到重构图像i*。具体地，计算机设备按照式(2)对加权后的目标特征图fi进行卷积操作。
[0094]
本实施例将第一特征图输入上采样网络，以由各上采样模块根据第一特征图进行上采样处理，得到各上采样模块输出的第三尺度的第三特征图，然后根据各第三特征图、各第二特征图、第一个下采样模块中特征提取层输出的特征图以及各上采样模块中的融合层，得到目标特征图，最后根据最后一个上采样模块输出的第三尺度的第三特征图，得到第一尺度的目标特征图。由于上采样模块和下采样模块输出的同尺度的特征图会进行融合处理，因此目标特征图是初始待重构图像的初始特征图经过纠正的深度图像特征，故而最终根据目标特征图和注意力权重图得到的重构图像质量更好，重构图像的细节信息更加丰富自然。
[0095]
图7为本技术实施例中一种得到图像重构模型的流程示意图，参照图7，本实施例
涉及的是如何得到图像重构模型的一种可选的实现方式。在上述实施例的基础上，上述的图像重构方法包括如下步骤：
[0096]
s701，获取第一分辨率图像样本。
[0097]
在本实施例中，计算机设备获取第一分辨率图像样本。为了能够更好地模拟现实生活中的图像，本技术中使用显著性目标检测的数据集msra10k作为第一分辨率的图像样本。例如，第一分辨率的图像样本包含10000幅图像。
[0098]
s702，对第一分辨率图像样本进行质量退化处理得到第二分辨率图像样本。
[0099]
在本实施例中，计算机设备对第一分辨率图像样本进行质量退化处理得到第二分辨率图像样本。一种可以实现的方式是，质量退化处理是高斯模糊处理。具体地，计算机设备对10000幅图像中的每一幅图像，均使用窗口尺寸为7，高斯参数为2的高斯滤波器连续操作5次，得到每一幅图像对应的5幅不同模糊程度的第二分辨率图像样本。可以理解的是，第二分辨率小于第一分辨率。
[0100]
s703，根据第一分辨率图像样本和第二分辨率图像样本，对初始图像重构模型进行训练得到图像重构模型。
[0101]
在本实施例中，计算机设备将不同模糊程度的第二分辨率图像样本与对应的第一分辨率图像样本作为一对训练样本，即计算机设备根据50000对训练样本，对初始图像重构模型进行训练得到图像重构模型。
[0102]
初始图像重构模型包括注意力模型和特征提取模型。一种可以实现的方式是，计算机设备将第二分辨率图像样本输入至初始图像重构模型，初始图像重构模型会得到一个第二分辨率图像样本对应的重构图像。进一步地，计算机设备通过比较第二分辨率图像样本对应的重构图像和第二分辨率图像样本对应的第一分辨率图像样本的差异，判断是否停止训练。例如计算机设备计算第二分辨率图像样本对应的计算重构图像的分辨率与第一分辨率图像样本的分辨率的均方误差，当均方误差小于预设均方误差时，对初始图像重构模型停止训练得到图像重构模型。
[0103]
可以理解的是，初始图像重构模型中的各网络参数是一个预设值，对初始图像重构模型训练的过程，实际上也是优化各网络参数的过程。具体地，本技术中可以通过深度监督机制与反向传播法则训练初始图像重构模型。
[0104]
本实施例通过获取第一分辨率图像样本，进而对第一分辨率图像样本进行质量退化处理得到第二分辨率图像样本，从而根据第一分辨率图像样本和第二分辨率图像样本，对初始图像重构模型进行训练得到图像重构模型。由于第二分辨率图像样本是对第一分辨率图像样本进行质量退化处理的样本，因此能够根据第一分辨率图像样本和第二图像分辨率样本对初始图像重构模型进行训练，从而使得最终的图像重构模型具有较好的性能。
[0105]
图8为本技术实施例中一种训练初始图像重构模型的流程示意图，参照图8，本实施例涉及的是如何对初始图像重构模型进行训练得到图像重构模型的一种可选的实现方式。在上述实施例的基础上，上述的s603包括如下步骤：
[0106]
s801，对第二分辨率图像样本进行多方向递归算法处理得到目标图像样本。
[0107]
在本实施例中，计算机设备首先对第二分辨率图像样本进行多方向递归算法处理得到目标图像样本。其中，s801和s201的原理和过程基本相同，在此不再赘述。
[0108]
s802，根据目标图像样本、第二分辨率图像样本以及初始图像重构模型，得到第二
分辨率图像样本的重构图像样本。
[0109]
在本实施例中，计算机设备根据目标图像样本、第二分辨率图像样本以及初始图像重构模型，得到第二分辨率图像样本的重构图像样本。具体地，计算机设备将目标图像样本输入初始图像重构模型中的注意力模型，得到注意力权重样本图。然后，计算机设备将第二分辨率图像样本输入初始图像重构模型中的特征提取模型，得到目标特征样本图。进一步地，计算机设备根据目标特征样本图和注意力权重样本图，得到重构图像样本。可以理解的是，s802的原理和过程与本技术中上述记载的技术原理和方案基本相同，在此不再赘述。
[0110]
s803，根据重构图像样本和第一分辨率图像样本，训练初始图像重构模型得到图像重构模型。
[0111]
在本实施例中通过构建联合损失函数l
ms
训练初始图像重构模型，联合损失函数l
ms
满足如下式(5)。
[0112]
l
ms
＝l
ssim
l
mse
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0113]
其中，联合损失函数l
ms
包括结构相似性损失函数l
ssim
和均方误差损失函数l
mse
。结构相似性损失函数l
ssim
是一种基于图像块级的损失，均方误差损失函数l
mse
是一种基于像素级的损失。采用包括l
ssim
和l
mse
的联合损失函数l
ms
能够较为全面的训练初始图像重构模型的性能。
[0114]
进一步地，均方误差损失函数l
mse
定义满足如下式(6)。
[0115][0116]
其中，h，w用于表示第一分辨率图像样本和重构图像样本的尺寸，w是宽度，h是高度；g，p分别表示第一分辨率图像样本和重构图像样本；(i,j)表示第一分辨率图像样本或重构图像样本中的任一空间位置。
[0117]
结构相似性损失函数l
ssim
满足如下式(7)～式(8)。
[0118][0119]
l
ssim
＝1-ssim(g,p)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0120]
其中，μg，μ
p
分别表示第一分辨率图像样本与重构图像样本的分辨率均值；c1，c2表示两个常量，用于防止除零错误，例如分别设置为0.01和0.03；σg，σ
p
表示第一分辨率图像样本与重构图像样本的分辨率方差；σ
gp
表示第一分辨率图像样本与重构图像样本的分辨率协方差。
[0121]
本实施例对第二分辨率图像样本进行多方向递归算法处理得到目标图像样本，并根据目标图像样本、第二分辨率图像样本以及初始图像重构模型，得到第二分辨率图像样本的重构图像样本，从而根据重构图像样本和第一分辨率图像样本，训练初始图像重构模型得到图像重构模型。由于本技术中根据第一分辨率图像样本和重构图像样本训练初始图像重构模型，因此得到的图像重构模型能够用于图像的重构，并且得到的重构图像质量也会更好。
[0122]
图9为本技术实施例中图像重构原理的示意图。如图9所示，本技术中对对初始待重构图像进行多方向递归算法处理得到目标图像，并将目标图像输入注意力模型得到注意
力权重图的过程实际是为了得到初始待重构图像对应的逐像素点的权重信息，即注意力权重图。将初始待重构图像输入到下采样网络得到第一特征图的过程，以及将第一特征图输入上采样网络得到第三特征图的过程，实际上构成了双路特征提取和尺度反变换，即每一次的上采样处理和下采样处理都会得到对应的不同尺度的特征图。而融合层将对应的同尺度的特征图进行融合处理的过程实际上就是同尺度纠正融合，因此，最终得到的目标特征图是经过纠正的深度图像特征，即目标特征图中即保留了下采样处理后的细节信息，也保留了上采样处理后的细节信息。因此，最终根据目标特征图和注意力权重图得到的重构图像细节信息更加丰富和自然。
[0123]
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0124]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的图像重构方法的图像重构装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像重构装置实施例中的具体限定可以参见上文中对于图像重构方法的限定，在此不再赘述。
[0125]
图10为本技术实施例中图像重构装置的结构框图，如图10所示，在本技术实施例中，提供了一种图像重构装置1000，该装置1000包括：处理模块1001、获得模块1002、特征提取模块1003和重构模块1004，其中：
[0126]
处理模块1001，用于对初始待重构图像进行多方向递归算法处理得到目标图像。
[0127]
获得模块1002，用于将目标图像输入图像重构模型中的注意力模型得到注意力权重图。
[0128]
特征提取模块1003，用于将初始待重构图像输入图像重构模型中的特征提取模型得到目标特征图。
[0129]
重构模块1004，用于根据目标特征图和注意力权重图，得到重构图像，其中，重构图像的分辨率大于初始待重构图像的分辨率。
[0130]
本技术提供的图像重构装置，首先对初始待重构图像进行多方向递归算法处理得到目标图像，并将目标图像输入图像重构模型中的注意力模型得到注意力权重图，然后将初始待重构图像输入图像重构模型中的特征提取模型得到目标特征图，从而根据目标特征图和注意力权重图，得到重构图像。由于进行了多方向递归算法，使目标图像中的每一个像素点都包括其多个方向上的信息，因此，目标图像中的各像素点的信息更丰富，进而根据包括丰富信息的目标图像确定的注意力权重图中各像素点的注意力权重更准确。进一步地，由于注意力权重图更准确，因此，初始待重构图像中需要关注的细节内容的权重会更大，因此根据目标特征图和准确的注意力权重图得到的重构图像的细节会比初始待重构图像中的细节更加准确且丰富。因此，本技术提供的图像重构装置能够对初始待重构图像的分辨率进行重构，重构图像的分辨率不仅大于初始待重构图像的分辨率，重构图像的质量也会
比初始待重构图像更好。
[0131]
可选的，特征提取模型包括下采样网络和上采样网络，特征提取模块1003包括：
[0132]
输入单元，用于将目标图像输入下采样网络，得到第一尺度的第一特征图。
[0133]
确定单元，用于根据第一特征图和上采样网络，得到目标特征图，其中，目标特征图的尺度等于初始待重构图像的尺度。
[0134]
可选的，下采样网络包括多个级联连接的下采样模块，下采样模块包括第一特征提取层和与第一特征提取层连接的下采样层，输入单元包括：
[0135]
第一确定子单元，用于将目标图像输入下采样网络，以由各下采样模块根据目标图像进行下采样处理，得到各下采样模块输出的第二尺度的第二特征图。
[0136]
第二确定子单元，用于根据最后一个下采样模块输出的第二尺度的第二特征图，得到第一尺度的第一特征图，其中，最后一个下采样模块输出的第二特征图的第二尺度等于第一尺度。
[0137]
可选的，上采样网络包括多个上采样模块，上采样模块包括上采样层和与上采样层连接的融合层，各上采样模块对应一个下采样模块，确定单元包括：
[0138]
输入子单元，用于将第一特征图输入上采样网络，以由各上采样模块根据第一特征图进行上采样处理，得到各上采样模块输出的第三尺度的第三特征图。
[0139]
输出子单元，用于根据各第三特征图、各第二特征图、第一个下采样模块中特征提取层输出的特征图以及各上采样模块中的融合层，得到目标特征图；其中，融合层用于将对应的上采样层输出的第三特征图和与第三特征图同尺度的特征图进行融合处理，得到融合处理后的特征图，并将融合处理后的特征图输入下一个上采样模块中上采样层。
[0140]
第三确定子单元，用于根据最后一个上采样模块输出的第三尺度的第三特征图，得到第一尺度的目标特征图。
[0141]
可选的，该装置1000还包括：
[0142]
获取模块，用于获取第一分辨率图像样本。
[0143]
退化模块，用于对第一分辨率图像样本进行质量退化处理得到第二分辨率图像样本。
[0144]
训练模块，用于根据第一分辨率图像样本和第二分辨率图像样本，对初始图像重构模型进行训练得到图像重构模型。
[0145]
可选的，训练模块包括：
[0146]
递归单元，用于对第二分辨率图像样本进行多方向递归算法处理得到目标图像样本。
[0147]
重构单元，用于根据目标图像样本、第二分辨率图像样本以及初始图像重构模型，得到第二分辨率图像样本的重构图像样本。
[0148]
训练单元，用于根据重构图像样本和第一分辨率图像样本，训练初始图像重构模型得到图像重构模型。
[0149]
上述图像重构装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0150]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有
计算机程序，该处理器执行计算机程序时实现以下步骤：
[0151]
对初始待重构图像进行多方向递归算法处理得到目标图像；将所述目标图像输入图像重构模型中的注意力模型得到注意力权重图；将所述初始待重构图像输入所述图像重构模型中的特征提取模型得到目标特征图；根据所述目标特征图和所述注意力权重图，得到重构图像，其中，所述重构图像的分辨率大于所述初始待重构图像的分辨率。
[0152]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0153]
将所述初始待重构图像输入所述下采样网络，得到第一尺度的第一特征图；根据所述第一特征图和所述上采样网络，得到所述目标特征图，其中，所述目标特征图的尺度等于所述初始待重构图像的尺度。
[0154]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0155]
将所述初始待重构图像输入所述下采样网络，以由各所述下采样模块根据所述初始待重构图像进行下采样处理，得到各所述下采样模块输出的第二尺度的第二特征图；根据最后一个下采样模块输出的第二尺度的第二特征图，得到所述第一尺度的第一特征图，其中，所述最后一个下采样模块输出的第二特征图的第二尺度等于所述第一尺度。
[0156]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0157]
将所述第一特征图输入所述上采样网络，以由各所述上采样模块根据所述第一特征图进行上采样处理，得到各所述上采样模块输出的第三尺度的第三特征图；根据各所述第三特征图、各所述第二特征图、第一个下采样模块中特征提取层输出的特征图以及各所述上采样模块中的融合层，得到所述目标特征图；其中，所述融合层用于将对应的上采样层输出的第三特征图和与所述第三特征图同尺度的特征图进行融合处理，得到融合处理后的特征图，并将所述融合处理后的特征图输入下一个上采样模块中上采样层；根据最后一个上采样模块输出的第三尺度的第三特征图，得到所述第一尺度的目标特征图。
[0158]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0159]
获取第一分辨率图像样本；对所述第一分辨率图像样本进行质量退化处理得到第二分辨率图像样本；根据所述第一分辨率图像样本和所述第二分辨率图像样本，对初始图像重构模型进行训练得到所述图像重构模型。
[0160]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0161]
对所述第二分辨率图像样本进行多方向递归算法处理得到目标图像样本；根据所述目标图像样本、所述第二分辨率图像样本以及初始图像重构模型，得到所述第二分辨率图像样本的重构图像样本；根据所述重构图像样本和所述第一分辨率图像样本，训练所述初始图像重构模型得到所述图像重构模型。
[0162]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0163]
对初始待重构图像进行多方向递归算法处理得到目标图像；将所述目标图像输入图像重构模型中的注意力模型得到注意力权重图；将所述初始待重构图像输入所述图像重构模型中的特征提取模型得到目标特征图；根据所述目标特征图和所述注意力权重图，得到重构图像，其中，所述重构图像的分辨率大于所述初始待重构图像的分辨率。
[0164]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0165]
将所述初始待重构图像输入所述下采样网络，得到第一尺度的第一特征图；根据
所述第一特征图和所述上采样网络，得到所述目标特征图，其中，所述目标特征图的尺度等于所述初始待重构图像的尺度。
[0166]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0167]
将所述初始待重构图像输入所述下采样网络，以由各所述下采样模块根据所述初始待重构图像进行下采样处理，得到各所述下采样模块输出的第二尺度的第二特征图；根据最后一个下采样模块输出的第二尺度的第二特征图，得到所述第一尺度的第一特征图，其中，所述最后一个下采样模块输出的第二特征图的第二尺度等于所述第一尺度。
[0168]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0169]
将所述第一特征图输入所述上采样网络，以由各所述上采样模块根据所述第一特征图进行上采样处理，得到各所述上采样模块输出的第三尺度的第三特征图；根据各所述第三特征图、各所述第二特征图、第一个下采样模块中特征提取层输出的特征图以及各所述上采样模块中的融合层，得到所述目标特征图；其中，所述融合层用于将对应的上采样层输出的第三特征图和与所述第三特征图同尺度的特征图进行融合处理，得到融合处理后的特征图，并将所述融合处理后的特征图输入下一个上采样模块中上采样层；根据最后一个上采样模块输出的第三尺度的第三特征图，得到所述第一尺度的目标特征图。
[0170]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0171]
获取第一分辨率图像样本；对所述第一分辨率图像样本进行质量退化处理得到第二分辨率图像样本；根据所述第一分辨率图像样本和所述第二分辨率图像样本，对初始图像重构模型进行训练得到所述图像重构模型。
[0172]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0173]
对所述第二分辨率图像样本进行多方向递归算法处理得到目标图像样本；根据所述目标图像样本、所述第二分辨率图像样本以及初始图像重构模型，得到所述第二分辨率图像样本的重构图像样本；根据所述重构图像样本和所述第一分辨率图像样本，训练所述初始图像重构模型得到所述图像重构模型。
[0174]
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0175]
对初始待重构图像进行多方向递归算法处理得到目标图像；将所述目标图像输入图像重构模型中的注意力模型得到注意力权重图；将所述初始待重构图像输入所述图像重构模型中的特征提取模型得到目标特征图；根据所述目标特征图和所述注意力权重图，得到重构图像，其中，所述重构图像的分辨率大于所述初始待重构图像的分辨率。
[0176]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0177]
将所述初始待重构图像输入所述下采样网络，得到第一尺度的第一特征图；根据所述第一特征图和所述上采样网络，得到所述目标特征图，其中，所述目标特征图的尺度等于所述初始待重构图像的尺度。
[0178]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0179]
将所述初始待重构图像输入所述下采样网络，以由各所述下采样模块根据所述初始待重构图像进行下采样处理，得到各所述下采样模块输出的第二尺度的第二特征图；根据最后一个下采样模块输出的第二尺度的第二特征图，得到所述第一尺度的第一特征图，其中，所述最后一个下采样模块输出的第二特征图的第二尺度等于所述第一尺度。
[0180]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0181]
将所述第一特征图输入所述上采样网络，以由各所述上采样模块根据所述第一特征图进行上采样处理，得到各所述上采样模块输出的第三尺度的第三特征图；根据各所述第三特征图、各所述第二特征图、第一个下采样模块中特征提取层输出的特征图以及各所述上采样模块中的融合层，得到所述目标特征图；其中，所述融合层用于将对应的上采样层输出的第三特征图和与所述第三特征图同尺度的特征图进行融合处理，得到融合处理后的特征图，并将所述融合处理后的特征图输入下一个上采样模块中上采样层；根据最后一个上采样模块输出的第三尺度的第三特征图，得到所述第一尺度的目标特征图。
[0182]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0183]
获取第一分辨率图像样本；对所述第一分辨率图像样本进行质量退化处理得到第二分辨率图像样本；根据所述第一分辨率图像样本和所述第二分辨率图像样本，对初始图像重构模型进行训练得到所述图像重构模型。
[0184]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0185]
对所述第二分辨率图像样本进行多方向递归算法处理得到目标图像样本；根据所述目标图像样本、所述第二分辨率图像样本以及初始图像重构模型，得到所述第二分辨率图像样本的重构图像样本；根据所述重构图像样本和所述第一分辨率图像样本，训练所述初始图像重构模型得到所述图像重构模型。
[0186]
需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
[0187]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0188]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0189]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并
不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。