一种图像重构方法及装置与流程

1.本发明涉及图像处理技术领域，特别是涉及一种图像重构方法及装置。


背景技术：

2.现实生活中，保存图像时图像被压缩，或拍摄图像时镜头晃动等情况均会导致图像发生模糊、损失、失真等问题，此时图像的清晰度较低。为了提高图像的清晰度，可以采用图像重构技术对图像进行处理。
3.当前采用图像重构技术对图像进行处理时，会先提取图像的整体特征，根据单一的整体特征对图像进行图像重构。但仅基于单一的整体特征得到的重构后的图像的清晰度往往依旧较低。


技术实现要素：

4.本发明实施例的目的在于提供一种图像重构方法及装置，以提高对图像进行图像重构后得到的图像的清晰度。具体技术方案如下：
5.第一方面，本发明实施例提供了一种图像重构方法，所述方法包括：
6.采用不同的分割方式对待处理图像进行分割，得到不同的子图像集，其中，每一子图像集中包含：采用一种分割方式对待处理图像进行分割得到的所有子图像；
7.针对每一子图像集，采用目标分割方式对应的图像重构处理的方式对该子图像集中包含的各个子图像分别进行图像重构处理，得到各个子图像的子图像重构结果，其中，所述目标分割方式为：获得该子图像集中包含的子图像时使用的分割方式；
8.针对每一子图像集，对该子图像集中包含的各个子图像的子图像重构结果进行合并，得到与所述待处理图像尺寸相同、与目标分割方式相对应的重构图像；
9.基于各个预设的注意力权重，对各个重构图像进行融合，得到最终的图像重构结果，其中，各个注意力权重与各个分割方式一一对应，每一注意力权重表示：该注意力权重对应的分割方式对应的重构图像的预测清晰度。
10.本发明的一个实施例中，所述采用目标分割方式对应的图像重构处理的方式对该子图像集中包含的各个子图像分别进行图像重构处理，包括：
11.针对该子图像集中的每一子图像，通过以下方式对该子图像进行图像重构处理：
12.对该子图像进行通道划分，得到不同的通道图像；
13.分别对各个通道图像进行与目标分割方式相对应的全连接处理，得到第一结果；
14.对各个第一结果进行融合，得到与该子图像相对应的第二结果；
15.对所述第二结果进行与目标分割方式相对应的重构处理，得到该子图像的子图像重构结果。
16.本发明的一个实施例中，所述分别对各个通道图像进行与目标分割方式相对应的全连接处理，得到第一结果，包括：
17.分别将各个通道图像输入预先训练好的、目标分割方式对应的全连接层，将输出
结果作为第一结果；
18.所述对所述第二结果进行与目标分割方式相对应的重构处理，得到该子图像的子图像重构结果，包括：
19.将所述第二结果输入预先训练好的、所述目标分割方式对应的重构模型，将输出结果作为该子图像的子图像重构结果。
20.本发明的一个实施例中，针对每一分割方式，通过以下方式对预设全连接层进行训练，得到该分割方式对应的全连接层，并对预设模型进行训练，得到该分割方式对应的重构模型：
21.采用该分割方式对样本图像进行分割，得到样本子图像；
22.对各个样本子图像进行图像重构处理，得到样本对照结果；
23.分别对各个样本子图像进行通道划分，得到各个样本子图像的样本通道图像；
24.将各个样本通道图像输入所述预设全连接层，将输出结果作为第一样本结果；
25.将各个样本通道图像输入所述预设全连接层，将输出结果作为第一样本结果；
26.针对每一样本子图像，对基于该样本子图像生成的各个第一样本结果进行融合，得到该样本子图像对应的第二样本结果；
27.针对每一样本子图像，将该样本子图像对应的第二样本结果输入所述预设模型，将输出结果作为该样本子图像的样本重构结果；
28.基于各个样本子图像的样本对照结果和样本重构结果，计算该分割方式对应的子损失；
29.基于各个分割方式对应的子损失，计算总损失；
30.基于所述子损失调整所述预设全连接层的参数，并基于所述总损失调整所述预设模型的参数；
31.返回执行所述采用该分割方式对样本图像进行分割，得到样本子图像的步骤，直至达到预设的训练终止条件，将参数调整后的预设全连接层确定为该分割方式对应的全连接层，将参数调整后的预设模型确定为该分割方式对应的重构模型。
32.本发明的一个实施例中，所述基于各个分割方式对应的子损失，计算总损失，包括：
33.基于各个子损失，计算各个分割方式当前对应的注意力权重；
34.基于各个子损失和各个注意力权重，计算总损失。
35.本发明的一个实施例中，所述基于所述子损失调整所述预设全连接层的参数，包括：
36.基于该分割方式对应的子损失计算更新系数，所述更新系数表示：调整所述预设全连接层的参数时的调整幅度；
37.基于所述更新系数与所述子损失，调整所述预设全连接层的参数。
38.本发明的一个实施例中，所述采用不同的分割方式对待处理图像进行分割，得到不同的子图像集，包括：
39.按照不同的尺寸分割所述待处理图像，得到不同的子图像集；
40.和/或
41.以分割得到的子图像中是否包含相同的图像区域为区别，对待处理图像进行分
割，得到不同的子图像集。
42.第二方面，本发明实施例提供了一种图像重构装置，所述装置包括：
43.图像分割模块，用于采用不同的分割方式对待处理图像进行分割，得到不同的子图像集，其中，每一子图像集中包含：采用一种分割方式对待处理图像进行分割得到的所有子图像；
44.图像重构模块，用于针对每一子图像集，采用目标分割方式对应的图像重构处理的方式对该子图像集中包含的各个子图像分别进行图像重构处理，得到各个子图像的子图像重构结果，其中，所述目标分割方式为：获得该子图像集中包含的子图像时使用的分割方式；
45.图像合并模块，用于针对每一子图像集，对该子图像集中包含的各个子图像的子图像重构结果进行合并，得到与所述待处理图像尺寸相同、与目标分割方式相对应的重构图像；
46.图像融合模块，用于基于各个预设的注意力权重，对各个重构图像进行融合，得到最终的图像重构结果，其中，各个注意力权重与各个分割方式一一对应，每一注意力权重表示：该注意力权重对应的分割方式对应的重构图像的预测清晰度。
47.本发明的一个实施例中，所述图像重构模块，用于针对每一子图像集，针对该子图像集中的每一子图像，通过以下子模块对该子图像进行图像重构处理：
48.通道划分子模块，用于对该子图像进行通道划分，得到不同的通道图像；
49.全连接处理子模块，用于分别对各个通道图像进行与目标分割方式相对应的全连接处理，得到第一结果；
50.结果融合子模块，用于对各个第一结果进行融合，得到与该子图像相对应的第二结果；
51.重构处理子模块，用于对所述第二结果进行与目标分割方式相对应的重构处理，得到该子图像的子图像重构结果。
52.第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
53.存储器，用于存放计算机程序；
54.处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法步骤。
55.第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
56.第五方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面任一所述的方法。
57.本发明实施例有益效果：
58.本发明实施例提供的图像重构方法，采用不同的分割方式对待处理图像进行分割，得到不同的子图像集，其中，每一子图像集中包含：采用一种分割方式对待处理图像进行分割得到的所有子图像，针对每一子图像集，对该子图像集中包含的各个子图像分别进行图像重构处理，得到各个子图像的子图像重构结果，其中，对不同子图像集中包含的子图
像进行图像重构处理的方式不同，针对每一子图像集，对该子图像集中包含的各个子图像的子图像重构结果进行合并，得到与待处理图像尺寸相同、与目标分割方式相对应的重构图像，基于各个预设的注意力权重，对各个重构图像进行融合，得到最终的图像重构结果。
59.由以上可见，通过不同的分割方式分割待处理图像，得到的小尺寸的子图像为待处理图像的局部图像，因此上述子图像中包含待处理图像的局部特征。对各个子图像分别进行图像重构处理，相当于基于待处理图像不同图像区域的局部特征，分别对各个图像区域进行了图像重构处理，得到的子图像重构结果是基于待处理图像的局部特征得到的重构结果。因此子图像重构结果合并而成的重构图像是基于待处理图像大量的局部特征生成的图像，与现有技术中基于单一的整体特征对待处理图像进行重构得到的结果相比，本发明实施例得到的重构图像参考的特征较多，重构图像的清晰度较高。
60.并且，本发明实施例中基于不同的分割方式对待处理图像进行分割，得到的不同的子图像集内子图像包含的局部特征不同，因此基于不同子图像集生成的不同重构图像能够体现不同的局部特征。本发明实施例对各个重构图像进行融合得到的最终的图像重构结果，是基于待处理图像大量不同的局部特征得到的，图像重构结果的清晰度更高。
附图说明
61.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
62.图1为本发明实施例提供的第一种图像重构方法的流程示意图；
63.图2为本发明实施例提供的第二种图像重构方法的流程示意图；
64.图3为本发明实施例提供的一种模型训练方法的流程示意图；
65.图4为本发明实施例提供的第一种图像重构装置的结构示意图；
66.图5为本发明实施例提供的第二种图像重构装置的结构示意图；
67.图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
68.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本技术所获得的所有其他实施例，都属于本发明保护的范围。
69.当前采用图像重构技术对图像进行处理时，会先提取图像的整体特征，根据单一的整体特征对图像进行图像重构。但仅基于单一的整体特征得到的重构后的图像的清晰度往往依旧较低。为了提高对图像进行图像重构后得到的图像的清晰度，本发明实施例提供了一种图像重构方法及装置。
70.本发明实施例提供了一种图像重构方法，上述方法包括：
71.采用不同的分割方式对待处理图像进行分割，得到不同的子图像集，其中，每一子图像集中包含：采用一种分割方式对待处理图像进行分割得到的所有子图像；
72.针对每一子图像集，采用目标分割方式对应的图像重构处理的方式对该子图像集中包含的各个子图像分别进行图像重构处理，得到各个子图像的子图像重构结果，其中，上述目标分割方式为：获得该子图像集中包含的子图像时使用的分割方式；
73.针对每一子图像集，对该子图像集中包含的各个子图像的子图像重构结果进行合并，得到与上述待处理图像尺寸相同、与目标分割方式相对应的重构图像；
74.基于各个预设的注意力权重，对各个重构图像进行融合，得到最终的图像重构结果，其中，各个注意力权重与各个分割方式一一对应，每一注意力权重表示：该注意力权重对应的分割方式对应的重构图像的预测清晰度。
75.由以上可见，通过不同的分割方式分割待处理图像，得到的小尺寸的子图像为待处理图像的局部图像，因此上述子图像中包含待处理图像的局部特征。对各个子图像分别进行图像重构处理，相当于基于待处理图像不同图像区域的局部特征，分别对各个图像区域进行了图像重构处理，得到的子图像重构结果是基于待处理图像的局部特征得到的重构结果。因此子图像重构结果合并而成的重构图像是基于待处理图像大量的局部特征生成的图像，与现有技术中基于单一的整体特征对待处理图像进行重构得到的结果相比，本发明实施例得到的重构图像参考的特征较多，重构图像的清晰度较高。
76.并且，本发明实施例中基于不同的分割方式对待处理图像进行分割，得到的不同的子图像集内子图像包含的局部特征不同，因此基于不同子图像集生成的不同重构图像能够体现不同的局部特征。本发明实施例对各个重构图像进行融合得到的最终的图像重构结果，是基于待处理图像大量不同的局部特征得到的，图像重构结果的清晰度更高。
77.参见图1，为本发明实施例提供的第一种图像重构方法的流程示意图，上述方法包括以下步骤s101-s104。
78.步骤s101：采用不同的分割方式对待处理图像进行分割，得到不同的子图像集。
79.其中，每一子图像集中包含：采用一种分割方式对待处理图像进行分割得到的所有子图像。
80.本发明的一个实施例中，可以通过以下步骤a或步骤b对待处理图像进行分割，得到不同的子图像集。
81.步骤a：按照不同的尺寸分割上述待处理图像，得到不同的子图像集。
82.具体的，上述尺寸可以为3像素x3像素、5像素x5像素、8像素
×
8像素等。
83.步骤b：以分割得到的子图像中是否包含相同的图像区域为区别，对待处理图像进行分割，得到不同的子图像集。
84.具体的，分割得到的左右相邻的两个子图像中可以包含相同的图像区域，上下相邻的两个子图像中也可以包含相同的图像区域。相同的图像区域可以被称为重叠区域，分割后得到的子图像之间包含重叠区域的分割方式可以被称为重叠分割方式，分割后得到的子图像之间包含重叠区域的分割方式可以被称为非重叠分割方式。
85.另外，子图像中包含的重叠区域的宽度小于子图像的宽度，例如，若子图像的尺寸为3像素
×
3像素，则上述相同的图像区域的宽度为1像素，若子图像的尺寸为5像素
×
5像素，则上述相同的图像区域的宽度为2像素等。
86.再者，相同的图像区域的宽度可以预先设置，可以以相同的图像区域的宽度为区分对待处理图像进行分割，得到不同的子图像集。
87.本发明的一个实施例中，可以仅通过步骤a得到不同的子图像集，也就是说所得到的不同子图像集中包含的子图像的尺寸不同，各个子图像集中子图像之间均可以包含重叠区域，或均不包含重叠区域。
88.另外，也可以仅通过步骤b得到不同的子图像集，也就是说所得到的不同子图像集中包含的子图像的尺寸相同，部分子图像集是基于重叠分割方式得到的，另一部分子图像集是基于非重叠分割方式得到的。
89.本发明的另一个实施例中，可以将步骤a与步骤b相结合，针对每一种尺寸，可以分别采用重叠分割方式与非重叠分割方式对待处理图像进行分割，得到不同的子图像集，所得到的子图像集中包含的子图像的尺寸均为该尺寸。例如，按照3像素
×
3像素的尺寸，分别采用重叠分割方式与非重叠分割方式对待处理图像进行分割，可以得到两个子图像集，其中一个子图像集中子图像内包含重叠区域，另一个子图像集中子图像内不包含重叠区域。再按照5像素
×
5像素的尺寸对待处理图像进行分割，可以得到两个子图像集，其中一个子图像集中子图像内包含重叠区域，另一个子图像集中子图像内不包含重叠区域，最终可以得到4个不同的子图像集。
90.另外，对待处理图像进行分割时，若分割得到的、位于待处理图像边缘的子图像不完整，也就是待处理图像不能满足完整分割的需求，则可以对待处理图像进行扩边操作，即用空白像素填充待处理图像，使得待处理图像可以满足完整分割的需求。
91.步骤s102：针对每一子图像集，采用目标分割方式对应的图像重构处理的方式对该子图像集中包含的各个子图像分别进行图像重构处理，得到各个子图像的子图像重构结果。
92.其中，上述目标分割方式为：获得该子图像集中包含的子图像时使用的分割方式。
93.具体的，采用不同分割方式对待处理图像进行分割得到的子图像集不同，不同子图像集中的子图像包含待处理图像中不同的局部特征，为了更好的对不同的局部特征进行处理，本发明实施例中采用不同的图像重构处理方式对不同的子图像集中包含的各个子图像分别进行图像重构处理，得到不同的子图像重构结果。
94.具体的，上述针对每一子图像集，采用目标分割方式对应的图像重构处理的方式对该子图像集中包含的各个子图像分别进行图像重构处理，可通过以下步骤s102a-102d实现，在此暂不详述。另外，也可以通过现有技术中的任意方式完成图像重构处理的过程，在此不再赘述。
95.步骤s103：针对每一子图像集，对该子图像集中包含的各个子图像的子图像重构结果进行合并，得到与上述待处理图像尺寸相同、与目标分割方式相对应的重构图像。
96.具体的，由于同一子图像集中包含采用同一种分割方式对同一待处理图像进行分割得到的所有子图像，因此同一子图像集中包含的所有子图像能够合并得到原本的待处理图像。对同一子图像集中包含的各个子图像进行图像重构处理，相当于对待处理图像中的不同区域分别进行了图像重构处理，将各个子图像的子图像重构结果进行合并，相当于将待处理图像中不同区域的图像重构结果进行合并，所得到的结果相当于对待处理图像进行图像重构处理得到的结果。
97.本发明的一个实施例中，可以按照子图像在待处理图像中的位置对子图像重构结果进行合并，也就是子图像重构结果在重构图像中的位置与原本的子图像在待处理图像中
的位置相同。
98.步骤s104：基于各个预设的注意力权重，对各个重构图像进行融合，得到最终的图像重构结果。
99.其中，分别对不同子图像集中包含的子图像进行处理后，得到的重构图像均与待处理图像尺寸相同，因此可以对各个重构图像进行融合。并且虽然不同子图像集中包含的子图像不同，对不同子图像集中包含的子图像进行图像重构处理的方式不同，但由于所有子图像均来自于待处理图像，因此得到的重构图像均可以被视为待处理图像的一种图像重构结果，将各个重构图像进行融合之后得到的结果，可以作为待处理图像最终的图像重构结果。
100.另外，各个注意力权重与各个分割方式一一对应，每一注意力权重表示：该注意力权重对应的分割方式对应的重构图像的预测清晰度。
101.上述基于各个预设的注意力权重，对各个重构图像进行融合，得到最终的图像重构结果，可以参见如下公式：
102.m＝m1×
n1 m2×
n2103.其中，m表示最终的图像重构结果，m1、m2表示经过不同分割方式的重构图像，n1、n2表示不同分割方式对应的注意力权重。
104.再者，上述注意力权重可以是人为设置的，也可以是基于下文步骤e计算得到的，在此暂不详述。
105.由以上可见，通过不同的分割方式分割待处理图像，得到的小尺寸的子图像为待处理图像的局部图像，因此上述子图像中包含待处理图像的局部特征。对各个子图像分别进行图像重构处理，相当于基于待处理图像不同图像区域的局部特征，分别对各个图像区域进行了图像重构处理，得到的子图像重构结果是基于待处理图像的局部特征得到的重构结果。因此子图像重构结果合并而成的重构图像是基于待处理图像大量的局部特征生成的图像，与现有技术中基于单一的整体特征对待处理图像进行重构得到的结果相比，本发明实施例得到的重构图像参考的特征较多，重构图像的清晰度较高。
106.并且，本发明实施例中基于不同的分割方式对待处理图像进行分割，得到的不同的子图像集内子图像包含的局部特征不同，因此基于不同子图像集生成的不同重构图像能够体现不同的局部特征。本发明实施例对各个重构图像进行融合得到的最终的图像重构结果，是基于待处理图像大量不同的局部特征得到的，图像重构结果的清晰度更高。
107.参见图2，为本发明实施例提供的第二种图像重构方法的流程示意图，与前述图1所示的实施例相比，针对每一子图像集，对于该子图像集中的每一子图像，可以通过以下步骤s102a-s102d对该子图像进行图像重构处理。
108.步骤s102a：对该子图像进行通道划分，得到不同的通道图像。
109.具体的，可以按照三原色通道对子图像进行通道划分，得到r通道图像、g通道图像、b通道图像，分别对应红色、绿色与蓝色。
110.步骤s102b：分别对各个通道图像进行与目标分割方式相对应的全连接处理，得到第一结果。
111.具体的，可以采用现有技术中的方式对各个通道图像进行全连接处理。
112.本发明的一个实施例中，可以通过以下步骤c实现上述步骤s102b。
113.步骤c：分别将各个通道图像输入预先训练好的、目标分割方式对应的全连接层，将输出结果作为第一结果。
114.具体的，不同分割方式对应的全连接层的参数不同，将不同的通道图像输入参数不同的全连接层相当于对采用不同的方式对不同的通道图像进行全连接处理。
115.另外，在对通道图像进行全连接处理之前，可以对通道图像进行张量展开计算，将张量展开计算得到的结果进行全连接处理得到第一结果。
116.以采用非重叠分割方式对待处理图像进行分割，分割得到的子图像的尺寸在3像素
×
3像素为例，对于g通道图像x＝(nhw/(3
×
3),g,3,3)经过张量展开计算可以得到y＝(nhw/(3
×
3)，g
×3×
3)，其中，x表示各个g通道图像的集合，n表示待处理图像的图像数量，h表示待处理图像的图像高度，w表示待处理图像的图像宽度，则nhw/(3
×
3)为g通道图像的总数，g表示该通道图像为g通道图像，最后两个参数3分别表示g通道图像的高度与宽度均为3像素。y表示对g通道图像进行张量展开计算后得到的计算结果，g
×3×
3表示为计算结果y的第二维度中，g通道的数量。
117.此处仅以g通道图像作为示例，对于r通道图像与b通道图像的处理与上文相似，在此不再赘述。
118.具体的，由于通道图像原本为二维数据，将通道图像转换为张量之后得到的张量是一维数据，与直接对二维的通道图像进行处理相比，对一维的张量进行全连接处理的处理效率较快。并且对一维的张量进行全连接处理得到的第一结果同样为一维张量，继续对一维的第一结果进行后续处理同样可以提高后续处理的处理效率。
119.步骤s102c：对各个第一结果进行融合，得到与该子图像相对应的第二结果。
120.本发明的一个实施例中，对一个子图像进行通道划分可以得到多个通道图像，每一通道图像均为子图像的一部分，分别对该子图像的多个通道图像进行全连接处理后可以得到多个第一结果，再将各个第一结果进行融合，得到的第二结果相当于对子图像进行全连接处理后得到的结果，每一第二结果与一个子图像相对应。
121.步骤s102d：对上述第二结果进行与目标分割方式相对应的重构处理，得到该子图像的子图像重构结果。
122.本发明的一个实施例中，可以采用现有技术中的方法对第二结果进行重构处理。
123.具体的，可以通过以下步骤d实现上述步骤s102d。
124.步骤d：将上述第二结果输入预先训练好的、上述目标分割方式对应的重构模型，将输出结果作为该子图像的子图像重构结果。
125.具体的，上述重构模型可以为现有技术中用于进行图像重构的任意模型。
126.其中，上述重构模型可以为mlp(multilayer perceptron，多层感知机)模型中的基本模块，将第二结果输入训练好的基本模块中，将基本模块的输出结果作为子图像重构结果。上述基本模块中包含全连接层、激活函数与bn(batch normalization，批标准化)处理三个部分，具体的，输入基本模块中的第二结果可以先输入全连接层，得到第一处理结果，并采用激活函数对处理结果进行处理，得到第二处理结果，再将第二处理结果进行bn处理，得到基本模块的处理结果，作为子图像重构结果。
127.其中，上述全连接层、激活函数与bn处理均为现有技术中常用的方式，在此不再赘述。
128.由以上可见，在对子图像进行图像重构处理的过程中，先将分割得到的子图像进行通道划分，通过通道划分将每一个通道图像提取出来，后续对各个单一的通道图像进行处理，可以消除不同通道之间因为重叠带来的相互影响，使得后续继续进行图像重构得到的结果更为准确。
129.参见图3，为本发明实施例提供的一种模型训练方法的流程示意图，针对每一分割方式，通过以下方式对预设全连接层进行训练，得到前文所示的该分割方式对应的全连接层，并对预设模型进行训练，得到前文所示的该分割方式对应的重构模型，上述方法包括以下步骤s301-s309
130.步骤s301：采用该分割方式对样本图像进行分割，得到样本子图像。
131.其中，上述分割方式与上文步骤s101中对待处理图像的分割方式一致，此处不再赘述。
132.步骤s302：对各个样本子图像进行图像重构处理，得到样本对照结果。
133.具体的，上述样本对照结果为本发明实施例中图像重构处理结果的期望值。
134.上述对各个样本子图像进行图像重构处理，可以是将样本子图像输入mlp模型，此处的mlp模型经过训练，mlp模型输出的结果可以认定是准确结果，可以将输出结果作为图像重构的期望值。
135.步骤s303：分别对各个样本子图像进行通道划分，得到各个样本子图像的样本通道图像。
136.具体的，上述步骤s303与前述步骤s102a相似，在此不再赘述。
137.步骤s304：将各个样本通道图像输入上述预设全连接层，将输出结果作为第一样本结果。
138.具体的，在将样本图像通道输入预设全连接层之前可以对样本图像进行张量展开计算，得到一维的计算结果再输入全连接层，则输出结果同样为一维的第一样本结果。继续对一维的第一样本结果进行后续的图像重构处理，得到的样本重构结果同样为一维数据。因此在后续对样本重构结果与样本对照结果时，为了保证两者数据形式的一致性，可以同样对样本对照结果进行张量展开计算，得到一维数据，用于计算损失。
139.另外，上述张量张开计算的方式与前述步骤s102b相似，在此不再赘述。
140.步骤s305：针对每一样本子图像，对基于该样本子图像生成的各个第一样本结果进行融合，得到该样本子图像对应的第二样本结果。
141.步骤s306：针对每一样本子图像，将该样本子图像对应的第二样本结果输入上述预设模型，将输出结果作为该样本子图像的样本重构结果。
142.具体的，上述步骤s305-s306与前述步骤s102a-s102b相似，在此不再赘述。
143.步骤s307：基于各个样本子图像的样本对照结果和样本重构结果，计算该分割方式对应的子损失。
144.具体的，若上述样本对照结果与样本重构结果均为一维张量，则可以采用现有技术中对一维数据进行损失计算的方式计算子损失。若上述样本对照结果与样本重构结果均为二维图像，则可以采用现有技术中对二维图像进行损失计算的方式计算子损失。本发明实施例对计算子损失的方式不进行限定。
145.步骤s308：基于各个分割方式对应的子损失，计算总损失。
146.具体的，可以将各个子损失求和，得到上述总损失，也可以基于如下公式计算总损失：
147.k＝∑αili148.其中，i为分割方式的编号，k表示总损失，αi表示第i种分割方式对应的注意力权重，li示第i种分割方式对应的子损失。
149.步骤s309：基于上述子损失调整上述预设全连接层的参数，并基于上述总损失调整上述预设模型的参数。
150.具体的，本发明实施例中可以基于现有技术中的算法调整预设全连接层的参数与预设模型的参数。
151.其中，上述算法可以为adam(adaptive momentum estimation，适应性矩阵估计)算法。
152.若当前模型训练的过程未达到预设的训练终止条件，则返回执行步骤s301，将新的图像作为样本图像，继续进行模型训练的过程。
153.若当前模型训练的过程达到预设的训练终止条件，则将参数调整后的预设全连接层确定为该分割方式对应的全连接层，将参数调整后的预设模型确定为该分割方式对应的重构模型。
154.具体的，上述预设收敛条件可以为总损失低于预设损失，或步骤s301-s309循环执行的次数达到预设次数。
155.由以上可见，本发明实施例中分别采用不同的分割方式对样本图像进行分割，得到不同的样本子图像后，采用样本子图像对该分割方式对应的预设全连接层与预设模型进行训练，使得训练得到的全连接层与重构模型与该分割方式相匹配，在后续对采用该分割方式分割得到的子图像进行处理时能够得到的最好的处理效果。另外，本发明实施例中基于不同分割方式对应子损失进行统一计算得到总损失，再基于总损失对预设模型进行调整，直至达到预设训练终止条件。可以保证不同分割方式对应的预设全连接层与预设模型均达到较好的训练结果，使得后续基于各个分割方式对应的全连接层与重构模型同一对待处理图像进行图像重构处理时得到较好的处理结果。
156.本发明的一个实施例中，上述步骤s308可以通过以下步骤e-步骤f实现。
157.步骤e：基于各个子损失，计算各个分割方式当前对应的注意力权重。
158.具体的，分割方式对应的子损失越大说明通过该分割方式对应的预设全连接层与预设模型当前得到的样本重构结果越不准确，若将各个分割方式对应的样本重构结果进行融合，该分割方式得到的样本重构结果对融合结果的影响最大，因此在模型训练时，可以将注意力集中于该分割方式对应的预设模型与预设全连接层上，也就是子损失越大，对应的分割方式的注意力权重越大。
159.本发明的一个实施例中，上述注意力权重的计算可以参见以下公式：
[0160][0161]
其中，exp()表示以自然常数e为底的指数函数，αi表示第i种分割方式对应的注意力权重，k、i表示为分割方式的编号，li表示第i种分割方式的子损失，lk表示第k种分割方式的子损失。
[0162]
步骤f：基于各个子损失和各个注意力权重，计算总损失。
[0163]
总损失的计算参见上文，此处不做赘述。
[0164]
另外，每经过一次训练，各个分割方式对应的子损失变化发生一次变化，上述注意力权重也会随之发生一次变化，因此每一次训练的过程中均可以计算一次上述注意力参数。并且可以将最后一次训练得到的注意力参数作为模型训练好之后，进行图像重构时使用的注意力参数。具体的，基于注意力参数进行图像重构的方式可以参数前文步骤s104，在此不再赘述。
[0165]
本发明的另一个实施例中，可以通过以下步骤e-步骤f调整预设全连接层的参数。
[0166]
步骤e：基于该分割方式对应的子损失计算更新系数。
[0167]
其中，上述更新系数表示：调整上述预设全连接层的参数时的调整幅度。
[0168]
具体的，分割方式对应的子损失越大说明通过该分割方式对应的样本重构结果与样本对照结果之间的差距越大，样本重构结果越不准确，为了尽快得到准确的样本重构结果，也就是为了尽快完成模型训练过程，可以提高调整该分割方式对应的预设全连接层的参数的幅度，使得预设全连接层尽快达到较好的训练效果。
[0169]
本发明的一个实施例中，可以基于以下公式计算上述更新系数：
[0170][0171]
其中，β表示更新系数，i表示分割方式的编号，li表示第i种分割方式的子损失。
[0172]
步骤f：基于上述更新系数与上述子损失，调整上述预设全连接层的参数。
[0173]
具体的，可以采用现有技术中的方式基于上述子损失计算预设全连接层参数的调整幅度，在计算得到的幅度上乘以上述更新系数，得到计算结果，将计算结果作为最终得到的预设全连接层参数的调整幅度，基于最终得到的调整幅度调整预设全连接层的参数。
[0174]
与前述图像重构方法相对应，本发明实施例还提供了一种图像重构装置。
[0175]
参见图4，为本发明实施例提供的第一种图像重构装置的结构示意图，上述装置包括：
[0176]
图像分割模块401，用于采用不同的分割方式对待处理图像进行分割，得到不同的子图像集，其中，每一子图像集中包含：采用一种分割方式对待处理图像进行分割得到的所有子图像；
[0177]
图像重构模块402，用于针对每一子图像集，采用目标分割方式对应的图像重构处理的方式对该子图像集中包含的各个子图像分别进行图像重构处理，得到各个子图像的子图像重构结果，其中，所述目标分割方式为：获得该子图像集中包含的子图像时使用的分割方式；
[0178]
图像合并模块403，针对每一子图像集，对该子图像集中包含的各个子图像的子图像重构结果进行合并，得到与所述待处理图像尺寸相同、与目标分割方式相对应的重构图像；
[0179]
图像融合模块404，用于基于各个预设的注意力权重，对各个重构图像进行融合，得到最终的图像重构结果，其中，各个注意力权重与各个分割方式一一对应，每一注意力权重表示：该注意力权重对应的分割方式对应的重构图像的预测清晰度。
[0180]
由以上可见，通过不同的分割方式分割待处理图像，得到的小尺寸的子图像为待
处理图像的局部图像，因此上述子图像中包含待处理图像的局部特征。对各个子图像分别进行图像重构处理，相当于基于待处理图像不同图像区域的局部特征，分别对各个图像区域进行了图像重构处理，得到的子图像重构结果是基于待处理图像的局部特征得到的重构结果。因此子图像重构结果合并而成的重构图像是基于待处理图像大量的局部特征生成的图像，与现有技术中基于单一的整体特征对待处理图像进行重构得到的结果相比，本发明实施例得到的重构图像参考的特征较多，重构图像的清晰度较高。
[0181]
并且，本发明实施例中基于不同的分割方式对待处理图像进行分割，得到的不同的子图像集内子图像包含的局部特征不同，因此基于不同子图像集生成的不同重构图像能够体现不同的局部特征。本发明实施例对各个重构图像进行融合得到的最终的图像重构结果，是基于待处理图像大量不同的局部特征得到的，图像重构结果的清晰度更高。
[0182]
参见图5，为本发明实施例提供的第二种图像重构装置的结构示意图，上述图像重构模块402用于针对每一子图像集，针对该子图像集中的每一子图像，通过以下子模块对该子图像进行图像重构处理：
[0183]
通道划分子模块402a，用于对该子图像进行通道划分，得到不同的通道图像；
[0184]
全连接处理子模块402b，用于分别对各个通道图像进行与目标分割方式相对应的全连接处理，得到第一结果；
[0185]
结果融合子模块402c，用于对各个第一结果进行融合，得到与该子图像相对应的第二结果；
[0186]
重构处理子模块402d，用于对所述第二结果进行与目标分割方式相对应的重构处理，得到该子图像的子图像重构结果。
[0187]
由以上可见，在对子图像进行图像重构处理的过程中，先将分割得到的子图像进行通道划分，通过通道划分将每一个通道图像提取出来，后续对各个单一的通道图像进行处理，可以消除不同通道之间因为重叠带来的相互影响，使得后续继续进行图像重构得到的结果更为准确。
[0188]
本发明的一个实施例中，上述全连接处理子模块402b，具体用于：
[0189]
分别将各个通道图像输入预先训练好的、目标分割方式对应的全连接层，将输出结果作为第一结果。
[0190]
本发明的一个实施例中，上述重构处理子模块402d，具体用于：
[0191]
将所述第二结果输入预先训练好的、所述目标分割方式对应的重构模型，将输出结果作为该子图像的子图像重构结果。
[0192]
本发明的一个实施例中，所述装置还包括以下模块，针对每一分割方式，通过以下模块对预设全连接层进行训练，得到该分割方式对应的全连接层，并对预设模型进行训练，得到该分割方式对应的重构模型：
[0193]
样本分割模块，用于采用该分割方式对样本图像进行分割，得到样本子图像；
[0194]
样本重构模块，用于对各个样本子图像进行图像重构处理，得到样本对照结果；
[0195]
图像划分模块，用于分别对各个样本子图像进行通道划分，得到各个样本子图像的样本通道图像；
[0196]
全连接模块，用于将各个样本通道图像输入所述预设全连接层，将输出结果作为第一样本结果；
[0197]
结果融合模块，用于针对每一样本子图像，对基于该样本子图像生成的各个第一样本结果进行融合，得到该样本子图像对应的第二样本结果；
[0198]
样本重构模块，用于针对每一样本子图像，将该样本子图像对应的第二样本结果输入所述预设模型，将输出结果作为该样本子图像的样本重构结果；
[0199]
子损失计算模块，用于基于各个样本子图像的样本对照结果和样本重构结果，计算该分割方式对应的子损失；
[0200]
总损失计算模块，用于基于各个分割方式对应的子损失，计算总损失；
[0201]
参数调整模块，用于基于所述子损失调整所述预设全连接层的参数，并基于所述总损失调整所述预设模型的参数，返回触发执行所述样本分割模块，直至达到预设的训练终止条件，将参数调整后的预设全连接层确定为该分割方式对应的全连接层，将参数调整后的预设模型确定为该分割方式对应的重构模型。
[0202]
由以上可见，本发明实施例中分别采用不同的分割方式对样本图像进行分割，得到不同的样本子图像后，采用样本子图像对该分割方式对应的预设全连接层与预设模型进行训练，使得训练得到的全连接层与重构模型与该分割方式相匹配，在后续对采用该分割方式分割得到的子图像进行处理时能够得到的最好的处理效果。另外，本发明实施例中基于不同分割方式对应子损失进行统一计算得到总损失，再基于总损失对预设模型进行调整，直至达到预设训练终止条件。可以保证不同分割方式对应的预设全连接层与预设模型均达到较好的训练结果，使得后续基于各个分割方式对应的全连接层与重构模型同一对待处理图像进行图像重构处理时得到较好的处理结果。
[0203]
本发明的一个实施例中，上述总损失计算模块，具体用于：
[0204]
基于各个子损失，计算各个分割方式当前对应的注意力权重；
[0205]
基于各个子损失和各个注意力权重，计算总损失。
[0206]
本发明的一个实施例中，上述参数调整模块，具体用于：
[0207]
基于该分割方式对应的子损失计算更新系数，所述更新系数表示：调整所述预设全连接层的参数时的调整幅度；
[0208]
基于所述更新系数与所述子损失，调整所述预设全连接层的参数；
[0209]
基于所述总损失调整所述预设模型的参数，返回执行所述样本分割模块，直至达到预设的训练终止条件，将参数调整后的预设全连接层确定为该分割方式对应的全连接层，将参数调整后的预设模型确定为该分割方式对应的重构模型。
[0210]
本发明实施例还提供了一种电子设备，如图6示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
[0211]
存储器603，用于存放计算机程序；
[0212]
处理器601，用于执行存储器603上所存放的程序时，实现所述图像重构方法任一所示的方法步骤。
[0213]
应用本发明实施例提供的电子设备进行图像重构时，通过不同的分割方式分割待处理图像，得到的小尺寸的子图像为待处理图像的局部图像，因此上述子图像中包含待处理图像的局部特征。对各个子图像分别进行图像重构处理，相当于基于待处理图像不同图像区域的局部特征，分别对各个图像区域进行了图像重构处理，得到的子图像重构结果是
基于待处理图像的局部特征得到的重构结果。因此子图像重构结果合并而成的重构图像是基于待处理图像大量的局部特征生成的图像，与现有技术中基于单一的整体特征对待处理图像进行重构得到的结果相比，本发明实施例得到的重构图像参考的特征较多，重构图像的清晰度较高。
[0214]
并且，本发明实施例中基于不同的分割方式对待处理图像进行分割，得到的不同的子图像集内子图像包含的局部特征不同，因此基于不同子图像集生成的不同重构图像能够体现不同的局部特征。本发明实施例对各个重构图像进行融合得到的最终的图像重构结果，是基于待处理图像大量不同的局部特征得到的，图像重构结果的清晰度更高。
[0215]
上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0216]
通信接口用于上述电子设备与其他设备之间的通信。
[0217]
存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0218]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0219]
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现所述任一图像重构方法的步骤。
[0220]
应用本实施例提供的计算机可读存储介质中存储的计算机程序进行图像重构时，通过不同的分割方式分割待处理图像，得到的小尺寸的子图像为待处理图像的局部图像，因此上述子图像中包含待处理图像的局部特征。对各个子图像分别进行图像重构处理，相当于基于待处理图像不同图像区域的局部特征，分别对各个图像区域进行了图像重构处理，得到的子图像重构结果是基于待处理图像的局部特征得到的重构结果。因此子图像重构结果合并而成的重构图像是基于待处理图像大量的局部特征生成的图像，与现有技术中基于单一的整体特征对待处理图像进行重构得到的结果相比，本发明实施例得到的重构图像参考的特征较多，重构图像的清晰度较高。
[0221]
并且，本发明实施例中基于不同的分割方式对待处理图像进行分割，得到的不同的子图像集内子图像包含的局部特征不同，因此基于不同子图像集生成的不同重构图像能够体现不同的局部特征。本发明实施例对各个重构图像进行融合得到的最终的图像重构结果，是基于待处理图像大量不同的局部特征得到的，图像重构结果的清晰度更高。
[0222]
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像重构方法步骤。
[0223]
执行本实施例提供的计算机程序产品进行图像重构时，通过不同的分割方式分割
待处理图像，得到的小尺寸的子图像为待处理图像的局部图像，因此上述子图像中包含待处理图像的局部特征。对各个子图像分别进行图像重构处理，相当于基于待处理图像不同图像区域的局部特征，分别对各个图像区域进行了图像重构处理，得到的子图像重构结果是基于待处理图像的局部特征得到的重构结果。因此子图像重构结果合并而成的重构图像是基于待处理图像大量的局部特征生成的图像，与现有技术中基于单一的整体特征对待处理图像进行重构得到的结果相比，本发明实施例得到的重构图像参考的特征较多，重构图像的清晰度较高。
[0224]
并且，本发明实施例中基于不同的分割方式对待处理图像进行分割，得到的不同的子图像集内子图像包含的局部特征不同，因此基于不同子图像集生成的不同重构图像能够体现不同的局部特征。本发明实施例对各个重构图像进行融合得到的最终的图像重构结果，是基于待处理图像大量不同的局部特征得到的，图像重构结果的清晰度更高。
[0225]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0226]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0227]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质与计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0228]
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。