图像复原方法、装置、存储介质和电子设备与流程

1.本技术属于图像处理技术领域，尤其涉及一种图像复原方法、装置、存储介质和电子设备。


背景技术：

2.图像复原又叫图像恢复，旨在从退化图像复原出高质量图像。自然图像在拍摄、传输、接收的过程中由于硬件设备自身限制和环境中的噪声，导致自然图像呈现的视觉效果不理想，所呈现的图像一般比较模糊，以及存在噪声污染，难以获得高质量图像，不能满足实际生活中对图像的呈现效果。
3.由于深度学习具有自动提取特征的特点，以及强大的计算能力和泛化能力，深度学习方法已成为计算机视觉各个领域的主流方法，尤其在图像复原领域。然而，现有技术中，用于图像复原的深度学习网络模型，处理更多的数据时需要更深的网络，深度学习网络模型的运算量较大，导致图像复原的效率较低。


技术实现要素：

4.本技术实施例提供了一种图像复原方法、装置、存储介质和电子设备，用于在保证优化后的增强深度超分辨网络模型edsr的性能同时，极大的降低图像复原的运算量，进而提升图像复原的效率。
5.第一方面，本技术实施例提供了一种图像复原方法，包括：
6.获得第一图像，第一图像为图像复原前的图像；
7.将第一图像输入优化后的增强深度超分辨率网络模型edsr进行处理，输出第二图像，第二图像为图像复原后的图像，优化后的增强深度超分辨率网络模型edsr用于提升图像特征的尺度和降低运算量；
8.其中，优化后的增强深度超分辨率网络模型edsr中的第一残差模块包括的多个多尺度卷积替代优化前的增强深度超分辨率网络模型edsr中的第二残差模块包括的多个单尺度卷积，多个单尺度卷积与多个多尺度卷积一一对应。
9.第二方面，本技术实施例提供了一种图像复原装置，包括：
10.图像获得单元，用于获得第一图像，第一图像为图像复原前的图像；
11.图像复原单元，用于将第一图像输入优化后的增强深度超分辨率网络模型edsr进行处理，输出第二图像，第二图像为图像复原后的图像，优化后的增强深度超分辨率网络模型edsr用于提升图像特征的尺度和降低运算量；其中，优化后的增强深度超分辨率网络模型edsr中的第一残差模块包括的多个多尺度卷积替代优化前的增强深度超分辨率网络模型edsr中的第二残差模块包括的多个单尺度卷积，多个单尺度卷积与多个多尺度卷积一一对应。
12.第三方面，本技术实施例提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如第一方面的图
像复原方法。
13.第四方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如第一方面的图像复原方法。
14.第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行如第一方面的图像复原方法。
15.本技术实施例中，通过获得第一图像，第一图像为图像复原前的图像，将第一图像输入优化后的增强深度超分辨率网络模型edsr进行处理，输出第二图像，第二图像为图像复原后的图像，其中，优化后的增强深度超分辨率网络模型edsr中的第一残差模块包括的多个多尺度卷积替代优化前的增强深度超分辨率网络模型edsr中的第二残差模块包括的多个单尺度卷积，多个单尺度卷积与多个多尺度卷积一一对应。由于优化后的增强深度超分辨率网络模型edsr用于提升图像特征的尺度和降低运算量，因此不仅能够保证优化后的增强深度超分辨网络模型edsr的性能，而且极大的降低图像复原的运算量，进而提升图像复原的效率。
附图说明
16.为了更清楚的说明本技术实施例或背景技术中的技术方案，下面将对本技术实施例或背景技术中所需使用的附图进行说明。
17.图1是本技术实施例提供的图像复原方法的实现流程图；
18.图2是本技术实施例提供的图像复原方法中第一图像输入优化后的增强深度超分辨率网络模型edsr进行处理输出第二图像的具体实现流程图；
19.图3是本技术实施例提供的图像复原方法中获得第一图像特征集合的具体实现流程图；
20.图4是本技术实施例提供的图像复原方法中残差块resblock进行处理的具体实现流程图；
21.图5是本技术实施例提供的图像复原方法中多尺度特征提取的具体实现流程图；
22.图5.1是本技术实施例提供的图像复原方法中整数采样倍数的多尺度卷积的结构示意图；
23.图5.2是本技术实施例提供的图像复原方法中优化前的增强深度超分辨率网络模型edsr的结构示意图；
24.图6是本技术实施例提供的图像复原装置的结构框图；
25.图7是本技术实施例提供的电子设备的示意图。
具体实施方式
26.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
27.如在本技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确
定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0028]
另外，在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0029]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0030]
本技术实施例提供了一种图像复原方法，适用于需要执行图像复原、图像重建等图像处理的各种类型的电子设备或者服务器。
[0031]
下面结合具体实施例对本技术提供的图像复原方法进行示例性的说明。
[0032]
图1示出了本技术实施例提供的图像复原方法的实现流程，该方法流程可以包括如下步骤s101至s102。
[0033]
s101：电子设备获得第一图像，第一图像为图像复原前的图像。
[0034]
图像复原是指将低分辨率图像放大，以补充更多图像细节，得到清晰的高分辨率图像。第一图像为图像复原前的低分辨率图像。
[0035]
在本技术实施例中，第一图像可以是三基色图像(rgb图像)，也可以是图像传感器获取的原始图像(raw图像)。
[0036]
s102：电子设备将第一图像输入优化后的增强深度超分辨率网络模型edsr进行处理，输出第二图像，第二图像为图像复原后的图像，优化后的增强深度超分辨率网络模型edsr用于提升图像特征的尺度和降低运算量；其中，优化后的增强深度超分辨率网络模型edsr中的第一残差模块包括的多个多尺度卷积替代优化前的增强深度超分辨率网络模型edsr中的第二残差模块包括的多个单尺度卷积，多个单尺度卷积与多个多尺度卷积一一对应。
[0037]
作为本技术一种可能的实施方式，优化后的增强深度超分辨率网络模型edsr(下文简称为优化后的edsr)包括特征提取模块、第一残差模块、全局跳过连接模块和上采样重建模块，图2示出了本技术实施例提供的图像复原方法中，电子设备将第一图像输入优化后的增强深度超分辨率网络模型edsr进行处理，输出第二图像的具体实现流程，详述如下：
[0038]
a1：电子设备将第一图像输入特征提取模块进行处理，输出目标特征图像。
[0039]
具体地，将第一图像输入至特征提取模块中进行卷积处理，输出第一图像的目标特征图像。特征提取模块用于提取第一图像的图像特征，生成目标特征图像输出。图像特征主要包括但不限于图像的颜色特征、纹理特征、形状特征和空间关系特征，提取的图像特征与其具体形式无关。
[0040]
在一些实施方式中，特征提取模块可以是现有网络中的任意一种，特征提取模块可由全卷积层构成，例如由一个3
×
3卷积构成。
[0041]
在本技术实施例中，假设第一图像的分辨率为[c
×h×
w]，其中，c表示图像的通道数、h表示高、w表示宽，彩色图像的通道数为3，灰度图像的通道数为1，第一图像经过特征提
取模块进行特征提取后，输出的特征维度信息为[c0×h×
w]。c0表示经过特征提取模块中的卷积调整后的通道数。
[0042]
a2：电子设备将目标特征图像输入第一残差网络模块进行处理，输出第一图像特征集合。
[0043]
本技术实施例中，特征提取模块的输出与第一残差网络模块的输入连接，特征提取模块输出目标特征图像后，输入至第一残差网络模块中进行处理。
[0044]
在一种可能的实施方式中，第一残差网络模块包括n个相同的优化后的残差块resblock和第一卷积，n为大于2的整数，如图3所示，步骤a2具体包括：
[0045]
a21：电子设备将目标特征图像输入第1个优化后的残差块resblock进行处理，输出第1个处理结果。其中，优化后的残差块resblock包括多尺度卷积，用于提取多尺度特征。
[0046]
a22：电子设备循环执行将第i个处理结果输入第(i 1)个优化后的残差块resblock进行处理，输出第(i 1)个处理结果，直到i＝(n-1)，得到第三图像特征集合，i是初始值为1、以1为间隔的递增整数。
[0047]
a23：电子设备根据第三图像特征集合和第一卷积获得第一图像特征集合。
[0048]
在本技术实施例中，n个相同的优化后的resblock堆叠，特征提取模块与堆叠的n个相同的优化后的resblock连接。具体地，将目标特征图像输入至第1个优化后的resblock，得到第1个处理结果，再将第1个处理结果输入至与1个优化的resblock连接的第2个优化后的resblock，得到第2个处理结果，以此类推，目标特征图像依次经过n个优化后的resblock的处理，得到第n个处理结果，即为第三图像特征集合。
[0049]
作为本技术一种可能的实施方式，第(i 1)个优化后的残差块resblock包括两个相同的多尺度卷积、激活函数和复合块mult，如图4所示，电子设备将第i个处理结果输入第(i 1)个优化后的残差块resblock进行处理，输出第(i 1)个处理结果的具体实现流程，详述如下：
[0050]
b1：电子设备根据第i个处理结果和第1个多尺度卷积获得第1子处理结果。
[0051]
b2：电子设备根据第1子处理结果和激活函数获得第2子处理结果。
[0052]
b3：电子设备根据第2子处理结果和第2个多尺度卷积获得第3子处理结果。
[0053]
b4：电子设备根据第3子处理结果和复合块mult获得第4子处理结果。
[0054]
b5：电子设备对第i个处理结果和第4子处理结果进行特征融合，得到第(i 1)个处理结果。
[0055]
作为本技术一种可能的实施方式，第1个多尺度卷积包括三个相同的卷积核，例如3
×
3的卷积核，如图5所示，步骤b1具体包括：
[0056]
b11：电子设备根据第i个处理结果和第1个卷积核获得第一中间结果，第一中间结果的尺度为第1个卷积核的大小。
[0057]
具体地，第i个处理结果经过第1个卷积核的卷积处理，按原始分辨率输出第一尺度大小的第一中间结果。
[0058]
b12：电子设备对第i个处理结果依次进行第一预设倍数下采样、与第2个卷积核卷积和第一预设倍数上采样，得到第二中间结果，第二中间结果的尺度为第2个卷积核的大小与第一预设倍数之和。
[0059]
其中，第一预设倍数用于调整特征采样的分辨率。第一预设倍数可以为1/2。在本
申请实施例中，将第i个处理结果依次经过第一预设倍数下采样、与第2个卷积核卷积，以及第一预设倍数上采样的处理，输出第2个卷积核的大小与第一预设倍数之和的尺度的第二中间结果。
[0060]
b13：电子设备对第i个处理结果依次进行第二预设倍数下采样、与第3个卷积核卷积和第二预设倍数上采样，得到第三中间结果，第三中间结果的尺度为第3个卷积核的大小与第二预设倍数之和。
[0061]
其中，第二预设倍数用于调整图像分辨率，可以为1/4。第二预设倍数与第一预设倍数不相同。在本技术实施例中，第i个处理结果依次经过第二预设倍数下采样、与第3个卷积核卷积，以及第二预设倍数上采样，输出第3个卷积核的大小与第二预设倍数之和的尺度的第三中间结果。
[0062]
在本技术实施例中，根据调整采样分辨率的预设倍数，如第一预设倍数、第二预设倍数，按指定比例增加图像特征的尺度，输出的图像特征增加的尺度与采样分辨率的预设倍数相关。
[0063]
在一些实施方式中，下采样处理可以通过stride＝2的卷积、最大值池化或者均值池化完成。上采样处理可以通过stride＝2的卷积或者最近邻插值完成。
[0064]
作为本技术一种可能的实施方式，下采样 卷积 上采样构成了尺度3 s下的特征提取，用于调整采样倍数的第一预设倍数和第二预设倍数，既可以是整数倍数，也可以是非整数倍数。例如，第一图像的原始分辨率为300
×
300，经过预设倍数调整后的下采样的分辨率为200
×
200，下采样为原始分辨率的2/3，即下采样倍率s＝2/3。
[0065]
示例性地，图5.1示出了使用整数采样倍数的多尺度卷积。具体地，图5.1中第1分支表示电子设备根据第i个处理结果和第1个卷积核获得第一中间结果；第2分支表示电子设备对第i个处理结果依次进行2倍下采样、与第2个卷积核卷积和2倍上采样，得到第二中间结果。第3分支表示电子设备对第i个处理结果依次进行4倍下采样、与第3个卷积核卷积和4倍上采样，得到第三中间结果。再经过add将第一中间结果、第二中间结果以及第三中间结果进行融合。
[0066]
在本技术实施例中，对于非整数倍数的上采样或下采样处理，可以使用双线性插值操作。而对于整数倍数的上采样或下采样处理，除了可使用双线性插值操作外，还可以采用space_to_depth函数操作。
[0067]
在本技术实施例中，第一尺度大小的第一中间结果、第二尺度大小的第二中间结果以及第三尺度大小的第三中间结果的特征数量之和等于目标特征图像中特征的数量。
[0068]
b14：电子设备对第一中间结果、第二中间结果和第三中间结果进行特征融合，得到第1子处理结果。
[0069]
作为本技术一种可能的实施方式，第1个卷积核、第2个卷积核以及第3个卷积核可用于控制输出的处理结果的特征通道数目。在一些实施方式中，特征融合使用add求和融合方式，则第一中间结果、第二中间结果以及第三中间结果各自的特征通道数目要相等，即c1＝c2＝c3。在另一些实施方式中，特征融合使用concat全连接融合方式，则第一中间结果、第二中间结果以及第三中间结果各自的特征通道数目可以不相等，即c1、c2、c3三者可以不相同。
[0070]
示例性地，用于调整图像分辨率的第一倍数和第二倍数为整数倍数，假设初始图
像特征的数量为c，第i个处理结果经过第一个卷积核进行3
×
3卷积得到第一尺度的第一中间结果，特征数量为c1，第一尺度为3；第i个处理处理结果经过2倍下采样处理 3
×
3卷积处理 2倍上采样处理得到第二尺度的第二中间结果，特征数量为c2，第二尺度为5；利用第三多尺度网络进行4倍下采样处理 3
×
3卷积处理 4倍上采样处理得到第三尺度的第三处理结果，特征数量为c3，第三尺度为7；c1 c2 c3＝c，且c1＝c2＝c3。多尺度卷积的输出同时具有3、5、7三个尺度的图像特征信息，而单尺度卷积的输出仅有3这个单一尺度的信息。在计算量方面，标准卷积的计算量为：9hwcc，而在本技术实施例中的多尺度卷积中，3
×
3尺度信息部分的计算量为3hwcc，5
×
5尺度信息部分的计算量为3hwcc/4，7
×
7尺度信息部分的计算量为3hwcc/16，本技术中多尺度卷积的计算量大约是标准卷积的21/48。
[0071]
一般的，获取多种尺度的图像特征的方式是采用不同尺寸的卷积核提取多种尺度的图像特征，这种特征提取方式也会导致需要更深的网络。如图5.2所示，优化前的edsr模型包括残差块resblock和上采样模块，其中，残差块resblock包括多个单尺度卷积、激活函数和复合块mult，edsr中要获取多种尺度的图像特征需要不同尺寸的卷积核，从而加深了网络。而在本技术实施例中，优化后的残差块resblock包括两个相同的多尺度卷积、激活函数和复合块mult，即本技术实施例中采用相同尺度的卷积核，例如3
×
3的卷积核，通过调整第一图像的采样分辨率达到获取多种尺度的图像特征的目的，多尺度特征获取过程未加深卷积网络，避免了计算量的增加。
[0072]
a3：电子设备根据全局跳过连接模块对目标特征图像和第一图像特征集合进行特征融合，得到第二图像特征集合。
[0073]
本技术实施例中，全局跳过连接模块的作用是将特征融合，具体地，全局跳过连接模块将目标特征图像和第一图像特征集合进行特征融合后，输出第二图像特征集合。全局跳过连接模块不仅可以融合多尺度特征，还可加速网络收敛，并可使得梯度直接从后端传播给前端，避免了梯度消失现象。
[0074]
a4：电子设备将第二图像特征集合输入上采样重建模块进行处理，输出第二图像。其中，上采样重建模块用于根据全局跳过连接输出的第二图像特征集合输出高分辨率的第二图像，实现图像复原。
[0075]
在本技术实施例中，构建优化后的增强深度超分辨率网络模型edsr，优化后的增强深度超分辨率网络模型edsr包括特征提取模块、第一残差模块、全局跳过连接模块和上采样重建模块。电子设备将第一图像输入至该优化后的edsr中，经过特征提取模块、第一残差模块、全局跳过连接模块以及上采样重建模块的依次处理，得到高分辨率的第二图像。
[0076]
作为本技术一种可能的实施方式，优化后的增强深度超分辨率网络模型edsr的训练包括：
[0077]
d1：电子设备获取样本训练数据，样本训练数据包括样本原始图像与样本原始图像对应的样本复原图像。
[0078]
具体地，样本原始图像为低分辨的图像，样本复原图像为与样本原始图像对应的高分辨的图像。
[0079]
d2：电子设备将样本原始图像输入至优化后的增强深度超分辨率网络模型edsr进行处理，输出样本原始图像对应的生成图像，该生成图像为高分辨率图像。
[0080]
在本技术实施例中，构建优化后的增强深度超分辨率网络模型edsr，优化后的
edsr包括特征提取模块、第一残差模块、全局跳过连接模块以及上采样重建模块。电子设备将样本原始图像输入至构建好的优化后的增强深度超分辨率网络模型edsr中，经过特征提取模块、第一残差模块、全局跳过连接模块以及上采样重建模块的依次处理，生成图像。
[0081]
d3：电子设备根据样本复原图像与生成图像，对优化后的增强深度超分辨率网络模型edsr的模型参数进行调整，并继续执行将样本原始图像输入至优化后的增强深度超分辨率网络模型edsr的步骤，直至满足预设训练条件，以得到训练好的优化后的增强深度超分辨率网络模型edsr。
[0082]
在本技术实施例中，样本复原图像为复原后高分辨率的图像。通过比较优化后的edsr的生成图像与样本复原图像，得到差值，用得到的差值调整优化后的edsr的模型参数，从而使得优化后的edsr的生成图像更接近样本复原图像。
[0083]
在本技术实施例中，电子设备根据样本复原图像与生成图像，对优化后的edsr的模型参数进行调整修改，修改模型参数之后在继续执行将样本原始图像输入至优化后的edsr的步骤，直至满足预设训练条件。在一些实施方式中，预设训练条件可以是训练次数达到预设次数，例如，达到80000次。在另一些实施方式中，预设训练条件可以是优化后的edsr达到收敛。
[0084]
由上可见，本技术实施例中，电子设备通过获得第一图像，第一图像为图像复原前的图像，将第一图像输入优化后的增强深度超分辨率网络模型edsr进行处理，输出第二图像，第二图像为图像复原后的图像，优化后的增强深度超分辨率网络模型edsr用于提升图像特征的尺度和降低运算量，其中，优化后的增强深度超分辨率网络模型edsr中的第一残差模块包括的多个多尺度卷积替代优化前的增强深度超分辨率网络模型edsr中的第二残差模块包括的多个单尺度卷积，多个单尺度卷积与多个多尺度卷积一一对应。由于优化后的增强深度超分辨率网络模型edsr用于提升图像特征的尺度和降低运算量，因此不仅能够保证优化后的增强深度超分辨网络模型edsr的性能，而且极大的降低图像复原的运算量，进而提升图像复原的效率。
[0085]
应理解，实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0086]
对应于上文实施例的图像复原方法，图6示出了本技术实施例提供的图像复原装置的结构框图，为了便于说明，仅示出了与本技术实施例相关的部分。
[0087]
参照图6，该图像复原装置包括：图像获取单元61，图像复原单元62，其中：
[0088]
图像获得单元，用于获得第一图像，第一图像为图像复原前的图像；
[0089]
图像复原单元，用于将第一图像输入优化后的增强深度超分辨率网络模型edsr进行处理，输出第二图像，第二图像为图像复原后的图像，优化后的增强深度超分辨率网络模型edsr用于提升图像特征的尺度和降低运算量；其中，优化后的增强深度超分辨率网络模型edsr中的第一残差模块包括的多个多尺度卷积替代优化前的增强深度超分辨率网络模型edsr中的第二残差模块包括的多个单尺度卷积，多个单尺度卷积与多个多尺度卷积一一对应。
[0090]
在一种可能的实施方式中，优化后的增强深度超分辨率网络模型edsr包括特征提取模块、第一残差模块、全局跳过连接模块和上采样重建模块，在将第一图像输入优化后的增强深度超分辨率网络模型edsr进行处理，输出第二图像方面，图像复原单元具体用于：
[0091]
将第一图像输入特征提取模块进行处理，输出目标特征图像；
[0092]
将目标特征图像输入第一残差网络模块进行处理，输出第一图像特征集合；
[0093]
根据全局跳过连接模块对目标特征图像和第一图像特征集合进行特征融合，得到第二图像特征集合；
[0094]
将第二图像特征集合输入上采样重建模块进行处理，输出第二图像。
[0095]
在一种可能的实施方式中，第一残差网络模块包括n个相同的优化后的残差块resblock和第一卷积，n为大于2的整数，在将目标特征图像输入第一残差网络模块进行处理，输出第一图像特征集合方面，图像复原单元具体用于：
[0096]
将目标特征图像输入第1个优化后的残差块resblock进行处理，输出第1个处理结果；
[0097]
循环执行将第i个处理结果输入第(i 1)个优化后的残差块resblock进行处理，输出第(i 1)个处理结果，直到i＝(n-1)，得到第三图像特征集合，i是初始值为1，以1为间隔的递增整数；
[0098]
根据第三图像特征集合和第一卷积获得第一图像特征集合。
[0099]
在一种可能的实施方式中，第(i 1)个优化后的残差块resblock包括两个相同的多尺度卷积、激活函数和复合块mult，在将第i个处理结果输入第(i 1)个优化后的残差块resblock进行处理，输出第(i 1)个处理结果方面，图像复原单元具体用于：
[0100]
根据第i个处理结果和第1个多尺度卷积获得第1子处理结果；
[0101]
根据第1子处理结果和激活函数获得第2子处理结果；
[0102]
根据第2子处理结果和第2个多尺度卷积获得第3子处理结果；
[0103]
根据第3子处理结果和复合块mult获得第4子处理结果；
[0104]
对第i个处理结果和第4子处理结果进行特征融合，得到第(i 1)个处理结果。
[0105]
在一种可能的实施方式中，第1个多尺度卷积包括三个相同的卷积核，在根据第i个处理结果和第1个多尺度卷积获得第1子处理结果方面，图像复原单元具体用于：
[0106]
根据第i个处理结果和第1个卷积核获得第一中间结果，第一中间结果的尺度为第1个卷积核的大小；
[0107]
对第i个处理结果依次进行第一预设倍数下采样、与第2个卷积核卷积和第一预设倍数上采样，得到第二中间结果，第二中间结果的尺度为第2个卷积核的大小与第一预设倍数之和；
[0108]
对第i个处理结果依次进行第二预设倍数下采样、与第3个卷积核卷积和第二预设倍数上采样，得到第三中间结果，第三中间结果的尺度为第3个卷积核的大小与第二预设倍数之和；
[0109]
对第一中间结果、第二中间结果和第三中间结果进行特征融合，得到第1子处理结果。
[0110]
需要说明的是，装置/单元之间的信息交互、执行过程等内容，由于与本技术方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0111]
本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可读指令，计算机可读指令被处理器执行时实现如图1至图5表示的任意一种图像复原方
法的步骤。
[0112]
本技术实施例还提供一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现如图1至图5表示的任意一种图像复原方法的步骤。
[0113]
本技术实施例还提供一种计算机程序产品，当该计算机程序产品在电子设备上运行时，使得电子设备执行实现如图1至图5表示的任意一种图像复原方法的步骤。
[0114]
图7是本技术一实施例提供的电子设备的示意图。如图7所示，该实施例的电子设备7包括：处理器70、存储器71以及存储在存储器71中并可在处理器70上运行的计算机可读指令72。处理器70执行计算机可读指令72时实现各个图像复原方法实施例中的步骤，例如图1所示的步骤s101至s102。或者，处理器70执行计算机可读指令72时实现各装置实施例中各模块/单元的功能，例如图6所示单元61至62的功能。
[0115]
示例性的，计算机可读指令72可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器71中，并由处理器70执行，以完成本技术。一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述计算机可读指令72在电子设备7中的执行过程。
[0116]
电子设备7可以是移动设备或者服务器。电子设备7可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是电子设备7的示例，并不构成对电子设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备7还可以包括输入输出设备、网络接入设备、总线等。
[0117]
处理器70可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
–
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0118]
存储器71可以是电子设备7的内部存储单元，例如电子设备7的硬盘或内存。存储器71也可以是电子设备7的外部存储设备，例如电子设备7上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，存储器71还可以既包括电子设备7的内部存储单元也包括外部存储设备。存储器71用于存储计算机可读指令以及电子设备所需的其他程序和数据。存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
[0119]
需要说明的是，装置/单元之间的信息交互、执行过程等内容，由于与本技术方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0120]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，集成的单元既可以采用
硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0121]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
[0122]
在实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0123]
以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。