图像处理方法、装置、设备和可读存储介质与流程

1.本发明涉及图像增强技术领域，尤其涉及一种图像处理方法、装置、设备和可读存储介质。


背景技术：

2.现有技术中提出了针对360
°
图像的增强和超分辨率(简称超分)技术。其中，增强表示在不改变图像尺寸的前提下改善图像质量，超分辨率表示在对原始图像的长和宽都扩大到原来的n倍的情况下改善图像质量，例如，超分4倍表示在对原始图像的长和宽都扩大到原来的4倍的情况下改善图像质量。
3.当前的针对全景相机的图像超分技术是基于带固定焦距(定焦镜头)相机的，这种方式对超分辨率图像的质量的提升有限。


技术实现要素：

4.本发明实施例提供一种图像处理方法、装置、设备和可读存储介质，以提高超分辨率图像的质量。
5.第一方面，本发明实施例提供了一种图像处理方法，包括：
6.获取待处理图像；
7.将所述待处理图像以及与所述待处理图像对应的条件作为条件神经网络模型的输入，得到所述待处理图像的超分辨率图像；
8.其中，所述条件神经网络模型是利用第一采样图像的至少两个区域图像以及与所述至少两个区域图像对应的条件训练得到的；所述至少两个区域图像分别与至少两个变焦倍率下的第二采样图像相对应，其中，所述第二采样图像的质量高于所述第一采样图像的质量。
9.其中，所述方法还包括：
10.训练所述条件神经网络模型。
11.其中，所述训练所述条件神经网络模型包括：
12.从所述第一采样图像中提取至少两个区域图像；
13.将所述至少两个区域图像以及与所述至少两个区域图像对应的条件输入到条件生成对抗网络的生成器中，得到所述至少两个区域图像对应的超分辨率图像以及所述条件神经网络模型。
14.其中，在所述从所述第一采样图像中提取至少两个区域图像之后，所述方法还包括：
15.将所述至少两个区域图像分别与至少两个变焦倍率下的第二采样图像进行匹配；
16.所述将所述至少两个区域图像以及与所述至少两个区域图像对应的条件输入到条件生成对抗网络的生成器中，包括：
17.将匹配后的所述至少两个区域图像以及与所述至少两个区域图像对应的条件输
入到条件生成对抗网络的生成器中。
18.其中，所述训练所述条件神经网络模型，还包括：
19.将所述至少两个变焦倍率下的第二采样图像、所述至少两个区域图像对应的超分辨率图像以及与所述至少两个区域图像对应的条件输入到所述条件生成对抗网络的判别器中，得到判别结果。
20.其中，所述条件包括独热向量。
21.其中，所述独热向量由以下任一信息决定：
22.变焦镜头的变焦倍率；
23.变焦镜头的景深；
24.变焦镜头的焦距。
25.其中，所述条件包括：vgg特征。
26.第二方面，本发明实施例提供了一种图像处理装置，包括：
27.第一获取模块，用于获取待处理图像；
28.第二获取模块，用于将所述待处理图像以及与所述待处理图像对应的条件作为条件神经网络模型的输入，得到所述待处理图像的超分辨率图像；
29.其中，所述条件神经网络模型是利用第一采样图像的至少两个区域图像以及与所述至少两个区域图像对应的条件训练得到的；所述至少两个区域图像分别与至少两个变焦倍率下的第二采样图像相对应，其中，所述第二采样图像的质量高于所述第一采样图像的质量。
30.第三方面，本发明实施例提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；所述处理器，用于读取存储器中的程序实现如第一方面所述的图像处理方法中的步骤。
31.第四方面，本发明实施例还提供一种可读存储介质，所述可读存储介质上存储程序，所述程序被处理器执行时实现如上第一方面所述的图像处理方法中的步骤。
32.在本发明实施例中，利用条件神经网络模型可对待处理图像进行处理，从而得到所述待处理图像的超分辨率图像。由于在本发明实施例的方案中，可在超过镜头焦距范围的情况下获得超分辨率图像，因此，利用本发明实施例的方案可提高获得的超分辨率图像的质量。
附图说明
33.图1是本发明实施例提供的图像处理方法的流程图之一；
34.图2是本发明实施例提供的图像处理方法的流程图之二；
35.图3是本发明实施例提供的待处理图像的示意图；
36.图4是本发明实施例提供的条件生成对抗网络的生成器的处理过程示意图之一；
37.图5是本发明实施例提供的条件生成对抗网络的判别器的处理过程示意图之一；
38.图6是本发明实施例提供的条件生成对抗网络的推理(测试)阶段的处理过程示意图之一；
39.图7是本发明实施例提供的条件生成对抗网络的生成器的处理过程示意图之二；
40.图8是本发明实施例提供的条件生成对抗网络的判别器的处理过程示意图之二；
41.图9是本发明实施例提供的条件生成对抗网络的推理(测试)阶段的处理过程示意图之二；
42.图10是本发明实施例提供的图像处理装置的示意图之一；
43.图11是本发明实施例提供的图像处理装置的示意图之二；
44.图12是本发明实施例提供的训练模块的示意图之一；
45.图13是本发明实施例提供的训练模块的示意图之二；
46.图14是本发明实施例提供的训练模块的示意图之三；
47.图15是本发明实施例提供的电子设备的结构图。
具体实施方式
48.本发明实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
49.本技术实施例中术语“多个”是指两个或两个以上，其它量词与之类似。
50.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，并不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
51.参见图1，图1是本发明实施例提供的图像处理方法的流程图，如图1所示，包括以下步骤：
52.步骤101、获取待处理图像。
53.其中，所述待处理图像可以是整张的图像，也可以是整张图像中的区域图像。在实际应用中，所述待处理图像可以是低质量图像，比如，利用手机拍摄的图像，全景图像等等。其中，图像质量的高低可通过纹理细节的清晰程度，边缘的锐化程度，是否有色偏等进行衡量。例如，图像的纹理细节清晰或者清晰度满足预设条件(该预设条件可根据需要设置)，那么，可认为该图像为高质量图像，反之，则可认为是低质量图像。
54.通过高质量拍摄装置拍出来的图像可称为高质量图像。高质量拍摄装置通常使用透视镜头，具有如下特点：1)高分辨率；2)低色相差；3)低噪声。典型的高质量拍摄装置为单反相机。
55.步骤102、将所述待处理图像以及与所述待处理图像对应的条件作为条件神经网络模型的输入，得到所述待处理图像的超分辨率图像。
56.在本发明实施例中，超分辨率图像指的是相较于待处理图像，分辨率有所提高的图像，也就是说，超分辨率图像的分辨率要高于待处理图像。
57.其中，所述条件神经网络模型是利用第一采样图像的至少两个区域图像以及与所述至少两个区域图像对应的条件训练得到的；所述至少两个区域图像分别与至少两个变焦倍率下的第二采样图像相对应，其中，所述第二采样图像的质量高于所述第一采样图像的质量。
58.例如，第一采样图像的两个区域图像a和b，可分别对应变焦倍率c下的第二采样图像和变焦倍率d下的第二采样图像，其中，变焦倍率c和变焦倍率d不同。
59.需要说明的是，在本发明实施例中的条件神经网络模型可以是预先训练好的，也可以是在执行本发明实施例的过程中训练的。而且，在训练的过程中，不需要对不同的变焦倍率训练不同的神经网络模型，而是训练一个以不同变焦倍率为条件的神经网络模型即可，从而可更节约成本。
60.在本发明实施例中，条件神经网络模型是利用条件生成对抗网络训练得到的。其中，条件生成对抗网络的输入包括第一采样图像中的至少两个区域图像以及该至少两个区域图像对应的条件。其中，条件也可理解为该至少两个区域图像的标签。
61.在本发明实施例中，在训练第一采样图像的过程中，可利用独热向量来表示该条件，也可利用第一采样图像的vgg(visual geometry group，视觉几何组)特征来表示。那么，同理，在生成超分辨率图像的过程中，可利用独热向量来表示该条件，也可利用待处理图像的vgg特征来表示。
62.如果所述条件包括独热向量，那么，独热向量由以下任一信息决定：
63.变焦镜头的变焦倍率；
64.变焦镜头的景深；
65.变焦镜头的焦距。
66.例如，独热向量利用变焦镜头的变焦倍率来表示，那么，(1，0，0，0，0)、(0，1，0，0，0)、(0，0，1，0，0)、(0，0，0，1，0)、(0，0，0，0，1)可分别表示1倍、2倍、3倍、4倍和5倍变焦倍率。
67.由于在本发明实施例的方案中，可在超过镜头焦距范围的情况下获得超分辨率图像，因此，利用本发明实施例的方案可提高获得的超分辨率图像的质量。
68.参见图2，图2是本发明实施例提供的图像处理方法的流程图，如图2所示，包括以下步骤：
69.步骤201、训练条件神经网络模型。
70.条件神经网络模型是利用条件生成对抗网络训练得到的。条件生成对抗网络可包括生成器和判别器。其中，生成器用于生成条件神经网络模型，判别器用于条件神经网络模型进行判别，从而进一步提升条件神经网络模型的准确性。
71.具体的，在此步骤中，从第一采样图像中提取至少两个区域图像。然后，将所述至少两个区域图像以及与所述至少两个区域图像对应的条件输入到条件生成对抗网络的生成器中，得到所述至少两个区域图像对应的超分辨率图像以及所述条件神经网络模型。具体的，对于每个区域图像，将该区域图像、该区域图像对应的条件进行连接之后，输入到条件生成对抗网络的生成器中。
72.为了使得获得的神经网络模型更为准确，在所述从第一采样图像中提取至少两个区域图像之后，所述方法还包括：将所述至少两个区域图像分别与至少两个变焦倍率下的第二采样图像进行匹配。例如，第一采样图像的两个区域图像a和b，分别对应变焦倍率c下的第二采样图像和变焦倍率d下的第二采样图像。那么，将区域图像a和变焦倍率c下的第二采样图像进行匹配，以及，将区域图像b和变焦倍率d下的第二采样图像进行匹配。其中，匹配的含义是指使得两幅图像中包括的内容相同或者使得两幅图像中包括的内容的相同程度满足某个预设条件，例如，相同程度为90％等。那么，在进行了匹配之后，则是将匹配后的所述至少两个区域图像以及与所述至少两个区域图像对应的条件输入到条件生成对抗网络的生成器中，得到所述至少两个区域图像对应的超分辨率图像以及所述条件神经网络模
型。
73.此外，在上述基础上，还可将所述至少两个变焦倍率下的第二采样图像、所述至少两个区域图像对应的超分辨率图像以及与所述至少两个区域图像对应的条件输入到所述条件生成对抗网络的判别器中，得到判别结果。所述判别结果是一个介于0和1之间的标量，用于表示超分辨率图像的真假。
74.步骤202、获取待处理图像。
75.步骤203、将所述待处理图像以及与所述待处理图像对应的条件作为条件神经网络模型的输入，得到所述待处理图像的超分辨率图像。
76.其中，步骤202和步骤203的描述可参照前述步骤101和102的描述。
77.以下，结合不同的条件来描述一下生成条件神经网络模型、利用判别器判别以及推理的过程。
78.图3展示了用一张用鱼眼相机拍摄的原始低质量全景图像1，一部分截取的区域2以及一个由单反相机拍摄的真实图像3(x)。1中的虚线区域11是需要进行增强和超分的区域。在图3中，提取了三个区域图像，也即虚线区域11一共有3个不同的区域，分别对应3中的3张由单反相机拍摄的不同焦距的图像，即55毫米，135毫米和250毫米焦距。这些焦距分别对应1倍，2倍和5倍的变焦倍率(四舍五入到整数)。2是1的虚线区域的放大图像。单反相机图像的分辨率在拉近和拉远的过程中是不变的，但是全景相机图像的分辨率是变化的。在实际应用中，还可将三个区域图像分别和3中不同焦距的图像进行匹配，从而使得区域图像中所包括的内容和3中对应的图像所包括的内容尽量相同。例如，将2中的55mm下的图像和3中55mm焦距下的图像进行匹配，将2中的135mm下的图像和3中135mm焦距下的图像进行匹配，将2中的250mm下的图像和3中250mm焦距下的图像进行匹配。
79.图4展示了条件生成对抗网络的生成器，其中，条件是由代表不同变焦倍率的独热向量定义的。这个条件神经网络是一个生成对抗网络(gan)，由生成器和判别器两部分组成。在训练阶段4，将区域图像以及代表变焦倍率的标签(在这些变焦倍率处拍摄了图像)连接起来，并传送给生成器用来训练。独热向量的定义为：(1，0，0，0，0)、(0，1，0，0，0)、(0，0，1，0，0)、(0，0，0，1，0)、(0，0，0，0，1)分别表示1倍、2倍、3倍、4倍和5倍变焦倍率。图4展示了两个不同的变焦倍率：1倍(5)和5倍(6)以及相应的输入图像。网络7是一个标准的卷积神经网络，包括卷积层，激活层和池化层等。在训练中的每一次迭代中，连接起来的输入的张量的参数被更新。网络的输出为不同变焦倍率的超分辨率的图像8和9以及训练的模型。输入图像和标签的数学表达可以是ii和y，输出图像可以是g(ii|y)。
80.需要说明的是，尽管在图4中将变焦倍率定义为独热向量，在实际应用中，也可以定义其他的变量比如焦距以及景深定义为独热向量。
81.图5展示了条件生成对抗网络的判别器。判别器是整个训练阶段的一部分。它把生成的图像g(ii|y)，真实图像x，以及标签y作为连接在一起的输入10，然后通过卷积神经网络11来提取特征，结果12是一个介于0和1之间的标量。这个标量代表生成图像是真(还是假)的概率。需要说明的是，在图5中只展示了1个变焦倍率，在实际应用中，连接在一起的可以是在不同变焦倍率的多个输入，如2倍，3倍等等。
82.图6展示了条件生成对抗网络的推理(测试)阶段13。输入为连接在一起的不同变焦倍率下的全景图像。由于在训练过程中，对于不同的变焦倍率只训练一个模型，因此，条
件神经网络模型的输入可以是在多种变焦倍率下的图像。在14和15中展示了在两种不同的变焦倍率：1倍和5倍的情况下的图像以及相应的标签。条件神经网络模型16与图4中描述的生成器生成的模型相同。条件神经网络模型的输出为对应于1倍和5倍变焦倍率的超分辨率的图像17和18。需要说明的是，在推理(测试)阶段，条件神经网络模型的输入既可以是低质量全景图像的区域图像也可以是整张低质量全景图像。如果输入是整张低质量全景图像，各个变焦倍率下的输入可以理解为是一张图。这时如果输入不同的条件(如独热向量)，网络会生成对应于这个条件的超分辨率图像。
83.图7展示了条件生成对抗网络的生成器，条件是由代表不同变焦倍率的输入图像的vgg特征定义的。在训练阶段19，将拍摄的低质量图像以及代表变焦倍率的标签(在这些变焦倍率处拍摄了图像)连接起来，并传送给生成器用来训练。图7中定义了vgg特征(标签)。图7展示了两个不同的变焦倍率：1倍(20)和5倍(21)以及相应的输入图像。卷积神经网络22是一个标准的卷积神经网络，包括卷积层，激活层和池化层等。在训练的每一次迭代中，连接起来的输入的张量的参数被更新。卷积神经网络的输出为不同变焦倍率的超分辨率的图像23和24以及训练的模型。输入图像和标签的数学表达可以是ii和φi。输出图像可以是g(ii|φi)。vgg19-22表示在vgg网络中第2个池化层之前的第2个卷积层。这个数值可以凭经验获得，其中，在具体应用中可以使用vgg19-22和vgg19-54等作为vgg特征。
84.图8展示了条件生成对抗网络的判别器。判别器是整个训练阶段的一部分。它把生成的图像g(ii|φi)，真实图像x和标签φi作为连接在一起的输入25，然后通过卷积神经网络26来提取特征，判别结果27是一个介于0和1之间的标量，这个标量代表生成的图像真(还是假)的概率。需要说明的是，在图8中只展示了1个变焦倍率，在实际应用中，连接在一起的可以是在不同变焦倍率的多个输入，如2倍，3倍等等。
85.图9展示了条件生成对抗网络的推理(测试)阶段28。输入为连接在一起的不同变焦倍率下的图像。由于对于不同的变焦倍率只训练一个模型，因此，在本发明实施例中的输入可以是在多种变焦倍率下的图像。图9分别在29和30中展示在两种不同的变焦倍率：1倍和5倍的情况下的图像以及相应的标签。条件神经网络模型31与图7中描述的生成器所生成的模型相同。条件神经网络模型的输出为对应于1倍和5倍变焦倍率的超分辨率的图像32和33。
86.通过以上描述可以看出，在本发明实施例中，通过将不同变焦倍率作为生成对抗网络的条件，可以仅仅训练一个网络模型来达到超分的目的，而无需训练多个网络模型。由于训练了一个对应于不同变焦倍率的网络，因此，得到超分辨率图像的质量较好。本发明实施例的方案可应用到全景图像和视频的增强，全景图像和视频的超分辨率，虚拟现实/混合现实，以及三维重建等领域。其利用低质量和高质量图像进行训练的核心技术可以被应用到普通图像增强任务，比如将智能手机图像质量提升到高质量相机的图像质量。
87.本发明实施例还提供了一种图像处理装置。参见图10，图10是本发明实施例提供的图像处理装置的结构图。如图10所示，图像处理装置1000包括：
88.第一获取模块1001，用于获取待处理图像；第二获取模块1002，用于将所述待处理图像以及与所述待处理图像对应的条件作为条件神经网络模型的输入，得到所述待处理图像的超分辨率图像。其中，所述条件神经网络模型是利用第一采样图像的至少两个区域图像以及与所述至少两个区域图像对应的条件训练得到的；所述至少两个区域图像分别与至
少两个变焦倍率下的第二采样图像相对应，其中，所述第二采样图像的质量高于所述第一采样图像的质量。
89.可选的，如图11所示，所述装置还可包括：训练模块1003，用于训练所述条件神经网络模型。
90.可选的，如图12所示，所述训练模块1003，包括：提取子模块10031，用于从所述第一采样图像中提取至少两个区域图像；训练子模块10032，用于将所述至少两个区域图像以及与所述至少两个区域图像对应的条件输入到条件生成对抗网络的生成器中，得到所述至少两个区域图像对应的超分辨率图像以及所述条件神经网络模型。
91.可选的，所述装置如图13所示，所述训练模块1003还包括：匹配子模块10033，用于将所述至少两个区域图像分别与至少两个变焦倍率下的第二采样图像进行匹配；所述训练子模块10032，用于将匹配后的所述至少两个区域图像以及与所述至少两个区域图像对应的条件输入到条件生成对抗网络的生成器中，得到所述至少两个区域图像对应的超分辨率图像以及所述条件神经网络模型。
92.可选的，如图14所示，所述训练模块1003还包括：判别子模块10034，用于将所述至少两个变焦倍率下的第二采样图像、所述至少两个区域图像对应的超分辨率图像以及与所述至少两个区域图像对应的条件输入到所述条件生成对抗网络的判别器中，得到判别结果。
93.可选的，所述条件包括独热向量。所述独热向量由以下任一信息决定：
94.变焦镜头的变焦倍率；
95.变焦镜头的景深；
96.变焦镜头的焦距。
97.可选的，所述条件包括：vgg特征。
98.本发明实施例提供的装置，可以执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
99.参见图15，本发明实施例还提供了一种电子设备的硬件结构。如图15所示，该电子设备1500包括：
100.处理器1502；和
101.存储器1504，在所述存储器1504中存储有程序指令，其中，在所述程序指令被所述处理器运行时，使得所述处理器1502执行以下步骤：
102.获取待处理图像；
103.将所述待处理图像以及与所述待处理图像对应的条件作为条件神经网络模型的输入，得到所述待处理图像的超分辨率图像；
104.其中，所述条件神经网络模型是利用第一采样图像的至少两个区域图像以及与所述至少两个区域图像对应的条件训练得到的；所述至少两个区域图像分别与至少两个变焦倍率下的第二采样图像相对应，其中，所述第二采样图像的质量高于所述第一采样图像的质量。
105.进一步地，如图15所示，该电子设备1500还可以包括网络接口1501、输入设备1503、硬盘1505、和显示设备1506。
106.上述各个接口和设备之间可以通过总线架构互连。总线架构可以是包括任意数量
的互联的总线和桥。具体由处理器1502代表的一个或者多个中央处理器(cpu)，以及由存储器1504代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。
107.所述网络接口1501，可以连接至网络(如因特网、局域网等)，从网络中接收数据，并可以将接收到的数据保存在硬盘1505中。
108.所述输入设备1503，可以接收操作人员输入的各种指令，并发送给处理器1502以供执行。所述输入设备1503可以包括键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等)。
109.所述显示设备1506，可以将处理器1502执行指令获得的结果进行显示。
110.所述存储器1504，用于存储操作系统运行所必须的程序和数据，以及处理器1502计算过程中的中间结果等数据。
111.可以理解，本发明实施例中的存储器1504可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom)、可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)或闪存。易失性存储器可以是随机存取存储器(ram)，其用作外部高速缓存。本文描述的装置和方法的存储器1504旨在包括但不限于这些和任意其它适合类型的存储器。
112.在一些实施方式中，存储器1504存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统15041和应用程序15042。
113.其中，操作系统15041，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序15042，包含各种应用程序，例如浏览器(browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序15042中。
114.本发明上述实施例揭示的图像处理方法可以应用于处理器1502中，或者由处理器1502实现。处理器1502可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述图像处理方法的各步骤可以通过处理器1502中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1502可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1504，处理器1502读取存储器1504中的信息，结合其硬件完成上述方法的步骤。
115.可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑设备(pld)、现场可编程门阵列
(fpga)、通用处理器、控制器、微控制器、微处理器、用于执行本技术所述功能的其它电子单元或其组合中。
116.对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
117.具体地，所述程序被处理器1502执行时还可实现如下步骤：
118.训练所述条件神经网络模型。
119.具体地，所述程序被处理器1502执行时还可实现如下步骤：
120.从所述第一采样图像中提取至少两个区域图像；
121.将所述至少两个区域图像以及与所述至少两个区域图像对应的条件输入到条件生成对抗网络的生成器中，得到所述至少两个区域图像对应的超分辨率图像以及所述条件神经网络模型。
122.具体地，所述程序被处理器1502执行时还可实现如下步骤：
123.将所述至少两个区域图像分别与至少两个变焦倍率下的第二采样图像进行匹配；将匹配后的所述至少两个区域图像以及与所述至少两个区域图像对应的条件输入到条件生成对抗网络的生成器中。
124.具体地，所述程序被处理器1502执行时还可实现如下步骤：
125.将所述至少两个变焦倍率下的第二采样图像、所述至少两个区域图像对应的超分辨率图像以及与所述至少两个区域图像对应的条件输入到所述条件生成对抗网络的判别器中，得到判别结果。
126.其中，所述条件包括独热向量。
127.其中，所述独热向量由以下任一信息决定：
128.变焦镜头的变焦倍率；
129.变焦镜头的景深；
130.变焦镜头的焦距。
131.其中，所述条件包括：vgg特征。
132.本发明实施例提供的电子设备，可以执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
133.本发明实施例还提供一种可读存储介质，可读存储介质上存储有程序，该程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的可读存储介质，可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nand flash)、固态硬盘(ssd))等。
134.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
135.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。根据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁盘、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
136.上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。