图像处理方法、装置、设备及存储介质与流程

1.本技术涉及计算机技术领域，尤其涉及一种图像处理方法、装置、设备及存储介质。


背景技术：

2.目前，随着互联网技术的持续发展，针对各种图像处理任务的图像处理已被广泛应用；例如，图像超分任务、图像降噪任务以及图像去压缩失真任务等。在现有技术中，可按照任一图像处理任务对任一图像进行图像处理，得到图像处理后的图像，但该图像处理后的图像的画质效果可能较差或过于失真，难以满足视觉效果的需求，导致图像处理后的图像的视觉效果较差。


技术实现要素：

3.本技术实施例提供了一种图像处理方法、装置、设备及存储介质，可以进一步对通过执行图像处理任务所得到的图像进行画质效果的强度控制，提升最终的图像的视觉效果。
4.一方面，本技术实施例提供了一种图像处理方法，所述方法包括：
5.按照图像处理任务对待处理的初始图像进行图像处理以得到目标图像，并基于所述初始图像确定分辨率与所述目标图像的分辨率相匹配的参考图像；
6.对所述目标图像进行结构信息的提取处理，得到结构信息提取结果；其中，结构信息是指与图像的画质效果相关的信息，所述结构信息提取结果用于指示：用于描述所述目标图像中的结构信息的像素点；
7.根据所述结构信息提取结果和所述参考图像，对所述目标图像进行画质效果的强度控制。
8.另一方面，本技术实施例提供了一种图像处理装置，所述装置包括：
9.处理单元，用于按照图像处理任务对待处理的初始图像进行图像处理以得到目标图像，并基于所述初始图像确定分辨率与所述目标图像的分辨率相匹配的参考图像；
10.结构提取单元，用于对所述目标图像进行结构信息的提取处理，得到结构信息提取结果；其中，结构信息是指与图像的画质效果相关的信息，所述结构信息提取结果用于指示：用于描述所述目标图像中的结构信息的像素点；
11.强度控制单元，用于根据所述结构信息提取结果和所述参考图像，对所述目标图像进行画质效果的强度控制。
12.再一方面，本技术实施例提供了一种计算机设备，所述计算机设备包括处理器、存储器，其中，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如下步骤：
13.按照图像处理任务对待处理的初始图像进行图像处理以得到目标图像，并基于所述初始图像确定分辨率与所述目标图像的分辨率相匹配的参考图像；
14.对所述目标图像进行结构信息的提取处理，得到结构信息提取结果；其中，结构信息是指与图像的画质效果相关的信息，所述结构信息提取结果用于指示：用于描述所述目标图像中的结构信息的像素点；
15.根据所述结构信息提取结果和所述参考图像，对所述目标图像进行画质效果的强度控制。
16.再一方面，本技术实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序适于由处理器加载并执行如下步骤：
17.按照图像处理任务对待处理的初始图像进行图像处理以得到目标图像，并基于所述初始图像确定分辨率与所述目标图像的分辨率相匹配的参考图像；
18.对所述目标图像进行结构信息的提取处理，得到结构信息提取结果；其中，结构信息是指与图像的画质效果相关的信息，所述结构信息提取结果用于指示：用于描述所述目标图像中的结构信息的像素点；
19.根据所述结构信息提取结果和所述参考图像，对所述目标图像进行画质效果的强度控制。
20.再一方面，本技术实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述所提及的图像处理方法。
21.本技术实施例在得到目标图像和参考图像后，可先对目标图像进行结构信息的提取处理，得到结构信息提取结果，使得该结构信息提取结果可用于指示：用于描述目标图像中的结构信息的像素点，且该结构信息是指与图像的画质效果相关的信息，从而使得结构信息提取结果可用于指示：用于描述目标图像中与画质效果相关的信息的像素点；然后，根据结构信息提取结果和参考图像，对目标图像进行画质效果的强度控制，从而不仅可实现对目标图像的画质效果的优化处理，还可实现对目标图像的画质效果的弱化处理，使得图像的画质效果较为适中，进而满足视觉效果的需求，有效提升最终的图像的视觉效果。
附图说明
22.为了更清楚地说明本技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1a是本技术实施例提供的一种图像处理方案的流程示意图；
24.图1b是本技术实施例提供的一种终端和服务器交互的示意图；
25.图2是本技术实施例提供的一种图像处理方法的流程示意图；
26.图3a是本技术实施例提供的一种优化画质效果的示意图；
27.图3b是本技术实施例提供的一种弱化画质效果的示意图；
28.图4是本技术实施例提供的另一种图像处理方法的流程示意图；
29.图5是本技术实施例提供的又一种图像处理方法的流程示意图；
30.图6a是本技术实施例提供的另一种优化画质效果的示意图；
31.图6b是本技术实施例提供的另一种弱化画质效果的示意图；
32.图7是本技术实施例提供的一种针对目标区域的强度控制的示意图；
33.图8是本技术实施例提供的一种替换后的区域控制图像的示意图；
34.图9是本技术实施例提供的一种图像处理装置的结构示意图；
35.图10是本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
36.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。
37.为了对目标图像进行画质效果的强度控制，以提升图像的视觉效果，本技术实施例提出了一种图像处理方案：参见图1a所示，本技术实施例所提出的图像处理方案的大致原理如下：首先，可按照图像处理任务对待处理的初始图像进行图像处理以得到目标图像，并基于初始图像确定分辨率与目标图像的分辨率相匹配的参考图像。在得到目标图像和参考图像后，便可基于参考图像对目标图像进行画质效果的强度控制；具体的，可对目标图像进行结构信息的提取处理，得到结构信息提取结果。其中，结构信息提取结果用于指示：用于描述目标图像中的结构信息的像素点，所谓的结构信息是指与图像的画质效果相关的信息，例如，边缘信息和细节信息等；也就是说，结构信息提取结果可用于指示：用于描述目标图像中的边缘信息和细节信息等的像素点。然后，便可根据结构信息提取结果和参考图像，对目标图像进行画质效果的强度控制。
38.经实践表明，本技术实施例提出的图像处理方案可至少具有如下几点有益效果：
①
可得到结构信息提取结果，该结构信息提取结果可用于指示用于描述目标图像中与画质效果相关的信息的像素点，以便于通过结构信息提取结果对目标图像的画质效果进行强度控制；
②
通过对目标图像的画质效果的强度控制，不仅可增强目标图像的画质效果，还可减弱目标图像的画质效果，使得经过强度控制后的图像的画质效果可更好地满足视觉效果的需求，进而有效提升最终的图像的视觉效果。
39.在具体实现中，上述所提及的图像处理方案可由一个计算机设备执行，该计算机设备可以是终端或者服务器；其中，此处所提及的终端可以包括但不限于：智能手机、平板电脑、笔记本电脑、台式计算机、智能手表、智能语音交互设备、智能家电、车载终端、飞行器等；终端内可运行各式各样的客户端(application，app)，如视频播放客户端、社交客户端、浏览器客户端、信息流客户端、教育客户端，等等。此处所提及的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算(cloud computing)、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器，等等；所谓的云计算是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。并且，本技术实施例所提及的计算机设备可以位于区块链网络外，也可以位于区块链网络内，对此不作限定；所谓的区块链网络是一种由点对点网络(p2p网络)和区块链所构成的网络，而区块链则是指一种分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式，其本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块(或称为区块)。
40.或者，在其他实施例中，上述所提及的图像处理方案也可由服务器和终端共同执行；终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不
做限制。例如：可由终端负责按照图像处理任务对待处理的初始图像进行图像处理以得到目标图像，并基于初始图像确定分辨率与目标图像的分辨率相匹配的参考图像，进而将目标图像发送至服务器；使得服务器可对目标图像进行结构信息的提取处理，得到结构信息提取结果，并将结构信息提取结果发送至终端；再由终端根据结构信息提取结果和参考图像，对目标图像进行画质效果的强度控制，如图1b所示。又如，可由终端负责按照图像处理任务对待处理的初始图像进行图像处理以得到目标图像，并基于初始图像确定分辨率与目标图像的分辨率相匹配的参考图像，进而将目标图像和参考图像发送至服务器；使得服务器可对目标图像进行结构信息的提取处理，得到结构信息提取结果，并根据结构信息提取结果和参考图像，对目标图像进行画质效果的强度控制。应当理解的是，此处只是示例性地阐述了终端和服务器共同执行上述图像处理方案的两种情况，并非穷举。
41.基于上述图像处理方案的相关描述，本技术实施例提出一种图像处理方法，该图像处理方法可以由上述所提及的计算机设备(终端或服务器)执行；或者，该图像处理方法可由终端和服务器共同执行。为便于阐述，后续均以计算机设备执行该图像处理方法为例进行说明；请参见图2，该图像处理方法可包括以下步骤s201-s203：
42.s201，按照图像处理任务对待处理的初始图像进行图像处理以得到目标图像，并基于初始图像确定分辨率与目标图像的分辨率相匹配的参考图像。
43.在本技术实施例中，图像处理任务可以包括但不限于以下几种：图像超分任务、图像降噪任务以及图像去压缩失真任务，等等。其中，图像超分是指：由一幅低分辨率(low resolution，lr)图像或图像序列恢复出高分辨率图像，那么相应的，当图像处理任务为图像超分任务时，计算机设备可以采用超分模型来对待处理的初始图像进行图像处理，得到超分后的图像，从而将超分后的图像作为目标图像；可见，此情况下，目标图像的分辨率大于初始图像的分辨率。图像降噪是指：减少数字图像中噪声的过程，那么相应的，当图像处理任务为图像降噪任务时，计算机设备可以采用图像降噪模型对待处理的初始图像进行图像处理，得到降噪后的图像，从而将降噪后的图像作为目标图像。压缩失真是指图像在使用破坏性资料压缩之后产生的明显失真，则图像去压缩失真是指：去除图像压缩失真所产生的影响，那么相应的，当图像处理任务为图像去压缩失真任务时，计算机设备可以采用图像去压缩失真模型来对待处理的初始图像进行图像处理，得到去压缩失真后的图像，从而将去压缩失真后的图像作为目标图像。需要说明的是，当图像处理任务为图像降噪任务或者图像去压缩失真任务时，目标图像的分辨率可以大于初始图像的分辨率，也可以小于初始图像的分辨率，还可以等于初始图像的分辨率，本技术对此不作限定。
44.值得注意的是，计算机设备在按照图像处理任务对待处理的初始图像进行图像处理以得到目标图像，并基于初始图像确定分辨率与目标图像的分辨率相匹配的参考图像之前，还可获取初始图像。其中，初始图像的获取方式包括但不限于以下几种：
45.第一种获取方式：计算机设备可以先获取初始图像的图像下载链接，再根据该图像下载链接对初始图像进行下载，并将下载的图像作为初始图像。或者，若计算机设备自身的存储空间中存储有一个或多个图像，那么计算机可在存储的一个或多个图像中选取至少一个图像，并将选取的图像作为初始图像。
46.第二种获取方式：本技术提出的图像处理方法可应用于各种视频信息流产品，在此种情况下，计算机设备可获取任一视频信息流产品中的任一视频中的图像，作为上述初
始图像；也就是说，计算机设备可在上述任一视频中提取一帧或多帧图像，并将提取出的图像作为初始图像；需要说明的是，此处的视频信息流产品是炙手可热的互联网产品，且该信息流是指采用各种方式来实现信息交流，而随着互联网技术的发展，计算机设备对应高清视频的需求越来越大，故计算机设备可从各视频信息流产品的各视频中提取出初始图像，进而可对相应的目标图像进行画质效果的强度控制，以提高视频质量。
47.第三种获取方式，计算机设备可配置有拍摄组件，那么计算机设备可通过该拍摄组件在环境中采集图像，并将采集的图像作为初始图像。
48.s202，对目标图像进行结构信息的提取处理，得到结构信息提取结果。
49.其中，结构信息是指与图像的画质效果相关的信息，且结构信息提取结果用于指示：用于描述目标图像中的结构信息的像素点。
50.需要说明的是，结构信息可以包括但不限于边缘信息和细节信息等高频信息，即结构信息可包括高频信息，且高频信息是指：图像的频率大于频率阈值的信息，而图像的频率是指灰度值变化剧烈程度的指标，是灰度在平面空间上的梯度，则高频信息可以指的是灰度值变化程度较为剧烈的信息，也就是说，高频信息可以指的是像素值变化程度较为剧烈的信息。可以理解的是，图像中的边缘信息(即图像中的一个影像与背景的边缘部位)通常会有明显的差别，即边缘信息对应着较高的频率，则高频信息包括边缘信息；而图像中的细节信息(如眉毛、头发等)也是属于灰度值急剧变化的区域，即细节信息也对应着较高的频率，则高频信息也可包括细节信息。
51.在此种情况下，上述结构信息提取结果不仅可以用于指示：用于描述目标图像中的边缘信息的像素点，也可以用于指示：用于描述目标图像中的细节信息的像素点，还可以用于指示：用于描述目标图像中的边缘信息和细节信息的像素点，等等；本技术对此不作限定。由于高频信息包括但不限于边缘信息和细节信息等，则结构信息提取结果可包括高频信息位置掩膜，该高频信息位置掩膜用于指示：用于描述目标图像的中的高频信息的像素点。
52.s203，根据结构信息提取结果和参考图像，对目标图像进行画质效果的强度控制。
53.应当理解的是，计算机设备在对目标图像进行画质效果的强度控制的过程中，可根据强度控制方向来对目标图像进行画质效果的强度控制；基于此，当该强度控制方向为优化画质效果方向时，计算机设备可对目标图像的画质效果进行优化，而当强度控制方向为弱化画质效果方向时，计算机设备也可对目标图像的画质效果进行弱化，本技术对画质效果的强度控制的具体实施方式不作限定。
54.举例来说，假设上述图像处理任务为图像超分任务，那么在按照图像超分任务对待处理的初始图像进行图像处理(即超分处理)的过程中，由于初始图像的画质效果存在多种可能性，且受限于超分模型的泛化能力，则可能会出现不满意的效果。例如，如图3a所示，假设计算机设备按照图像超分任务对待处理的初始图像进行图像处理，得到画质效果较差的目标图像，导致目标图像不够清晰，那么上述强度控制方向可为优化画质效果方向，且计算机设备可对目标图像进行画质效果的优化，以强化并提升最终的图像的清晰度；又如，如图3b所示，假设计算机设备按照图像超分任务对待处理的初始图像进行图像处理，得到画质效果过于失真的目标图像，那么上述强度控制方向可为弱化画质效果方向，且计算机设备可对目标图像进行画质效果的弱化。需要说明的是，本技术采用线条深浅程度来表示画
质效果，也就是说，若图像的线条较浅则图像的画质效果较弱，若图像的线条较深则图像的画质效果较强，且当计算机设备对图像的画质效果进行优化后，图像的线条将被加深；当计算机设备对图像的画质效果进行弱化后，图像的线条将被变浅。
55.本技术实施例在得到目标图像和参考图像后，可先对目标图像进行结构信息的提取处理，得到结构信息提取结果，使得该结构信息提取结果可用于指示：用于描述目标图像中的结构信息的像素点，且该结构信息是指与图像的画质效果相关的信息，从而使得结构信息提取结果可用于指示：用于描述目标图像中与画质效果相关的信息的像素点；然后，根据结构信息提取结果和参考图像，对目标图像进行画质效果的强度控制，从而不仅可实现对目标图像的画质效果的优化处理，还可实现对目标图像的画质效果的弱化处理，使得图像的画质效果较为适中，进而满足视觉效果的需求，有效提升最终的图像的视觉效果。
56.请参见图4，是本技术实施例提供的另一种图像处理方法的流程示意图。该图像处理方法可以由上述所提及的计算机设备(终端或服务器)执行；或者，该图像处理方法可由终端和服务器共同执行。为便于阐述，后续均以计算机设备执行该图像处理方法为例进行说明；请参见图4，该图像处理方法可包括以下步骤s401-s405：
57.s401，按照图像处理任务对待处理的初始图像进行图像处理以得到目标图像，并基于初始图像确定分辨率与目标图像的分辨率相匹配的参考图像。
58.在具体的实现中，计算机设备在基于初始图像确定分辨率与目标图像的分辨率相匹配的参考图像时，计算机设备可先确定初始图像的分辨率，以及目标图像的分辨率；进一步的，若初始图像的分辨率等于目标图像的分辨率，则将初始图像确定为参考图像；若初始图像的分辨率大于或小于目标图像的分辨率，则根据目标图像的分辨率对初始图像进行分辨率调整处理，得到参考图像。值得注意的是，当初始图像的分辨率大于目标图像的分辨率时，计算机设备根据目标图像的分辨率对初始图像进行分辨率调整处理，得到参考图像的具体实施过程可以包括：根据目标图像的分辨率对初始图像进行下采样处理，以调整初始图像的分辨率，得到参考图像，且参考图像的分辨率等于目标图像的分辨率；当初始图像的分辨率小于目标图像的分辨率时，计算机设备根据目标图像的分辨率对初始图像进行分辨率调整处理，得到参考图像的具体实施过程可以包括：根据目标图像的分辨率对初始图像进行上采样处理，以调整初始图像的分辨率，得到参考图像，且参考图像的分辨率等于目标图像的分辨率。
59.其中，当图像处理任务包括图像超分任务时，目标图像的分辨率大于初始图像的分辨率；在此种情况下，计算机设备可根据目标图像的分辨率对初始图像进行上采样处理，得到参考图像。具体的，计算机设备可先训练好一个超分模型，并将低分辨率的初始图像输入到超分模型中，得到目标图像(即超分后的图像)，进而根据目标图像的分辨率，对初始图像进行上采样处理，得到参考图像；相应的，计算机设备在确定目标图像的分辨率时，可以根据按照图像超分任务对待处理的初始图像进行图像处理时的超分倍数，计算目标图像的分辨率，也就是说，计算机设备也可以根据该超分倍数对初始图像进行上采样处理。需要说明的是，计算机设备可将任意尺寸且任意格式(如png、bmp以及jpg等格式)的图像作为上述初始图像，本技术对此不作限定。
60.s402，对目标图像进行结构信息的提取处理，得到结构信息提取结果，结构信息提取结果包括：基于目标图像中的各个像素点的绝对残差值所构建得到的高频信息位置掩
膜。
61.在具体的实现中，计算机设备在对目标图像进行结构信息的提取处理，得到结构信息提取结果时，可先根据目标图像中的各个像素点的像素值以及各个像素点在参考图像中的像素值，确定各个像素点的绝对残差值。
62.相应的，计算机设备根据目标图像中的各个像素点的像素值以及各个像素点在参考图像中的像素值，确定各个像素点的绝对残差值的具体实施过程可以包括：对参考图像进行结构信息的弱化处理，得到弱化处理后的参考图像；并根据目标图像中的各个像素点的像素值，以及各个像素点在弱化处理后的参考图像中的像素值，确定各个像素点的绝对残差值。其中，计算机设备在对参考图像进行结构信息的弱化处理，得到弱化处理后的参考图像时，可先对参考图像中的各个像素值进行归一化处理，得到归一化处理后的参考图像；然后，对归一化处理后的参考图像进行模糊处理以弱化参考图像的结构信息，得到弱化处理后的参考图像。值得注意的是，计算机设备对归一化处理后的参考图像进行模糊处理的目的在于：对归一化处理后的参考图像中的各个像素值进行微调，进而弱化用于描述归一化处理后的参考图像中的结构信息的像素点的像素值。
63.可以理解的是，计算机设备对参考图像中的各个像素值进行归一化处理时，可将参考图像中的各个像素值进行归一化到[0，1]，并对参考图像进行模糊处理，以得到弱化处理后的参考图像。值得注意的是，计算机设备根据目标图像中的各个像素点的像素值，以及各个像素点在弱化处理后的参考图像中的像素值，确定出的各个像素点的绝对残差值可构成绝对残差信息；也就是说，计算机设备可根据目标图像中的各个像素点的像素值，以及各个像素点在弱化处理后的参考图像(即模糊处理后的参考图像)中的像素值，确定绝对残差信息，且该绝对残差信息可包括各个像素点的绝对残差值。基于此，计算机设备可采用公式1.1，计算绝对残差信息：
[0064]
res＝|i
sr-i
up-blur
|
ꢀꢀꢀ
式1.1
[0065]
其中，|.|表示取绝对值，i
sr
用于表示目标图像，即i
sr
包括目标图像中的各个像素点的像素值，且i
up-blur
用于表示弱化处理后的参考图像，即i
up-blur
包括各个像素在弱化处理后的参考图像中的像素值；相应的，绝对残差信息res包括各个像素点的绝对残差值。
[0066]
需要说明的是，计算机设备在对参考图像进行模糊处理时，可对参考图像进行高斯模糊处理以实现对参考图像的模糊处理，也可对参考图像进行中值滤波处理以实现对参考图像的模糊处理，也可对参考图像进行均值滤波处理以实现对参考图像的模糊处理，还可对参考图像进行双边滤波处理以实现对参考图像的模糊处理，等等；也就是说，计算机设备可通过高斯模糊方法、中值滤波方法、均值滤波方法以及双边滤波方法等，来对参考图像进行模糊处理，本技术对模糊处理的具体实施方式不作限定。
[0067]
进一步的，计算机设备可根据各个像素点的绝对残差值与高频信息阈值之间的大小关系，从目标图像中提取用于描述高频信息的像素点；其中，提取出的每个像素点的绝对残差值均大于高频信息阈值。然后，计算机设备可基于像素点提取结果构建出高频信息位置掩膜，高频信息位置掩膜包括各个像素点的掩膜值；其中，被提取出的像素点的掩膜值为第一数值，未被提取出的像素点的掩膜值为第二数值。需要说明的是，该高频信息阈值可以是按照经验设置的，也可以是计算机设备随机生成的，本技术对此不作限定。
[0068]
具体的，若目标图像中的任一像素点的绝对残差值大于高频信息阈值，则计算机
设备可从目标图像中提取出该任一像素点，进而将该任一像素点在高频信息位置掩膜中的掩膜值设置为第一数值；若该任一像素点的绝对残差值小于或等于高频信息阈值，则计算机设备可将该任一像素点在高频信息位置掩膜中的掩膜值设置为第二数值。基于此，高频信息位置掩膜的计算方式可采用下述公式1.2进行表示：
[0069]
mask＝res》thresh？a:b
ꢀꢀꢀ
式1.2
[0070]
其中，高频信息位置掩膜mask为二值矩阵，大小与目标图像一致，即高频信息位置掩膜中包括各个像素点的掩膜值；而thresh用于表示高频信息阈值，且a用于第一数值，b用于第二数值。应当理解的是，第一数值和第二数值可根据实际需求或者经验值设置，例如可以将第一数值设置为1，将第二数值设置为0；在此种情况下，当任一像素点的绝对残差值大于高频信息阈值时，则该任一像素点在高频信息位置掩膜中所对应的位置标为1，即该任一像素点在高频信息位置掩膜中的掩膜值为1，而当该任一像素点的绝对残差值小于或等于高频信息阈值时，则该任一像素点在高频信息位置掩膜中所对应的位置标为0，即该任一像素点在高频信息位置掩膜中的掩膜值为0。值得注意的是，本技术对第一数值的具体取值情况不作限定，如第一数值还可为0.9或0.8等；并且，本技术对第二数值的具体取值情况也不作限定，如第二数值还可以为0.1或0.2等。
[0071]
需要说明的是，计算机设备可通过调用图像处理模型中的结构信息保留模块来对目标图像进行结构信息的提取处理，以得到结构信息提取结果。例如，如图5所示，在得到目标图像和参考图像后，计算机设备可将目标图像和参考图像输入到结构信息保留模块中，以提取结构信息。可以理解的是，结构信息保留模块的目标在于提取出目标图像中的结构信息(即边缘信息和细节信息等高频信息)；当图像处理任务为图像超分任务时，该结构信息为超分模型生成出来的信息，保留下来则利用了超分模型的生成能力。需要说明的是，图5仅示例性的表示了图像处理的具体流程，本技术对此不作限定；例如，结构信息保留模块还可包括强度控制模块，也就是说，计算机设备可通过结构信息保留模块得到强度控制后的图像；又如，计算机设备可不进行指定区域的判断，而是直接输出强度控制后的图像，等等。
[0072]
s403，根据目标图像的强度控制方向，以及各个像素点的绝对残差值，优化参考图像的高频信息，得到优化后的参考图像。
[0073]
其中，当强度控制方向为优化画质效果方向时，优化后的参考图像中的高频信息的画质效果优于目标图像的画质效果，当强度控制方向为弱化画质效果方向时，优化后的参考图像中的高频信息的画质效果弱于目标图像的画质效果。
[0074]
具体的，计算机设备可先根据目标图像的强度控制方向确定强度控制参数；其中，当强度控制方向为优化画质效果方向时，强度控制参数大于基准数值，当强度控制方向为弱化画质效果方向时，强度控制参数小于基准数值。需要说明的是，该基准数值是指：使得优化后的参考图像中的高频信息的画质效果等于目标图像的画质效果的数值，且上述强度控制参数也可称为权重参数。
[0075]
举例来说，假设图像处理任务为图像超分任务，且上述基准数值为1，如果目标图像(即超分的结果)不够清晰，希望增强边缘，即此时的强度控制方向为优化画质效果方向，那么计算机设备可调整强度控制参数为大于1的参数；相应的，如果想要弱化超分的效果，即此时的强度控制方向为弱化画质效果方向，那么计算机设备可设置强度控制参数为(0，
1)之间的参数，且强度控制参数越接近1则效果越接近目标图像，越接近0则效果越接近参考图像。
[0076]
进一步的，计算机设备可采用强度控制参数对各个像素点的绝对残差值进行调整处理，得到各个像素点的调整后的绝对残差值；具体的，计算机设备可对强度控制参数和各个像素点的绝对残差值进行乘法运算，以调整各个像素点的绝对残差值，得到各个像素点的调整后的绝对残差值。应当理解的是，当各个像素点的绝对残差值可构成绝对残差信息时，计算机设备可采用强度控制参数对绝对残差信息进行调整处理，以调整各个像素点的绝对残差值，得到各个像素点的调整后的绝对残差值；也就是说，计算机设备可对强度控制参数和绝对残差信息进行乘法运算，以调整各个像素点的绝对残差值。
[0077]
在得到各个像素点的调整后的绝对残差值后，计算机设备可将各个像素点的调整后的绝对残差值，叠加到参考图像中的各个像素点的像素值上，以优化参考图像的高频信息，得到优化后的参考图像。基于此，计算机设备可采用公式1.3，计算各个像素点在优化后的参考图像中的像素值，进而得到优化后的参考图像：
[0078]iup-opt
＝i
up
weight*res
ꢀꢀꢀ
式1.3
[0079]
其中，i
up-opt
用于表示优化后的参考图像，即i
up-opt
包括各个像素点在优化后的参考图像中的像素值；i
up
用于表示参考图像，即i
up
包括各个像素点在参考图像中的像素值；weight用于表示强度控制参数。
[0080]
需要说明的是，计算机设备在将各个像素点的调整后的绝对残差值，叠加到参考图像中的各个像素点的像素值上，以优化参考图像的高频信息，得到优化后的参考图像时，可将各个像素点的调整后的绝对残差值，叠加到参考图像中的各个像素点的像素值上，以优化参考图像的高频信息，得到中间图像；并按照预设的像素值区间范围，对中间图像中的各个像素值进行裁剪(clip)处理，得到优化后的参考图像。在此种情况下，若中间图像中的任一像素值大于预设的像素值区间范围中的最大值，则将该任一像素值裁剪为该预设的像素值区间范围中的最大值，即将该任一像素值设置为该预设的像素值区间范围中的最大值；若该任一像素值小于该预设的像素值区间范围中的最小值，则将该任一像素值裁剪为该预设的像素值区间范围中的最小值，即将该任一像素值设置为该预设的像素值区间范围中的最小值。
[0081]
举例来说，假设上述预设的像素值区间范围为[0，1]，针对中间图像中的任一像素点，若该任一像素点在中间图像中的像素值大于1，那么计算机设备可将该任一像素点在中间图像中的像素值裁剪为1，也就是说，该任一像素点在优化后的参考图像中的像素值为1；若该任一像素点在中间图像中的像素值为预设的像素值区间范围中的任一数值，则计算机设备可将该任一像素点在中间图像中的像素值作为该任一像素点在优化后的参考图像中的像素值；若该任一像素点在中间图像中的像素值小于0，那么计算机设备可将该任一像素点在中间图像中的像素值裁剪为0，也就是说，该任一像素点在优化后的参考图像中的像素值为0。
[0082]
s404，利用高频信息位置掩膜从优化后的参考图像中提取出高频信息，以及从目标图像中提取出低频信息。
[0083]
其中，目标图像的低频信息是指目标图像中除高频信息以外的图像信息。换句话说，低频信息是指目标图像中除结构信息以外的图像信息。
[0084]
需要说明的是，计算机设备可对高频信息位置掩膜进行模糊处理，得到模糊处理后的高频信息位置掩膜；并利用模糊处理后的高频信息位置掩膜，从优化后的参考图像中提取出高频信息，以及从目标图像中提取出低频信息。相应的，计算机设备可采用高斯模糊方法、中值滤波方法、均值滤波方法以及双边滤波方法等，来对高频信息位置掩膜进行模糊处理，本技术对高频信息位置掩膜的模糊处理方式不作限定。可以理解的是，计算机设备对高频信息位置掩膜进行模糊处理的目的在于：对高频信息位置掩膜中的各个掩膜值进行微调处理，进而弱化用于描述目标图像中的高频信息的像素点在高频信息位置掩膜中的掩膜值。
[0085]
值得注意的是，计算机设备可仅从优化后的参考图像中提取出高频信息，以及仅从目标图像中提取出低频信息；也可分别从优化后的参考图像中提取出高频信息和低频信息，以及分别从目标图像中提取出高频信息和低频信息，本技术对此不作限定。需要说明的是，当计算机设备分别从优化后的参考图像中提取出高频信息和低频信息，以及分别从目标图像中提取出高频信息和低频信息时，针对任一像素点，计算机设备可按照该任一像素点在高频信息位置掩膜中的掩膜值，从优化后的参考图像中提取出该任一像素点的第一像素值，并按照预设数值与该任一像素点在高频信息位置掩膜中的掩膜值之间的差异，从目标图像中提取出该任一像素点的第二像素值；或者，计算机设备可按照该任一像素点在模糊处理后的高频信息位置掩膜中的掩膜值，从优化后的参考图像中提取出该任一像素点的第一像素值，并按照预设数值与该任一像素点在模糊处理后的高频信息位置掩膜中的掩膜值之间的差异，从目标图像中提取出该任一像素点的第二像素值，等等；其中，预设数值可根据实际需求或者经验值设置，例如可以将预设数值设置为1。
[0086]
s405，对提取出的高频信息和提取出的低频信息进行融合处理，得到强度控制后的图像。
[0087]
在一种实施方式中，计算机设备可将提取出的高频信息作为强度控制后的图像中的高频信息，也就是说，用于描述强度控制后的图像中的高频信息的像素点的像素值是指：在优化后的参考图像中的相应的像素值；并且，计算机设备可将提取出的低频信息作为强度控制后的图像中的低频信息，也就是说，用于描述强度控制后的图像中的低频信息的像素点的像素值是指：在目标图像中的相应的像素值。在此种情况下，强度控制后的图像中的高频信息仅包括优化后的参考图像中的高频信息，且强度控制后的图像中的低频信息仅包括目标图像中的低频信息。
[0088]
另一种实施方式中，计算机设备可根据高频信息位置掩膜分别从优化后的参考图像中提取出高频信息，以及从目标图像中提取出高频信息，并根据高频信息位置掩膜分别从优化后的参考图像中提取出低频信息，以及从目标图像中提取出低频信息，进而对提取出的高频信息和提取出的低频信息进行融合处理，得到强度控制后的图像；或者，计算机设备可根据模糊处理后的高频信息位置掩膜分别从优化后的参考图像中提取出高频信息，以及从目标图像中提取出高频信息，并根据模糊处理后的高频信息位置掩膜分别从优化后的参考图像中提取出低频信息，以及从目标图像中提取出低频信息，进而对提取出的高频信息和提取出的低频信息进行融合处理，得到强度控制后的图像，等等。在此种情况下，计算机设备可提取出任一像素点在优化后的参考图像中的第一像素值，以该任一像素点在目标图像中的第二像素值，进而对第一像素值和第二像素值进行融合处理，得到该任一像素点
在强度控制后的图像中的像素值。基于此，以计算机设备通过模糊处理后的高频信息位置掩膜来提取相应的高频信息和低频信息为例，计算机设备可根据公式1.4，计算各个像素点在强度控制后的图像中的像素值，以得到强度控制后的图像：
[0089]isc
＝i
mask-blur
*i
up-opt
(1-i
mask-blur
)*i
sr
ꢀꢀꢀ
式1.4
[0090]
其中，i
sc
用于表示强度控制后的图像，即i
sc
包括各个像素点在强度控制后的图像中的像素值；i
mask-blur
用于表示模糊处理后的高频信息位置掩膜，即i
mask-blur
包括各个像素点在模糊处理后的高频信息位置掩膜中的掩膜值。
[0091]
需要说明的是，上述强度控制后的图像可以是通过调用图像处理模型中的强度控制模块所得到的；示例性的，如图5所示，计算机设备可将目标图像和参考图像依次输入结构信息保留模块和强度控制模块，进而得到强度控制后的图像。值得注意的是，该强度控制后的图像也可称为完全图强度控制的图像；当图像处理任务为图像超分任务时，该强度控制后的图像也可称为全局超分强度控制结果，等等。
[0092]
可以理解的是，当强度控制方向为优化画质效果方向时，得到的强度控制后的图像的画质效果优于目标图像的画质效果；当强度控制方向为弱化画质效果方向时，得到的强度控制后的图像的画质效果弱于目标图像的画质效果。例如，如图6a所示，假设图像处理任务为图像超分任务，且得到的目标图像的画质效果较差，则此时的强度控制方向可以为优化画质效果方向，那么强度控制后的图像对于边缘结构起到强化的效果，提升了画面的清晰度；又如，如图6b所示，假设图像处理任务为图像超分任务，且得到的目标图像的画质效果过于失真，则此时的强度控制方向可以为弱化画质效果方向，那么强度控制后的图像中衣服上的纹理失真强度减弱，提升了画面的自然程度。
[0093]
进一步的，如果计算机设备仅需对目标区域(即指定区域)进行强度控制，则在得到强度控制后的图像后，可从强度控制后的图像中裁剪出参考区域(即指定位置)的图像块，再替换目标图像的指定区域。
[0094]
具体的，在得到强度控制后的图像后，计算机设备可确定目标图像中需进行强度控制的目标区域；并根据目标区域在目标图像中的位置，从强度控制后的图像中确定出与目标区域对应的参考区域。然后，计算机设备可将目标图像中的目标区域中的每个像素值，分别替换成参考区域中的各个像素值，得到目标图像对应的区域控制图像。需要说明的是，参考区域在强度控制后的图像中的位置与目标区域在目标图像中的位置相同，也就是说，目标区域中包括的像素点与参考区域中包括的像素点相同；基于此，在同一坐标系下，参考区域的位置坐标与目标区域的位置坐标相同。
[0095]
在此种情况下，由于在边缘部分可能会产生不一致的效果，使得视觉上看着像是有个框，为了达到良好的过渡，计算机设备可在指定区域四周膨胀q个像素点的像素值，并对强度控制后的图像与目标图像对应位置的q各像素点的像素值进行融合处理，进而得到替换后的区域控制图像。
[0096]
具体的，计算机设备可根据目标区域的区域边际从区域控制图像中确定出扩展区域，扩展区域是指需进行像素值过渡融合的q个像素点所处的区域，q为正整数；针对扩展区域中的第i个像素点，对第i个像素点在目标图像中的像素值，以及第i个像素点在强度控制后的图像中的像素值进行融合处理，得到第i个像素点的融合像素值，i∈[1，q]；然后，计算机设备可在区域控制图像中，分别将扩展区域中的每个像素点的像素值替换为相应的融合
像素值，得到替换后的区域控制图像。需要说明的是，此处的融合处理可以指的是加权求和处理；其中，若按照相同的权重对第i个像素点在目标图像中的像素值，以及第i个像素点在强度控制后的图像中的像素值进行加权求和处理，则是指对第i个像素点在目标图像中的像素值，以及第i个像素点在强度控制后的图像中的像素值进行相加做平均。
[0097]
可以理解的是，计算机设备可在得到区域控制图像后，根据目标区域的区域边际从区域控制图像中确定出扩展区域，并对扩展区域中的每个像素点进行像素值的替换处理，得到替换后的区域控制图像；也可在目标图像中确定出目标区域，以及根据目标区域的区域边际从目标图像中确定出扩展区域，并分别对目标区域中的每个像素点的像素值，以及扩展区域中的每个像素点的像素值进行相应的替换处理，以得到替换后的区域控制图像，本技术对此不作限定。
[0098]
例如，如图7所示，假设区域7011为目标图像中需要进行强度控制的目标区域，区域7012(即目标图像中的阴影区域)为目标图像中的扩展区域，且计算机设备可在强度控制后的图像(即完全图强度控制的图像)上，裁剪出同样位置的区域，即裁剪出区域7021和区域7022(即强度控制后的图像中的阴影区域)。由于扩展区域(即边际位置)中的像素值需要做过渡融合，即对区域7012中的像素值和区域7022中的像素值进行融合处理，并作为该位置的最终像素值，即得到替换后的区域控制图像中的区域7032(即替换后的区域控制图像中的阴影区域)中的各个像素值；并且，计算机设备可将区域7011中的各个像素值替换为区域7021中的各个像素值，也就是说，最终结果(即替换后的区域控制图像)中的区域7031中的各个像素值为区域7021中的各个像素值。
[0099]
又如，如图8所示，假设图像处理任务为图像超分任务，且得到的目标图像的画质效果过于失真，那么计算机设备可对目标图像中的指定区域(即目标区域)以及指定区域所涉及的扩展区域进行画质效果的强度控制，得到替换后的区域控制图像；其中，替换后的区域控制图像中的虚线框所指示的区域表示指定的区域(即目标区域)在替换后的区域控制图像中对应的区域，也就是说，计算机设备可只对脸部进行处理，从而使脸部的强度得到弱化，使得替换后的区域控制图相对自然很多。
[0100]
需要说明的是，若没有指定区域，那么计算机设备在得到强度控制后的图像后，可直接输出强度控制后的图像；否则，计算机设备则可通过强度控制后的图像，进一步得到替换后的区域控制图像，并输出替换后的区域控制图像。
[0101]
本技术实施例可在得到目标图像和参考图像后，对目标图像进行结构信息的提取处理，得到结构信息提取结果，使得结构信息提取结果包括：基于目标图像中的各个像素点的绝对残差值所构建得到的高频信息位置掩膜，进而通过各个像素点的绝对残差值来优化参考图像的高频信息，得到优化后的参考图像；然后采用高频信息位置掩膜从优化后的参考图像中提取出高频信息以及从目标图像中提取出低频信息，以得到强度控制后的图像。可见，本技术实施例可提取结构信息以进行画质效果的强度控制，从而得到强度控制后的图像；其中，当强度控制方向为优化画质效果方向时，强度控制后的图像的画质效果优于目标图像的画质效果，且当强度控制方向为弱化画质效果方向时，强度控制后的图像的画质效果弱于目标图像的画质效果；也就是说，本技术实施例可基于目标图像，配合参考图像进行画质效果的强度控制，实现提升画质效果或者弱化画质效果的目标。另外，如果只对图像的目标区域(即指定区域)进行画质效果的强度控制，则本技术实施例可从强度控制后的图
像中裁剪出参考区域，以替换目标图像中的目标区域，得到区域控制图像，进而得到替换后的区域控制图像。
[0102]
基于上述图像处理方法的相关实施例的描述，本技术实施例还提出了一种图像处理装置，该图像处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)。该图像处理装置可以执行图2或图4所示的图像处理方法；请参见图9，所述图像处理装置可以运行如下单元：
[0103]
处理单元901，用于按照图像处理任务对待处理的初始图像进行图像处理以得到目标图像，并基于所述初始图像确定分辨率与所述目标图像的分辨率相匹配的参考图像；
[0104]
结构提取单元902，用于对所述目标图像进行结构信息的提取处理，得到结构信息提取结果；其中，结构信息是指与图像的画质效果相关的信息，所述结构信息提取结果用于指示：用于描述所述目标图像中的结构信息的像素点；
[0105]
强度控制单元903，用于根据所述结构信息提取结果和所述参考图像，对所述目标图像进行画质效果的强度控制。
[0106]
在一种实施方式中，目标图像的结构信息包括所述目标图像的高频信息，所述结构信息提取结果包括高频信息位置掩膜；结构提取单元902在对所述目标图像进行结构信息的提取处理，得到结构信息提取结果时，可具体用于：
[0107]
根据所述目标图像中的各个像素点的像素值以及所述各个像素点在所述参考图像中的像素值，确定所述各个像素点的绝对残差值；
[0108]
根据所述各个像素点的绝对残差值与高频信息阈值之间的大小关系，从所述目标图像中提取用于描述所述高频信息的像素点；其中，提取出的每个像素点的绝对残差值均大于所述高频信息阈值；
[0109]
基于像素点提取结果构建出高频信息位置掩膜，所述高频信息位置掩膜包括所述各个像素点的掩膜值；其中，被提取出的像素点的掩膜值为第一数值，未被提取出的像素点的掩膜值为第二数值。
[0110]
另一种实施方式中，结构提取单元902在根据所述目标图像中的各个像素点的像素值以及所述各个像素点在所述参考图像中的像素值，确定所述各个像素点的绝对残差值时，可具体用于：
[0111]
对所述参考图像进行结构信息的弱化处理，得到弱化处理后的参考图像；
[0112]
根据所述目标图像中的各个像素点的像素值，以及所述各个像素点在所述弱化处理后的参考图像中的像素值，确定所述各个像素点的绝对残差值。
[0113]
另一种实施方式中，结构提取单元902在对所述参考图像进行结构信息的弱化处理，得到弱化处理后的参考图像时，可具体用于：
[0114]
对所述参考图像中的各个像素值进行归一化处理，得到归一化处理后的参考图像；
[0115]
对所述归一化处理后的参考图像进行模糊处理以弱化所述参考图像的结构信息，得到弱化处理后的参考图像。
[0116]
另一种实施方式中，结构信息提取结果包括：基于所述目标图像中的各个像素点的绝对残差值所构建得到的高频信息位置掩膜；强度控制单元903在根据所述结构信息提取结果和所述参考图像，对所述目标图像进行画质效果的强度控制时，可具体用于：
[0117]
根据所述目标图像的强度控制方向，以及所述各个像素点的绝对残差值，优化所述参考图像的高频信息，得到优化后的参考图像；其中，当所述强度控制方向为优化画质效果方向时，所述优化后的参考图像中的高频信息的画质效果优于所述目标图像的画质效果，当所述强度控制方向为弱化画质效果方向时，所述优化后的参考图像中的高频信息的画质效果弱于所述目标图像的画质效果；
[0118]
利用所述高频信息位置掩膜从所述优化后的参考图像中提取出高频信息，以及从所述目标图像中提取出低频信息；其中，所述目标图像的低频信息是指所述目标图像中除高频信息以外的图像信息；
[0119]
对提取出的高频信息和提取出的低频信息进行融合处理，得到强度控制后的图像。
[0120]
另一种实施方式中，强度控制单元903在根据所述目标图像的强度控制方向，以及所述各个像素点的绝对残差值，优化所述参考图像的高频信息，得到优化后的参考图像时，可具体用于：
[0121]
根据所述目标图像的强度控制方向确定强度控制参数；其中，当所述强度控制方向为优化画质效果方向时，所述强度控制参数大于基准数值，当所述强度控制方向为弱化画质效果方向时，所述强度控制参数小于所述基准数值；
[0122]
采用所述强度控制参数对所述各个像素点的绝对残差值进行调整处理，得到所述各个像素点的调整后的绝对残差值；
[0123]
将所述各个像素点的调整后的绝对残差值，叠加到所述参考图像中的各个像素点的像素值上，以优化所述参考图像的高频信息，得到优化后的参考图像。
[0124]
另一种实施方式中，强度控制单元903在将所述各个像素点的调整后的绝对残差值，叠加到所述参考图像中的各个像素点的像素值上，以优化所述参考图像的高频信息，得到优化后的参考图像时，可具体用于：
[0125]
将所述各个像素点的调整后的绝对残差值，叠加到所述参考图像中的各个像素点的像素值上，以优化所述参考图像的高频信息，得到中间图像；
[0126]
按照预设的像素值区间范围，对所述中间图像中的各个像素值进行裁剪处理，得到优化后的参考图像。
[0127]
另一种实施方式中，强度控制单元903在利用所述高频信息位置掩膜从所述优化后的参考图像中提取出高频信息，以及从所述目标图像中提取出低频信息时，可具体用于：
[0128]
对所述高频信息位置掩膜进行模糊处理，得到模糊处理后的高频信息位置掩膜；
[0129]
利用所述模糊处理后的高频信息位置掩膜，从所述优化后的参考图像中提取出高频信息，以及从所述目标图像中提取出低频信息。
[0130]
另一种实施方式中，强度控制单元903还可用于：
[0131]
在得到强度控制后的图像后，确定所述目标图像中需进行强度控制的目标区域；
[0132]
根据所述目标区域在所述目标图像中的位置，从所述强度控制后的图像中确定出与所述目标区域对应的参考区域；
[0133]
将所述目标图像中的所述目标区域中的每个像素值，分别替换成所述参考区域中的各个像素值，得到所述目标图像对应的区域控制图像。
[0134]
另一种实施方式中，强度控制单元903还可用于：
[0135]
根据所述目标区域的区域边际从所述区域控制图像中确定出扩展区域，所述扩展区域是指需进行像素值过渡融合的q个像素点所处的区域，q为正整数；
[0136]
针对所述扩展区域中的第i个像素点，对所述第i个像素点在所述目标图像中的像素值，以及所述第i个像素点在所述强度控制后的图像中的像素值进行融合处理，得到所述第i个像素点的融合像素值，i∈[1，q]；
[0137]
在所述区域控制图像中，分别将所述扩展区域中的每个像素点的像素值替换为相应的融合像素值，得到替换后的区域控制图像。
[0138]
另一种实施方式中，处理单元901在基于所述初始图像确定分辨率与所述目标图像的分辨率相匹配的参考图像时，可具体用于：
[0139]
确定所述初始图像的分辨率，以及所述目标图像的分辨率；
[0140]
若所述初始图像的分辨率等于所述目标图像的分辨率，则将所述初始图像确定为参考图像；
[0141]
若所述初始图像的分辨率大于或小于所述目标图像的分辨率，则根据所述目标图像的分辨率对所述初始图像进行分辨率调整处理，得到参考图像；
[0142]
其中，当所述图像处理任务包括图像超分任务时，所述目标图像的分辨率大于所述初始图像的分辨率。
[0143]
根据本技术的一个实施例，图2或图4所示的方法所涉及的各个步骤均可由图9所示的图像处理装置中的各个单元来执行的。例如，图2中所示的步骤s201可由图9中所示的处理单元901执行，步骤s202可由图9中所示的结构提取单元902执行，步骤s203可由图9所示的强度控制单元903执行。又如，图4中所示的步骤s401可由图9所示的处理单元901执行，步骤s402可由图9所示的结构提取单元902执行，步骤s403-s405均可由图9所示的强度控制单元903执行，等等。
[0144]
根据本技术的另一个实施例，图9所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本技术的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本技术的其它实施例中，图像处理装置也可以包括其他单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
[0145]
根据本技术的另一个实施例，可以通过在包括中央处理单元(cpu)、随机存取存储介质(ram)、只读存储介质(rom)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图4中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图9中所示的图像处理装置，以及来实现本技术实施例的图像处理方法。所述计算机程序可以记载于例如计算机存储介质上，并通过计算机存储介质装载于上述计算设备中，并在其中运行。
[0146]
本技术实施例在得到目标图像和参考图像后，可先对目标图像进行结构信息的提取处理，得到结构信息提取结果，使得该结构信息提取结果可用于指示：用于描述目标图像中的结构信息的像素点，且该结构信息是指与图像的画质效果相关的信息，从而使得结构信息提取结果可用于指示：用于描述目标图像中与画质效果相关的信息的像素点；然后，根
据结构信息提取结果和参考图像，对目标图像进行画质效果的强度控制，从而不仅可实现对目标图像的画质效果的优化处理，还可实现对目标图像的画质效果的弱化处理，使得图像的画质效果较为适中，进而满足视觉效果的需求，有效提升最终的图像的视觉效果。
[0147]
基于上述方法实施例以及装置实施例的描述，本技术实施例还提供一种计算机设备。请参见图10，该计算机设备至少包括处理器1001、输入接口1002、输出接口1003以及计算机存储介质1004。其中，计算机设备内的处理器1001、输入接口1002、输出接口1003以及计算机存储介质1004可通过总线或其他方式连接。
[0148]
计算机存储介质1004可以存储在计算机设备的存储器中，所述计算机存储介质1004用于存储计算机程序，所述计算机程序包括程序指令，所述处理器1001用于执行所述计算机存储介质1004存储的程序指令。处理器1001(或称cpu(central processing unit，中央处理器))是计算机设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能；在一个实施例中，本技术实施例所述的处理器1001可以用于进行一系列的图像处理，具体包括：按照图像处理任务对待处理的初始图像进行图像处理以得到目标图像，并基于所述初始图像确定分辨率与所述目标图像的分辨率相匹配的参考图像；对所述目标图像进行结构信息的提取处理，得到结构信息提取结果；其中，结构信息是指与图像的画质效果相关的信息，所述结构信息提取结果用于指示：用于描述所述目标图像中的结构信息的像素点；根据所述结构信息提取结果和所述参考图像，对所述目标图像进行画质效果的强度控制。
[0149]
本技术实施例还提供了一种计算机存储介质(memory)，所述计算机存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了计算机设备的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速ram存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器的计算机存储介质。在一个实施例中，可由处理器加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关图2或图4所示的图像处理方法的实施例中的各个方法步骤。
[0150]
本技术实施例在得到目标图像和参考图像后，可先对目标图像进行结构信息的提取处理，得到结构信息提取结果，使得该结构信息提取结果可用于指示：用于描述目标图像中的结构信息的像素点，且该结构信息是指与图像的画质效果相关的信息，从而使得结构信息提取结果可用于指示：用于描述目标图像中与画质效果相关的信息的像素点；然后，根据结构信息提取结果和参考图像，对目标图像进行画质效果的强度控制，从而不仅可实现对目标图像的画质效果的优化处理，还可实现对目标图像的画质效果的弱化处理，使得图像的画质效果较为适中，进而满足视觉效果的需求，有效提升最终的图像的视觉效果。
[0151]
需要说明的是，根据本技术的一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机存储介质中。计算机设备的处理器从计算机存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图2或图4所示的图像处理方法实施例方面的各种可选方
式中提供的方法。
[0152]
并且，应理解的是，以上所揭露的仅为本技术较佳实施例而已，当然不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属本技术所涵盖的范围。