图像处理方法、装置和系统与流程

1.本技术涉及图像处理领域，具体而言，涉及一种图像处理方法、装置和系统。


背景技术：

2.目前，为了实现老片修复、4k重制、线上视频平台中的视频质量增强，可以采用基于卷积神经网络的视频增强算法，在没有额外输入和交互的情况下，智能地提升视频的分辨率，去除视频中的模糊、噪声和压缩损伤，显著提升视频的质量和观感。
3.但是，现有的视频增强散发主要基于图像增强算法，在真实场景中表现不佳，主要存在鲁棒性和稳定性差、细节模糊的问题。
4.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本技术实施例提供了一种图像处理方法、装置和系统，以至少解决相关技术中图像处理方法在真实场景中的鲁棒性和稳定性较差的技术问题。
6.根据本技术实施例的一个方面，提供了一种图像处理方法，包括：接收第一图像；利用处理模型对第一图像进行处理，得到第二图像，其中，第二图像的分辨率与第一图像的分辨率满足第一预设条件，处理模型用于将第一图像输入至第一生成网络，得到第三图像，并将第三图像输入至第二生成网络，得到第二图像，第三图像的分辨率与第一图像的分辨率满足第二预设条件；展示第二图像。
7.根据本技术实施例的另一方面，还提供了一种图像处理方法，包括：获取第一图像；利用处理模型对第一图像进行处理，得到第二图像，其中，第二图像的分辨率与第一图像的分辨率满足第一预设条件，处理模型用于将第一图像输入至第一生成网络，得到第三图像，并将第三图像输入至第二生成网络，得到第二图像，第三图像的分辨率与第一图像的分辨率满足第二预设条件。
8.根据本技术实施例的另一方面，还提供了一种图像处理方法，包括：接收模型训练请求；获取模型训练请求对应的训练样本和初始模型，其中，训练样本包括：第一图像样本和第二图像样本，第二图像样本的分辨率与第一图像样本的分辨率满足第一预设条件；利用训练样本对初始模型进行训练，得到处理模型，其中，处理模型用于将第一图像样本输入至第一生成网络，得到第三图像样本，并将第三图像样本输入至第二生成网络，得到第四图像样本，第三图像样本的分辨率与第一图像样本的分辨率满足第二预设条件；输出处理模型。
9.根据本技术实施例的另一方面，还提供了一种图像处理方法，包括：获取训练样本和初始模型，其中，训练样本包括：第一图像样本和第二图像样本，第二图像样本的分辨率与第一图像样本的分辨率满足第一预设条件；利用训练样本对初始模型进行训练，得到处理模型，其中，处理模型用于将第一图像样本输入至第一生成网络，得到第三图像样本，并将第三图像样本输入至第二生成网络，得到第四图像样本，第三图像样本的分辨率与第一
图像样本的分辨率满足第二预设条件。
10.根据本技术实施例的另一方面，还提供了一种图像处理装置，包括：接收模块，用于接收第一图像；处理模块，用于利用处理模型对第一图像进行处理，得到第二图像，其中，第二图像的分辨率与第一图像的分辨率满足第一预设条件，处理模型用于将第一图像输入至第一生成网络，得到第三图像，并将第三图像输入至第二生成网络，得到第二图像，第三图像的分辨率与第一图像的分辨率满足第二预设条件；展示模块，用于展示第二图像。
11.根据本技术实施例的另一方面，还提供了一种图像处理装置，包括：获取模块，用于获取第一图像；处理模块，用于利用处理模型对第一图像进行处理，得到第二图像，其中，第二图像的分辨率与第一图像的分辨率满足第一预设条件，处理模型用于将第一图像输入至第一生成网络，得到第三图像，并将第三图像输入至第二生成网络，得到第二图像，第三图像的分辨率与第一图像的分辨率满足第二预设条件。
12.根据本技术实施例的另一方面，还提供了一种图像处理装置，包括：接收模块，用于接收模型训练请求；获取模块，用于获取模型训练请求对应的训练样本和初始模型，其中，训练样本包括：第一图像样本和第二图像样本，第二图像样本的分辨率与第一图像样本的分辨率满足第一预设条件；训练模块，用于利用训练样本对初始模型进行训练，得到处理模型，其中，处理模型用于将第一图像样本输入至第一生成网络，得到第三图像样本，并将第三图像样本输入至第二生成网络，得到第四图像样本，第三图像样本的分辨率与第一图像样本的分辨率满足第二预设条件；输出模块，用于输出处理模型。
13.根据本技术实施例的另一方面，还提供了一种图像处理装置，包括：获取模块，用于获取训练样本和初始模型，其中，训练样本包括：第一图像样本和第二图像样本，第二图像样本的分辨率与第一图像样本的分辨率满足第一预设条件；训练模块，用于利用训练样本对初始模型进行训练，得到处理模型，其中，处理模型用于将第一图像样本输入至第一生成网络，得到第三图像样本，并将第三图像样本输入至第二生成网络，得到第四图像样本，第三图像样本的分辨率与第一图像样本的分辨率满足第二预设条件。
14.根据本技术实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述的图像处理方法。
15.根据本技术实施例的另一方面，还提供了一种计算机终端，包括：存储器和处理器，处理器用于运行存储器中存储的程序，其中，程序运行时执行上述的图像处理方法。
16.根据本技术实施例的另一方面，还提供了一种图像处理系统，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：接收第一图像；利用处理模型对第一图像进行处理，得到第二图像，其中，第二图像的分辨率与第一图像的分辨率满足第一预设条件，处理模型用于将第一图像输入至第一生成网络，得到第三图像，并将第三图像输入至第二生成网络，得到第二图像，第三图像的分辨率与第一图像的分辨率满足第二预设条件；展示第二图像。
17.在本技术实施例中，通过利用由第一生成网络和第二生成网络组成的处理模型对图像进行处理的方式，实现了视频质量增强的目的，由于处理模型中包含有第一生成网络和第二生成网络，并且第一生成网络的输入图像和输出图像的分辨率相同，而第二生成网络的输入图像和输出图像的分辨率不同，从而达到了增加视频增强算法在真实场景中的鲁
棒性和稳定性，提升了视觉感知效果的技术效果，进而解决了相关技术中图像处理方法在真实场景中的鲁棒性和稳定性较差的技术问题。
附图说明
18.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
19.图1是根据本技术实施例的一种用于实现图像处理方法的计算机终端的硬件结构框图；
20.图2是根据本技术实施例的第一种图像处理算法的流程图；
21.图3是根据本技术实施例的一种可选的模型训练阶段的示意图；
22.图4是根据本技术实施例的一种可选的模型推断阶段的示意图；
23.图5是根据本技术实施例的第二种图像处理算法的流程图；
24.图6是根据本技术实施例的第三种图像处理算法的流程图；
25.图7是根据本技术实施例的第四种图像处理算法的流程图；
26.图8是根据本技术实施例的第一种图像处理装置的示意图；
27.图9是根据本技术实施例的第二种图像处理装置的示意图；
28.图10是根据本技术实施例的第三种图像处理装置的示意图；
29.图11是根据本技术实施例的第四种图像处理装置的示意图；以及
30.图12是根据本技术实施例的一种计算机终端的结构框图。
具体实施方式
31.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
32.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
33.首先，在对本技术实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
34.视频质量增强：可以是指对低质量视频进行修复，提升视频画面质量的任务。具体包括去除视频中的模糊，噪声和压缩损伤，提高视频分辨率等内容。
35.生成对抗网络：可以是指一种非监督式学习方法，通过让两个神经网络相互博弈的方式进行学习。
36.目前的图像超分算法主要基于仿真数据对训练，仿真数据对中的低质量图片主要由高质量图片采用bicubic(双立方)降采样的方式得到，但是通过上述仿真数据对训练得到的模型在真实场景中表现不佳。
37.目前基于卷积神经网络的图像超分算法主要分为两类，第一类是客观数值指标导向的图像超分算法，例如，image super-resolution using very deep residual channel attention networks(rcan，残差通道注意力网络)，其目标是获取更好的客观指标，例如，peak signal-to-noise ratio(psnr，峰值信噪比)。第二类是人类感知导向的图像超分算法，例如，enhanced super-resolution generative adversarial networks(esrgan，增强的超分辨率生成对抗网络)，其目标是获取更好的视觉效果。
38.第一类图像超分算法通常采用l1损失(最小绝对值损失)进行训练，该算法可以获得一定效果，但是存在细节模糊等问题；第二类图像超分算法通常加入gan损失进行训练，该算法可以生成更多细节，但是存在稳定性差等问题。
39.为了解决上述技术问题，本技术提供了一种基于生成对抗网络的两阶段视频增强方案，含有噪声、模糊和压缩损伤的视频帧通过卷积神经网络1首先映射成干净的低分辨率的视频帧，再通过卷积神经网络2映射成高分辨率的视频帧，不仅增加了视频增强算法在真实场景中的鲁棒性和稳定性，还实现了更高的视觉感知效果。
40.实施例1
41.根据本技术实施例，提供了一种图像处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
42.本技术实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现图像处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，
……
，102n来示出)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为bus总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
43.应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
44.存储器104可用于存储应用软件的软件程序以及模块，如本技术实施例中的图像处理方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪
存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
45.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
46.显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
47.此处需要说明的是，在一些可选实施例中，上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。
48.此处需要说明的是，在一些实施例中，上述图1所示的计算机设备(或移动设备)具有触摸显示器(也被称为“触摸屏”或“触摸显示屏”)。在一些实施例中，上述图1所示的计算机设备(或移动设备)具有图像用户界面(gui)，用户可以通过触摸触敏表面上的手指接触和/或手势来与gui进行人机交互，此处的人机交互功能可选的包括如下交互：创建网页、绘图、文字处理、制作电子文档、游戏、视频会议、即时通信、收发电子邮件、通话界面、播放数字视频、播放数字音乐和/或网络浏览等、用于执行上述人机交互功能的可执行指令被配置/存储在一个或多个处理器可执行的计算机程序产品或可读存储介质中。
49.在上述运行环境下，本技术提供了如图2所示的图像处理算法。图2是根据本技术实施例的第一种图像处理算法的流程图。如图2所示，该方法可以包括如下步骤：
50.步骤s202，接收第一图像。
51.上述步骤中的第一图像可以是需要视频质量增强的低分辨率的视频帧，该视频帧中包含有噪声、模糊或压缩损伤，但不仅限于此。该视频帧可以是用户直接上传的视频帧，也可以是从用户上传的视频中截取到的视频帧。例如，以线上视频平台为例进行说明，第一图像可以是用户上传的直播视频中的视频帧。
52.在一种可选的实施例中，本技术提供的图像处理算法可以由客户端执行，用户可以直接通过拍摄装置实时拍摄图像或视频，并由拍摄装置传输给客户端，从而客户端可以接收到第一图像。或者，用户也可以直接通过在客户端提供的交互界面中操作控件，选择预先存储的图像或视频，从而客户端可以基于用户的选择接收到第一图像。
53.在另一种可选的实施例中，本技术提供的图像处理算法可以由服务器执行，用户可以直接通过拍摄装置实时拍摄图像或视频，并通过互联网将图像或视频发送给服务器，从而服务器可以接收到第一图像。或者，用户也可以直接通过在服务器提供的交互界面中操作控件，选择预先存储的图像或视频，从而服务器可以基于用户的选择接收到第一图像。
54.需要说明的是，上述的拍摄装置可以是摄像头、照相机、摄像机、智能手机、平板电脑、笔记本电脑等，但不仅限于此。
55.步骤s204，利用处理模型对第一图像进行处理，得到第二图像，其中，第二图像的
分辨率与第一图像的分辨率满足第一预设条件，处理模型用于将第一图像输入至第一生成网络，得到第三图像，并将第三图像输入至第二生成网络，得到第二图像，第三图像的分辨率与第一图像的分辨率满足第二预设条件。
56.上述步骤中的处理模型可以是基于生成对抗网络的两阶段视频增强模型，也即，该处理模型中包含有两个深度卷积神经网络，分别作为两个不同的生成网络，由于两个生成网络的图像处理任务不同，因此，两个生成网络的网络结构不同，本技术对生成网络的具体结构不做限定，任何能够完成相应的图像处理任务的网络结构都可以应用于本技术实施例中。
57.上述步骤中的第一预设条件可以是指第二图像的分辨率与第一图像的分辨率差异较大的条件，可选的，第二图像的分辨率与第一图像的分辨率满足第一预设条件包括：第二图像的分辨率与第一图像的分辨率的差值大于第一预设值。第二预设条件可以是指第三图像的分辨率与第一图像的分辨率差异较小的条件，可选的，第三图像的分辨率与第一图像的分辨率满足第二预设条件包括：第三图像的分辨率与第一图像的分辨率的差值小于第二预设值。其中，第一预设值和第二预设值可以根据实际需要进行设定，两者也可以相同，分辨率的差值大于第一预设值表明两个图像的分辨率差异较大，可以认为两个图像的分辨率不同；分辨率的差值小于第二预设值表明两个图像的分辨率差异较小，可以认为两个图像的分辨率相同。
58.上述步骤中的第二图像可以是对第一图像进行修复，提升画面质量之后得到的图像。在本技术实施例中，以第一图像的分辨率小于第二图像的分辨率为例进行说明，第一图像可以是指低质量低分辨率的视频帧，第三图像可以是指高质量低分辨率的视频帧，第二图像可以是指高质量高分辨率的视频帧。
59.需要说明的是，在本技术提供的图像处理算法由客户端执行的情况下，需要将处理模型存储在客户端，在本技术提供的图像处理算法由服务器执行的情况下，需要将处理模型存储在服务器。但是，客户端的存储空间和计算资源有限，为了降低客户端的资源消耗、提升处理效率和效果，在本技术实施例中，以服务器执行上述的图像处理算法为例进行说明。
60.步骤s206，展示第二图像。
61.在一种可选的实施例中，为了方便用户确认第二图像是否满足用户的需求，客户端或服务器在利用处理模型对第一图像进行处理，得到第二图像之后，可以直接将第二图像显示在提供给用户的交互界面中，用户可以查看到视频增强效果。在不满足用户需求的情况下，用户可以反馈结果给客户端或服务器，由客户端或服务器对处理模型的网络权重进行更新，达到提升视频增强效果的目的。
62.基于本技术上述实施例提供的技术方案，在接收到的第一图像之后，可以利用由第一生成网络和第二生成网络组成的处理模型对第一图像进行处理，并展示处理得到的第二图像。容易注意到的是，由于处理模型中包含有第一生成网络和第二生成网络，并且第一生成网络的输入图像和输出图像的分辨率相同，而第二生成网络的输入图像和输出图像的分辨率不同，从而实现了视频质量增强的目的，达到了增加视频增强算法在真实场景中的鲁棒性和稳定性，提升了视觉感知效果的技术效果，进而解决了相关技术中图像处理方法在真实场景中的鲁棒性和稳定性较差的技术问题。
63.在本技术上述实施例中，该方法还包括：获取第二图像样本；对第二图像样本进行预处理，得到第一图像样本，其中，预处理包括如下至少之一：降采样、增加模糊信息、增加噪声信息和图像压缩；利用第一图像样本和第二图像样本，对处理模型进行训练。
64.上述步骤中的第二图像样本可以是从网络上采集到的高质量高分辨率的视频帧。
65.在一种可选的实施例中，为了确保训练得到的处理模型可以更好地切合真实场景下的降质，可以通过人工降质方式得到低质量低分辨率的视频帧，在本技术实施例中，采用的人工降质方式包括：降采样、加模糊、加噪声和加压缩等，但不仅限于此，而不是简单采用bicubic降采样。通过上述方式可以得到真实高质量高分辨率的视频帧和真实低质量低分辨率的视频帧数据对，进而可以利用视频帧数据对作为训练样本进行模型训练。
66.需要说明的是，在通过人工降质方式得到低质量低分辨率的视频帧之后，可以进一步对所有的视频帧进行数据清理，从而得到最终用于模型训练的视频帧数据对。
67.在本技术上述实施例中，利用第一图像样本和第二图像样本，对处理模型进行训练包括：将第一图像样本输入至第一生成网络，得到第三图像样本；将第三图像样本输入至第二生成网络，得到第四图像样本；将第二图像样本和第四图像样本输入至处理模型中的判别网络，得到判别结果；基于第二图像样本、第三图像样本、第四图像样本和判别结果，得到处理模型的目标损失值；基于目标损失值对处理模型的网络参数进行更新。
68.上述步骤中的第一生成网络和第二生成网络的目的是生成虚假的高质量高分辨率的视频帧，而判别网络的任务是分辨输入的高质量高分辨率的视频帧的真假，也即，分辨输入视频帧是真实视频帧还是第二生成网络生成的视频帧。
69.上述步骤中的第四图像样本可以是第二生成网络生成的高质量高分辨率的视频帧，第二生成网络的处理精度越高，第四图像样本与第二图像样本的相似度越高，越容易骗过判别网络。
70.上述步骤中的目标损失值可以是整个处理模型的总损失值，具体可以由如下几种损失值确定：用于约束生成的第四图像样本和第三图像样本与第二图像样本在内容上相似的损失值，用于约束第四图像样本和第二图像样本在感知上相似的损失值，以及对抗损失值。
71.需要说明的是，判别网络仅在模型训练过程中使用，本技术对判别网络的具体结构不做限定，任何能够完成相应的判别任务的网络结构都可以应用于本技术实施例中。为了实现对第一生成网络和第二生成网络的训练过程，首先可以对判别网络进行训练，然后基于训练好的判别网络确定对抗损失值，进而实现对第一生成网络和第二生成网络进行训练的目的。
72.在本技术上述实施例中，基于第二图像样本、第三图像样本、第四图像样本和判别结果，得到处理模型的目标损失值包括：将第二图像样本和第四图像样本输入至最小绝对值损失函数，得到第一损失值；对第二图像样本进行降采样处理，将处理后的图像样本和第三图像样本输入至最小绝对值损失函数，得到第二损失值；将第二图像样本和第四图像样本输入至感知损失函数，得到第三损失值；基于判别结果，得到第四损失值；获取第一损失值、第二损失值、第三损失值和第四损失值的加权和，得到目标损失值。
73.上述步骤中的处理后的图像样本可以是通过对第二图像样本进行bicubic降采样得到的图像样本。
74.在一种可选的实施例中，对于第二图像样本和第四图像样本，可以计算l1损失，得到第一损失值，记为l
pix1
；对于处理后的图像样本和第三图像样本，同样可以计算l1损失，得到第二损失值，记为l
pix2
；对于第二图像样本和第四图像样本，还可以计算感知损失，得到第三损失值，记为l
perceptual
；对于判别结果，可以计算对抗损失，得到第四损失值，记为l
gan
。最终得到的目标损失值l＝al
pix1
bl
pix2
cl
perceptual
dl
gan
，其中a，b，c，d分别为四个损失值的权重。
75.需要说明的是，对于上述四个损失值，l
pix1
和l
pix2
用于约束生成的第四图像样本和第三图像样本与第二图像样本在内容上相似的损失值，l
perceptual
用于约束第四图像样本和第二图像样本在感知上相似的损失值。
76.还需要说明的是，还可以将处理后的图像样本和第三图像样本输入至另一个判别网络，并基于该判别网络的输出结果计算一个新的对抗损失，此时，处理模型可以包括两个生成网络和两个判别网络。
77.下面结合图3和图4对本技术一种优选的实施例进行详细说明，其中，图3示出了模型训练阶段，图4示出了模型推断阶段。
78.如图3所示，模型训练阶段的处理流程如下：采集真实高质量视频帧，并通过人工降质的方式得到真实低质量视频帧；清理数据，得到真实高质量和真实低质量视频帧数据对；如图3中实线所示，真实低质量视频帧lq经过卷积神经网络1(生成器1)之后得到干净的中间结果ir，中间结果ir经过卷积神经网络2(生成器2)之后得到生成高质量视频帧hr；如图3中虚线所示，对生成高质量视频帧hr和真实高质量视频帧gt计算l1损失，记为l
pix1
，对中间结果ir和bicubic降采样的高质量视频帧gt计算l1损失，记为l
pix2
，对生成高质量视频帧hr和真实高质量视频帧gt计算感知损失，记为l_perceptual，将生成高质量视频帧hr和真实高质量视频帧gt输入至卷积神经网络3(判别器1)计算对抗损失l
gan
，从而可以得到最终的损失l＝al
pix1
bl
pix2
cl
perceptual
dl
gan
，从而完成模型训练过程。
79.如图4所示，模型推断阶段的处理流程如下：将真实低质量视频帧输入至卷积神经网络1(生成器1)中得到中间结果，再将中间结果输入至卷积神经网络2(生成器2)得到生成高质量视频帧。通过循环执行上述操作，可以将低质量视频转换成高质量视频。
80.通过上述方案，首先将含噪声，模糊，压缩损伤的视频帧通过卷积神经网络1映射成干净的低分辨率的视频帧，再通过卷积神经网络2映射成高质量的高分辨率的视频帧。通过映入真实场景中的各种降质，如噪声，模糊，压缩等，大大增强了视频增强算法的鲁棒性，一定程度上解决了采用bicubic降采样数据对训练出的模型在真实场景中表现不佳的问题；通过引入生成对抗网络，解决了目前的客观数值指标导向的图像超分算法的细节模糊问题；通过现将含噪声视频帧映射成干净视频帧，解决了目前的人类感知导向的图像超分算法的在含噪声场景下不稳定的问题。
81.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
82.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施
例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
83.实施例2
84.根据本技术实施例，还提供了一种图像处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
85.图5是根据本技术实施例的第二种图像处理算法的流程图。如图5所示，该方法可以包括如下步骤：
86.步骤s502，获取第一图像。
87.上述步骤中的第一图像可以是需要视频质量增强的低分辨率的视频帧，该视频帧中包含有噪声、模糊或压缩损伤，但不仅限于此。该视频帧可以是用户直接上传的视频帧，也可以是从用户上传的视频中截取到的视频帧。例如，以线上视频平台为例进行说明，第一图像可以是用户上传的直播视频中的视频帧。
88.步骤s504，利用处理模型对第一图像进行处理，得到第二图像，其中，第二图像的分辨率与第一图像的分辨率满足第一预设条件，处理模型用于将第一图像输入至第一生成网络，得到第三图像，并将第三图像输入至第二生成网络，得到第二图像，第三图像的分辨率与第一图像的分辨率满足第二预设条件。
89.上述步骤中的处理模型可以是基于生成对抗网络的两阶段视频增强模型，也即，该处理模型中包含有两个深度卷积神经网络，分别作为两个不同的生成网络，由于两个生成网络的图像处理任务不同，因此，两个生成网络的网络结构不同，本技术对生成网络的具体结构不做限定，任何能够完成相应的图像处理任务的网络结构都可以应用于本技术实施例中。
90.上述步骤中的第一预设条件可以是指第二图像的分辨率与第一图像的分辨率差异较大的条件，可选的，第二图像的分辨率与第一图像的分辨率满足第一预设条件包括：第二图像的分辨率与第一图像的分辨率的差值大于第一预设值。第二预设条件可以是指第三图像的分辨率与第一图像的分辨率差异较小的条件，可选的，第三图像的分辨率与第一图像的分辨率满足第二预设条件包括：第三图像的分辨率与第一图像的分辨率的差值小于第二预设值。其中，第一预设值和第二预设值可以根据实际需要进行设定，两者也可以相同，分辨率的差值大于第一预设值表明两个图像的分辨率差异较大，可以认为两个图像的分辨率不同；分辨率的差值小于第二预设值表明两个图像的分辨率差异较小，可以认为两个图像的分辨率相同。
91.上述步骤中的第二图像可以是对第一图像进行修复，提升画面质量之后得到的图像。在本技术实施例中，以第一图像的分辨率小于第二图像的分辨率为例进行说明，第一图像可以是指低质量低分辨率的视频帧，第三图像可以是指高质量低分辨率的视频帧，第二图像可以是指高质量高分辨率的视频帧。
92.在本技术上述实施例中，该方法还包括：获取第二图像样本；对第二图像样本进行预处理，得到第一图像样本，其中，预处理包括如下至少之一：降采样、增加模糊信息、增加噪声信息和图像压缩；利用第一图像样本和第二图像样本，对处理模型进行训练。
93.上述步骤中的第二图像样本可以是从网络上采集到的高质量高分辨率的视频帧。
94.在本技术上述实施例中，利用第一图像样本和第二图像样本，对处理模型进行训练包括：将第一图像样本输入至第一生成网络，得到第三图像样本；将第三图像样本输入至第二生成网络，得到第四图像样本；将第二图像样本和第四图像样本输入至处理模型中的判别网络，得到判别结果；基于第二图像样本、第三图像样本、第四图像样本和判别结果，得到处理模型的目标损失值；基于目标损失值对处理模型的网络参数进行更新。
95.上述步骤中的第一生成网络和第二生成网络的目的是生成虚假的高质量高分辨率的视频帧，而判别网络的任务是分辨输入的高质量高分辨率的视频帧的真假，也即，分辨输入视频帧是真实视频帧还是第二生成网络生成的视频帧。
96.上述步骤中的第四图像样本可以是第二生成网络生成的高质量高分辨率的视频帧，第二生成网络的处理精度越高，第四图像样本与第二图像样本的相似度越高，越容易骗过判别网络。
97.上述步骤中的目标损失值可以是整个处理模型的总损失值，具体可以由如下几种损失值确定：用于约束生成的第四图像样本和第三图像样本与第二图像样本在内容上相似的损失值，用于约束第四图像样本和第二图像样本在感知上相似的损失值，以及对抗损失值。
98.在本技术上述实施例中，基于第二图像样本、第三图像样本、第四图像样本和判别结果，得到处理模型的目标损失值包括：将第二图像样本和第四图像样本输入至最小绝对值损失函数，得到第一损失值；对第二图像样本进行降采样处理，将处理后的图像样本和第三图像样本输入至最小绝对值损失函数，得到第二损失值；将第二图像样本和第四图像样本输入至感知损失函数，得到第三损失值；基于判别结果，得到第四损失值；获取第一损失值、第二损失值、第三损失值和第四损失值的加权和，得到目标损失值。
99.上述步骤中的处理后的图像样本可以是通过对第二图像样本进行bicubic降采样得到的图像样本。
100.需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
101.实施例3
102.根据本技术实施例，还提供了一种图像处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
103.图6是根据本技术实施例的第三种图像处理算法的流程图。如图6所示，该方法可以包括如下步骤：
104.步骤s602，接收模型训练请求。
105.为了能够训练得到一个处理精度较高的模型，往往需要采用大量训练样本进行多次训练，整个训练过程的数据量和运算量较大。为了减少用户设备(例如智能手机、平板电
脑、笔记本电脑、掌上电脑、个人计算机等)的资源消耗，可以由服务器进行模型训练，用户设备中仅部署训练好的模型，以方便用户使用。进一步地，为了大幅度减少用户设备的运算负担，可以直接将训练好的模型部署在服务器中，用户设备通过特定接口连接服务器，将待处理数据发送给服务器，服务器利用部署好的模型对待处理数据进行处理，并将处理结果反馈给用户设备。
106.上述步骤中的模型训练请求可以根据用户的模型使用需求生成，该请求中可以携带需要处理的数据类型，以及预期达到的处理结果等，例如，在医学领域中，需要处理的数据类型可以是低质量视频帧，预期达到的处理结果可以是高质量视频帧。
107.由于服务器可以为不同的用户提供模型训练服务，模型使用需求不同，模型的具体结构以及训练样本均不同，在一种可选的实施例中，可以在用户设备上提供一个交互界面，用户在输入区域内输入模型训练请求，从而用户设备可以通过网络将模型训练请求发送给服务器。为了更加有针对性，服务器可以针对用户的类型，给用户提供不同的模型训练方案，由用户在输入区域内进行选择，从而用户设备可以根据用户的选择结果生成模型训练请求，并通过网络发送给服务器。
108.步骤s604，获取模型训练请求对应的训练样本和初始模型，其中，训练样本包括：第一图像样本和第二图像样本，第二图像的分辨率与第一图像的分辨率满足第一预设条件。
109.上述步骤中的第一预设条件可以是指第二图像的分辨率与第一图像的分辨率差异较大的条件，可选的，第二图像的分辨率与第一图像的分辨率满足第一预设条件包括：第二图像的分辨率与第一图像的分辨率的差值大于第一预设值。第二预设条件可以是指第三图像的分辨率与第一图像的分辨率差异较小的条件。其中，第一预设值可以根据实际需要进行设定，分辨率的差值大于第一预设值表明两个图像的分辨率差异较大，可以认为两个图像的分辨率不同。
110.上述步骤中的训练样本可以是低质量低分辨率的视频帧和高质量高分辨率的视频帧数据对，在本技术实施例中，以第一图像样本的分辨率小于第二图像样本的分辨率为例进行说明，第一图像样本可以是低质量低分辨率的视频帧，该视频帧中包含有噪声、模糊或压缩损伤，但不仅限于此；第二图像样本可以是高质量高分辨率的视频帧。
111.步骤s606，利用训练样本对初始模型进行训练，得到处理模型，其中，处理模型用于将第一图像样本输入至第一生成网络，得到第三图像样本，并将第三图像样本输入至第二生成网络，得到第四图像样本，第三图像样本的分辨率与第一图像样本的分辨率满足第二预设条件。
112.上述步骤中的处理模型可以是基于生成对抗网络的两阶段视频增强模型，也即，该处理模型中包含有两个深度卷积神经网络，分别作为两个不同的生成网络，由于两个生成网络的图像处理任务不同，因此，两个生成网络的网络结构不同，本技术对生成网络的具体结构不做限定，任何能够完成相应的图像处理任务的网络结构都可以应用于本技术实施例中。
113.上述步骤中的第二预设条件可以是指第三图像的分辨率与第一图像的分辨率差异较小的条件，可选的，第三图像的分辨率与第一图像的分辨率满足第二预设条件包括：第三图像的分辨率与第一图像的分辨率的差值小于第二预设值。其中，第二预设值可以根据
实际需要进行设定，第一预设值和第二预设值也可以相同，分辨率的差值小于第二预设值表明两个图像的分辨率差异较小，可以认为两个图像的分辨率相同。
114.步骤s608，输出处理模型。
115.在一种可选的实施例中，如果处理模型需要部署在客户端中，则服务器可以通过网络将处理模型传输至客户端；如果处理模型需要部署在服务器中，则可以直接将处理模型进行上线，从而用户可以使用上线后的处理模型进行视频质量增强。
116.在本技术上述实施例中，获取模型训练请求对应的训练样本包括：获取第二图像样本；对第二图像样本进行预处理，得到第一图像样本，其中，预处理包括如下至少之一：降采样、增加模糊信息、增加噪声信息和图像压缩。
117.上述步骤中的第二图像样本可以是从网络上采集到的高质量高分辨率的视频帧。
118.在本技术上述实施例中，利用训练样本对初始模型进行训练包括：将第二图像样本和第四图像样本输入至处理模型中的判别网络，得到判别结果；基于第二图像样本、第三图像样本、第四图像样本和判别结果，得到处理模型的目标损失值；基于目标损失值对处理模型的网络参数进行更新。
119.上述步骤中的第一生成网络和第二生成网络的目的是生成虚假的高质量高分辨率的视频帧，而判别网络的任务是分辨输入的高质量高分辨率的视频帧的真假，也即，分辨输入视频帧是真实视频帧还是第二生成网络生成的视频帧。
120.上述步骤中的第四图像样本可以是第二生成网络生成的高质量高分辨率的视频帧，第二生成网络的处理精度越高，第四图像样本与第二图像样本的相似度越高，越容易骗过判别网络。
121.上述步骤中的目标损失值可以是整个处理模型的总损失值，具体可以由如下几种损失值确定：用于约束生成的第四图像样本和第三图像样本与第二图像样本在内容上相似的损失值，用于约束第四图像样本和第二图像样本在感知上相似的损失值，以及对抗损失值。
122.在本技术上述实施例中，基于第二图像样本、第三图像样本、第四图像样本和判别结果，得到处理模型的目标损失值包括：将第二图像样本和第四图像样本输入至最小绝对值损失函数，得到第一损失值；对第二图像样本进行降采样处理，将处理后的图像样本和第三图像样本输入至最小绝对值损失函数，得到第二损失值；将第二图像样本和第四图像样本输入至感知损失函数，得到第三损失值；基于判别结果，得到第四损失值；获取第一损失值、第二损失值、第三损失值和第四损失值的加权和，得到目标损失值。
123.上述步骤中的处理后的图像样本可以是通过对第二图像样本进行bicubic降采样得到的图像样本。
124.需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
125.实施例4
126.根据本技术实施例，还提供了一种图像处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
127.图7是根据本技术实施例的第四种图像处理算法的流程图。如图7所示，该方法可以包括如下步骤：
128.步骤s702，获取训练样本和初始模型，其中，训练样本包括：第一图像样本和第二图像样本，第二图像的分辨率与第一图像的分辨率满足第一预设条件。
129.上述步骤中的训练样本可以是低质量低分辨率的视频帧和高质量高分辨率的视频帧数据对，在本技术实施例中，以第一图像样本的分辨率小于第二图像样本的分辨率为例进行说明，第一图像样本可以是低质量低分辨率的视频帧，该视频帧中包含有噪声、模糊或压缩损伤，但不仅限于此；第二图像样本可以是高质量高分辨率的视频帧。
130.上述步骤中的第一预设条件可以是指第二图像的分辨率与第一图像的分辨率差异较大的条件，可选的，第二图像的分辨率与第一图像的分辨率满足第一预设条件包括：第二图像的分辨率与第一图像的分辨率的差值大于第一预设值。第二预设条件可以是指第三图像的分辨率与第一图像的分辨率差异较小的条件。其中，第一预设值可以根据实际需要进行设定，分辨率的差值大于第一预设值表明两个图像的分辨率差异较大，可以认为两个图像的分辨率不同。
131.步骤s704，利用训练样本对初始模型进行训练，得到处理模型，其中，处理模型用于将第一图像样本输入至第一生成网络，得到第三图像样本，并将第三图像样本输入至第二生成网络，得到第四图像样本，第三图像样本的分辨率与第一图像样本的分辨率满足第二预设条件。
132.上述步骤中的处理模型可以是基于生成对抗网络的两阶段视频增强模型，也即，该处理模型中包含有两个深度卷积神经网络，分别作为两个不同的生成网络，由于两个生成网络的图像处理任务不同，因此，两个生成网络的网络结构不同，本技术对生成网络的具体结构不做限定，任何能够完成相应的图像处理任务的网络结构都可以应用于本技术实施例中。
133.上述步骤中的第二预设条件可以是指第三图像的分辨率与第一图像的分辨率差异较小的条件，可选的，第三图像的分辨率与第一图像的分辨率满足第二预设条件包括：第三图像的分辨率与第一图像的分辨率的差值小于第二预设值。其中，第二预设值可以根据实际需要进行设定，第一预设值和第二预设值也可以相同，分辨率的差值小于第二预设值表明两个图像的分辨率差异较小，可以认为两个图像的分辨率相同。
134.在本技术上述实施例中，获取训练样本包括：获取第二图像样本；对第二图像样本进行预处理，得到第一图像样本，其中，预处理包括如下至少之一：降采样、增加模糊信息、增加噪声信息和图像压缩。
135.上述步骤中的第二图像样本可以是从网络上采集到的高质量高分辨率的视频帧。
136.在本技术上述实施例中，利用训练样本对初始模型进行训练包括：将第二图像样本和第四图像样本输入至处理模型中的判别网络，得到判别结果；基于第二图像样本、第三图像样本、第四图像样本和判别结果，得到处理模型的目标损失值；基于目标损失值对处理模型的网络参数进行更新。
137.上述步骤中的第一生成网络和第二生成网络的目的是生成虚假的高质量高分辨率的视频帧，而判别网络的任务是分辨输入的高质量高分辨率的视频帧的真假，也即，分辨输入视频帧是真实视频帧还是第二生成网络生成的视频帧。
138.上述步骤中的第四图像样本可以是第二生成网络生成的高质量高分辨率的视频帧，第二生成网络的处理精度越高，第四图像样本与第二图像样本的相似度越高，越容易骗过判别网络。
139.上述步骤中的目标损失值可以是整个处理模型的总损失值，具体可以由如下几种损失值确定：用于约束生成的第四图像样本和第三图像样本与第二图像样本在内容上相似的损失值，用于约束第四图像样本和第二图像样本在感知上相似的损失值，以及对抗损失值。
140.在本技术上述实施例中，基于第二图像样本、第三图像样本、第四图像样本和判别结果，得到处理模型的目标损失值包括：将第二图像样本和第四图像样本输入至最小绝对值损失函数，得到第一损失值；对第二图像样本进行降采样处理，将处理后的图像样本和第三图像样本输入至最小绝对值损失函数，得到第二损失值；将第二图像样本和第四图像样本输入至感知损失函数，得到第三损失值；基于判别结果，得到第四损失值；获取第一损失值、第二损失值、第三损失值和第四损失值的加权和，得到目标损失值。
141.上述步骤中的处理后的图像样本可以是通过对第二图像样本进行bicubic降采样得到的图像样本。
142.需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
143.实施例5
144.根据本技术实施例，还提供了一种用于实施上述图像处理方法的图像处理装置，如图8所示，该装置800包括：接收模块802、处理模块804和展示模块806。
145.其中，接收模块802用于接收第一图像；处理模块804用于利用处理模型对第一图像进行处理，得到第二图像，其中，第二图像的分辨率与第一图像的分辨率满足第一预设条件，处理模型用于将第一图像输入至第一生成网络，得到第三图像，并将第三图像输入至第二生成网络，得到第二图像，第三图像的分辨率与第一图像的分辨率满足第二预设条件；展示模块806用于展示第二图像。
146.此处需要说明的是，上述接收模块802、处理模块804和展示模块806对应于实施例1中的步骤s202至步骤s206，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
147.在本技术上述实施例中，该装置还包括：获取模块和训练模块。
148.其中，获取模块用于获取第二图像样本；处理模块还用于对第二图像样本进行预处理，得到第一图像样本，其中，预处理包括如下至少之一：降采样、增加模糊信息、增加噪声信息和图像压缩；训练模块用于利用第一图像样本和第二图像样本，对处理模型进行训练。
149.在本技术上述实施例中，训练模块包括：第一输入单元、第二输入单元、第三输入单元、处理单元和更新单元。
150.其中，第一输入单元用于将第一图像样本输入至第一生成网络，得到第三图像样本；第二输入单元用于将第三图像样本输入至第二生成网络，得到第四图像样本；第三输入单元用于将第二图像样本和第四图像样本输入至处理模型中的判别网络，得到判别结果；
处理单元用于基于第二图像样本、第三图像样本、第四图像样本和判别结果，得到处理模型的目标损失值；更新单元用于基于目标损失值对处理模型的网络参数进行更新。
151.在本技术上述实施例中，处理单元包括：第一输入子单元、第二输入子单元、第三输入子单元、处理子单元和获取子单元。
152.其中，第一输入子单元用于将第二图像样本和第四图像样本输入至最小绝对值损失函数，得到第一损失值；第二输入子单元用于对第二图像样本进行降采样处理，将处理后的图像样本和第三图像样本输入至最小绝对值损失函数，得到第二损失值；第三输入子单元用于将第二图像样本和第四图像样本输入至感知损失函数，得到第三损失值；处理子单元用于基于判别结果，得到第四损失值；获取子单元用于获取第一损失值、第二损失值、第三损失值和第四损失值的加权和，得到目标损失值。
153.需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
154.实施例6
155.根据本技术实施例，还提供了一种用于实施上述图像处理方法的图像处理装置，如图9所示，该装置900包括：获取模块902和处理模块904。
156.其中，获取模块902用于获取第一图像；处理模块904用于利用处理模型对第一图像进行处理，得到第二图像，其中，第二图像的分辨率与第一图像的分辨率满足第一预设条件，处理模型用于将第一图像输入至第一生成网络，得到第三图像，并将第三图像输入至第二生成网络，得到第二图像，第三图像的分辨率与第一图像的分辨率满足第二预设条件。
157.此处需要说明的是，上述接收模块902和处理模块904对应于实施例2中的步骤s502至步骤s504，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
158.在本技术上述实施例中，该装置还包括：训练模块。
159.其中，获取模块还用于获取第二图像样本；处理模块还用于对第二图像样本进行预处理，得到第一图像样本，其中，预处理包括如下至少之一：降采样、增加模糊信息、增加噪声信息和图像压缩；训练模块用于利用第一图像样本和第二图像样本，对处理模型进行训练。
160.在本技术上述实施例中，训练模块包括：第一输入单元、第二输入单元、第三输入单元、处理单元和更新单元。
161.其中，第一输入单元用于将第一图像样本输入至第一生成网络，得到第三图像样本；第二输入单元用于将第三图像样本输入至第二生成网络，得到第四图像样本；第三输入单元用于将第二图像样本和第四图像样本输入至处理模型中的判别网络，得到判别结果；处理单元用于基于第二图像样本、第三图像样本、第四图像样本和判别结果，得到处理模型的目标损失值；更新单元用于基于目标损失值对处理模型的网络参数进行更新。
162.在本技术上述实施例中，处理单元包括：第一输入子单元、第二输入子单元、第三输入子单元、处理子单元和获取子单元。
163.其中，第一输入子单元用于将第二图像样本和第四图像样本输入至最小绝对值损失函数，得到第一损失值；第二输入子单元用于对第二图像样本进行降采样处理，将处理后
的图像样本和第三图像样本输入至最小绝对值损失函数，得到第二损失值；第三输入子单元用于将第二图像样本和第四图像样本输入至感知损失函数，得到第三损失值；处理子单元用于基于判别结果，得到第四损失值；获取子单元用于获取第一损失值、第二损失值、第三损失值和第四损失值的加权和，得到目标损失值。
164.需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
165.实施例7
166.根据本技术实施例，还提供了一种用于实施上述图像处理方法的图像处理装置，如图10所示，该装置1000包括：接收模块1002、获取模块1004、训练模块1006和输出模块1008。
167.其中，接收模块1002用于接收模型训练请求；获取模块1004用于获取模型训练请求对应的训练样本和初始模型，其中，训练样本包括：第一图像样本和第二图像样本，第二图像样本的分辨率与第一图像样本的分辨率满足第一预设条件；训练模块1006用于利用训练样本对初始模型进行训练，得到处理模型，其中，处理模型用于将第一图像样本输入至第一生成网络，得到第三图像样本，并将第三图像样本输入至第二生成网络，得到第四图像样本，第三图像样本的分辨率与第一图像样本的分辨率满足第二预设条件；输出模块1008用于输出处理模型。
168.此处需要说明的是，上述接收模块1002、获取模块1004、训练模块1006和输出模块1008对应于实施例3中的步骤s602至步骤s608，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
169.在本技术上述实施例中，获取模块包括：获取单元和处理单元。
170.其中，获取单元用于获取第二图像样本；处理单元用于对第二图像样本进行预处理，得到第一图像样本，其中，预处理包括如下至少之一：降采样、增加模糊信息、增加噪声信息和图像压缩。
171.在本技术上述实施例中，训练模块包括：输入单元、处理单元和更新单元。
172.其中，输入单元用于将第二图像样本和第四图像样本输入至处理模型中的判别网络，得到判别结果；处理单元用于基于第二图像样本、第三图像样本、第四图像样本和判别结果，得到处理模型的目标损失值；更新单元用于基于目标损失值对处理模型的网络参数进行更新。
173.在本技术上述实施例中，处理单元包括：第一输入子单元、第二输入子单元、第三输入子单元、处理子单元和获取子单元。
174.其中，第一输入子单元用于将第二图像样本和第四图像样本输入至最小绝对值损失函数，得到第一损失值；第二输入子单元用于对第二图像样本进行降采样处理，将处理后的图像样本和第三图像样本输入至最小绝对值损失函数，得到第二损失值；第三输入子单元用于将第二图像样本和第四图像样本输入至感知损失函数，得到第三损失值；处理子单元用于基于判别结果，得到第四损失值；获取子单元用于获取第一损失值、第二损失值、第三损失值和第四损失值的加权和，得到目标损失值。
175.需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方
案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
176.实施例8
177.根据本技术实施例，还提供了一种用于实施上述图像处理方法的图像处理装置，如图11所示，该装置1100包括：获取模块1102和训练模块1104。
178.其中，获取模块1102用于获取训练样本和初始模型，其中，训练样本包括：第一图像样本和第二图像样本，第二图像样本的分辨率与第一图像样本的分辨率满足第一预设条件；训练模块1104用于利用训练样本对初始模型进行训练，得到处理模型，其中，处理模型用于将第一图像样本输入至第一生成网络，得到第三图像样本，并将第三图像样本输入至第二生成网络，得到第四图像样本，第三图像样本的分辨率与第一图像样本的分辨率满足第二预设条件。
179.此处需要说明的是，上述获取模块1102和训练模块1104对应于实施例4中的步骤s702至步骤s704，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
180.在本技术上述实施例中，获取模块包括：获取单元和处理单元。
181.其中，获取单元用于获取第二图像样本；处理单元用于对第二图像样本进行预处理，得到第一图像样本，其中，预处理包括如下至少之一：降采样、增加模糊信息、增加噪声信息和图像压缩。
182.在本技术上述实施例中，训练模块包括：输入单元、处理单元和更新单元。
183.其中，输入单元用于将第二图像样本和第四图像样本输入至处理模型中的判别网络，得到判别结果；处理单元用于基于第二图像样本、第三图像样本、第四图像样本和判别结果，得到处理模型的目标损失值；更新单元用于基于目标损失值对处理模型的网络参数进行更新。
184.在本技术上述实施例中，处理单元包括：第一输入子单元、第二输入子单元、第三输入子单元、处理子单元和获取子单元。
185.其中，第一输入子单元用于将第二图像样本和第四图像样本输入至最小绝对值损失函数，得到第一损失值；第二输入子单元用于对第二图像样本进行降采样处理，将处理后的图像样本和第三图像样本输入至最小绝对值损失函数，得到第二损失值；第三输入子单元用于将第二图像样本和第四图像样本输入至感知损失函数，得到第三损失值；处理子单元用于基于判别结果，得到第四损失值；获取子单元用于获取第一损失值、第二损失值、第三损失值和第四损失值的加权和，得到目标损失值。
186.需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
187.实施例9
188.根据本技术实施例，还提供了一种图像处理系统，包括：
189.处理器。以及
190.存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：接收第一图像；利用处理模型对第一图像进行处理，得到第二图像，其中，第二图像的分辨率与第一图像的分辨率满足第一预设条件，处理模型用于将第一图像输入至第一生成网络，得到第三
图像，并将第三图像输入至第二生成网络，得到第二图像，第三图像的分辨率与第一图像的分辨率满足第二预设条件；展示第二图像。
191.需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
192.实施例10
193.本技术的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
194.可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
195.在本实施例中，上述计算机终端可以执行图像处理方法中以下步骤的程序代码：接收第一图像；利用处理模型对第一图像进行处理，得到第二图像，其中，第二图像的分辨率与第一图像的分辨率满足第一预设条件，处理模型用于将第一图像输入至第一生成网络，得到第三图像，并将第三图像输入至第二生成网络，得到第二图像，第三图像的分辨率与第一图像的分辨率满足第二预设条件；展示第二图像。
196.可选地，图12是根据本技术实施例的一种计算机终端的结构框图。如图12所示，该计算机终端a可以包括：一个或多个(图中仅示出一个)处理器1202、以及存储器1204。
197.其中，存储器可用于存储软件程序以及模块，如本技术实施例中的图像处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端a。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
198.处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：接收第一图像；利用处理模型对第一图像进行处理，得到第二图像，其中，第二图像的分辨率与第一图像的分辨率满足第一预设条件，处理模型用于将第一图像输入至第一生成网络，得到第三图像，并将第三图像输入至第二生成网络，得到第二图像，第三图像的分辨率与第一图像的分辨率满足第二预设条件；展示第二图像。
199.可选的，上述处理器还可以执行如下步骤的程序代码：获取第二图像样本；对第二图像样本进行预处理，得到第一图像样本，其中，预处理包括如下至少之一：降采样、增加模糊信息、增加噪声信息和图像压缩；利用第一图像样本和第二图像样本，对处理模型进行训练。
200.可选的，上述处理器还可以执行如下步骤的程序代码：将第一图像样本输入至第一生成网络，得到第三图像样本；将第三图像样本输入至第二生成网络，得到第四图像样本；将第二图像样本和第四图像样本输入至处理模型中的判别网络，得到判别结果；基于第二图像样本、第三图像样本、第四图像样本和判别结果，得到处理模型的目标损失值；基于目标损失值对处理模型的网络参数进行更新。
201.可选的，上述处理器还可以执行如下步骤的程序代码：将第二图像样本和第四图
像样本输入至最小绝对值损失函数，得到第一损失值；对第二图像样本进行降采样处理，将处理后的图像样本和第三图像样本输入至最小绝对值损失函数，得到第二损失值；将第二图像样本和第四图像样本输入至感知损失函数，得到第三损失值；基于判别结果，得到第四损失值；获取第一损失值、第二损失值、第三损失值和第四损失值的加权和，得到目标损失值。
202.处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取第一图像；利用处理模型对第一图像进行处理，得到第二图像，其中，第二图像的分辨率与第一图像的分辨率满足第一预设条件，处理模型用于将第一图像输入至第一生成网络，得到第三图像，并将第三图像输入至第二生成网络，得到第二图像，第三图像的分辨率与第一图像的分辨率满足第二预设条件。
203.处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：接收模型训练请求；获取模型训练请求对应的训练样本和初始模型，其中，训练样本包括：第一图像样本和第二图像样本，第二图像样本的分辨率与第一图像样本的分辨率满足第一预设条件；利用训练样本对初始模型进行训练，得到处理模型，其中，处理模型用于将第一图像样本输入至第一生成网络，得到第三图像样本，并将第三图像样本输入至第二生成网络，得到第四图像样本，第三图像样本的分辨率与第一图像样本的分辨率满足第二预设条件；输出处理模型。
204.处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取训练样本和初始模型，其中，训练样本包括：第一图像样本和第二图像样本，第二图像样本的分辨率与第一图像样本的分辨率满足第一预设条件；利用训练样本对初始模型进行训练，得到处理模型，其中，处理模型用于将第一图像样本输入至第一生成网络，得到第三图像样本，并将第三图像样本输入至第二生成网络，得到第四图像样本，第三图像样本的分辨率与第一图像样本的分辨率满足第二预设条件。
205.采用本技术实施例，提供了一种图像处理的方案。通过利用由第一生成网络和第二生成网络组成的处理模型对图像进行处理的方式，实现了视频质量增强的目的，由于处理模型中包含有第一生成网络和第二生成网络，并且第一生成网络的输入图像和输出图像的分辨率相同，而第二生成网络的输入图像和输出图像的分辨率不同，从而达到了增加视频增强算法在真实场景中的鲁棒性和稳定性，提升了视觉感知效果的技术效果，进而解决了相关技术中图像处理方法在真实场景中的鲁棒性和稳定性较差的技术问题。
206.本领域普通技术人员可以理解，图12所示的结构仅为示意，计算机终端也可以是智能手机(如android手机、ios手机等)、平板电脑、掌上电脑以及移动互联网设备(mobile internet devices，mid)、pad等终端设备。图12其并不对上述电子装置的结构造成限定。例如，计算机终端a还可包括比图12中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图12所示不同的配置。
207.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(read-only memory，rom)、随机存取器(random access memory，ram)、磁盘或光盘等。
208.实施例11
209.本技术的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例所提供的图像处理方法所执行的程序代码。
210.可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
211.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：接收第一图像；利用处理模型对第一图像进行处理，得到第二图像，其中，第二图像的分辨率与第一图像的分辨率满足第一预设条件，处理模型用于将第一图像输入至第一生成网络，得到第三图像，并将第三图像输入至第二生成网络，得到第二图像，第三图像的分辨率与第一图像的分辨率满足第二预设条件；展示第二图像。
212.可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：获取第二图像样本；对第二图像样本进行预处理，得到第一图像样本，其中，预处理包括如下至少之一：降采样、增加模糊信息、增加噪声信息和图像压缩；利用第一图像样本和第二图像样本，对处理模型进行训练。
213.可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：将第一图像样本输入至第一生成网络，得到第三图像样本；将第三图像样本输入至第二生成网络，得到第四图像样本；将第二图像样本和第四图像样本输入至处理模型中的判别网络，得到判别结果；基于第二图像样本、第三图像样本、第四图像样本和判别结果，得到处理模型的目标损失值；基于目标损失值对处理模型的网络参数进行更新。
214.可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：将第二图像样本和第四图像样本输入至最小绝对值损失函数，得到第一损失值；对第二图像样本进行降采样处理，将处理后的图像样本和第三图像样本输入至最小绝对值损失函数，得到第二损失值；将第二图像样本和第四图像样本输入至感知损失函数，得到第三损失值；基于判别结果，得到第四损失值；获取第一损失值、第二损失值、第三损失值和第四损失值的加权和，得到目标损失值。
215.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取第一图像；利用处理模型对第一图像进行处理，得到第二图像，其中，第二图像的分辨率与第一图像的分辨率满足第一预设条件，处理模型用于将第一图像输入至第一生成网络，得到第三图像，并将第三图像输入至第二生成网络，得到第二图像，第三图像的分辨率与第一图像的分辨率满足第二预设条件。
216.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：接收模型训练请求；获取模型训练请求对应的训练样本和初始模型，其中，训练样本包括：第一图像样本和第二图像样本，第二图像样本的分辨率与第一图像样本的分辨率满足第一预设条件；利用训练样本对初始模型进行训练，得到处理模型，其中，处理模型用于将第一图像样本输入至第一生成网络，得到第三图像样本，并将第三图像样本输入至第二生成网络，得到第四图像样本，第三图像样本的分辨率与第一图像样本的分辨率满足第二预设条件；输出处理模型。
217.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取训练样本和初始模型，其中，训练样本包括：第一图像样本和第二图像样本，第二图像样本的分辨率与第一图像样本的分辨率满足第一预设条件；利用训练样本对初始模型进行训
练，得到处理模型，其中，处理模型用于将第一图像样本输入至第一生成网络，得到第三图像样本，并将第三图像样本输入至第二生成网络，得到第四图像样本，第三图像样本的分辨率与第一图像样本的分辨率满足第二预设条件。
218.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
219.在本技术的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
220.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
221.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
222.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
223.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
224.以上所述仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。