图像超分辨率处理方法、装置、设备和存储介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种图像超分辨率处理方法、装置、计算机设备和存储介质。


背景技术：

2.随着移动终端拍摄技术的普及，为保证拍摄得到的图像具有较高的分辨率，出现了图像超分辨率技术。图像超分辨率技术，是指通过硬件或软件的方法提高原有图像的分辨率，从一幅低分辨率图像(low resolution image，lr)或图像序列中恢复出高分辨率图像(high resolution image，hr)。图像超分辨率技术可以对包含人脸、动物、车辆等目标区域的图像进行超分辨率处理，形成高分辨率的超分图像。


技术实现要素：

3.基于此，为保证超分变率处理针对性的同时，减小超分辨率重建模型的体积，本技术提供一种图像超分辨率处理方法、装置、计算机设备和存储介质。
4.一种图像超分辨率处理方法，所述方法包括：
5.获取待处理图像；
6.将所述待处理图像输入至预先构建的超分辨率重建模型中；
7.通过所述超分辨率重建模型中的特征提取单元和第一区域解码单元，对所述待处理图像的第一区域图像进行超分辨率重建并输出第一区域超分图像；
8.通过所述超分辨率重建模型中所述特征提取单元和第二区域解码单元，对所述待处理图像的第二区域图像进行超分辨率重建并输出第二区域超分图像；
9.融合所述第一区域超分图像和所述第二区域超分图像，得到针对所述待处理图像的超分图像。
10.在其中一个实施例中，在通过所述超分辨率重建模型中的特征提取单元和第一区域解码单元，对所述待处理图像的第一区域图像进行超分辨率重建并输出第一区域超分图像之前，所述方法还包括：
11.通过所述超分辨率重建模型中的第一区域检测单元确定第一区域在所述待处理图像中的位置，得到所述第一区域图像。
12.在其中一个实施例中，所述通过所述超分辨率重建模型中的第一区域检测单元确定第一区域在所述待处理图像中的位置，得到所述第一区域图像，包括：
13.通过所述超分辨率重建模型中的下采样单元，对所述待处理图像进行下采样处理，得到下采样的待处理图像；
14.通过所述第一区域检测单元确定第一区域在所述下采样的待处理图像中的位置，得到所述第一区域图像。
15.在其中一个实施例中，所述通过所述超分辨率重建模型中的特征提取单元和第一区域解码单元，对所述待处理图像的第一区域图像进行超分辨率重建并输出第一区域超分
图像，包括：
16.通过所述超分辨率重建模型中第一区域关键点预测单元，对所述第一区域图像进行关键点预测；
17.通过所述特征提取单元和所述第一区域解码单元对关键点预测后的第一区域图像进行超分辨率重建并输出第一区域超分图像。
18.在其中一个实施例中，第一区域解码单元是利用针对第一区域的真实性判别网络构建得到的。
19.在其中一个实施例中，所述通过所述超分辨率重建模型中所述特征提取单元和第二区域解码单元，对所述待处理图像的第二区域图像进行超分辨率重建并输出第二区域超分图像，包括：
20.若所述第二区域图像的分辨率低于预设分辨率，通过所述超分辨率重建模型中的降噪单元对所述第二区域图像进行降噪处理；
21.通过所述特征提取单元和所述第二区域解码单元，对降噪后的第二区域图像进行超分辨率重建并输出第二区域超分图像。
22.在其中一个实施例中，
23.所述若所述第二区域图像的分辨率低于预设分辨率，通过所述超分辨率重建模型中的降噪单元对所述第二区域图像进行降噪处理，包括：
24.若所述第二区域图像的分辨率低于预设分辨率，则对所述第二区域图像进行网格区块化处理，得到多个第二区域区块图像；
25.通过所述超分辨率重建模型中的降噪单元，分别对所述多个第二区域区块图像进行降噪处理，得到降噪后的多个第二区域区块图像；
26.所述通过所述特征提取单元和所述第二区域解码单元，对降噪后的第二区域图像进行超分辨率重建并输出第二区域超分图像，包括：
27.通过所述特征提取单元和所述第二区域解码单元，对所述降噪后的多个第二区域区块图像进行超分辨率重建，得到多个第二区域超分区块图像；
28.按照所述多个第二区域区块图像在所述第二区域图像中的位置，对所述多个第二区域超分区块图像进行拼贴，得到所述第二区域超分图像。
29.在其中一个实施例中，各第二区域区块图像的图像尺寸为所述特征提取单元的输入图像尺寸。
30.在其中一个实施例中，所述方法还包括：
31.若所述第二区域图像为所述待处理图像，则根据损失权重大于第一区域损失权重的非第一区域损失权重，进行损失函数计算以构建所述第二区域解码单元；其中，非第一区域是所述待处理图像中除所述第一区域外的区域。
32.在其中一个实施例中，所述将所述待处理图像输入至预先构建的超分辨率重建模型中，包括：
33.判断所述待处理图像中的人脸数量；
34.若所述人脸数量大于预设数量，则将所述待处理图像输入至所述超分辨率重建模型中；其中，所述第一区域图像为人脸区域图像。
35.一种图像超分辨率处理装置，所述装置包括：
36.图像获取模块，用于获取待处理图像；
37.图像输入模块，用于将所述待处理图像输入至预先构建的超分辨率重建模型中；
38.第一超分重建模块，用于通过所述超分辨率重建模型中的特征提取单元和第一区域解码单元，对所述待处理图像的第一区域图像进行超分辨率重建并输出第一区域超分图像；
39.第二超分重建模块，用于通过所述超分辨率重建模型中所述特征提取单元和第二区域解码单元，对所述待处理图像的第二区域图像进行超分辨率重建并输出第二区域超分图像；
40.图像融合模块，用于融合所述第一区域超分图像和所述第二区域超分图像，得到针对所述待处理图像的超分图像。
41.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行上述方法。
42.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行上述方法。
43.上述图像超分辨率处理方法、装置、计算机设备和存储介质，获取待处理图像；将所述待处理图像输入至预先构建的超分辨率重建模型中；通过所述超分辨率重建模型中的特征提取单元和第一区域解码单元，对所述待处理图像的第一区域图像进行超分辨率重建并输出第一区域超分图像；通过所述超分辨率重建模型中所述特征提取单元和第二区域解码单元，对所述待处理图像的第二区域图像进行超分辨率重建并输出第二区域超分图像；融合所述第一区域超分图像和所述第二区域超分图像，得到针对所述待处理图像的超分图像。可见，本技术提供的图像超分辨率处理方法中，对图像的不同区域分别进行超分辨率重建，相较于直接对整张图像进行超分辨率重建而言，可以保证超分变率处理针对性；并且在对不同区域进行超分辨率重建时，均采用同一特征提取单元，可以减小超分辨率重建模型的体积，有利于部署在移动终端等设备上。
附图说明
44.图1为一个实施例中计算机设备的内部结构图；
45.图2为一个实施例中图像超分辨率处理方法的流程示意图；
46.图3为一个实施例中图像超分辨率重建模型的架构图；
47.图4为一个实施例中特征提取单元与全区域解码单元的处理流程示意图；
48.图5为一个实施例中人脸超分辨率重建单元的架构图；
49.图6为一个实施例中图像超分辨率处理装置的结构框图。
具体实施方式
50.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
51.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相
同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本技术所描述的实施例可以与其它实施例相结合。
52.先对本技术涉及的一些用语进行介绍：
53.①
人脸识别：是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或者摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别，也可以称为人像识别，面部识别。
54.②
图像降噪：英文名称为image denoising，是指减少数字图像中噪声的过程，也可以称为图像去噪。在数字图像在数字化和传输过程中，会受到成像设备与外界环境噪声干扰等的影响，形成的图像称为含噪图像或噪声图像。图像降噪方法包括：均值滤波，即使用邻域平均法抑制噪声，容易引起模糊现象；自适应维纳滤波，根据图像的局部方差来调整滤波器的输出，局部方差越大，平滑作用越强，自适应维纳滤波方法对具有白噪声的图像滤波效果最佳；中值滤波，一种常用的非线性平滑滤波器，将各邻域中值代换为像素点值，可以既去除噪声又保护图像边缘，但细节较多的图像不宜使用；形态学噪声滤波，选择有结构元素矩阵比噪声尺寸大，开启效果就是把背景噪声去除，然后进行闭合操作，将噪声去除；小波去噪，保留大部分信号的小波系数，较好的保留图像细节。
55.③
图像超分辨率：英文为image super-resolution(image sr)，是指通过硬件或软件的方法提高原有图像的分辨率，从一幅低分辨率图像或图像序列中恢复出高分辨率图像。图像超分辨率方法主要是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率，实现时间分辨率向空间分辨率的转换。图像超分辨率可以分为超分辨率复原和超分辨率重建。
56.④
卷积神经网络：是一类包含卷积运算且具有深度结构的前馈神经网络(feed-forward neural networks)，是深度学习(deep learning)的代表算法之一。卷积神经网络具有表征学习(representation learning)的能力，能够按其结构对输入的信息进行平移不变下的处理(shift-invariant processing)，因此也称为平移不变人工神经网络。卷积神经网络启发于生物视觉(visual perception)机制构建，可以进行监督学习和无监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得这种网络能够以较小的计算量对格点化特征，例如像素和音频进行学习，有较稳定的效果，且对数据没有额外的特征工程的要求。
57.⑤
生成对抗网络：英文名称为generative adversarial networks(gan)，属于无监督学习方法。生成对抗网络包括至少两个单元：生成单元(generative model)和判别单元(discriminative model)，通过生成单元和判别单元之间的互相博弈学习产生更好的输出。其中，生成单元和判别单元可以是相互拟合的生成函数和判别函数，也可以是神经网络。
58.图像超分辨率技术可以将低分辨率图像恢复至高分辨率图像，向用户呈现出更加清晰的图像。例如，对人脸图像、动物图像、车辆图像等进行超分辨率重建，可以让图像中的人脸、动物、车辆更加清晰。
59.在一个实施例中，本技术提供的图像超分辨率处理方法可以应用于如图1所示的计算机设备中。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储
器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像超分辨率处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
60.本领域技术人员可以理解，上述计算机设备可以是手机、平板、笔记本电脑、服务器等设备，另外，图1中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
61.在一个实施例中，如图2所示，提供了一种图像超分辨率处理方法，以该方法应用于如手机等移动终端为例进行说明，包括以下步骤：
62.步骤s201，移动终端获取待处理图像；
63.步骤s202，移动终端将待处理图像输入至预先构建的超分辨率重建模型中；
64.其中，该待处理图像可以包括多个区域，且各区域均有对应的图像(可称为区域图像)；例如，待处理图像是包括人脸的图像，对应的区域图像可以是人脸区域图像、背景区域图像；又例如，区域图像还可以是人脸区域图像、全区域图像，其中，全区域图像包括人脸区域和背景区域，且人脸区域图像中不包括背景区域，可见，人脸区域图像和全区域图像具有相同的区域且全区域图像独有背景区域；可见，各区域图像之间可以具有相同的区域且至少其中一张区域图像包括其他区域图像不具有的独有区域。
65.进一步地，上述区域可以是多个，仍以待处理图像为包括人脸的图像为例，上述区域可以是：头发区域、脸部区域、脖子区域和背景区域等。
66.在一个实施例中，移动终端得到待处理图像后，可以执行如下步骤：判断待处理图像中的人脸数量；若人脸数量大于预设数量，则将待处理图像输入至超分辨率重建模型中；其中，第一区域图像为人脸区域图像。
67.仍以待处理图像为包括人脸的图像为例，移动终端在得到包括人脸的图像后，先判断图像中的人脸数量，如果人脸数量大于预设数量(如3个)，那么移动终端可以确定上述图像属于人脸群拍图像并输入至超分辨率中间模型中。
68.步骤s203，移动终端通过超分辨率重建模型中的特征提取单元和第一区域解码单元，对待处理图像的第一区域图像进行超分辨率重建并输出第一区域超分图像；
69.步骤s204，移动终端通过超分辨率重建模型中特征提取单元和第二区域解码单元，对待处理图像的第二区域图像进行超分辨率重建并输出第二区域超分图像；
70.其中，各区域均有对应的解码单元，且各区域均对应同一特征提取单元，也就是说，不同区域的解码单元均与同一特征提取单元进行配合，以对对应的区域图像进行超分辨率重建。示例性地，头发区域的解码单元和特征提取单元对头发区域图像进行超分辨率重建，脸部区域的解码单元和特征提取单元对脸部区域图像进行超分辨率重建。
71.进一步地，第一区域解码单元是利用针对第一区域的真实性判别网络构建得到的。也就是说，如果某一区域的真实性需求较高，那么在构建该区域的解码单元是可以利用
针对该区域的真实性判别网络构建；例如，对人脸真实性需求较高，那么在构建人脸区域解码单元时，可以利用人脸区域的真实性判别网络进行训练，最终得到的人脸区域解码单元在对人脸区域图像进行超分辨率重建时，得到的人脸区域超分图像可以呈现出较真实的效果。
72.步骤s205，移动终端融合第一区域超分图像和第二区域超分图像，得到针对待处理图像的超分图像。
73.上述图像超分辨率处理方法中，移动终端将待处理图像输入至预先构建的超分辨率重建模型中；通过超分辨率重建模型中的特征提取单元和第一区域解码单元，对待处理图像的第一区域图像进行超分辨率重建并输出第一区域超分图像；通过超分辨率重建模型中特征提取单元和第二区域解码单元，对待处理图像的第二区域图像进行超分辨率重建并输出第二区域超分图像；融合第一区域超分图像和第二区域超分图像，得到针对待处理图像的超分图像。可见，本技术提供的图像超分辨率处理方法中，对图像的不同区域分别进行超分辨率重建，相较于直接对整张图像进行超分辨率重建而言，可以保证超分变率处理针对性；并且在对不同区域进行超分辨率重建时，均采用同一特征提取单元，可以减小超分辨率重建模型的体积，有利于部署在移动终端等设备上。
74.在一个实施例中，移动终端在通过超分辨率重建模型中的特征提取单元和第一区域解码单元，对待处理图像的第一区域图像进行超分辨率重建并输出第一区域超分图像之前，还可以执行如下步骤：通过超分辨率重建模型中的第一区域检测单元确定第一区域在待处理图像中的位置，得到第一区域图像。
75.在上述实施例中，移动终端可以利用对应区域的检测单元进行检测，例如，移动终端在确定人脸区域图像时，可以人脸区域检测单元确定人脸区域在图像中的位置，进而得到更加准确的人脸区域图像，有利于保证超分辨率处理的针对性。
76.进一步地，移动终端在通过超分辨率重建模型中的第一区域检测单元确定第一区域在待处理图像中的位置，得到第一区域图像时，可以具体执行如下步骤：移动终端通过超分辨率重建模型中的下采样单元，对待处理图像进行下采样处理，得到下采样的待处理图像；通过第一区域检测单元确定第一区域在下采样的待处理图像中的位置，得到第一区域图像。
77.以第一区域为人脸区域为例介绍，移动终端在利用人脸区域检测单元确定人脸区域在图像中的位置之前，可以利用下采样单元先对图像进行下采样处理，进而在下采样图像中确定人脸区域的位置，避免在较大尺寸的图像中查找，可以提高确定区域位置的效率。
78.进一步地，移动终端通过超分辨率重建模型中的特征提取单元和第一区域解码单元，对待处理图像的第一区域图像进行超分辨率重建并输出第一区域超分图像时，可以具体执行如下步骤：通过超分辨率重建模型中第一区域关键点预测单元，对第一区域图像进行关键点预测；通过特征提取单元和第一区域解码单元对关键点预测后的第一区域图像进行超分辨率重建并输出第一区域超分图像。
79.以第一区域为人脸区域为例介绍，移动终端在对人脸区域图像进行超分辨率重建之前，先利用人脸区域关键点预测单元对人脸区域图像进行关键点(如眼睛、鼻子等)预测，可以保证超分辨重建处理时，针对性对人脸区域中的关键点进行超分辨率重建，保证得到的第一区域超分图像更加真实。
80.由于在图像超分辨率处理过程中，可能会出现噪点增加的问题，因此，为了避免图像在超分辨率重建过程中噪点增加过多，移动终端在对各区域图像进行超分辨率重建之前，可以先对各区域图像进行降噪处理。
81.在一个实施例中，移动终端可以对第二区域图像进行降噪处理；因此，移动终端通过超分辨率重建模型中特征提取单元和第二区域解码单元，对待处理图像的第二区域图像进行超分辨率重建并输出第二区域超分图像时，可以具体执行如下步骤：若第二区域图像的分辨率低于预设分辨率，通过超分辨率重建模型中的降噪单元对第二区域图像进行降噪处理；通过特征提取单元和第二区域解码单元，对降噪后的第二区域图像进行超分辨率重建并输出第二区域超分图像。
82.进一步地，移动终端在第二区域图像的分辨率低于预设分辨率的情况下，通过超分辨率重建模型中的降噪单元对第二区域图像进行降噪处理时，可以具体执行如下步骤：若第二区域图像的分辨率低于预设分辨率，则对第二区域图像进行网格区块化处理，得到多个第二区域区块图像；通过超分辨率重建模型中的降噪单元，分别对多个第二区域区块图像进行降噪处理，得到降噪后的多个第二区域区块图像。移动终端根据得到降噪后的多个第二区域区块图像，得到第二区域超分图像时，可以具体执行如下步骤：通过特征提取单元和第二区域解码单元，对降噪后的多个第二区域区块图像进行超分辨率重建，得到多个第二区域超分区块图像；按照多个第二区域区块图像在第二区域图像中的位置，对多个第二区域超分区块图像进行拼贴，得到第二区域超分图像。
83.其中，各第二区域区块图像的图像尺寸为特征提取单元的输入图像尺寸，以保证特征提取单元正常对输入的各第二区域取区块图像进行特征提取处理；另外，如图4所示，上述第二区域区块图像可以存在部分重叠。
84.上述方法中，先对第二区域图像进行网格区块化处理，然后分别对各区块图像进行超分辨率重建，可以实现并行处理多个区块图像，减少超分辨率重建时间，提高超分辨率重建效率。并且，如果第二区域图像的分辨率较高，可以对第二区域图像不进行降噪处理，直接对第二区域图像进行网格区块化处理后，利用特征提取单元和第二区域解码单元对各第二区域区块图像进行超分辨率重建，提高超分辨率重建效率。
85.在一个实施例中，移动终端在构建第二区域解码单元时，可以具体执行如下步骤：若第二区域图像为待处理图像(相当于全区域图像)，则根据损失权重大于第一区域损失权重的非第一区域损失权重，进行损失函数计算以构建第二区域解码单元；其中，非第一区域是待处理图像中除第一区域外的区域。
86.以待处理图像为包括人脸的图像且第一区域为人脸区域为例介绍，若第二区域图像为全区域图像，由于全区域图像包括人脸区域和背景区域(相当于非第一区域)，且人脸区域已经具有对应的解码单元，因此，在构建全区域图像对应的解码单元时，更加注重背景区域；此时，可以给予背景区域更大的损失权重并根据该损失权重进行损失函数计算，抑制人脸区域对背景区域的重建精度产生的影响，得到更加注重背景区域超分辨率重建的解码单元。
87.更具体地，移动终端利用在人脸区域检测单元确定的人脸候选框位置，生成对应的掩膜，并给予掩膜外的背景区域更大的损失权重，从而抑制人脸对背景区域的重建精度可能会造成的影响。
88.为了更好地理解上述方法，以下详细阐述一个本技术图像超分辨率处理方法的应用实例。在本应用实例中，以对人脸群拍图像进行超分辨率处理为例介绍。其中，人脸群拍图像可以是指具有三个或三个以上人脸的图像，对人脸群拍图像进行超分辨率处理，需要保证在保证人脸真实性的同时，提升人脸的细节。
89.本应用实例中，计算机设备在对待处理图像中的人脸数量进行判断后，如果人脸数量是三个或三个以上，那么计算机设备可以利用超分辨率重建模型的特征提取单元和人脸区域解码单元对人脸区域图像进行超分辨率重建处理，利用超分辨率重建模型的特征提取单元和全区域解码单元对全区域图像进行超分辨率重建处理，并得到对应的人脸区域超分图像和全区域超分图像；最后，计算机设备对人脸区域超分图像和全区域超分图像进行融合，得到对应的超分图像。
90.可见，在上述处理过程中，对图像的不同区域分别进行超分辨率重建，相较于直接对整张图像进行超分辨率重建而言，可以保证超分变率处理针对性；并且在对不同区域进行超分辨率重建时，均采用同一特征提取单元，可以减小超分辨率重建模型的体积，有利于部署在移动终端等设备上。
91.图3示出超分辨率重建模型的架构，其中，输入图像可以是低分辨率图像。针对全区域图像进行超分辨率重建的分支，可以包括降噪单元、特征提取单元和全区域解码单元。针对人脸区域图像进行超分辨率重建的分支，可以包括人脸区域检测单元、特征提取单元、人脸区域解码单元和真实人脸判别单元(相当于真实性判别网络)。其中，可以利用真实人脸判别单元构建人脸区域解码单元，并在构建完成后，可以利用自动剪枝的方法，去除真实人脸判别单元。
92.可见，全区域超分处理分支和人脸区域超分处理分支之间共享特征提取单元，并且上述的所有单元都可以采用轻量化的设计。利用自动剪枝的方法，去除真实人脸判别单元，在保证精度的同时进一步压缩超分辨率重建模型的体积，方便在手机等移动终端上部署，加快推理的速度。
93.再如图3所示，计算机设备在全区域超分处理分支上使用轻量级的网络和全区域解码单元对输入图像进行超分辨率重建；计算机设备在人脸区域超分处理分支上提取输入图像中的人脸区域后，使用人脸区域解码单元(可以称为sr head)得到高清晰度的人脸图像，最后将超分重建的全区域超分图像和人脸区域超分图像进行融合，生成最后的高清群拍图片。
94.一、全区域超分处理分支：
95.全区域超分处理分支包括：降噪单元、特征提取单元和全区域解码单元。如图4所示，计算机设备对输入图像进行网格区块化处理，即将输入图像划分为4
×
4的16个区块，每个区块间存在部分重叠。然后，计算机设备将上述区块输入至降噪单元(降噪单元可以是brdnet，批重归一化去噪网络)，对每个区块进行降噪处理，以控制图像的噪声与高分辨率图像的噪声的分布趋于一致。接着，计算机设备对降噪单元输出的降噪区块进行超分辨率重建，再拼贴超分辨率重建得到的区块，并将拼贴结果作为训练的样本预测图像。上述处理过程在实现并行处理多个区块，减少处理时间的同时，也可以让全区域超分处理分支的区块与人脸区域超分处理分支的区块一致，以共享特征提取单元的网络权重，减少模型消耗。
96.由于全区域解码单元关注的是背景区域进行的超分辨率重建，因此，在计算全区
域解码单元的损失函数时，可以利用在人脸区域检测单元确定的人脸候选框位置，生成对应的掩膜，并给予掩膜外的背景区域更大的损失函数权重，从而抑制人脸对背景区域的重建精度可能会造成的影响。
97.可以理解的是，如果输入图像比较清晰，那么可以省略降噪单元，进一步缩短处理时间。
98.二、人脸区域超分处理分支
99.人脸区域超分处理分支在训练过程中，可以使用生成对抗网络的架构，实现在生成高质量高清人脸图像的同时，保证人脸图像的真实性。
100.计算机设备对输入图像进行下采样处理后，利用人脸区域检测单元对下采样处理后的低分辨率图像进行处理，得到人脸候选框位置，以确定图像中人脸区域的位置，并将人脸区域的区块输入至特征提取单元和人脸区域解码单元进行人脸真实性的对抗训练。
101.其中，图5示出了人脸超分辨率重建单元(特征提取单元和人脸区域解码单元)的架构，在该架构中，包括嵌入网络和小波预测网络，以及小波包分解处理、基于小波变换的损耗和全图损失等单元；其中，为了加速推理的时间，可以根据实际需求的图像精度，适应性减少嵌入网络和小波预测网络的尺寸，如减少通道数量和并行分支数量。
102.其中，在人脸超分辨率重建单元生成的人脸图像上，计算机设备可以对人脸区域图像进行回归计算，确定人脸关键点(如眼睛、鼻子)的坐标。另外，真实人脸判别单元可以是基于卷积神经网络构建的，真实人脸判别单元根据人脸关键点的坐标对人脸超分辨率重建单元生成的人脸图像的真实性进行判别，计算机设备根据真实性判别结果计算人脸超分辨率重建单元的损失函数，在控制人脸的真实度的同时，可以保证超分重建的面部区域特征的准确性。
103.在本应用实例中，针对性对图像噪声问题和人脸真实性问题进行处理，保证人脸图像的真实呈现；另外，通过增加人脸关键点的预测，使得人脸超分辨率重建单元在样本图像的驱动下可以更好的习得生成真实人脸图像的能力，并最大化的保留图片的内容。此外，上述各部分网络可以使用轻量级的网络，缩减整个图像超分辨率重建模型的运行时间，便于部署到移动终端。
104.应该理解的是，虽然图2至图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至图5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
105.在一个实施例中，如图6所示，提供了一种图像超分辨率处理装置，包括：
106.图像获取模块601，用于获取待处理图像；
107.图像输入模块602，用于将所述待处理图像输入至预先构建的超分辨率重建模型中；
108.第一超分重建模块603，用于通过所述超分辨率重建模型中的特征提取单元和第一区域解码单元，对所述待处理图像的第一区域图像进行超分辨率重建并输出第一区域超
分图像；
109.第二超分重建模块604，用于通过所述超分辨率重建模型中所述特征提取单元和第二区域解码单元，对所述待处理图像的第二区域图像进行超分辨率重建并输出第二区域超分图像；
110.图像融合模块605，用于融合所述第一区域超分图像和所述第二区域超分图像，得到针对所述待处理图像的超分图像。
111.在一个实施例中，所述装置还包括：位置检测模块，用于通过所述超分辨率重建模型中的第一区域检测单元确定第一区域在所述待处理图像中的位置，得到所述第一区域图像。
112.在一个实施例中，所述位置检测模块，进一步用于通过所述超分辨率重建模型中的下采样单元，对所述待处理图像进行下采样处理，得到下采样的待处理图像；通过所述第一区域检测单元确定第一区域在所述下采样的待处理图像中的位置，得到所述第一区域图像。
113.在一个实施例中，所述第一超分重建模块603，进一步用于通过所述超分辨率重建模型中第一区域关键点预测单元，对所述第一区域图像进行关键点预测；通过所述特征提取单元和所述第一区域解码单元对关键点预测后的第一区域图像进行超分辨率重建并输出第一区域超分图像。
114.在一个实施例中，第一区域解码单元是利用针对第一区域的真实性判别网络构建得到的。
115.在一个实施例中，所述第二超分重建模块604，进一步用于若所述第二区域图像的分辨率低于预设分辨率，通过所述超分辨率重建模型中的降噪单元对所述第二区域图像进行降噪处理；通过所述特征提取单元和所述第二区域解码单元，对降噪后的第二区域图像进行超分辨率重建并输出第二区域超分图像。
116.在一个实施例中，所述第二超分重建模块604，进一步用于若所述第二区域图像的分辨率低于预设分辨率，则对所述第二区域图像进行网格区块化处理，得到多个第二区域区块图像；通过所述超分辨率重建模型中的降噪单元，分别对所述多个第二区域区块图像进行降噪处理，得到降噪后的多个第二区域区块图像；通过所述特征提取单元和所述第二区域解码单元，对所述降噪后的多个第二区域区块图像进行超分辨率重建，得到多个第二区域超分区块图像；按照所述多个第二区域区块图像在所述第二区域图像中的位置，对所述多个第二区域超分区块图像进行拼贴，得到所述第二区域超分图像。
117.在一个实施例中，各第二区域区块图像的图像尺寸为所述特征提取单元的输入图像尺寸。
118.在一个实施例中，所述装置还包括：第二区域解码单元构建模块，用于若所述第二区域图像为所述待处理图像，则根据损失权重大于第一区域损失权重的非第一区域损失权重，进行损失函数计算以构建所述第二区域解码单元；其中，非第一区域是所述待处理图像中除所述第一区域外的区域。
119.在一个实施例中，所述图像获取模块601，进一步用于判断所述待处理图像中的人脸数量；若所述人脸数量大于预设数量，则将所述待处理图像输入至所述超分辨率重建模型中；其中，所述第一区域图像为人脸区域图像。
120.关于图像超分辨率处理装置的具体限定可以参见上文中对于图像超分辨率处理方法的限定，在此不再赘述。上述图像超分辨率处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
121.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述各个方法实施例中的步骤。
122.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个方法实施例中的步骤。
123.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
124.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
125.以上的实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。