图像超分方法和电子设备与流程

1.本技术涉及图像处理技术领域，尤其涉及一种图像超分方法和电子设备。


背景技术：

2.随着电子显像技术发展，屏幕分辨率不断提升。即使是几英寸的手机屏幕也普遍达到了1080*1920(像素*像素)的分辨率，而物理尺寸更大的电视屏幕和电脑屏幕更是发展到高达4k甚至8k的分辨率。屏幕分辨率的提升使得图像和视频具有更大的显示空间，然而原有的视频、图片等图像资源常常无法完美适配屏幕分辨率，视频播放、视频通话时的网络带宽限制也会使设备接收到低分辨率的原始图像。
3.图像超分辨率(super resolution，sr)是指由一副低分辨率(low resolution，lr)图像或图像序列恢复出高分辨率(high resolution，hr)图像或图像序列。基于学习的sr方法是近年来的热点方向，其基本思路是根据已经给定的训练图像集，计算训练集中lr图像和hr图像之间的映射关系。由于深度卷积模型具有获取图像高层抽象信息的能力，因此这种映射关系通常采用深度卷积模型来实现。
4.现有的，能够进行非整数倍超分网络的上采样方式绝大多数仍然沿袭了传统插值算法的思想，包括取邻域、根据像素位置偏移信息计算权重、加权平均这三个步骤。渲染过程中无法避免插值操作带来的例如锯齿、模糊等画质损失问题。


技术实现要素：

5.本技术实施例提供了一种图像超分方法，用于将低分辨率的图像转换为高分辨率的图像显示，由于本方法中权重矩阵融合了像素位置偏移信息和纹理特征，可以避免仅依靠像素位置偏移信息进行插值处理带来的画质损失，可以提升高分辨率图像的图像质量。
6.本技术实施例的第一方面提供了一种图像超分方法，包括：终端根据第一分辨率的图像和目标分辨率获取像素位置偏移信息，所述目标分辨率大于所述第一分辨率；所述终端对所述第一分辨率的图像进行特征提取，以获取包含纹理特征的特征图；所述终端将所述像素位置偏移信息和所述特征图进行信息融合，以获取目标权重矩阵；所述终端根据所述目标权重矩阵，获取所述目标分辨率的图像。
7.本技术实施例的方法，终端可以获取应用程序的原始分辨率的图像，本实施例中将原始分辨率称为第一分辨率，还可以获取该图像显示时的目标分辨率，根据第一分辨率的图像和目标分辨率可以获取像素位置偏移信息，此外，终端还提取了第一分辨率的图像的纹理特征，通过融合像素位置偏移信息和纹理特征获取目标权重矩阵，目标权重矩阵用于超分方法的上采样操作中提供每个像素点的采样权重，由于本方案中的目标权重矩阵融合了像素位置偏移信息和纹理特征，基于该目标权重矩阵获取高分辨率的图像，可以避免仅依靠像素位置偏移信息获取权重矩阵时带来的类似传统插值操作产生的画质损失，因此，可以提升高分辨率图像的图像质量。
8.在第一方面的一种可能的实现方式中，所述像素位置偏移信息包括偏移矩阵和放
大比例，所述偏移矩阵用于指示所述第一分辨率的图像中每个像素点的采样偏移，所述放大比例为所述目标分辨率与所述第一分辨率之间的比值。
9.本技术实施例的方法，像素位置偏移信息具体包括偏移矩阵和放大比例，其中，根据第一分辨率和目标分辨率可以计算得到放大比例，放大比例包括目标分辨率的图像与第一分辨率的图像在长度方向以及宽度方向的像素数量的比值。偏移矩阵由目标分辨率的图像中每个像素点的采样偏移组成。由于目标分辨率为图像实际需要的分辨率，其数值具有任意性，因此，放大比例可以为任意倍数，由此获取像素位置偏移信息，进一步融合纹理特征得到的目标权重矩阵，可以用于实现任意倍数的超分。
10.在第一方面的一种可能的实现方式中，所述终端将所述像素位置偏移信息和所述特征图进行信息融合，以获取目标权重矩阵包括：所述终端将所述像素位置偏移信息和所述特征图输入第一神经网络模型，以获取所述目标权重矩阵。
11.本技术实施例的方法，通过预先训练的第一神经网络模型，可以将偏移矩阵、放大比例和特征图的信息进行融合获取目标权重矩阵，与现有超分方法中权重矩阵仅携带像素位置偏移信息不同，根据本方法提供的目标权重矩阵获取高分辨率的图像时，可以避免类似传统插值操作产生的画质损失，因此，可以提升高分辨率图像的图像质量。
12.在第一方面的一种可能的实现方式中，所述第一神经网络模型包括由卷积神经网络和全连接神经网络组合而成的网络模型。
13.本技术实施例的方法，第一神经网络模型可以由卷积神经网络和全连接神经网络组合而成，其中，卷积神经网络用于转换包含纹理特征的特征图，全连接神经网络用于处理像素位置偏移信息。
14.在第一方面的一种可能的实现方式中，所述终端将所述像素位置偏移信息和所述特征图进行信息融合，以获取目标权重矩阵包括：所述终端根据所述偏移矩阵和放大比例获取初始权重矩阵；所述终端将所述初始权重矩阵和所述特征图输入第二神经网络模型，以获取所述目标权重矩阵。
15.本技术实施例的方法，提供了另一种信息融合方法，其中根据所述偏移矩阵和放大比例获取初始权重矩阵为现有技术中用于上采样的权重矩阵，本方法可以基于现有技术，将获取的初始权重矩阵以及特征图输入预训练的第二神经网络模型中进行信息融合，获取本方案中用于图像上采样的目标权重矩阵，提高了方案实现的灵活性。
16.在第一方面的一种可能的实现方式中，所述终端对所述第一分辨率的图像进行特征提取，以获取包含纹理特征的特征图包括：所述终端将所述第一分辨率的图像输入第三神经网络模型，以输出所述特征图。
17.本技术实施例的方法，特征图可以基于神经网络模型获取，例如已有的卷积神经网络等。
18.在第一方面的一种可能的实现方式中，所述终端根据所述目标权重矩阵，获取所述目标分辨率的图像包括：所述终端根据所述目标权重矩阵对所述特征图进行上采样，以获取所述目标分辨率的图像。
19.本技术实施例的方法，终端根据目标权重矩阵对所述特征图进行上采样获取目标分辨率的图像，相较对第一分辨率的图像进行上采样获取的图像的质量更好。
20.本技术实施例的第二方面提供了一种模型训练方法，包括：根据第一分辨率的训
练图像和目标分辨率获取像素位置偏移信息，并根据像素位置偏移信息获取初始权重图；对所述第一分辨率的图像进行特征提取，以获取包含纹理特征的特征图；将所述纹理特征、所述初始权重图输入第一神经网络进行训练，获取第一损失值；根据所述第一损失值更新所述第一网络中的权重参数，以获取目标神经网络。
21.本技术实施例提供的模型训练方法，训练的模型可以用于图像超分辨率，基于现有的初始权重图融合像素位置偏移信息，通过该方法训练得到的目标网络可以用于图像超分，使得获取的高分辨率图像的画质提高。
22.本技术实施例的第三方面提供了一种模型训练方法，包括：根据第一分辨率的训练图像和目标分辨率获取像素位置偏移信息；对所述第一分辨率的图像进行特征提取，以获取包含纹理特征的特征图；将所述像素位置偏移信息、所述初始权重图输入第二神经网络进行训练，获取第一损失值；根据所述第一损失值更新所述第二网络中的权重参数，以获取目标神经网络。
23.本技术实施例提供的模型训练方法，训练的模型可以用于图像超分辨率，融合像素位置偏移信息和包含纹理特征的特征图，通过该方法训练得到的目标网络可以用于图像超分，使得获取的高分辨率图像的画质提高。
24.本技术实施例第四方面提供了一种图像超分装置，包括：获取单元，用于根据第一分辨率的图像和目标分辨率获取像素位置偏移信息，所述目标分辨率大于所述第一分辨率；所述获取单元，还用于对所述第一分辨率的图像进行特征提取，以获取包含纹理特征的特征图；处理单元，用于将所述像素位置偏移信息和所述特征图进行信息融合，以获取目标权重矩阵；所述获取单元，还用于根据所述目标权重矩阵，获取所述目标分辨率的图像。
25.在第四方面的一种可能的实现方式中，所述像素位置偏移信息包括偏移矩阵和放大比例，所述偏移矩阵用于指示所述第一分辨率的图像中每个像素点的采样偏移，所述放大比例为所述目标分辨率与所述第一分辨率之间的比值。
26.在第四方面的一种可能的实现方式中，所述处理单元，具体用于：将所述像素位置偏移信息和所述特征图输入第一神经网络模型，以获取所述目标权重矩阵。
27.在第四方面的一种可能的实现方式中，所述第一神经网络模型包括由卷积神经网络和全连接神经网络组合而成的网络模型。
28.在第四方面的一种可能的实现方式中，所述处理单元，具体用于：根据所述偏移矩阵和放大比例获取初始权重矩阵；
29.将所述初始权重矩阵和所述特征图输入第二神经网络模型，以获取所述目标权重矩阵。
30.在第四方面的一种可能的实现方式中，所述获取单元，具体用于：将所述第一分辨率的图像输入第三神经网络模型，以输出所述特征图。
31.在第四方面的一种可能的实现方式中，所述获取单元，具体用于：根据所述目标权重矩阵对所述特征图进行上采样，以获取所述目标分辨率的图像。
32.本技术实施例第五方面提供了一种包含指令的计算机程序产品，其特征在于，当其在计算机上运行时，使得所述计算机执行如上述第一方面以及各种可能的实现方式中任一项所述的方法。
33.本技术实施例第六方面提供了一种计算机可读存储介质，包括指令，其特征在于，
当所述指令在计算机上运行时，使得计算机执行如上述第一方面以及各种可能的实现方式中任一项所述的方法。
34.本技术实施例第七方面提供了一种芯片，包括一个或多个处理器。所述处理器中的部分或全部用于读取并执行存储器中存储的计算机程序，以执行上述任一方面任意可能的实现方式中的方法。可选地，该芯片该包括存储器，该存储器与该处理器通过电路或电线与存储器连接。进一步可选地，该芯片还包括通信接口，处理器与该通信接口连接。通信接口用于接收需要处理的数据和/或信息，处理器从该通信接口获取该数据和/或信息，并对该数据和/或信息进行处理，并通过该通信接口输出处理结果。该通信接口可以是输入输出接口。在一些实现方式中，所述一个或多个处理器中还可以有部分处理器是通过专用硬件的方式来实现以上方法中的部分步骤，例如涉及神经网络模型的处理可以由专用神经网络处理器或图形处理器来实现。本技术提供的方法可以由一个芯片实现，也可以由多个芯片协同实现。
35.其中，第四方面、第五方面、第六方面或第七方面中任一种实现方式所带来的技术效果可参见第一方面中相应实现方式所带来的技术效果，此处不再赘述。
36.从以上技术方案可以看出，本技术实施例具有以下优点：
37.本技术实施例的方法，终端根据第一分辨率的图像和目标分辨率获取像素位置偏移信息，此外，终端还提取了第一分辨率的图像的纹理特征，通过融合像素位置偏移信息和纹理特征获取目标权重矩阵，目标权重矩阵用于超分方法的上采样操作中提供每个像素点的采样权重，由于本方案中的目标权重矩阵融合了像素位置偏移信息和纹理特征，基于该目标权重矩阵获取高分辨率的图像，可以避免仅依靠像素位置偏移信息获取权重矩阵时带来的类似传统插值操作产生的画质损失，因此，可以提升高分辨率图像的图像质量。
附图说明
38.图1为图像超分方法的应用场景的示意图；
39.图2为本技术实施例中图像超分方法的系统架构的示意图；
40.图3为本技术实施例中图像超分方法的一个实施例示意图；
41.图4a为本技术实施例中特征图的提取方法的一个实施例示意图；
42.图4b为本技术实施例中特征融合模块的一个实施例示意图；
43.图5为本技术实施例中图像超分方法的另一个实施例示意图；
44.图6为本技术实施例中图像超分方法的产品实现形态的示意图；
45.图7为本技术实施例中超分模块的训练过程的示意图；
46.图8a为本技术实施例中训练数据集的采集过程的示意图；
47.图8b为本技术实施例中高分辨率数据集和低分辨率数据集的获取过程的示意图；
48.图8c为本技术实施例中超分模型的结构示意图；
49.图8d为本技术实施例中超分模型训练过程的示意图；
50.图8e为本技术实施例中超分模型在终端中部署的应用场景示意图；
51.图9为本技术实施例中图像超分装置的一个实施例示意图；
52.图10为本技术实施例中终端的一个实施例示意图。
具体实施方式
53.本技术实施例提供了一种图像超分方法，用于将低分辨率的图像转换为高分辨率的图像显示，由于目标权重矩阵融合了像素位置偏移信息和纹理特征，可以避免仅依靠像素位置偏移信息进行插值处理带来的画质损失，提升高分辨率图像的图像质量。
54.为了便于理解，下面对本技术实施例涉及的部分技术术语进行简要介绍：
55.1、为避免混淆，下面对几个涉及分辨率的术语进行介绍和区分。
56.图像分辨率：指图像中存储的信息量，是每英寸图像内有多少个像素点，常用“水平像素数
×
垂直像素数”来表示，也可以用规格代号表示。例如，图像分辨率640*480，代表水平像素点数量为640个，垂直像素点数量为480个，分辨率就为307200像素，也就是常说的30万像素。规格代号p是逐行扫描的意思，720p对应的分辨率为1280*720，类似地，1080p对应的分辨率为1920*1080。还可以用规格代号k描述分辨率，由于构成数字图像的像素数量巨大，通常以k来表示水平方向像素值，不考虑画幅比，其中，1k＝2
10
＝1024，2k＝2
11
＝2048，4k＝2
12
＝4096。4k分辨率是指水平方向每行像素值达到或者接近4096个。
57.可以理解的是，图像分辨率越高，包含的数据越多，也能表现更丰富的细节，但同时需要更多的计算机存储资源。
58.显示分辨率：显示器分辨率是指计算机显示器本身的物理分辨率，对crt显示器而言，是指屏幕上的荧光粉点；对lcd显示器来说，是指显示屏上的像素，显示分辨率是显示器在生产制造时加工确定，描述的是显示器自身的像素点数量，是固有的不可改变的值。显示器分辨率通常用“水平像素数x垂直像素数”的形式表示，如800
×
600，1024
×
768，1280
×
1024等，也可以用规格代号表示。显示分辨率对于显示设备而言拥有非常重要的意义，在同尺寸屏幕大小的情况下，分辨率越高意味着屏幕更加细腻，即能够将画面的细节呈现得更加清晰，能大大增加用户的视觉体验。
59.屏幕分辨率，是指实际显示图像时采用的分辨率，可以根据用户需要设置屏幕分辨率。屏幕分辨率的上限受显示分辨率大小的限制。
60.2、图像超分辨率(super resolution，sr)是指由一副低分辨率(low resolution，lr)图像或图像序列，恢复出高分辨率(high resolution，hr)图像或图像序列，常简称超分。
61.3、下面对图像上采样过程中涉及到的术语进行介绍：
62.1)上采样：是一种插值的过程，应用于数字信号处理，当一串数字序列经过上采样之后，输出的结果约等于初始模拟信号经过更高的采样速率采样后所得的序列。
63.2)图像上采样：与上采样类似，是一种插值的过程，一张第一分辨率的图像可以看作二维的数字矩阵，当这个矩阵经过上采样之后，输出的结果约等于真实世界的模拟信号图像经过更高的采样速率采样后的数字矩阵，即目标分辨率的图像。为了便于描述本技术的方案，将图像上采样过程描述为：目标分辨率图像上的像素点对第一分辨率图像的像素点进行采样并加权平均，详细过程为：根据高分辨率图像的像素坐标计算出相应第一分辨率图像的采样位置，并进一步计算出采样中心和偏移，取采样中心及其周围固定大小的邻域内的像素点作为待处理的像素点，然后根据偏移计算出采样权重，使用采样权重对邻域内待处理的像素点加权平均，得到上采样结果。需要说明的是，选取的采样中心附近领域的像素点数量可以预设，对于其具体数值不做限定。
64.3)像素坐标：一张图像当中，像素点所处位置的坐标，像素坐标必为整数。以目标分辨率的图像为例：x_out，y_out分别表示目标分辨率图像上的一个像素点在长度方向和宽度方向上的坐标，满足0≤x_out《w_out，0≤y_out《h_out。其中w_out表示目标分辨率的宽度，h_out表示目标分辨率的长度。
65.4)采样位置：一张第一分辨率的图像经过图像上采样获得目标分辨率的图像过程中，目标分辨率的图像中每个像素点的输出结果需要从第一分辨率图像中采样获得。目标分辨率图像中每个像素点的位置经过与放大倍数相关的计算过程，对应到第一分辨率的图像当中的位置，即为采样位置。下面以目标分辨率图像上的一个像素点(x_out，y_out)为例，介绍该像素点的采样位置的计算过程：
[0066][0067][0068]
其中，sample_pos
x
为采样位置在长度方向上的坐标；sample_posy为采样位置在宽度方向上的坐标；w_in为第一分辨率图像的像素宽度；h_in为第一分辨率图像的像素长度；w_out表示目标分辨率图像的像素宽度，h_out表示目标分辨率的长度。
[0069]
5)采样中心：采样位置经过取整操作，可以获取的采样中心的像素坐标。
[0070]
下式为一种取整操作的示例：
[0071][0072][0073]
其中，center
x
为采样中心在宽度方向上的坐标，centery为采样中心在长度方向上的坐标，代表对n向下取整。
[0074]
6)偏移：或称采样偏移，采样位置与采样中心的距离，偏移是生成采样权重的重要依据。示例性地，偏移的计算公式如下：
[0075]
offset
x
＝sample_pos
x-center
x
[0076]
offsety＝sample_pos
y-centery[0077]
其中，offset
x
代表采样位置相对采样中心在宽度方向上的偏移距离，offsety代表采样位置相对采样中心在长度方向上的偏移距离。
[0078]
由目标分辨率图像中每个像素点的偏移组成的矩阵，即为偏移矩阵(offset矩阵)。
[0079]
下面结合附图，对本技术的实施例进行描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。本领域普通技术人员可知，随着技术的发展和新场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
[0080]
本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或
模块。在本技术中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。
[0081]
本技术实施例提供的图像超分方法可以应用于各类具有显示功能的电子设备，例如移动终端、平板、笔记本、电脑、电视、一体机或投影仪等，对于电子设备的具体类型不做限定。输出的图像内容包括各类媒体信息或实时操作画面等，可以是静态图像或动态图像即视频，本技术中对进行超分辨率显示的图像的内容不做限定。下面以终端设备和图像为例进行介绍。
[0082]
首先，结合图1对图像超分方法的应用场景进行介绍。
[0083]
随着电子显像技术发展，屏幕分辨率不断提升。图像在电子设备中显示时的屏幕分辨率较高，而图像资源的原始分辨率通常较低，常常无法完美适配屏幕分辨率。如图1所示，原始的图像分辨率为180p即使通过3倍超分，将图像放大至540p，由于手机在横屏时，屏幕分辨率为1080p；在竖屏时，屏幕分辨率则为720p，若需匹配屏幕分辨率，仍需对540p的图像进行插值拉伸，画面可能产生锯齿，模糊等插值带来的负面效果。
[0084]
本技术实施例提供的图像超分方法，用于实现任意倍数超分，适配终端设备显示器，还可以减少传统超分方法由于插值带来的画质损失，改善图像画质。
[0085]
下面介绍本技术实施例中图像超分方法的系统架构，请参阅图2。
[0086]
图2给出了一种移动终端的超分辨率应用场景示例，包括应用程序、渲染管线和显示模块三个部分。移动终端的应用程序将需要显示的图像或视频帧送入渲染管线，渲染管线调用超分模块放大图像、进行渲染，最终通过显示模块在显示设备上显示一张高分辨率的高画质图像。
[0087]
本技术实施例提供的图像超分方法，通过改进的超分模块实现图像超分。
[0088]
根据实际应用场景，超分低分辨率图像至目标分辨率，超分模块具体可以通过超分模型实现。
[0089]
超分过程的形式化描述如下：
[0090]
image_out＝sr_model(lr_image,(height
lr
,width
lr
),(height
dst
,width
dst
))
[0091]
其中，lr_image：指待超分的低分辨率图像；image_out：超分模型生成的高分辨率图像；(height
dst
,width
dst
)：目标分辨率；(height
lr
,width
lr
)：原始分辨率；sr_model：超分模型。
[0092]
下面，对本技术实施例提供的图像超分方法进行详细介绍，请参阅图3。
[0093]
301、终端根据第一分辨率的图像和目标分辨率获取像素位置偏移信息；
[0094]
终端的应用程序中的图像或视频帧，需在终端的显示屏幕或显示窗口中以目标分辨率显示，目标分辨率可以为终端的应用程序中预设的分辨率，也可以根据用户操作确定的使用场景确定，具体数值不做限定，可以理解的是，目标分辨率一般高于第一分辨率。终端获取应用程序的原始图像，原始图像的分辨率为第一分辨率，由于第一分辨率小于目标分辨率时，终端需要对图像进行超分辨率处理，以获取目标分辨率的图像或视频帧。由于视频帧由序列图像组成，本技术实施例及后续实施例中以图像为例对本技术实施例提供的图像超分方法进行介绍。
[0095]
像素位置偏移信息包括偏移矩阵和放大比例，其中，偏移矩阵用于指示所述第一
分辨率的图像中每个像素点的在放大至所述目标分辨率时的位置偏移量，所述放大比例(scale)为所述目标分辨率与所述第一分辨率之间的比值，包括目标分辨率的图像在长度方向的像素值与第一分辨率的图像在长度方向的像素值的比值，以及目标分辨率的图像在宽度方向的像素值与第一分辨率的图像在宽度方向的像素值的比值。考虑到第一分辨率和目标分辨率的数值大小具有任意性，超分需要满足的放大比例亦需要为任意倍数。
[0096]
终端可以根据已有算法，基于第一分辨率的图像和目标分辨率获取offset矩阵和放大比例，offset矩阵的计算方法，可参考前述关于图像上采样过程的术语介绍。
[0097]
本步骤的形式化描述为：
[0098]
offset,scale＝get_position_info((height
lr
,width
lr
),(height
hr
,width
hr
))
[0099]
其中，offset：目标分辨率的图像映射在低分辨率图像上的位置偏移信息；scale：目标分辨率与第一分辨率的比值；(height
lr
,width
lr
)：输入超分模型的低分辨率图像的分辨率大小；(height
hr
,width
hr
)：低分辨率图像所对应的高分辨率图像的分辨率，即超分目标分辨率；get_position_info：根据目标分辨率和原始分辨率计算位置偏移信息offset和放大倍数scale。
[0100]
302、终端对第一分辨率的图像进行特征提取，获取包含纹理特征的特征图；
[0101]
终端根据预设的神经网络模型提取所述第一分辨率的图像的纹理特征，得到特征图，具体可以是多通道特征图。
[0102]
可选地，该预设的神经网络模型为预训练的神经网络，或者为现有的神经网络，具体此处不做限定。可选地，该神经网络的类型为卷积神经网络(convolutional neural networks，cnn)。
[0103]
本步骤的形式化描述为：
[0104]
feature maps＝cnn(lr_image)
[0105]
其中，lr_image：输入超分模型的低分辨率图像；cnn：提取特征的卷积神经网络；feature maps：卷积神经网络提取特征输出的多通道特征图。
[0106]
特征图的过程通常不改变图像的分辨率，但是可以改变图像的通道数目。如图4a所示，经过卷积神经网络的处理，原本分辨率为(height,width)，通道数为channel(如果图像为rgb格式，channel值为3；如果图像为灰度图，channel值为1)的图像转化为了形状为(height,width,channel
′
)的特征图，channel
′
的值与cnn网络设计有关。
[0107]
需要说明的是，步骤301和步骤302的执行顺序具体不做限定。
[0108]
303、终端将像素位置偏移信息和特征图进行信息融合，以获取目标权重矩阵；
[0109]
目标权重矩阵用于提供超分过程中上采样步骤所需的权重信息。终端根据所述像素位置偏移信息和所述特征图进行信息融合获取目标权重矩阵的方法有多种。
[0110]
可选地，终端将步骤301获取的偏移矩阵和放大比例，以及步骤302获取的特征图输入预置的第一神经网络模型，以输出目标权重矩阵。
[0111]
可选地，终端根据步骤301获取的偏移矩阵和放大比例获取初始权重矩阵；然后终端对初始权重矩阵和步骤302获取的特征图进行信息融合，以获取所述目标权重矩阵。信息融合可以通过神经网络实现，可选地，包括神经网络中通道融合的常用方式：连接算子(concat)、连接和叠加(concat add)或注意力机制(attention)等。该步骤的形式化描述为：
[0112]
weight maps＝offset_transform(offset,scale)
[0113]
weight matrix＝fusion(transform(feature maps),weight maps)
[0114]
其中，weight maps：根据像素位置信息生成的权重值；offset_transform：位置信息处理的算法，可以使用全连接神经网络或其他非线性映射算法实现；feature maps：由特征提取步骤提取的多通道特征图；transform：对多通道特征图进行特征转换；fusion：融合纹理特征信息和像素位置偏移信息生成权重矩阵。weight matrix：目标权重矩阵。
[0115]
如图4b所示，纹理特征处理流程中，主要是对提取到的特征图进行特征转换操作，以使特征信息能够适配像素位置信息，特征转换不改变特征图的分辨率；像素位置偏移信息的处理流程中，位置信息可以用偏移矩阵和放大比例表示，经过位置信息转换生成初步的权重图；最后，包含像素位置偏移信息的权重图和包含像素纹理特征信息的特征图进行信息融合，生成最终的目标权重矩阵。
[0116]
304、终端根据目标权重矩阵，获取所述目标分辨率的图像；
[0117]
使用weight matrix对特征图进行上采样，得到目标分辨率的超分图片。由于目标权重矩阵融合了需求的放大比例的信息，可以按照该放大比例实现第一分辨率图像至目标分辨率图像的任意倍数超分。
[0118]
本步骤的形式化描述：
[0119]
sr
image
＝upsample_transform(feature maps,wieght matrix)
[0120]
其中，sr_image：融合特征信息和像素位置信息生成权重矩阵；upsample_transform：使用权重矩阵对特征图上采样和通道转换，可以输出目标分辨率的图像。
[0121]
请参阅图5，为本技术实施例中部署图像超分方法的系统的示意图；
[0122]
如图5所示，展示了部署在终端设备，使用可以实现任意倍数超分的超分模块适配屏幕分辨率的技术及系统。该系统主要包括：像素位置偏移信息提取模块(或称生成offset模块)501、纹理特征提取模块502、特征融合模块，本技术实施例中也可称为任意倍数超分辨率(scale arbitrary super resolution，sasr)模块503、上采样模块504等。图5给出了一种终端设备的任意倍数超分场景示例，可选地，其中特征提取网络和信息融合网络的训练在pc端完成，完成训练后，像素位置偏移信息提取模块501、纹理特征提取网络502、sasr模块503、上采样模块504部署在移动端的计算芯片上。
[0123]
以终端设备为系统主体，终端设备所承载的应用程序给出图像或视频帧，需在屏幕或窗口中显示，一般屏幕和窗口的分辨率会大于图像或视频的分辨率，此时像素位置偏移信息提取模块501获取原始图像的分辨率(即第一分辨率)和目标窗口或屏幕的分辨率(即目标分辨率)，经过高低分辨率像素点映射生成offset矩阵，并分别计算图像长和宽的放大倍数scale，scale和offset经过神经网络计算可以得到初步的权重矩阵(即初始权重矩阵)weight maps。纹理特征提取模块502获取第一分辨率的图像，并进行特征提取，提取出来的多通道特征图经过特征转换生成新的特征图(feature maps)，feature maps与weight maps经过sasr模块503的信息融合网络生成目标权重矩阵。上采样模块504使用weight矩阵对特征提取网络提取出来的多通道特征图进行上采样，得到目标分辨率的高画质图像。
[0124]
根据上述实施例中对图像超分方法的介绍可知，该图像超分方法涉及的超分模型在部署于终端设备之前，需要通过预先训练获取。具体的，本技术实施例中，超分模型主要
包括四部分：纹理特征提取模块、像素位置偏移信息提取模块、sasa模块和上采样模块四部分。其中：纹理特征提取模块可以基于卷积神经网络的模型实现；sasa模块可以基于卷积神经网络和全连接神经网络的模型实现。可选地，sasr模块由神经网络构成，其参数参与更新迭代；纹理特征提取模块由现有的神经网络构成，生成offset模块和上采样模块由普通数学计算完成，即对超分模型的训练仅涉及sasr模块；可选地，纹理特征提取模块和sasr模块由神经网络构成，其参数参与更新迭代；而生成offset模块和上采样模块则由普通数学计算完成，即超分模型的训练涉及纹理特征提取模块和sasr模块。
[0125]
本技术实施例中，以纹理特征提取模块和sasr模块由神经网络构成，其参数参与更新迭代；而生成offset模块和上采样模块则由普通数学计算完成为例进行介绍。
[0126]
请参阅图6，为本技术实施例中图像超分方法的产品实现形态的示意图；其中，本方法涉及的神经网络的训练过程在第一电子设备侧完成，第一电子设备例如可以是服务器或台式电脑等计算资源和存储资源较多的电子设备，本实施例中以台式电脑(pc)为例进行介绍。训练好的神经网络被部署于第二电子设备侧实现图像超分，第二电子设备可以为各类具有显示功能的电子设备，包括移动终端、平板电脑、可穿戴设备或智慧屏等等，本实施例中以移动终端为例仅仅介绍。如图6所示，首先使用搜集的高清数据集制作训练数据集，在pc上训练超分模型(包括纹理特征提取模块和sasr模块)，基于渲染管线的转换程序(shadernn converter)将模型转化为可以在移动终端运行的形式，移动终端的应用程序将需要显示的图像送入渲染管线，渲染管线调用转化好的超分模型进行前向推理与渲染，最后，通过显示模块显示一张高画质的高分辨率图像。
[0127]
下面对本技术实施例中超分模型的训练过程进行介绍，请参阅图7。
[0128]
701、获取训练数据集；
[0129]
首先，需要创建不同分辨率倍数关系的图像对作为训练数据集。
[0130]
训练数据集包括高分辨率数据集和低分辨率数据集。
[0131]
首先需要收集高清图像，高清图像数据的来源有：公开数据集、网络爬取、自行收集，包含建筑、风景、人物等种类的高质量图像，低分辨率数据集由高分辨率图像生成。将高清图像进行剪裁，然后以不同尺度进行下采样缩小分辨率。
[0132]
针对本任务，需要构建包含各种纹理、线条的高清数据集，从互联网和已公开数据集中收集高清的具有不同纹理特征的图片，包含建筑、人物、风景等内容。高清的数据作为label，经过下采样的数据作为data。
[0133]
本步骤的形式化描述：
[0134]
labelset＝{buildings|person|landscape
…
}
[0135]
labelset
↓
＝downsample(labelset)
[0136]
dataset＝{labelset,dataset|dataset∈labelset
↓
}
[0137]
其中，dataset：训练数据集合；labelset：收集到的高清图像；dataset：使用高清图像经过下采样制作的低分辨率图像；downsample：下采样，缩小图像的操作，下采样倍数不固定。
[0138]
具体地，如图8a所示，展示了步骤一收集数据集的实施流程，首先采集高清图像，包含公开数据集、使用搜索引擎搜索的数据集、人工采集的数据集；接下来生成若干种图像块(patch)的裁切尺寸，即分辨率大小，可选地，尺寸的范围在(90，400)(像素*像素)的范围
内，例如可以生成(128，128)、(192，192)、(256，384)、(384，384)等若干个裁切尺寸。将搜集到的高清图像均匀裁切成该若干裁切尺寸的分辨率大小，得到不同剪裁尺寸的patch。这些不同剪裁尺寸的patch即为高分辨率图像数据集中的图像数据；然后使用低分辨率尺寸生成器分别针对每个裁切尺寸的patch确定一系列对应的的低分辨率尺寸，例如针对(128，128)的裁切尺寸的patch可以生成(96，96)、(64，64)、(48，48)、(64，48)、(48，64)、(32，32)，对每个裁切分辨率所得的patch进行对应低分辨率尺寸的下采样，以获取不同缩小比例的低分辨率图像，作为低分辨率图像数据集。
[0139]
图8b展示了由原始高清图像生成不同尺寸的patch形成hr dataset，再针对每个尺寸的patch进行一系列下采样，生成一系列低分辨率图像形成lr dataset。图中最左侧表示收集到的高清图像，包含人像(person)，建筑(building)，风景(landscape)等类别，后面的图像依次为高分辨率数据集(hr dataset)和低分辨率数据集(lr dataset)。
[0140]
702、搭建超分模型；
[0141]
本技术实施例中，对低分辨率图像进行超分辨率获取高分辨图像的过程主要包括四部分：特征提取模块、生成offset模块、sasr模块和上采样模块等四部分构成。其中：特征提取模块用于基于卷积神经网络的模型，提取低分辨率图像的像素纹理特征，可选地，像素纹理特征的提取通过基于卷积神经网络的模型实现，提取低分辨率图像的多通道特征，模型结构可以根据平台算力设计搭建。特征提取模块通常不改变图像的分辨率，但是可以改变图像的通道数目；生成offset模块，用于生成包含像素位置信息的offset矩阵，并获取图像放大比例；sasr模块，用于融合像素纹理特征与像素位置信息。即根据多通道特征、offset矩阵和放大比例进行信息融合，生成权重矩阵。可选地，信息融合方法包括concat、concat add或attention。上采样模块，用于根据sasa模块生成的目标权重矩阵，对多通道特征对应的特征图进行上采样，得到目标分辨率的超分图片。
[0142]
如图8c所示，搭建模型，连接模型形成可训练超分网络，基于步骤701获取的训练数据集进行模型训练，最后使用优化器优化模型，可选地，优化器选用自适应矩估计(adaptive moment estimation，adam)优化器。模型训练的过程为已有技术，具体此处不再赘述。需要说明的是，在模型训练的多次迭代过程中，每次迭代过程选用的训练数据图像对具有相同放大比例，多次迭代多次过程中不同迭代训练中使用的训练数据图像对可以具有不同的放大比例，由此，可以提升超分模型适用的超分放大比例范围。
[0143]
超分模型的具体模型结构可以参考图8d。根据前面的介绍搭建纹理特征提取模块和sasr模块，然后基于图8d给出的生成offset模块8002和上采样模块8003的流程完成网络数据流之间的连接，完成一个可训练的超分网络模型。
[0144]
703、根据训练数据集进行训练，获取训练好的超分模型；
[0145]
最后，如图8d所示，将不同分辨率的低分辨率图像8001输入超分网络，模型处理低分辨率图像，输出超分图像8004，计算超分图像与高分辨率图像之间的损失8005，具体例如回归损失(huber loss)，使用优化器8006优化损失函数，具体例如adam优化器，更新模型权重，直至损失函数收敛，得到训练好的超分模型。
[0146]
如图8e所示，在超分模型训练好之后，将训练好的超分模型部署在移动终端，依托glsl语言实现。原渲染管线为，应用程序(app)8011中的图像8012需要显示，图像在渲染管线8013中经过双线性插值放大或缩小到目标分辨率，再显示到屏幕上。适配了任意倍数超
分的算法的管线使用任意倍数超分模型代替双线性插值算法。训练好的模型中的纹理特征提取模块和sasr模块通过转换程序(shadernn converter)8014转化为glsl语言，而超分模型中的生成offset模块和上采样模块则手动转化为glsl语言，适配整个超分模型。超分模型部署完成后，图像进入渲染管线，渲染管线依托opengl库(opengl libs)，调用已经转化为着色语言(opengl shading language，glsl)语言形式的各个模块处理图像8012，同时管线将目标窗口或屏幕的分辨率送到超分模型中以计算offset等信息，最终模型生成的图像分辨率与目标窗口或屏幕分辨率相同。
[0147]
已有的一类基于学习的图像超分辨率方法，通过亚像素卷积层实现超分，受网络结构的限制，一个网络模型仅能实现固定整数倍的超分，如果有改变放大倍数的需求，则需要重新设计网络并重新训练。而本技术实施例提供的图像超分方法，基于创新的上采样过程，利用融合了像素位置偏移信息和纹理特征的目标权重矩阵进行上采样，可以实现任意倍数超分。在目标权重矩阵的获取过程中，本方案将基于实际需要的放大比例输入预训练的神经网络模型(即本技术中的特征融合模块)，输出的目标权重矩阵用于进行上采样，即可获取满足实际需要的放大比例(即任意倍数)。同时，本方案中的目标权重矩阵融合了像素位置偏移信息和纹理特征，避免了仅基于像素位置偏移信息进行上采样造成的类似插值超分技术的画质损失问题。
[0148]
上面介绍了本技术提供的图像超分方法，下面对实现该图像超分方法的图像超分装置进行介绍，请参阅图9，为本技术实施例中图像超分装置的一个实施例示意图。
[0149]
图9中的各个模块的只一个或多个可以软件、硬件、固件或其结合实现。所述软件或固件包括但不限于计算机程序指令或代码，并可以被硬件处理器所执行。所述硬件包括但不限于各类集成电路，如中央处理单元(cpu)、数字信号处理器(dsp)、现场可编程门阵列(fpga)或专用集成电路(asic)。
[0150]
该图像超分装置，包括：
[0151]
获取单元901，用于根据第一分辨率的图像和目标分辨率获取像素位置偏移信息，所述目标分辨率大于所述第一分辨率；
[0152]
所述获取单元901，还用于对所述第一分辨率的图像进行特征提取，以获取包含纹理特征的特征图；
[0153]
处理单元902，用于将所述像素位置偏移信息和所述特征图进行信息融合，以获取目标权重矩阵；
[0154]
所述获取单元901，还用于根据所述目标权重矩阵，获取所述目标分辨率的图像。
[0155]
可选地，所述像素位置偏移信息包括偏移矩阵和放大比例，所述偏移矩阵用于指示所述第一分辨率的图像中每个像素点的采样偏移，所述放大比例为所述目标分辨率与所述第一分辨率之间的比值。
[0156]
可选地，所述处理单元902，具体用于：将所述像素位置偏移信息和所述特征图输入第一神经网络模型，以获取所述目标权重矩阵。
[0157]
可选地，所述第一神经网络模型包括由卷积神经网络和全连接神经网络组合而成的网络模型。
[0158]
可选地，所述处理单元902，具体用于：根据所述偏移矩阵和放大比例获取初始权重矩阵；将所述初始权重矩阵和所述特征图输入第二神经网络模型，以获取所述目标权重
矩阵。
[0159]
可选地，所述获取单元901，具体用于：将所述第一分辨率的图像输入第三神经网络模型，以输出所述特征图。
[0160]
可选地，所述获取单元901，具体用于：根据所述目标权重矩阵对所述特征图进行上采样，以获取所述目标分辨率的图像。
[0161]
请参阅图10，为本技术实施例中终端的一个实施例示意图；
[0162]
本实施例提供的终端1000，可以为各类具有显示功能的终端，例如手机、平板电脑、台式电脑、智慧屏或可穿戴设备等，本技术实施例中对其具体设备形态不做限定。
[0163]
该终端1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器1001和存储器1002，该存储器1002中存储有程序或数据。
[0164]
其中，存储器1002可以是易失性存储或非易失性存储。可选地，处理器1001是一个或多个中央处理器(cpu，central processing unit，该cpu可以是单核cpu，也可以是多核cpu。处理器1001可以与存储器1002通信，在终端1000上执行存储器1002中的一系列指令。
[0165]
该终端1000还包括一个或一个以上有线或无线网络接口1003，例如以太网接口。
[0166]
可选地，尽管图10中未示出，终端1000还可以包括一个或一个以上电源；一个或一个以上输入输出接口，输入输出接口可以用于连接显示器、鼠标、键盘、触摸屏设备或传感设备等，输入输出接口为可选部件，可以存在也可以不存在，此处不做限定。
[0167]
本实施例中终端1000中的处理器1001所执行的流程可以参考前述方法实施例中描述的方法流程，此处不加赘述。
[0168]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0169]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0170]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0171]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0172]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全
部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0173]
以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。