图像处理方法、电子设备及计算机程序产品与流程

1.本发明涉及图像处理技术领域，尤其是涉及一种图像处理方法、电子设备及计算机程序产品。


背景技术：

2.超分辨率(sr，super-resolution)是给出一张低分辨率图像来恢复出一张高分辨率图像的视觉任务。近年来，cnn超分辨率逐渐取代了反向投影、稀疏表示和字典学习等传统方法，成为主流超分辨率方法。
3.因为一个低分辨率图像中的内容辨识度很低，可能应对很多甚至无穷的高分辨率的形态，因此，超分辨率是一个不适定(ill-posed)。传统的直入直出的单分支方法，对低分辨率图像直接进行学习，容易产生比较模糊的输出，有些基于gan的方法将单分支网络加入了gan loss想产生和高分辨率图像(hr，high-resolution)相似的高频纹理，但是其本质还是只能获得单一高频特征的输出，并且生成的纹理不可控，导致输出的结果的精度不高。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种图像处理方法、电子设备及计算机程序产品，以提高高频图像的精度。
5.第一方面，本发明实施例提供一种图像处理方法，该方法包括：获取待处理图像；通过多特征提取神经网络对待处理图像进行高频特征预测处理，得到具有不同高频特征的多个输出图像；其中，任意两个输出图像之间的相似度小于第一相似度；将多个输出图像进行融合，得到待处理图像对应的高频图像；其中，高频图像的分辨率高于待处理图像。
6.进一步地，上述多特征提取神经网络包括多层，每一层中包括多个特征提取模块，前一层的特征提取模块与下一层的至少一个特征提取模块连接，位于不同层的相互连接的特征提取模块构成多特征提取神经网络的一个通道；上述通过多特征提取神经网络对待处理图像进行高频特征预测处理，得到具有不同高频特征的多个输出图像的步骤，包括：通过多特征提取神经网络对待处理图像进行第一特征提取，得到初始特征；通过多特征提取神经网络的多个通道中的当前通道对初始特征进行第二特征提取，得到该通道对应的输出特征；其中，任意一个通道对应的输出特征的分辨率高于初始特征的分辨率；将每个通道的输出特征分别进行上采样处理，得到多个输出图像。
7.进一步地，上述通过多特征提取神经网络的多个通道中的当前通道对初始特征进行第二特征提取，得到该通道对应的输出特征的步骤，包括：通过当前特征提取模块对输入特征进行第二特征提取，得到该特征提取模块对应的初始输出特征；其中，如果当前特征提取模块为通道中的第一个特征提取模块，则输入特征为初始特征，否则，输入特征为上一个特征提取模块的输出特征；将初始输出特征和当前特征提取模块对应的输入特征组合，作为当前特征提取模块的输出特征；判断当前特征提取模块是否为当前通道中的最后一个特征提取模块；如果否，继续执行第二特征提取操作；如果是，将当前特征提取模块的输出特
征与当前通道中每一层的第一个特征提取模块的输入特征融合，将融合结果确定为当前通道对应的输出特征。
8.进一步地，上述将多个输出图像进行融合，得到待处理图像对应的高频图像的步骤，包括：通过融合网络确定每个输出图像的权重；将各个输出图像按照对应的权重进行加权求和，得到高频图像。
9.进一步地，上述多特征提取神经网络通过以下方式训练获得：获取样本图像及初始神经网络；其中，样本图像包括训练图像及其对应的标签图像，标签图像的分辨率高于训练图像的分辨率；对样本图像进行第三特征提取，得到训练图像对应的训练特征；通过初始神经网络对训练特征进行第四特征提取，得到多个预测特征；预测特征的分辨率高于训练特征的分辨率；根据预测特征确定预测特征对应的预测图像；根据预测图像及其对应的标签图像，确定总损失值；根据总损失值调整多特征提取神经网络的参数，直至满足第一训练停止条件。
10.进一步地，上述多特征提取神经网络包括多层，每一层中包括多个特征提取模块，前一层的特征提取模块与下一层的至少一个特征提取模块连接，位于不同层的相互连接的特征提取模块构成多特征提取神经网络的一个通道；上述通过多特征提取神经网络对训练特征进行第四特征提取，得到多个预测特征的步骤，包括：通过当前特征提取模块对输入特征进行第四特征提取，得到该特征提取模块对应的初始输出特征；其中，如果当前特征提取模块为通道中的第一个特征提取模块，则输入特征为训练特征，否则，输入特征为上一个特征提取模块的输出特征；将初始输出特征与当前特征提取模块对应的输入特征组合，作为当前特征提取模块的输出特征；判断当前特征提取模块是否为当前通道中的最后一个特征提取模块；如果否，继续执行第四特征提取操作；如果是，将当前特征提取模块的输出特征与当前通道中每一层的第一个特征提取模块的输入特征融合，将融合结果确定为当前通道对应的预测特征。
11.进一步地，上述根据预测图像及其对应的标签图像，确定总损失值的步骤，包括：根据每个预测图像及标签图像，得到该预测图像对应的第一损失值；根据每两个预测图像及标签图像，得到该两个预测图像对应的第二损失值；根据第一损失值和第二损失值，确定总损失值。
12.进一步地，上述根据每两个预测图像及标签图像，得到该两个预测图像对应的第二损失值的步骤，包括：根据标签图像确定第一正样本，根据两个预测图像中的第一预测图像确定第一负样本，根据两个预测图像中的第二预测图像确定第一锚样本；通过第一正样本、第一负样本以及第一锚样本进行三元损失值计算，得到第一三元损失值；根据标签图像确定第二正样本，根据第一预测图像确定第二锚样本，根据第二预测图像确定第二负样本；通过第二正样本、第二负样本以及第二锚样本进行三元损失值计算，得到第二三元损失值；将第一三元损失值与第二三元损失值相加，得到第二损失值。
13.进一步地，上述方法还包括：提取第一预测图像的第一灰度值和第二预测图像的第二灰度值；根据第一灰度值与标签图像确定第一残差；根据第二灰度值与标签图像确定第二残差；上述根据标签图像确定第一正样本，根据两个预测图像中的第一预测图像确定第一负样本，根据两个预测图像中的第二预测图像确定第一锚样本的步骤，包括：将第一残差确定为第一负样本；将第二残差确定为第一锚样本；上述根据标签图像确定第二正样本，
根据第一预测图像确定第二锚样本，根据第二预测图像确定第二负样本的步骤，包括：将第一残差确定为第二锚样本；将第二残差确定为第二负样本。
14.进一步地，上述多特征提取神经网络为m*n的树形拓扑结构，m代表多特征提取神经网络的层数，n代表多特征提取神经网络中的第一层包含的初始模块个数，第一层与多特征提取神经网络中的中间层中的每个初始模块均与下一层的n个初始模块连接。
15.进一步地，上述融合网络通过以下方法训练获得；获取初始融合网络；根据每个预测图像及其对应的初始权重，确定预测融合图像；根据预测融合图像和标签图像，确定第三损失值；根据第三损失值调整初始融合网络的参数，直至满足第二训练停止条件。
16.第二方面，本发明实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述第一方面的图像处理方法。
17.第三方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述第一方面的图像处理方法。
18.第四方面，本发明实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，实现上述第一方面的图像处理方法。
19.本发明实施例提供的上述图像处理方法，首先获取待处理图像，通过多特征提取神经网络对待处理图像进行高频特征预测处理，得到具有不同高频特征的多个输出图像，再将多个输出图像进行融合，得到待处理图像对应的高频图像。由于多个具有不同高频特征的输出图像可以反映低频图像的不同方面的特征，因此，基于对多个具有不同高频特征的输出图像得到的高频图像，可以有效提高高频图像的精度。
20.本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
21.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
22.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1为本发明实施例提供的一种电子系统的结构示意图；
24.图2为本发明实施例提供的一种图像处理方法的流程图；
25.图3为本发明实施例提供的一种多特征提取神经网络的结构示意图；
26.图4为本发明实施例提供的一种多特征提取神经网络中的一个通道的结构及连接关系示意图；
27.图5为低频图像与通过本发明实施例提供的多特征提取神经网络的预测高频图像的对比示意图；
28.图6为本发明实施例提供的一种融合网络对四个输出图像进行融合的示意图；
29.图7为通过本发明实施例提供的一种图像处理方法得到的高频图像的示意图；
30.图8为本发明实施例提供的一种第一神经网络训练方法的流程图；
31.图9为本发明实施例提供的一种第二损失值的计算过程的示意图；
32.图10为通过不同图像处理方法得到的高频图像的对比示意图；
33.图11为通过不同图像处理方法的指标对比的示意图；
34.图12为本发明实施例提供的一种图像处理装置的示意图；
35.图13为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
36.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
37.近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(artificial intelligence，ai)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(slam)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
38.目前的针对低频图像的图像处理方法往往是基于单输入图像进行高频预测，得到的高频图像精度较低，基于此，本发明实施例提供一种图像处理方法电子设备及计算机程序产品，以提高高频图像的精度。
39.参照图1所示的电子系统100的结构示意图。该电子系统可以用于实现本发明实施例的图像处理方法和装置。
40.如图1所示的一种电子系统的结构示意图，电子系统100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及一个或多个图像采集设备110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子系统100的组件和结构只是示例性的，而非限制性的，根据需要，电子系统也可以具有其他组件和结构。
41.处理设备102可以为服务器、智能终端，或者是包含中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对电子系统100中的其它组件的数据进行处理，还可以控制电子系统100中的其它组件以执行图像的处理功能。
42.存储装置104可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行程序指令，以实现下文的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。
43.输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
44.输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
45.图像采集设备110可以获取待处理图像，并且将该待处理图像存储在存储装置104中以供其它组件使用。
46.示例性地，用于实现根据本发明实施例的图像处理方法、电子设备及计算机程序产品中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将图像采集设备110设置于可以采集到图像的指定位置。当上述电子系统中的各器件集成设置时，该电子系统可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端等智能终端。
47.图2为本发明实施例提供的一种图像处理方法的流程图，参见图2，该方法包括以下步骤：
48.s202：获取待处理图像；
49.待处理的图像为通过拍摄装置获取的低频图像，具体地，是相对于高频图像而言分辨率较低的图像，例如可以是通过手机等拍摄设备拍摄得到的低分辨率图像，通过对低频图像进行处理以得到高频图像。
50.s204：通过多特征提取神经网络对待处理图像进行高频特征预测处理，得到具有不同高频特征的多个输出图像；
51.多特征提取神经网络可以是单入多出的网络结构，例如可以是树形网络结构，其可以包括两层，也可以包括更多层，最后一层的多个分支输出多个输出图像，对于多层的树形结构，每层有多个分支，当前层的每个分支与下一层的多个分支连接，以得到更多不同的分支输出。
52.其中，任意两个输出图像之间的相似度小于第一相似度；第一相似度可以是一个预设的相似度值，该第一相似度可以根据经验进行设定，任意两个输出图像之间的相似度越大，说明两个图像越相似，反之，相似度越小，说明这两个图像的差异越大，本发明实施例中，每两个输出图像的相似度小于第一相似度，说明每两个图像的差异较大，即根据一个低频图像，得到多个差异较大的输出图像，这些差异较大的输出图像可以更好地从多方面反映低频图像的不同的高频特征。
53.多特征提取神经网络通过对包含多个低频图像与高频图像的样本图像对进行训练得到，多特征提取神经网络的训练过程将在下文详细阐述，在此不再赘述。
54.s206：将多个输出图像进行融合，得到待处理图像对应的高频图像。
55.多个输出图像可以经过一次或多次上采样，转换为维度相同的图像，再将维度相同的多个图像经过融合处理，得到对应的高频图像，其中，高频图像的分辨率高于低频图像。
56.本发明实施例提供的上述图像处理方法，首先获取待处理图像，通过多特征提取神经网络对待处理图像进行高频特征预测处理，得到具有不同高频特征的多个输出图像，再将多个输出图像进行融合，得到待处理图像对应的高频图像。由于多个具有不同高频特征的输出图像可以反映低频图像的不同方面的特征，因此，基于对多个具有不同高频特征的输出图像得到的高频图像，可以有效提高高频图像的精度。
57.在一些可能的实施方式中，多特征提取神经网络包括多层，每一层中包括多个特征提取模块，前一层的特征提取模块与下一层的至少一个特征提取模块连接，位于不同层的相互连接的特征提取模块构成多特征提取神经网络的一个通道。
58.在一例中，多特征提取神经网络可以为m*n的树形拓扑结构，m代表多特征提取神经网络的层数，n代表多特征提取神经网络中的第一层包含的初始模块个数，第一层与多特征提取神经网络中的中间层中的每个特征提取模块均与下一层的n个特征提取模块连接。
59.例如图3所示，图3为本发明实施例提供的一种多特征提取神经网络的结构示意图，图3中所示的多特征提取神经网络为2*2的完全二叉树结构，该多特征提取神经网络包括两个网络层，第一层包括两个节点(即特征提取模块)，第二层包括四个节点，第一层中的每个节点分别与第二层中的两个节点连接，每个节点采用了超分辨率任务中常见的rg(residual group，残差组)模块。2个rg堆叠构成了一个分支模块。每一个rg由4个rcab(residual channel attention block，残差注意力模块)组成。经过各个节点可以输出四个输出特征，四个输出特征与上采样模块连接，得到四个输出图像上采样模块可以具体为pixel shuffle(像素重组)模块。
60.其中，rcab表示一个常用的超分辨率网络模块，rcab的输入是一个特征，输入的特征经过两个分支，第一分支直接通过残差连接到模块结果，第二分支又分为两个子分支，第一子分支是卷积层(例如可以是两次卷积)，另一个子分支是channel attention(通道注意力)层。应当注意的是，上述网络层数、rg模块和rcab模块的数量仅是示例性的，具体可以是其他数量的组合。
61.基于此，上述步骤s204中通过多特征提取神经网络对待处理图像进行高频特征预测处理，得到具有不同高频特征的多个输出图像的步骤，可以具体包括：
62.(1)通过多特征提取神经网络对待处理图像进行第一特征提取，得到初始特征；
63.在获取低频图像后，可以通过多特征提取神经网络对低频图像进行特征提取，得到低频图像对应的初始特征，具体地，可以是采用多特征提取神经网络中的特征提取模块提取初始特征。
64.(2)通过多特征提取神经网络的多个通道中的当前通道对初始特征进行第二特征提取，得到该通道对应的输出特征；
65.其中，任意一个通道对应的输出特征的分辨率高于初始特征的分辨率；
66.(3)将每个通道的输出特征分别进行上采样处理，得到多个输出图像。
67.上采样处理的目的是得到大小相同的多个输出图像，每个通道的输出特征可以进行一次上采样操作，也可以进行多次上采样操作。
68.为了提高上述多特征提取神经网络中每一个通道得到的输出特征与初始特征的相似度，避免特征在各个层中传递时丢失，在多特征提取神经网络中的每个通道中，对初始特征进行如下第二特征提取操作：
69.(1)通过当前特征提取模块对输入特征进行第二特征提取，得到该特征提取模块对应的初始输出特征；其中，如果当前特征提取模块为所述通道中的第一个特征提取模块，则所述输入特征为所述初始特征，否则，所述输入特征为上一个所述特征提取模块的输出特征；
70.(2)将所述初始输出特征和当前特征提取模块对应的所述输入特征组合，作为当前特征提取模块的输出特征；
71.(3)判断当前特征提取模块是否为当前通道中的最后一个特征提取模块；如果否，继续执行所述第二特征提取操作；
72.(4)如果是，将当前特征提取模块的输出特征与当前通道中每一层的第一个特征提取模块的输入特征融合，将融合结果确定为当前通道对应的输出特征。
73.图4为图3所示的多特征提取神经网络中的一个通道的结构及连接关系示意图，如图4所示，左侧方框为当前通道中的第一层，右侧方框为当前通道中的第二层，每一层中，包括两个特征提取模块，即图3中的两个rcab模块构成一个特征提取模块，下面以图4为例说明上述将初始特征经过第二特征提取操作得到当前通道的输出特征的过程：为便于说明，将当前通道中的四个特征提取模块依次命名为m1-m4，在m1处，由于m1是当前通道的第一个特征提取模块，因此m1的输入特征为初始特征，通过m1对初始特征进行第二特征提取，得到m1的初始输出特征m1
out-tmp
，将m11与m1的输入特征(即初始特征)相加，得到m1的输出特征m1
out
，此时，判断m1是否为当前通道的最后一个特征提取模块，经判断，m1不是最后一个特征提取模块，因此将m1
out
作为下一个特征提取模块m2的输入特征，重复上述第二特征提取操作，m2、m3和m4的操作过程与上述m1的操作过程相同，在此不再赘述，当通过m4得到输出特征m4
out
后，经判断，m4是当前通道的最后一个特征提取模块，因此，将m4
out
与第一层的第一特征提取模块的输入特征(即初始特征)以及第二层的第一特征提取模块的输入特征(即m3的输入特征m2
out
)融合，得到当前通道的输出特征。
74.经过本发明上述实施例提供的多特征提取神经网络得到的输出图像，可以从多个角度体现待处理的低频图像的特征，得到分辨率较高的高频图像，如图5所示的低频图像与多特征提取神经网络的预测高频图像的对比示意图，图5中左侧大图为低频图像，右侧中的lr为需要进行预测的低频特征，branch1-branch4四个图为多特征提取神经网络的四个输出图像，hr为最终得到的高频图像。
75.在一些可能的实施方式中，上述将所述多个输出图像进行融合，得到所述低频图像对应的高频图像的步骤，可以具体是通过融合网络确定每个输出图像的权重；将各个输出图像按照对应的权重进行加权求和，得到高频图像。
76.具体地，可以将融合网络设计成两层卷积核大小为3*3的卷积层和一个softmax层，在该融合网络中，将多特征提取神经网络得到的多个输出图像一起经过2次卷积，将多个输出图像转换成相同维度，再经过softmax层，确定每个输出图像的融合权重，根据融合权重图分别逐像素的将四个输出图像进行加权，进一步地，将加权之后的图像逐像素相加产生最后的融合输出图像，即高频图像。
77.图6为经过本发明实施例的融合网络对四个输出图像进行融合的示意图，如图6所示，左侧的大图为低频图像，右侧的四个小图为经过多特征提取神经网络输出的四个输出图像，图像中方框越粗的区域，其在融合时对应的权重越高，也就是越清晰的部分，权重值越大，越模糊的部分，权重值越小，这样得到的融合图像更多的考虑了各个输出图像中清晰的部分，保证了融合图像的精度。
78.图7为本发明实施例提供的图像处理方法得到的高频图像的示意图，如图7所示，直线左侧为原始的低频图像，右侧为通过上述方法得到的高频图像，可见，本发明实施例提供的图像处理方法可以有效得到分辨率较高的高频图像。
79.本发明实施例提供的低频图像的处理方法，是基于第一神经网络对低频图像进行高频特征预测而得到高频图像的，高频图像的精度很大程度上取决于多特征提取神经网络的稳定性和输出结果的精度，因此，本发明实施例在上述方法的基础上，还提供了一种多特征提取神经网络的训练方法，参见图8所示的多特征提取神经网络训练方法的流程图，该方法包括以下步骤：
80.s802：获取样本图像及初始神经网络；
81.其中，样本图像包括训练图像及其对应的标签图像，标签图像的分辨率高于训练图像的分辨率；
82.s804：对所述样本图像进行第三特征提取，得到所述训练图像对应的训练特征；
83.s806：通过所述初始神经网络对所述训练特征进行第四特征提取，得到多个预测特征；
84.其中，所述预测特征的分辨率高于所述训练特征的分辨率。
85.s808：根据所述预测特征确定所述预测特征对应的预测图像；
86.具体地，可以是对多个所述预测特征分别进行上采样处理，得到多个所述预测特征对应的预测图像。
87.s810：根据所述预测图像及其对应的标签图像，确定总损失值。
88.s812：根据总损失值调整多特征提取神经网络的参数，直至满足第一训练停止条件。
89.在一些可能的实施方式中，上述多特征提取神经网络包括多层，每一层中包括多个特征提取模块，前一层的所述特征提取模块与下一层的至少一个所述特征提取模块连接，位于不同层的相互连接的所述特征提取模块构成所述多特征提取神经网络的一个通道；
90.基于上述多特征提取神经网络的结构，上述步骤s806中的通过所述多特征提取神经网络对所述训练特征进行第四特征提取，得到多个预测特征，可以具体是：
91.(1)通过当前特征提取模块对输入特征进行第四特征提取，得到该特征提取模块对应的初始输出特征；其中，如果当前特征提取模块为所述通道中的第一个特征提取模块，则所述输入特征为所述训练特征，否则，所述输入特征为上一个所述特征提取模块的输出特征；
92.(2)将所述初始输出特征与当前特征提取模块对应的所述输入特征组合，作为当前特征提取模块的输出特征；
93.(3)判断当前特征提取模块是否为当前通道中的最后一个特征提取模块；如果否，
继续执行所述第四特征提取操作；
94.(4)如果是，将当前特征提取模块的输出特征与当前通道中每一层的第一个特征提取模块的输入特征融合，将融合结果确定为当前通道对应的预测特征。
95.在一些可能的实施方式中，上述步骤s810中的总损失值可以按照如下方法进行确定：
96.根据每个预测图像及标签图像，得到该预测图像对应的第一损失值；根据每两个预测图像及标签图像，得到该两个预测图像对应的第二损失值；根据第一损失值和第二损失值，确定总损失值。
97.具体地，多特征提取神经网络的总损失值由第一损失值和第二损失值确定，第一损失值可以具体是l2 loss(均方误差)损失值，第二损失值可以具体是triplet loss(三元损失)损失值。每一个输出图像和标签图像分别计算l2 loss损失值，然后把这些l2 loss损失值加和构成整体的l2 loss。各个输出图像之间两两计算的triplet loss损失值。
98.在一些可能的实施方式中，上述第二损失值的计算过程如下：
99.(1)根据标签图像确定第一正样本，根据两个预测图像中的第一预测图像确定第一负样本，根据两个预测图像中的第二预测图像确定第一锚样本；
100.(2)通过第一正样本、第一负样本以及第一锚样本进行三元损失值计算，得到第一三元损失值；
101.(3)根据标签图像确定第二正样本，根据第一预测图像确定第二锚样本，根据第二预测图像确定第二负样本；
102.(4)通过第二正样本、第二负样本以及第二锚样本进行三元损失值计算，得到第二三元损失值；
103.(5)将第一三元损失值与第二三元损失值相加，得到第二损失值。
104.具体地，上述第二损失值是三元损失函数得到的损失值，三元损失函数triplet loss的输入包括正样本、负样本和锚样本。为了达到任意两个图像之间差异较大，而这两个图像与标签图像的差异很小的效果，可以在任意两个输出图像之间计算triplet loss损失值，具体地，对任意两个输出图像分别计算两次triplet loss损失值，再将这两次triplet loss损失值组合，作为这两个图像的triplet loss损失值。例如，对于图像1和图像2，首先将标签图像作为正样本，图像1作为负样本，图像2作为锚样本，计算triplet loss损失值，得到loss1，再将标签图像作为正样本，图像1作为锚样本，图像2作为负样本，计算一次triplet loss损失值，得到loss2，那么loss1 loss2即为图像1和图像2对应的第二损失值。
105.因为超分任务主要是对高频纹理的恢复，如果对于输出图像之间直接使用triplet loss计算损失值，可能会产生除了纹理之外的其他异化，如颜色，明暗等。因此本发明在上述方法的基础上，还对triplet loss进行了进一步的改进，基于输出图像的灰度化信息进行tripletloss损失值的确定，基于此，上述第二损失值的确定过程还包括：
106.提取第一预测图像的第一灰度值和第二预测图像的第二灰度值；根据第一灰度值与标签图像确定第一残差；根据第二灰度值与标签图像确定第二残差；
107.基于此，上述根据所述标签图像确定第一正样本，根据所述两个预测图像中的第一预测图像确定第一负样本，根据所述两个预测图像中的第二预测图像确定第一锚样本的步骤，包括：
108.将第一残差确定为第一负样本；将第二残差确定为第一锚样本；
109.进一步地，上述根据标签图像确定第二正样本，根据第一预测图像确定第二锚样本，根据第二预测图像确定第二负样本的步骤，包括：
110.将第一残差确定为第二锚样本；将第二残差确定为第二负样本。
111.图9为本发明实施例提供的一种第二损失值的计算过程示意图，如图9所示，代表第i个输出图像，代表第j个输出图像，i与j不相等，i
hr
代表标签图像，即高频图像，首先对三个图像进行灰度化，得到图像的灰度y通道(yuv中的y通道即灰度通道)，即y
hr
和对特征进行灰度化可以防止出现色调上的异化，然后通过norm层对灰度通道进行标准化处理，以突出纹理上的异化，防止出现明暗上的异化。
112.之后将图像i和图像j的灰度通道的值分别和标签图像相减得到残差，即和并根据残差计算triplet loss损失值，基于残差得到的triplet loss损失值可以进一步突出纹理的异化。
113.在一些可能的实施方式中，本发明实施例中的上述多特征提取神经网络为m*n的树形拓扑结构，m代表多特征提取神经网络的层数，n代表多特征提取神经网络中的第一层包含的初始模块个数，第一层与多特征提取神经网络中的中间层中的每个初始模块均与下一层的n个初始模块连接。
114.在一些可能的实施方式中，上述融合网络可以通过以下方法进行训练：
115.(1)获取初始融合网络；(2)根据每个预测图像及其对应的初始权重，确定预测融合图像；(3)根据预测融合图像和标签图像，确定第三损失值；(4)根据第三损失值调整初始融合网络的参数，直至满足第二训练停止条件。
116.上述的初始权重可以通过融合网络中的softmax层进行计算，各个输出图像根据初始权重进行加权相加，得到融合图像，将融合图像与标签图像进行损失值计算，得到第三损失值，这里的损失值的计算过程可以采用任何通用的损失函数，本发明实施例对此不进行限定。根据第三损失函数持续调整初始融合网络的参数，直到满足第二训练停止条件，完成初始融合网络的训练。其中，第二训练停止条件可以是训练次数或者第三损失值小于预设的某个值。
117.为了便于理解，下面结合具体应用场景对本发明提供的多特征提取神经网络以及融合网络的训练过程进行具体的描述，该训练过程具体包括以下步骤：
118.(1)获取一个低频图像fig1和一个高频图像fig2，并对低频图像进行特征提取，得到初始特征。
119.(2)设置多特征提取神经网络的初始结构和参数；
120.其中，多特征提取神经网络包括两层，每层中包括2个rg模块，即2个rg模块堆叠构成了一个分支。每一个rg由4个rcab模块组成。上采样模块采用pixel shuffle模块。
121.(3)将初始图像输入多特征提取神经网络，在第一层中的第一个rg模块中，第一个rcab模块的输入为初始特征，输出为特征1。第二个rcab模块的输入为初始特征与特征1进行组合得到的组合特征1，输出为特征2。
122.(4)进入第二层的第一个rg模块中的第一个rcab模块，输入是组合特征1和特征2
进行组合得到的组合特征2。其他rcab模块的输入与上述模块的输入的确定方法类似。
123.(5)继续进行其他模块的输出值的计算，直至得到最后一层的所有模块的输出，即四个输出图像s1、s2、s3和s4。
124.(6)计算s1-s4两两之间的tripletloss值，得到tloss1-tloss6六个损失值。
125.(7)分别计算s1-s4与高频图像fig2的损失值loss1-loss4。
126.(8)将loss1-loss4以及tloss1-tloss6全部相加，得到总损失值。
127.(9)判断总损失值是否小于预设损失值，如果是，多特征提取神经网络训练完毕，否则，重复上述步骤(3)-(8)。
128.(10)将初始特征根据训练完毕的多特征提取神经网络进行处理，得到四个高频图像s11、s21、s31和s41。
129.(11)设置融合网络的初始结构和参数；
130.融合网络包括两层卷积核大小为3x3的卷积层以及一个softmax层。
131.(12)将四个图像s11-s41输入融合网络，得到融合图像m1；
132.(13)计算融合图像m1和高频图像fig2的损失值，判断损失值是否小于预设的融合损失值，如果是，训练完毕，否则，重复上述步骤(10)-(11)。
133.为了进一步验证本发明实施例提供的图像处理方法的有益技术效果，下面通过三方面来验证对本发明的技术效果。
134.第一方面，将本发明实施方式提供的方法和现有技术中的多种方法在实验结果上进行对比，现有技术中的低频图像处理方法包括bicubic上采样方法，直入直出的单一分支方法srresnet、edsr和rcan，使用gan的方法esrgan，多输出的方法：srflow，分治思想的方法lp-kpn和cdc。根据psnr(peak signal to noise ratio)和ssim(structuralsimilarity)作为对比指标，对比结果如表1所示：
135.表1
[0136][0137]
其中，realsr数据集由canon和nikon两种单反相机通过变焦获得。realsr数据集采集的场景有595种。分为三个超分辨率倍率(x2、x3、x4)，训练数据总共有1265张，每个倍率的测试数据有随机抽取的100张。
[0138]
为了验证模型的普适性，本发明在realsr上进行了训练，在drealsr上进行了效果验证。drealsr数据集是另外一个使用了多种单反相机采集的真实数据集。
[0139]
d2crealsr为通过sony单反相机采集的x8倍率的数据集，并在该数据集上进行了效果对比。在表1中，ours为通过本发明实施例提供的方法得到的实验结果，通过表1可见，本发明实施例提供的图像处理方法在所有的实验中都取得了很好的客观指标(psnr、ssim)。
[0140]
第二方面，将本发明实施方式提供的方法和现有技术中的方法得到的高频图像从
图像的可视化的精确度方面进行对比，对比的结果如图10所示。图10中分别示出了针对canon_045(x4)的低频图像中的一个部分进行高频预测得到的高频图像的对比图，其中our代表本发明实施例提供的图像处理方法得到的高频图像，相比于其他现有技术，our对应的高频图像的图片清晰度明显较高。
[0141]
第三方面，图11为获得高频图像时各个方法所使用的网络参数量的大小和图像效果，图中黑色圆圈表示本发明实施例提供的方法使用的网络参数量和指标，黑色外框的圆圈表示其他方法的网络参数量和指标，图横轴代表参数量大小，竖轴代表了在realsr数据集的x4倍率下的psnr指标。为了方便观看，圆圈越大表明参数量越大，可以看出，本发明实施例提供的方法全部位于左上角，且圆圈最小，表示我们的方法参数量小并且同时具有更好的超分辨率效果。
[0142]
基于上述方法实施例，本发明实施例还提供一种图像处理装置，参见图12所示，该装置包括：
[0143]
获取模块1202，用于获取待处理图像；
[0144]
处理模块1204，用于通过多特征提取神经网络对待处理图像进行高频特征预测处理，得到具有不同高频特征的多个输出图像；其中，任意两个输出图像之间的相似度小于第一相似度；
[0145]
融合模块1206，用于将多个输出图像进行融合，得到待处理图像对应的高频图像；其中，高频图像的分辨率高于待处理图像。
[0146]
本发明实施例提供的上述图像处理装置，首先获取待处理图像，通过多特征提取神经网络对待处理图像进行高频特征预测处理，得到具有不同高频特征的多个输出图像，再将多个输出图像进行融合，得到待处理图像对应的高频图像。由于多个具有不同高频特征的输出图像可以反映低频图像的不同方面的特征，因此，基于对多个具有不同高频特征的输出图像得到的高频图像，可以有效提高高频图像的精度。
[0147]
上述多特征提取神经网络包括多层，每一层中包括多个特征提取模块，前一层的特征提取模块与下一层的至少一个特征提取模块连接，位于不同层的相互连接的特征提取模块构成多特征提取神经网络的一个通道；上述通过多特征提取神经网络对待处理图像进行高频特征预测处理，得到具有不同高频特征的多个输出图像的过程，包括：通过多特征提取神经网络对待处理图像进行第一特征提取，得到初始特征；通过多特征提取神经网络的多个通道中的当前通道对初始特征进行第二特征提取，得到该通道对应的输出特征；其中，任意一个通道对应的输出特征的分辨率高于初始特征的分辨率；将每个通道的输出特征分别进行上采样处理，得到多个输出图像。
[0148]
上述通过多特征提取神经网络的多个通道中的当前通道对初始特征进行第二特征提取，得到该通道对应的输出特征的过程，包括：通过当前特征提取模块对输入特征进行第二特征提取，得到该特征提取模块对应的初始输出特征；其中，如果当前特征提取模块为通道中的第一个特征提取模块，则输入特征为初始特征，否则，输入特征为上一个特征提取模块的输出特征；将初始输出特征和当前特征提取模块对应的输入特征组合，作为当前特征提取模块的输出特征；判断当前特征提取模块是否为当前通道中的最后一个特征提取模块；如果否，继续执行第二特征提取操作；如果是，将当前特征提取模块的输出特征与当前通道中每一层的第一个特征提取模块的输入特征融合，将融合结果确定为当前通道对应的
输出特征。
[0149]
上述将多个输出图像进行融合，得到待处理图像对应的高频图像的步骤，包括：通过融合网络确定每个输出图像的权重；将各个输出图像按照对应的权重进行加权求和，得到高频图像。
[0150]
上述多特征提取神经网络通过以下方式训练获得：获取样本图像及初始神经网络；其中，样本图像包括训练图像及其对应的标签图像，标签图像的分辨率高于训练图像的分辨率；对样本图像进行第三特征提取，得到训练图像对应的训练特征；通过初始神经网络对训练特征进行第四特征提取，得到多个预测特征；预测特征的分辨率高于训练特征的分辨率；根据预测特征确定预测特征对应的预测图像；根据预测图像及其对应的标签图像，确定总损失值；根据总损失值调整多特征提取神经网络的参数，直至满足第一训练停止条件。
[0151]
上述多特征提取神经网络包括多层，每一层中包括多个特征提取模块，前一层的特征提取模块与下一层的至少一个特征提取模块连接，位于不同层的相互连接的特征提取模块构成多特征提取神经网络的一个通道；上述通过多特征提取神经网络对训练特征进行第四特征提取，得到多个预测特征的过程，包括：通过当前特征提取模块对输入特征进行第四特征提取，得到该特征提取模块对应的初始输出特征；其中，如果当前特征提取模块为通道中的第一个特征提取模块，则输入特征为训练特征，否则，输入特征为上一个特征提取模块的输出特征；将初始输出特征与当前特征提取模块对应的输入特征组合，作为当前特征提取模块的输出特征；判断当前特征提取模块是否为当前通道中的最后一个特征提取模块；如果否，继续执行第四特征提取操作；如果是，将当前特征提取模块的输出特征与当前通道中每一层的第一个特征提取模块的输入特征融合，将融合结果确定为当前通道对应的预测特征。
[0152]
上述根据预测图像及其对应的标签图像，确定总损失值的过程，包括：根据每个预测图像及标签图像，得到该预测图像对应的第一损失值；根据每两个预测图像及标签图像，得到该两个预测图像对应的第二损失值；根据第一损失值和第二损失值，确定总损失值。
[0153]
上述根据每两个预测图像及标签图像，得到该两个预测图像对应的第二损失值的过程，包括：根据标签图像确定第一正样本，根据两个预测图像中的第一预测图像确定第一负样本，根据两个预测图像中的第二预测图像确定第一锚样本；通过第一正样本、第一负样本以及第一锚样本进行三元损失值计算，得到第一三元损失值；根据标签图像确定第二正样本，根据第一预测图像确定第二锚样本，根据第二预测图像确定第二负样本；通过第二正样本、第二负样本以及第二锚样本进行三元损失值计算，得到第二三元损失值；将第一三元损失值与第二三元损失值相加，得到第二损失值。
[0154]
上述装置还包括：灰度值提取模块，用于提取第一预测图像的第一灰度值和第二预测图像的第二灰度值；第一残差确定模块，用于根据第一灰度值与标签图像确定第一残差；第二残差确定模块，用于根据第二灰度值与标签图像确定第二残差；上述根据标签图像确定第一正样本，根据两个预测图像中的第一预测图像确定第一负样本，根据两个预测图像中的第二预测图像确定第一锚样本的过程，包括：将第一残差确定为第一负样本；将第二残差确定为第一锚样本；上述根据标签图像确定第二正样本，根据第一预测图像确定第二锚样本，根据第二预测图像确定第二负样本的过程，包括：将第一残差确定为第二锚样本；将第二残差确定为第二负样本。
[0155]
上述多特征提取神经网络为m*n的树形拓扑结构，m代表多特征提取神经网络的层数，n代表多特征提取神经网络中的第一层包含的初始模块个数，第一层与多特征提取神经网络中的中间层中的每个初始模块均与下一层的n个初始模块连接。
[0156]
上述融合网络通过以下方法训练获得；获取初始融合网络；根据每个预测图像及其对应的初始权重，确定预测融合图像；根据预测融合图像和标签图像，确定第三损失值；根据第三损失值调整初始融合网络的参数，直至满足第二训练停止条件。
[0157]
本发明实施例提供的图像处理装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，上述装置的实施例部分未提及之处，可参考前述图像处理方法实施例中的相应内容。
[0158]
本发明实施例还提供了一种电子设备，如图13所示，为该电子设备的结构示意图，其中，该电子设备包括处理器1301和存储器1302，该存储器1302存储有能够被该处理器1301执行的计算机可执行指令，该处理器1301执行该计算机可执行指令以实现上述图像处理方法。
[0159]
在图13示出的实施方式中，该电子设备还包括总线1303和通信接口1304，其中，处理器1301、通信接口1304和存储器1302通过总线1303连接。
[0160]
其中，存储器1302可能包含高速随机存取存储器(ram，randomaccess memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口1304(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线1303可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheralcomponent interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。所述总线1303可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
[0161]
处理器1301可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1301中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1301可以是通用处理器，包括中央处理器(central processingunit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processor，简称dsp)、专用集成电路(applicationspecific integrated circuit，简称asic)、现场可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器1301读取存储器中的信息，结合其硬件完成前述实施例的图像处理方法的步骤。
[0162]
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述图像处理方法，具体实现可参见前述方法实施例，在此不再赘述。
[0163]
本发明实施例所提供的图像处理方法、装置及电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
[0164]
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
[0165]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0166]
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0167]
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。