图像超分辨率的制作方法

图像超分辨率


背景技术：

1.在图像处理领域中，转换图像的分辨率是常见的需求。图像超分辨率(sr)是指基于低分辨率图像生成具有自然、清晰纹理的高分辨率图像的图像处理过程。图像超分辨率是图像增强领域中一个非常重要的问题。近年来，得益于深度学习技术强大的学习能力，该问题得到了显著的发展。图像超分辨率技术被广泛应用于各个领域，例如数码相机拍照中的数字变焦、游戏重制中的素材增强(例如，纹理素材增强)等。另一方面，图像超分辨率技术还进一步推动了计算机视觉领域中的其他问题的发展，例如医疗影像、监控影像、卫星成像等。当前，图像超分辨率的解决方案主要包括基于单张图像的超分辨率(sisr)技术和基于参考图像的超分辨率(refsr)技术。


技术实现要素：

2.根据本公开的实现，提出了一种用于图像处理的方案。在该方案中，第一信息和第二信息基于输入图像和参考图像的纹理特征被确定。第一信息至少指示参考图像中按照纹理特征与输入图像中的第一像素块最相关的第二像素块，并且第二信息至少指示第一像素块与第二像素块的相关度。具有目标分辨率的迁移特征图基于该第一信息和参考图像被确定。该迁移特征图包括与第一像素块相对应的特征块并且该特征块包括第二像素块的纹理特征。输入图像基于该迁移特征图和该第二信息被变换成具有目标分辨率的输出图像。该输出图像体现参考图像的纹理特征。在该方案中，利用像素块级别的与纹理特征有关的信息可以使纹理特征的搜索和迁移更加准确，以减少纹理模糊和纹理失真。以此方式，该方案能够高效且准确地迁移参考图像的纹理，并且获得更清晰、真实的图像处理结果。
3.提供发明内容部分是为了以简化的形式来介绍对概念的选择，其在下文的具体实施方式中将被进一步描述。发明内容部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。
附图说明
4.图1示出了能够实施本公开的多个实现的计算设备的框图；
5.图2示出了根据本公开的实现的用于图像处理的系统的架构图；
6.图3示出了根据本公开的一些实现的纹理变换器的框图；
7.图4示出了根据本公开的一些实现的跨尺度特征整合的框图；以及
8.图5示出了根据本公开的实现的用于图像处理的方法的流程图。
9.这些附图中，相同或相似参考符号用于表示相同或相似元素。
具体实施方式
10.现在将参照若干示例实现来论述本公开。应当理解，论述了这些实现仅是为了使得本领域普通技术人员能够更好地理解且因此实现本公开，而不是暗示对本公开的范围的任何限制。
11.如本文所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实现”和“一种实现”要被解读为“至少一个实现”。术语“另一个实现”要被解读为“至少一个其他实现”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
12.如本文所使用的，“神经网络”能够处理输入并且提供相应输出，其通常包括输入层和输出层以及在输入层与输出层之间的一个或多个隐藏层。在深度学习应用中使用的神经网络通常包括许多隐藏层，从而延长网络的深度。神经网络的各个层按顺序相连，从而前一层的输出被提供作为后一层的输入，其中输入层接收神经网络的输入，而输出层的输出作为神经网络的最终输出。神经网络的每个层包括一个或多个节点(也称为处理节点或神经元)，每个节点处理来自上一层的输入。cnn是一种类型的神经网络，包括一个或多个卷积层，用于对各自的输入执行卷积操作。cnn可以用于在各种场景中，特别适合于处理图像或视频数据。在本文中，术语“神经网络”、“网络”和“神经网络模型”可替换地使用。
13.示例环境
14.图1示出了能够实施本公开的多个实现的计算设备100的框图。应当理解，图1所示出的计算设备100仅仅是示例性的，而不应当构成对本公开所描述的实现的功能和范围的任何限制。如图1所示，计算设备100包括通用计算设备形式的计算设备100。计算设备100的组件可以包括但不限于一个或多个处理器或处理单元110、存储器120、存储设备130、一个或多个通信单元140、一个或多个输入设备150以及一个或多个输出设备160。
15.在一些实现中，计算设备100可以被实现为具有计算能力的各种用户终端或服务终端。服务终端可以是各种服务提供方提供的服务器、大型计算设备等。用户终端诸如是任意类型的移动终端、固定终端或便携式终端，包括移动手机、站点、单元、设备、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信系统(pcs)设备、个人导航设备、个人数字助理(pda)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任意组合，包括这些设备的配件和外设或者其任意组合。还可预见到的是，计算设备100能够支持任意类型的针对用户的接口(诸如“可佩戴”电路等)。
16.处理单元110可以是实际或虚拟处理器并且能够根据存储器120中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高计算设备100的并行处理能力。处理单元110也可以被称为中央处理单元(cpu)、微处理器、控制器、微控制器。
17.计算设备100通常包括多个计算机存储介质。这样的介质可以是计算设备100可访问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器120可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(ram))、非易失性存储器(例如，只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、闪存)或其某种组合。存储器120可以包括转换模块122，这些程序模块被配置为执行本文所描述的各种实现的功能。转换模块122可以由处理单元110访问和运行，以实现相应功能。
18.存储设备130可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，其能够用于存储信息和/或数据并且可以在计算设备100内被访问。计算设备100可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图1中示出，可以提供用
于从可拆卸、非易失性磁盘进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。
19.通信单元140实现通过通信介质与另外的计算设备进行通信。附加地，计算设备100的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，计算设备100可以使用与一个或多个其他服务器、个人计算机(pc)或者另一个一般网络节点的逻辑连接来在联网环境中进行操作。
20.输入设备150可以是一个或多个各种输入设备，例如鼠标、键盘、追踪球、语音输入设备等。输出设备160可以是一个或多个输出设备，例如显示器、扬声器、打印机等。计算设备100还可以根据需要通过通信单元140与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与计算设备100交互的设备进行通信，或者与使得计算设备100与一个或多个其他计算设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(i/o)接口(未示出)来执行。
21.在一些实现中，除了被集成在单个设备上之外，计算设备100的各个部件中的一些或所有部件还可以以云计算架构的形式被设置。在云计算架构中，这些部件可以被远程布置，并且可以一起工作以实现本公开所描述的功能。在一些实现中，云计算提供计算、软件、数据访问和存储服务，它们不需要终端用户知晓提供这些服务的系统或硬件的物理位置或配置。在各种实现中，云计算使用适当的协议通过广域网(诸如因特网)提供服务。例如，云计算提供商通过广域网提供应用，并且它们可以通过web浏览器或任何其他计算组件被访问。云计算架构的软件或组件以及相应的数据可以被存储在远程位置处的服务器上。云计算环境中的计算资源可以在远程数据中心位置处被合并或者它们可以被分散。云计算基础设施可以通过共享数据中心提供服务，即使它们表现为针对用户的单一访问点。因此，可以使用云计算架构从远程位置处的服务提供商提供本文所描述的组件和功能。备选地，它们也可以从常规服务器被提供，或者它们可以直接或以其他方式被安装在客户端设备上。
22.计算设备100可以用于实施本公开的多种实现中的图像处理。如图1所示，计算设备100可以通过输入设备150接收参考图像172以及待被变换至目标分辨率的输入图像171。一般而言，输入图像171具有低于目标分辨率的分辨率，并且可以被称为低分辨率图像。参考图像172的分辨率可以等于或大于目标分辨率。计算设备100可以基于参考图像172，将输入图像171变换成具有目标分辨率的输出图像180。输出图像180体现参考图像172的纹理特征。例如，如图1所示，输出图像180的区域181可以体现从参考图像172迁移的纹理特征。输出图像180也可以被称为高分辨率图像或超分辨率(sr)图像。在本文中，“体现参考图像的纹理特征”或类似表达要被解读为“体现参考图像的至少部分纹理特征”。
23.如上文所提及的，图像超分辨率的解决方案主要包括基于单张图像的超分辨率(sisr)技术和基于参考图像的超分辨率(refsr)技术。在传统的sisr中，一般通过训练深度卷积神经网络来拟合从低分辨率图像到高分辨率图像的恢复操作。该过程涉及典型的一对多问题，因为同一张低分辨率图像可能对应于多张可行的高分辨率图像。因此，采用传统一对一拟合的方式训练得到的模型更倾向于拟合多种可行结果的平均值，这导致最终生成的高分辨率图像在复杂纹理处仍比较模糊，难以得到令人满意的结果。近年来，一些方法通过引入生成式对抗训练，约束所恢复的图像与真实高分辨率图像处于同一分布。这些方法可
以在一定程度上缓解上述问题，但是也由此引入了一些不真实纹理的产生问题。
24.针对上述问题，refsr技术被提出。在refsr中，通过一张与输入图像相似的高分辨率图像，辅助整个超分辨率的恢复过程。高分辨率参考图像的引入，将图像超分辨率问题由纹理恢复/生成转化为了纹理搜索与迁移，使得超分辨率结果在视觉效果上有了显著的提升。然而，现有的refsr解决方案还难以实现令人满意的图像超分辨率结果。例如，在一些情况下，存在不精确、甚至错误的纹理搜索与迁移。
25.以上讨论了在目前的图像超分辨率方案中存在的一些问题。根据本公开的实现，提供了一种用于图像处理的方案，旨在解决上述问题以及其他潜在问题中的一个或多个。在该方案中，利用多级注意力信息，将参考图像中的纹理迁移至输入图像，以生成具有目标分辨率的输出图像。多级注意力信息可以指示参考图像的像素块和输入图像的像素块按照纹理特征的相关性。利用多级注意力信息，可以使纹理特征的搜索和迁移更加准确，从而能够减少纹理模糊和纹理失真。在一些实现中，还可以实现跨不同分辨率尺度的特征整合。在这种实现中，通过在不同分辨率尺度下融合参考图像的纹理特征，特征表达能力得以增强，有助于生成更加真实的图像。另外，在一些实现中，用于从参考图像和输入图像中提取纹理特征的纹理提取器可以是针对图像超分辨率任务被训练的。在这种实现中，能够提取更准确的纹理特征，以进一步促进生成清晰且真实的输出图像。
26.以下进一步结合附图来详细描述该方案的各种示例实现
27.系统架构
28.图2示出了根据本公开的实现的用于图像处理的系统200的架构图。系统200可以被实现在图1的计算设备100中。例如，在一些实现中，系统200可以被实现为图1的计算设备100的图像处理模块122的至少一部分，也即，被实现为计算机程序模块。如图2所示，系统200总体上可以包括纹理迁移子系统210和骨干子系统230。应当理解，仅出于示例性的目的描述系统200的结构和功能而不是暗示对于本公开的范围的任何限制。本公开的实现也可以被实施在不同的结构和/或功能中。
29.如图2所示，系统200的输入包括待被变换到目标分辨率的输入图像171以及参考图像172。输入图像171通常是分辨率低于目标分辨率的低分辨率图像。参考图像172可以是以任何合适的方式获得的。在一些实现中，参考图像172的分辨率可以等于或大于目标分辨率。系统200的输出是被变换到目标分辨率的输出图像180。相比于输入图像171，输出图像180不仅被放大，而且体现了从参考图像172迁移的纹理特征。
30.纹理迁移子系统210可以将参考图像172的纹理特征迁移到输入图像171。纹理迁移子系统210至少包括纹理变换器220-1，其可以被配置为在目标分辨率下将参考图像172的纹理特征迁移到输入图像171，并且输出具有目标分辨率的合成特征图。如本文中所使用的，术语“合成特征图”是指包括输入图像171自身的图像特征和从参考图像172迁移的纹理特征的特征图。在下文中，纹理变换器220-1有时也可以被称为对应于目标分辨率的纹理变换器。
31.在一些实现中，纹理迁移子系统210可以包括对应于多个分辨率的堆叠式纹理变换器。如图2所示，除了纹理变换器220-1之外，纹理迁移子系统210还可以包括纹理变换器220-2和纹理变换器220-3中的至少一个。纹理变换器220-2和纹理变换器220-3可以被配置为在低于目标分辨率的分辨率下将参考图像172的纹理特征迁移到输入图像171，并且输出
具有相应分辨率的合成特征图。例如，纹理变换器220-2可以对应于低于目标分辨率的第一分辨率，而纹理变换器220-3可以对应于低于第一分辨率的第二分辨率。
32.与堆叠式纹理变换器相对应的多个分辨率可以包括目标分辨率和任何合适的分辨率。在一个实现中，与堆叠式纹理变换器相对应的多个分辨率可以包括目标分辨率、输入图像171的初始分辨率以及在目标分辨率与初始分辨率之间的一个或多个分辨率。在这种实现中，可以逐级地增加输入图像的分辨率，以进一步优化输出图像的质量，如下文将参考图4描述的。作为示例，如果目标分辨率要将输入图像171放大4倍(4x)，则纹理变换器220-2可以对应于输入图像171放大2倍(2x)的分辨率，并且纹理变换器220-3可以对应于输入图像171的初始分辨率。在下文中，纹理变换器220-1、220-2和220-3可以被统称为纹理变换器220。下文将参考图3来描述纹理变换器220的实现。
33.骨干子系统230可以提取输入图像171的图像特征，包括但不限于输入图像171的颜色特征、纹理特征、形状特征、空间关系特征等。骨干子系统230可以将所提取的图像特征提供给纹理迁移子系统210，使得纹理变换器220能够生成合成特征图。骨干子系统230还可以处理纹理变换器220所生成的合成特征图，以获得输出图像180。例如，骨干子系统230可以包括卷积神经网络来提取图像特征和处理合成特征图。在一些实现中，该卷积神经网络可以包括残差网络。
34.在纹理迁移子系统210包括堆叠式纹理变换器的实现中，骨干子系统230还可以包括跨尺度特征整合(csfi)模块(未示出)。csfi模块可以被配置为在不同的分辨率尺度之间交换特征信息。例如，csfi模块可以对纹理变换器220-2所输出的合成特征图进行变换并提供给纹理变换器220-1。附加地，csfi模块还可以对纹理变换器220-1所输出的合成特征图进行变换，并将经变换的合成特征图与纹理变换器220-2所输出的合成特征图进一步组合。另外，csfi模块还可以组合不同纹理变换器输出的合成特征图。下文将参考图4来描述csfi模块的操作。
35.纹理变换器
36.图3示出了根据本公开的一些实现的纹理变换器220的框图300。在图3的示例中，纹理变换器220包括纹理提取器301、相关性嵌入模块302、硬注意力模块303和软注意力模块304。纹理提取器301可以被配置为提取输入图像171和参考图像172的纹理特征。相关性嵌入模块302可以被配置为基于所提取的纹理特征确定第一信息321和第二信息322，其指示输入图像171和参考图像172的像素块按照纹理特征的相关性。第一信息321也可以被称为硬注意力信息，并且在图3中被示例性地示出为硬注意力图。第二信息322也可以被称为软注意力信息，并且在图3中被示例性地示出为软注意力图。
37.硬注意力模块303可以被配置为基于第一信息321和参考图像172来确定迁移特征图314。迁移特征图314中的特征块包括参考图像172中的像素块的纹理特征。如图3所示，迁移特征图314可以被表示为t。软注意力模块304可以被配置为基于第二信息322、迁移特征图314和来自骨干子系统230的特征图315来生成合成特征图316。合成特征图316可以被提供给骨干子系统230，以被进一步处理成输出图像180。如图3所示，来自骨干子系统230的特征图315也可以被表示为f。
38.下面将详细描述纹理变换器220的工作原理。
39.在下文中，原始的参考图像172和输入图像171可以分别被表示为ref和lr。在
refsr任务中，针对参考图像ref的纹理提取是必要的。在一些实现中，可以将原始的输入图像171和参考图像172应用到纹理提取器301。
40.在一些实现中，在利用纹理提取器301提取参考图像172和输入图像171的纹理特征之前，可以对参考图像172和输入图像171进行预处理。如图3所示，在一些实现中，可以以预定因子对输入图像171进行上采样，以获得经预处理的输入图像371，其可以被表示为lr
↑
。例如，经预处理的输入图像371可以具有目标分辨率。可以以该预定因子对参考图像172顺序进行下采样和上采样，以获得经预处理的参考图像372，其可以被表示为ref
↓↑
。作为示例，可以对输入图像171应用4x上采样(例如，双三次插值)，以获得经预处理的输入图像371。可以对参考图像172顺序应用具有相同因子4x的下采样和上采样(例如，双三次插值)，以获得经预处理的参考图像372。
41.在这种实现中，经预处理的输入图像371和经预处理的参考图像372可以处于相同分布。这可以促进纹理提取器301更准确地提取输入图像171和参考图像172中的纹理特征。
42.如图3所示，经预处理的输入图像371、经预处理的参考图像372和参考图像172可以被应用到纹理提取器301。纹理提取器301可以以任何合适的方式进行纹理特征提取。
43.对于纹理特征的提取，当前主要的方法是将被处理的图像输入到预训练的分类模型(例如，计算机视觉中的vgg网络)中，来提取中间的一些浅层特征作为图像的纹理特征。然而，这种方式具有一些缺陷。首先，诸如vgg网络的分类模型的训练目标是以语义为导向的图像类别标签，其高层级的语义信息与低层级的纹理信息有着很大的差异。其次，对于不同的任务，所需要提取的纹理信息是有差别的，使用预训练好并且固定权重的vgg网络缺乏灵活性。
44.有鉴于此，在一些实现中，替代使用预训练的分类模型，可以实现可学习的纹理提取器301。可以利用神经网络(其在本文中也可以被称为第一神经网络)来实现纹理提取器301。例如，该神经网络可以是一个浅层的卷积神经网络，并且在纹理变换器220的训练过程中，也可以不断更新该神经网络的参数。以此方式，经训练的纹理提取器301可以更适于针对refsr任务的纹理特征提取，因而能够从参考图像和输入图像中捕获更准确的纹理特征。这样的纹理提取器能够提取到最适合图像生成任务的纹理信息，从而为后续的纹理搜索与迁移提供了良好的基础。这进而可以促进高质量结果的生成。下文将结合损失函数的设计来描述纹理提取器301的训练。
45.如图3所示，纹理提取器301可以生成表示纹理特征的特征图311、312、313。特征图311、312、313分别与经预处理的输入图像371、经预处理的参考图像372和参考图像172相对应。如果用lte表示纹理提取器301，并且分别用q、k和v表示特征图311、312和313，则提取纹理特征的过程可以被表达为：
46.q＝lte(lr
↑
)
ꢀꢀꢀ
(1)
47.k＝lte(ref
↓↑
)
ꢀꢀꢀ
(2)
48.v＝lte(ref)
ꢀꢀꢀꢀ
(3)
49.其中lte(
·
)表示纹理提取器301的输出。特征图311(其在本文中也可以被称为第一特征图)对应于查询q，其表示从低分辨率的输入图像(或经预处理的输入图像)提取的纹理特征，以用于纹理搜索；特征图312(其在本文中也可以被称为第二特征图)对应于键k，其表示从高分辨率的参考图像(或经预处理的参考图像)提取的纹理特征，以用于纹理搜索；
特征图313对应于值v，其表示从原始的参考图像提取的纹理特征，以用于纹理迁移。
50.输入图像171、参考图像172、经预处理的输入图像371以及经预处理的参考图像372中的每一个可以包括多个像素块。每个像素块可以包括一组像素，并且不同像素块之间可以具有重叠的像素。像素块可以是正方形(例如，包括3x3个像素)、长方形(例如，包括3x6个像素)或任何其他合适的形状。相应地，特征图311-313中的每一个可以包括多个特征块。每个特征块可以与像素块相对应，并且包括该像素块的纹理特征。例如，在图3的示例中，被表示为q的特征图311可以包括与经预处理的输入图像371中的多个像素块相对应的多个特征块。同样地，被表示为k的特征图312可以包括与经预处理的参考图像372中的多个像素块相对应的多个特征块；被表示为v的特征图313可以包括与原始的参考图像172中的多个像素块相对应的多个特征块。特征块可以与相对应的像素块具有相同的大小。
51.如图3所示，特征图311和特征图312可以由相关性嵌入模块302使用。相关性嵌入模块302可以被配置为通过估计作为查询q的特征图311与作为键k的特征图312之间的相似性来确定参考图像172与输入图像171之间按照纹理特征的相关性。具体地，相关性嵌入模块302可以从特征图311和特征图312中分别提取出特征块，然后以内积的方式计算特征图311和特征图312中的特征块两两之间的相关性。内积越大代表对应的两个特征块之间的相关性越强。相应地，可迁移的高频纹理特征就越多。反之，内积越小代表对应的两个特征块之间的相关性越弱。相应地，可迁移的高频纹理特征就越少。
52.在一些实现中，可以向特征图311和特征图312分别应用滑动窗，以确定所考虑的特征块。可以将来自特征图311的特征块(例如，区块patch)记为q
i
(i∈[1，h
lr
×
w
lr
])，并且将来自特征图312的特征块(例如，区块)记为k
j
(j∈[1，h
ref
×
w
ref
])，其中h
lr
×
w
lr
表示输入图像171中的像素块的数目，并且h
ref
×
w
ref
表示参考图像172中的像素块的数目。那么，任何一对特征块q
i
和k
j
之间相关度r
i，j
可以由归一化的特征块和的内积表示为：
[0053][0054]
作为示例，可以将具有与输入图像171中的像素块相同大小的滑动窗应用于特征图311，以定位特征图311中的特征块q
i
。对于给定特征块q
i
，可以将具有与参考图像172中的像素块相同大小的滑动窗应用于特征图312，以定位特征图312中的特征块k
j
。然后，可以基于式(4)来计算特征块q
i
和k
j
之间的相关度。以此方式，可以确定任何一对特征块q
i
和k
j
之间的相关度。
[0055]
相关性嵌入模块302可以进一步基于相关度来确定第一信息321。第一信息321也可以被称为硬注意力信息，并且在图3中被示例性地示出为硬注意力图h。第一信息321或硬注意力信息可以用于从参考图像172迁移纹理特征。例如，第一信息321可以用于从作为值v的特征图313中迁移参考图像172的纹理特征。传统的注意力机制针对每个特征块采用来自v的特征的加权和。然而，这种操作引起模糊效果，从而不能迁移高分辨率的纹理特征。因此，在本公开的注意力机制中，考虑按照像素块的局部相关性。
[0056]
例如，相关性嵌入模块302可以基于相关度r
i，j
来生成诸如图3所示的硬注意力图h。硬注意力图h中的第i个元素h
i
(i∈[1，h
lr
×
w
lr
])可以从下式来计算：
[0057][0058]
鉴于上文所提及的像素块与特征块之间的对应性，硬注意力图h中的第i个元素h
i
可以对应于输入图像171中的第i个像素块，并且h
i
的值可以表示参考图像172中按照纹理特征与第i个像素块最相关(即，相关度最高)的像素块的索引。例如，图3中所示的元素325的值为3，这表示输入图像171中左上角的像素块与参考图像中索引为3的像素块按照纹理特征最相关。
[0059]
因此，可以理解的是，针对输入图像171中的像素块，第一信息321所指示的是参考图像172中按照纹理特征最相关的像素块的位置。另外，尽管在以上示例中，第一信息321针对输入图像171中的每个像素块，指示了参考图像172中最相关的像素块，但这仅是示意性的。在一些实现中，第一信息321可以针对输入图像171中的一个或一些像素块指示参考图像172中最相关的像素块。
[0060]
相关性嵌入模块302可以进一步基于相关度来确定第二信息322。第二信息322也可以被称为软注意力信息，并且在图3中被示例性地示出为软注意力图s。第二信息322或软注意力信息可以用于对来自参考图像172的纹理特征进行加权以融合到输入图像171中。
[0061]
例如，相关性嵌入模块302可以基于相关度r
i，j
来生成诸如图3所示的软注意力图s。软注意力图s中的第i个元素s
i
可以从下式来计算：
[0062][0063]
可以理解，硬注意力图h中的第i个元素h
i
和软注意力图s中的第i个元素s
i
相对应。鉴于上文所提及的像素块与特征块之间的对应性，软注意力图s中的第i个元素s
i
可以对应于输入图像171中的第i个像素块，并且s
i
的值可以表示输入图像171中的第i个像素块与参考图像172中索引为h
i
的像素块之间的相关度。例如，图3中所示的元素326的值为0.4，这表示输入图像171中左上角的像素块与参考图像172中索引为3(如硬注意力图h所指示)的像素块的相关度是0.4。
[0064]
硬注意力模块303可以被配置为基于第一信息321和参考图像172的特征图313来确定迁移特征图314。迁移特征图314可以被表示为t。迁移特征图314的每个特征块对应于输入图像171中的一个像素块，并且包括与该像素块最相关的参考图像172中的像素块的纹理特征(例如，特别是高频纹理特征)。迁移特征图314的分辨率可以与纹理变换器220所对应的分辨率尺度相关。在与目标分辨率相对应的纹理变换器220-1中，迁移特征图314具有目标分辨率。在纹理迁移子系统210包括堆叠式纹理变换器的实现中，在与第一分辨率相对应的纹理变换器220-2中，迁移特征图314可以具有第一分辨率；在与第二分辨率相对应的纹理变换器220-3中，迁移特征图314可以具有第二分辨率。
[0065]
作为示例，为了获得包括从参考图像172中迁移的纹理特征的迁移特征图314，可以使用硬注意力信息321作为索引，对特征图313的特征块应用索引选择操作。例如，被表示为t的迁移特征图314中的第i个特征块的值可以从下式计算：
[0066][0067]
其中t
i
表示t中的第i个特征块的值，其是被表示为v的特征图313中索引为h
i
的特征块的值。应当理解，特征图313中索引为h
i
的特征块表示参考图像172中索引为h
i
的像素块的特征。因此，迁移特征图314中的第i个特征块包括参考图像172中索引为h
i
的像素块的特征。
[0068]
以上描述了生成迁移特征图314和第二信息322的示例过程。如图3所示，骨干子系统230可以向纹理变换器220提供针对输入图像171的特征图315。可以被表示为f的特征图315至少包括输入图像171的图像特征，包括但不限于颜色特征、纹理特征、形状特征、空间关系特征等。在一些实现中，特征图315可以包括输入图像171的图像特征。例如，骨干子系统230可以利用经训练的神经网络(其在本文中也可以被称为第二神经网络)来提取原始的输入图像171的图像特征，并且馈送到纹理变换器220作为特征图315。在一些实现中，除了输入图像171的图像特征之外，特征图315还可以包括从参考图像172迁移的纹理特征。例如，在纹理迁移子系统210包括堆叠式纹理变换器的实现中，特征图315还可以包括由另一纹理变换器在另一分辨率下从参考图像172迁移的纹理特征。例如，纹理变换器220-2输出的合成特征图可以在被变换到目标分辨率后提供给纹理变换器220-1作为特征图315。下文还将参考图4来描述这种实现。
[0069]
在一些实现中，软注意力模块304可以直接将第二信息322(例如，所示的软注意力图s)应用到迁移特征图314。然后，应用了第二信息322的迁移特征图314可以被融合到特征图315中以生成合成特征图316。
[0070]
在一些实现中，如图3所示，来自骨干子系统230的特征图315可以被馈送到软注意力模块304。替代直接将第二信息322应用到迁移特征图314，软注意力模块304可以将第二信息322应用到迁移特征图314和特征图315的组合，作为软注意力模块304的输出。软注意力模块304的输出可以进一步被添加到来自骨干子系统230的特征图315，以生成合成特征图316作为纹理变换器220的输出。以此方式，可以更好地利用输入图像171的图像特征。
[0071]
作为示例，基于特征图315(被表示为f)、迁移特征图314(被表示为t)和软注意力图s来生成合成特征图316的上述操作可以被表示为：
[0072]
f
out
＝f conv(concat(f，t))
⊙
s
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0073]
其中f
out
表示合成特征图316。conv和concat分别表示卷积层和按通道拼接(concatenate)操作。x
⊙
y表示图x和y之间的逐元素相乘。
[0074]
从以上可以看出，由软注意力图s指示的相关度作为权重被应用到图像特征和迁移的纹理特征的组合。以此方式，参考图像172中相关性强的纹理特征可以被赋予相对大的权重，并且从而被增强；同时，参考图像172中相关性弱的纹理特征可以被赋予相对小的权重，并且从而被抑制。相应地，最终获得的输出图像180将倾向于体现参考图像172中相关性强的纹理特征。
[0075]
以上参考图3描述了根据本公开的一些实现的纹理变换器。在这种纹理变换器中，利用了包括硬注意力和软注意力的多级注意力机制。利用硬注意力机制可以使纹理特征的迁移局部化，并且利用软注意力机制可以使局部化的纹理特征被更准确、更有针对性地利用。因此，利用了多级注意力机制的纹理变换器能够高效且准确地从参考图像将相关的纹
理特征迁移到低分辨率的输入图像。在一些实现中，可学习的纹理提取器301可以更准确地提取参考图像和输入图像的纹理特征，从而进一步促进图像超分辨率的准确性。
[0076]
如图3所示，由纹理变换器220生成的合成特征图316可以被提供给骨干子系统230。在纹理迁移子系统210包括一个纹理变换器220-1的实现中，骨干子系统230中的第二神经网络(例如，卷积神经网络)可以将合成特征图316处理成输出图像180。在纹理迁移子系统210包括堆叠式纹理变换器的实现中，骨干子系统230可以融合不同纹理变换器生成的合成特征图。下面将参考图4来描述这种实现的示例。
[0077]
以上主要在超分辨率任务的上下文中描述了本公开。然而，应当理解，根据本公开的图像处理方案并不限于超分辨率任务。例如，在目标分辨率等于或低于输入图像的原始分辨率的情况下，也可以使用以上描述的纹理变换器来从参考图像中迁移纹理特征。
[0078]
跨尺度特征整合
[0079]
如前文所提及的，在纹理迁移子系统210包括堆叠式纹理变换器的实现中，骨干子系统230可以实现跨尺度特征整合。图4示出了根据本公开的一些实现的跨尺度特征整合的示意性框图400。如图4所示，纹理迁移子系统210可以包括堆叠式纹理变换器220-1、220-2和220-3。纹理变换器220-1可以对应于目标分辨率，即，纹理变换器220-1可以在目标分辨率的尺度下迁移参考图像172的纹理特征。如此，由纹理变换器220-1生成的合成特征图441可以具有目标分辨率。纹理变换器220-2可以对应于低于目标分辨率的第一分辨率，即，纹理变换器220-2可以在第一分辨率的尺度下迁移参考图像172的纹理特征。如此，由纹理变换器220-2生成的合成特征图421可以具有第一分辨率。纹理变换器220-3可以对应于低于第一分辨率的第二分辨率，即，纹理变换器220-3可以在第二分辨率的尺度下迁移参考图像172的纹理特征。如此，由纹理变换器220-3生成的合成特征图411可以具有第二分辨率。
[0080]
在图4的示例中，目标分辨率旨在将输入图像171放大4倍(4x)，第一分辨率旨在将输入图像171放大2倍(2x)，并且第二分辨率为输入图像171的原始分辨率(1x)。
[0081]
如前文所提及的，骨干子系统230可以包括第二神经网络，以提取输入图像171的图像特征和处理纹理变换器220所生成的合成特征图316。在一些实现中，该第二神经网络可以包括残差网络。残差网络的使用能够通过增加网络深度来提高图像处理的准确性。残差网络一般可以包括多个残差块(rb)。图4示出了骨干子系统230所包括的多个残差块450。
[0082]
如图4所示，在一些实现中，骨干子系统230还可以包括csfi模块460，其被配置为交换不同分辨率尺度下的特征信息。csfi模块460可以融合不同分辨率尺度下的合成特征图。对于每个分辨率尺度，csfi模块460可以将其他分辨率尺度下的合成特征图变换到该分辨率(例如，上采样或下采样)，然后将来自其他分辨率尺度的经变换的合成特征图与该分辨率尺度下的合成特征图在通道维度上进行拼接操作，以获得该分辨率尺度下的新的合成特征图。接下来，卷积层(例如，残差块450)可以将该新的合成特征图映射到原始数目的通道。
[0083]
下面参考图4来描述特征整合的示例过程。骨干子系统230(例如，骨干子系统230的第二神经网络)可以处理具有第二分辨率(即，输入图像171的原始分辨率)的输入图像171，以获得包括输入图像171的图像特征的特征图(未示出)。该特征图可以被提供给对应于第二分辨率的纹理变换器220-3作为如图3所示的特征图f。纹理变换器220-3进而可以生成具有第二分辨率的合成特征图411。如此，合成特征图411可以包括输入图像的图像特征
和在第二分辨率的尺度下从参考图像172迁移的纹理特征。
[0084]
残差块450可以处理合成特征图411，以获得经更新的合成特征图412。该合成特征图412可以被变换到第一分辨率，例如通过上采样或像素重组(pixel shuffle)。经变换的合成特征图412可以被提供给对应于第一分辨率的纹理变换器220-2作为如图3所示的特征图f。纹理变换器220-2进而可以生成具有第一分辨率的合成特征图421。如此，合成特征图421可以包括输入图像的图像特征、在第二分辨率的尺度下从参考图像172迁移的纹理特征以及在第一分辨率的尺度下从参考图像172迁移的纹理特征。
[0085]
csfi模块460可以将具有第一分辨率的合成特征图421下采样至第二分辨率，并且将经下采样的合成特征图421与具有第二分辨率的合成特征图412组合(例如，在通道维度上拼接)成新的合成特征图413。残差块450可以处理合成特征图413，例如向合成特征图413应用一个或多个卷积操作，以获得映射到原始数目的通道的合成特征图414。
[0086]
同样地，csfi模块460可以将具有第二分辨率的合成特征图412上采样至第一分辨率，并且将经上采样的合成特征图412与具有第一分辨率的合成特征图421组合(例如，在通道维度上拼接)成新的合成特征图422。残差块450可以处理合成特征图422，例如向合成特征图422应用一个或多个卷积操作，以获得映射到原始数目的通道的合成特征图423。
[0087]
与合成特征图412类似，合成特征图423可以被变换到目标分辨率，例如通过上采样或像素重组。经变换的合成特征图423可以被提供给对应于目标分辨率的纹理变换器220-1作为如图3所示的特征图f。纹理变换器220-1进而可以生成具有目标分辨率的合成特征图441。如此，合成特征图441可以包括输入图像的图像特征、在第二分辨率的尺度下从参考图像172迁移的纹理特征、在第一分辨率的尺度下从参考图像172迁移的纹理特征以及在目标分辨率的尺度下从参考图像172迁移的纹理特征。
[0088]
如图4所示，csfi模块460可以将具有目标分辨率的合成特征图441、上采样至目标分辨率的合成特征图423、以及上采样至目标分辨率的合成特征图414组合(例如，在通道维度上拼接)成新的合成特征图442。残差块450可以处理合成特征图442，例如向合成特征图442应用一个或多个卷积操作，以获得映射到原始数目的通道的合成特征图443。
[0089]
同样地，csfi模块460可以将具有第一分辨率的合成特征图423、上采样至第一分辨率的合成特征图414、以及下采样至第一分辨率的合成特征图441组合(例如，在通道维度上拼接)成新的合成特征图424。残差块450可以处理合成特征图424，例如向合成特征图424应用一个或多个卷积操作，以获得映射到原始数目的通道的合成特征图425。
[0090]
同样地，csfi模块460可以将具有第二分辨率的合成特征图414、下采样至第二分辨率的合成特征图423、以及下采样至第二分辨率的合成特征图441组合(例如，在通道维度上拼接)成新的合成特征图415。残差块450可以处理合成特征图415，例如向合成特征图415应用一个或多个卷积操作，以获得映射到原始数目的通道的合成特征图416。
[0091]
骨干子系统230进而可以组合具有目标分辨率的合成特征图443、具有第一分辨率的合成特征图425和具有第二分辨率的合成特征图416，以获得输出图像180。例如，合成特征图443、上采样至目标分辨率的合成特征图425以及上采样至目标分辨率的合成特征图416可以按通道拼接，然后被卷积，以得出最终的输出图像180。
[0092]
在这种实现中，从堆叠式纹理变换器迁移的纹理特征可以跨不同分辨率尺度而交换。以此方式，不同粒度的参考图像特征可以被融合到不同的尺度，从而增强网络的特征表
达能力。因此，跨尺度特征整合可以在多级注意力机制的基础上进一步提高输出图像的质量。此外，还应当理解，跨尺度特征整合可以在不显著增加参数量和计算量的情况下，实现更强大的特征表达。例如，在一些实现中，注意力信息可以在一个纹理变换器中被计算一次，然后在所有纹理变换器间共享。
[0093]
应当理解，图4中所示的多个分辨率尺度仅是为了说明，而无意限制本公开的范围。此外，还应当理解，纹理迁移子系统210还可以包括更多或更少数目的(例如，两个)纹理变换器。
[0094]
训练损失函数
[0095]
下面描述根据本公开的实现的用于图像处理的系统200的训练。在训练过程中所使用的输入图像和参考图像可以分别被称为训练输入图像和训练参考图像。与训练输入图像相对应的真实的高分辨率图像可以被称为地面真值(ground truth)图像，并且训练过程中系统200输出的图像可以被称为训练输出图像。
[0096]
用于训练系统200的损失函数可以包括三个部分，分别是重建损失函数、对抗训练损失函数和感知损失函数。例如，总的损失函数可以由下式表达：
[0097][0098]
其中和分别是重建损失函数、对抗训练损失函数和感知损失函数。
[0099]
重建损失函数可以表示为：
[0100][0101]
其中i
sr
表示对训练输入图像进行超分辨率的结果，即训练输出图像；i
hr
表示地面真值图像；(c，h，w)是地面真值图像的尺寸。
[0102]
在该示例中，选择l1作为重建损失函数。相对于l2，l1可以得到更加清晰的输出图像。重建损失函数通过要求输出图像逐像素与输入图像一致来保证输出图像与输入图像之间的同一性(identity)。
[0103]
生成式对抗网络已经被证明在生成清晰且视觉上真实的图像方面是有效的。用于生成式对抗网络的对抗训练损失函数可以包括由式(11)和(12)表示的两个部分：
[0104][0105][0106]
其中g表示系统200所包括的网络。d是为了训练g而引入的判别器网络，其目标在
于将网络g的输出与真实图像区分开。可以交替地训练网络g和d，使得网络d无法区分网络g的输出(即，训练输出图像)与真实图像。指示是网络g的输出图像(即，训练输出图像)并且的分布为表示由网络d确定的是真实图像的概率。由此，式(11)和(12)中均包括的项表示由网络d确定的训练输出图像是真实图像的期望。指示x是真实图像并且x的分布是d(x)表示由网络d确定的x是真实图像的概率。由此，式(11)中的项表示由网络d确定的x是真实图像的期望。式(11)中的项表示梯度惩罚，其中分布是基于分布和确定的，指示是服从分布的图像，并且表示网络d在处的梯度。
[0107]
对抗训练损失函数要求输出图像与输入图像分布一致，进而能生成更加清晰、真实的纹理。因此，对抗训练损失函数可以使得输出图像的视觉效果足够真实。
[0108]
感知损失函数是施加在特定的预训练网络的特征空间中的一种特殊的“重建损失”。感知损失函数有利于生成更加清晰、真实的纹理。在一些实现中，感知损失函数可以包括如下式所示的两个部分：
[0109][0110]
式(13)所示的感知损失函数的第一部分是传统的感知损失，其中表示vgg19的第i层的特征图，而(c
i
，h
i
，w
i
)表示该层的特征图的形状。i
sr
表示训练输出图像；i
hr
表示地面真值图像。
[0111]
式(13)所示的感知损失函数的第二部分是迁移感知损失，其针对纹理特征提取任务被设计。表示从纹理提取器(lte)301的第j层提取的纹理特征图，而(c
j
，h
j
，w
j
)表示该层的形状。t表示图3中所示的迁移特征图314。
[0112]
具体地，在训练过程中，可以将训练参考图像和训练输入图像应用到纹理提取器301，以生成训练中的迁移特征图t。可以将所获得的训练输出图像应用到纹理提取器301的第j层，以生成第j层的纹理特征图然后，可以与常规感知损失函数类似地进行训练。
[0113]
这种迁移感知损失函数将输出图像约束为具有与迁移的纹理特征相似的纹理特
征。因此，迁移感知损失函数的使用可以促进更有效地迁移参考图像中的纹理。
[0114]
应当理解，在实现中，可以根据需求使用以上描述的重建损失函数、对抗训练损失函数和感知损失函数中的一项或多项。例如，在期望获得视觉质量更好的输出图像的实现中，可以使用对抗训练损失函数。在对输出图像的峰值信噪比(psnr)和结构相似性(ssim)有要求的实现中，可以不使用对抗训练损失函数。在一些实现中，也可以仅使用重建损失函数。
[0115]
图5示出了根据本公开一些实现的用于图像处理的方法500的流程图。方法500可以由计算设备100来实现，例如可以被实现在计算设备100的存储器120中的图像处理模块122处。
[0116]
如图5所示，在框510处，计算设备100基于输入图像和参考图像的纹理特征来确定第一信息和第二信息。第一信息至少指示参考图像中按照纹理特征与输入图像中的第一像素块最相关的第二像素块，并且第二信息至少指示第一像素块与第二像素块的相关度。在框520处，计算设备100基于第一信息和参考图像，确定具有目标分辨率的迁移特征图。迁移特征图包括与第一像素块相对应的特征块并且特征块包括第二像素块的纹理特征。在框530处，计算设备100基于迁移特征图和第二信息，将输入图像变换成具有目标分辨率的输出图像。输出图像体现参考图像的纹理特征。
[0117]
在一些实现中，确定第一信息和第二信息包括：通过将参考图像和输入图像应用到经训练的第一神经网络，生成表示输入图像的纹理特征的第一特征图和表示参考图像的纹理特征的第二特征图；以及基于第一特征图和第二特征图，确定第一信息和第二信息。
[0118]
在一些实现中，确定第一信息和第二信息包括：针对第一特征图中与第一像素块相对应的第一特征块，确定第一特征块与第二特征图中的多个特征块的相关度；从多个特征块中选择与第一特征块的相关度最高的第二特征块；基于第一像素块和参考图像中与第二特征块相对应的第二像素块，确定第一信息；以及基于第二特征块与第一特征块的相关度，确定第二信息。
[0119]
在一些实现中，将参考图像和输入图像应用到第一神经网络包括：通过以预定因子对输入图像进行上采样，来预处理输入图像；通过以预定因子对参考图像顺序进行下采样和上采样，来预处理参考图像；以及将经预处理的输入图像和经预处理的参考图像应用到第一神经网络。
[0120]
在一些实现中，将输入图像变换成输出图像包括：获得针对输入图像的具有第一分辨率的第一合成特征图，第一分辨率低于目标分辨率，并且第一合成特征图包括输入图像的图像特征和从参考图像迁移的纹理特征；将第一合成特征图变换到目标分辨率；基于第二信息、迁移特征图和经变换的第一合成特征图，生成针对输入图像的具有目标分辨率的第二合成特征图；以及基于第二合成特征图，确定输出图像。
[0121]
在一些实现中，基于第二合成特征图确定输出图像包括：将第二合成特征图和经变换的第一合成特征图组合成具有目标分辨率的第三合成特征图；将第二合成特征图变换到第一分辨率；将第一合成特征图和经变换的第二合成特征图组合成具有第一分辨率的第四合成特征图；以及基于第三合成特征图和第四合成特征图，确定输出图像。
[0122]
在一些实现中，输入图像具有比第一分辨率低的第二分辨率，并且获得第一合成特征图包括：利用第二神经网络提取输入图像的图像特征；基于第一信息、第二信息和图像
特征，生成针对输入图像的具有第二分辨率的第五合成特征图，第五合成特征图包括从参考图像迁移的纹理特征；将第五合成特征图变换到第一分辨率；以及基于经变换的第五合成特征图，确定第一合成特征图。
[0123]
在一些实现中，方法500还可以包括：基于训练参考图像、训练输入图像和第一神经网络，确定训练迁移特征图；通过将具有目标分辨率的训练输出图像应用到第一神经网络，生成表示训练输出图像的纹理特征的第三特征图；以及通过最小化训练迁移特征图与第三特征图之间的差异来训练第一神经网络。
[0124]
基于以上描述能够看出，根据本公开的实现的图像处理方案能够使纹理特征的搜索和迁移更加准确，从而能够减少纹理模糊和纹理失真。另外，还通过跨不同分辨率尺度的特征整合来增强特征表达能力得，以促进生成更加真实的图像。
[0125]
以下列出了本公开的一些示例实现方式。
[0126]
在一方面，本公开提供了一种计算机实现的方法。所述方法包括：基于输入图像和参考图像的纹理来确定第一信息和第二信息，所述第一信息至少指示所述参考图像中按照纹理特征与所述输入图像中的第一像素块最相关的第二像素块，并且所述第二信息至少指示所述第一像素块与所述第二像素块的相关度；基于所述第一信息和所述参考图像，确定具有目标分辨率的迁移特征图，所述迁移特征图包括与所述第一像素块相对应的特征块并且所述特征块包括所述第二像素块的纹理特征；以及基于所述迁移特征图和所述第二信息，将所述输入图像变换成具有所述目标分辨率的输出图像，所述输出图像体现所述参考图像的纹理特征。
[0127]
在一些实现中，确定所述第一信息和所述第二信息包括：通过将所述参考图像和所述输入图像应用到经训练的第一神经网络，生成表示所述输入图像的纹理特征的第一特征图和表示所述参考图像的纹理特征的第二特征图；以及基于所述第一特征图和所述第二特征图，确定所述第一信息和所述第二信息。
[0128]
在一些实现中，确定所述第一信息和所述第二信息包括：针对所述第一特征图中与所述第一像素块相对应的第一特征块，确定所述第一特征块与所述第二特征图中的多个特征块的相关度；从所述多个特征块中选择与所述第一特征块的所述相关度最高的第二特征块；基于所述第一像素块和所述参考图像中与所述第二特征块相对应的所述第二像素块，确定所述第一信息；以及基于所述第二特征块与所述第一特征块的所述相关度，确定所述第二信息。
[0129]
在一些实现中，将所述参考图像和所述输入图像应用到所述第一神经网络包括：通过以预定因子对所述输入图像进行上采样，来预处理所述输入图像；通过以所述预定因子对所述参考图像顺序进行下采样和上采样，来预处理所述参考图像；以及将经预处理的所述输入图像和经预处理的所述参考图像应用到所述第一神经网络。
[0130]
在一些实现中，将所述输入图像变换成所述输出图像包括：获得针对所述输入图像的具有第一分辨率的第一合成特征图，所述第一分辨率低于所述目标分辨率，并且所述第一合成特征图包括所述输入图像的图像特征和从所述参考图像迁移的纹理特征；将所述第一合成特征图变换到所述目标分辨率；基于所述第二信息、所述迁移特征图和经变换的所述第一合成特征图，生成针对所述输入图像的具有所述目标分辨率的第二合成特征图；以及基于所述第二合成特征图，确定所述输出图像。
[0131]
在一些实现中，基于所述第二合成特征图确定所述输出图像包括：将所述第二合成特征图和经变换的所述第一合成特征图组合成具有所述目标分辨率的第三合成特征图；将所述第二合成特征图变换到所述第一分辨率；将所述第一合成特征图和经变换的所述第二合成特征图组合成具有所述第一分辨率的第四合成特征图；以及基于所述第三合成特征图和所述第四合成特征图，确定所述输出图像。
[0132]
在一些实现中，所述输入图像具有比所述第一分辨率低的第二分辨率，并且获得所述第一合成特征图包括：利用第二神经网络提取所述输入图像的所述图像特征；基于所述第一信息、所述第二信息和所述图像特征，生成针对所述输入图像的具有所述第二分辨率的第五合成特征图，所述第五合成特征图包括从所述参考图像迁移的纹理特征；将所述第五合成特征图变换到所述第一分辨率；以及基于经变换的所述第五合成特征图，确定所述第一合成特征图。
[0133]
在一些实现中，所述第二神经网络包括残差网络。
[0134]
在另一方面，本公开提供了一种电子设备。所述电子设备包括：处理单元；以及存储器，耦合至所述处理单元并且包含存储于其上的指令，所述指令在由所述处理单元执行时，使得所述设备执行动作，所述动作包括：基于输入图像和参考图像来确定第一信息和第二信息，所述第一信息至少指示所述参考图像中按照纹理特征与所述输入图像中的第一像素块最相关的第二像素块，并且所述第二信息至少指示所述第一像素块与所述第二像素块的相关度；基于所述第一信息和所述参考图像，生成具有目标分辨率的迁移特征图，所述迁移特征图包括与所述第一像素块相对应的特征块并且所述特征块包括所述第二像素块的纹理特征；以及基于所述迁移特征图和所述第二信息，将所述输入图像变换成具有所述目标分辨率的输出图像，所述输出图像体现所述参考图像的纹理特征。
[0135]
在一些实现中，确定所述第一信息和所述第二信息包括：通过将所述参考图像和所述输入图像应用到经训练的第一神经网络，生成表示所述输入图像的纹理特征的第一特征图和表示所述参考图像的纹理特征的第二特征图；以及基于所述第一特征图和所述第二特征图，确定所述第一信息和所述第二信息。
[0136]
在一些实现中，确定所述第一信息和所述第二信息包括：针对所述第一特征图中与所述第一像素块相对应的第一特征块，确定所述第一特征块与所述第二特征图中的多个特征块的相关度；从所述多个特征块中选择与所述第一特征块的所述相关度最高的第二特征块；基于所述第一像素块和所述参考图像中与所述第二特征块相对应的所述第二像素块，确定所述第一信息；以及基于所述第二特征块与所述第一特征块的所述相关度，确定所述第二信息。
[0137]
在一些实现中，将所述参考图像和所述输入图像应用到所述第一神经网络包括：通过以预定因子对所述输入图像进行上采样，来预处理所述输入图像；通过以所述预定因子对所述参考图像顺序进行下采样和上采样，来预处理所述参考图像；以及将经预处理的所述输入图像和经预处理的所述参考图像应用到所述第一神经网络。
[0138]
在一些实现中，将所述输入图像变换成所述输出图像包括：获得针对所述输入图像的具有第一分辨率的第一合成特征图，所述第一分辨率低于所述目标分辨率，并且所述第一合成特征图包括所述输入图像的图像特征和从所述参考图像迁移的纹理特征；将所述第一合成特征图变换到所述目标分辨率；基于所述第二信息、所述迁移特征图和经变换的
所述第一合成特征图，生成针对所述输入图像的具有所述目标分辨率的第二合成特征图；以及基于所述第二合成特征图，确定所述输出图像。
[0139]
在一些实现中，基于所述第二合成特征图确定所述输出图像包括：将所述第二合成特征图和经变换的所述第一合成特征图组合成具有所述目标分辨率的第三合成特征图；将所述第二合成特征图变换到所述第一分辨率；将所述第一合成特征图和经变换的所述第二合成特征图组合成具有所述第一分辨率的第四合成特征图；以及基于所述第三合成特征图和所述第四合成特征图，确定所述输出图像。
[0140]
在一些实现中，所述输入图像具有比所述第一分辨率低的第二分辨率，并且获得所述第一合成特征图包括：利用第二神经网络提取所述输入图像的所述图像特征；基于所述第一信息、所述第二信息和所述图像特征，生成针对所述输入图像的具有所述第二分辨率的第五合成特征图，所述第五合成特征图包括从所述参考图像迁移的纹理特征；将所述第五合成特征图变换到所述第一分辨率；以及基于经变换的所述第五合成特征图，确定所述第一合成特征图。
[0141]
在一些实现中，方法还包括基于训练参考图像、训练输入图像和所述第一神经网络，确定训练迁移特征图；通过将具有所述目标分辨率的训练输出图像应用到所述第一神经网络，生成表示所述训练输出图像的纹理特征的第三特征图；以及通过最小化所述训练迁移特征图与所述第三特征图之间的差异来训练所述第一神经网络。
[0142]
在又一方面，本公开提供了一种计算机程序产品，计算机程序产品被有形地存储在非瞬态计算机存储介质中并且包括机器可执行指令，机器可执行指令在由设备执行时使设备执行上述方面的方法。
[0143]
在又一方面，本公开提供了一种计算机可读介质，其上存储有机器可执行指令，机器可执行指令在由设备执行时使设备执行上述方面的方法。
[0144]
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)等等。
[0145]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0146]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0147]
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实现的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
[0148]
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。