一种图像的超分辨率方法、系统及相关装置与流程

1.本技术涉及图像处理领域，特别涉及一种图像的超分辨率方法、系统及相关装置。


背景技术：

2.超分辨率(super resolution，sr)是从给定的低分辨率(lr)图像中恢复高分辨率(hr)图像的过程，是计算机视觉的一个经典应用。sr是指通过软件或硬件的方法，从观测到的低分辨率图像重建出相应的高分辨率图像(说白了就是提高分辨率)，在监控设备、卫星图像遥感、数字高清、显微成像、视频编码通信、视频复原和医学影像等领域都有重要的应用价值。现在的神经网络普遍很深，通道很多，比如像vgg，resne等这些模型参数量巨大，推理过程需要大量的存储空间、计算量以及较高的访存带宽，给部署过程带来严重的挑战。


技术实现要素：

3.本技术的目的是提供一种图像的超分辨率方法、系统、计算机可读存储介质和电子设备，能够输出任意尺度的超分辨率图像。
4.为解决上述技术问题，本技术提供一种图像的超分辨率方法，具体技术方案如下：
5.获取目标图像和目标图像尺度；
6.对所述目标图像进行低倍数的随机下采样，得到所述低分辨率图像；
7.利用卷积网络处理所述低分辨率图像得到浅层特征，利用残差稠密层融合所述低分辨率图像的所有所述浅层特征，得到深层特征；
8.通过全局残差学习结合所述浅层特征和深层特征，得到所述低分辨率的全局密集特征；
9.将所述目标图像尺度和所述全局密集特征输入隐图像模型，输出对应的超分辨率图像。
10.可选的，根据所述目标图像尺度输入隐图像模型，得到对应的超分辨率图像之前，还包括：
11.利用图像数据集进行特征训练，得到所述隐图像模型。
12.可选的，所述利用图像数据集进行特征训练，得到所述隐图像模型包括：
13.获取图像数据集，对所述图像数据集中的目标图像进行随机下采样，得到2倍、3倍和4倍下的低分辨率图像，将低分辨率图像和高分辨率图像两两一组作为训练集合；
14.对低分辨率图像经过特征提取模块得到和输入图像大小相同的低分辨率特征图；
15.将所述低分辨特征图和对应的坐标信息通过隐图像层进行上采样得到超分辨图像；
16.对所述超分辨率图像和所述目标图像计算l1损失，并利用所述l1损失反向更新编码器和所述隐图像层，得到所述隐图像模型。
17.可选的，将所述目标图像尺度和所述全局密集特征输入隐图像模型，输出对应的超分辨率图像包括：
18.将所述目标图像尺度和所述全局密集特征输入隐图像模型；
19.根据所述目标图像尺度得到对应超分辨率的像素信息；
20.利用正弦周期激活层将包含连续图像域坐标信息的所述全局密集特征从二维空间映射至rgb空间；
21.利用所述全局密集特征的左上、右上、左下、右下四个隐特征构成的矩形和损失函数对所述全局密集特征计算，输出对应的超分辨率图像。
22.可选的，所述正弦周期激活层由正弦线性层构成，每个所述正弦线性层由线性层和正选函数构成，并包含预设固定参数，各所述正弦线性层通过序列式相连接。
23.可选的，若目标正弦线性层不为最后一层，则所述目标正弦线性层中的目标线性层的参数输出以第一均匀分布中抽样数值填充；
24.若目标正弦线性层为最后一层，所述目标正弦线性层中的目标线性层的参数输出以第二均匀分布中抽样数值填充。
25.可选的，所述损失函数为其中，xi为低分辨图像，yi为对应的目标图像，g为所述隐图像模型。
26.本技术还提供一种图像的超分辨率系统，包括：
27.获取模块，用于获取目标图像和目标图像尺度；
28.下采样模块，用于对所述目标图像进行低倍数的随机下采样，得到所述低分辨率图像；
29.特征提取模块，用于利用卷积网络处理所述低分辨率图像得到浅层特征，利用残差稠密层融合所述低分辨率图像的所有所述浅层特征，得到深层特征；
30.特征学习模块，用于通过全局残差学习结合所述浅层特征和深层特征，得到所述低分辨率的全局密集特征；
31.图像输出模块，用于将所述目标图像尺度和所述全局密集特征输入隐图像模型，输出对应的超分辨率图像。
32.本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。
33.本技术还提供一种电子设备，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上所述的方法的步骤。
34.本技术提供一种图像的超分辨率方法，包括：获取目标图像和目标图像尺度；对所述目标图像进行低倍数的随机下采样，得到所述低分辨率图像；利用卷积网络处理所述低分辨率图像得到浅层特征，利用残差稠密层融合所述低分辨率图像的所有所述浅层特征，得到深层特征；通过全局残差学习结合所述浅层特征和深层特征，得到所述低分辨率的全局密集特征；将所述目标图像尺度和所述全局密集特征输入隐图像模型，输出对应的超分辨率图像。
35.本技术利用卷积网络和残差网络对图像进行表征提取，再利用隐图像模型进行处理，隐图像模块相较于mlp relu或其他结构而言，收敛速度更快，往往只需要在gpu上花费几秒钟，即可获得高保真的图像重构效果，因此本技术可以将输入的图像转换成指定尺寸下的超分辨率图像。
36.本技术还提供一种图像的超分辨率系统、计算机可读存储介质和电子设备，具有上述有益效果，此处不再赘述。
附图说明
37.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
38.图1为本技术实施例所提供的一种图像的超分辨率方法的流程图；
39.图2为本技术实施例所提供的特征提取采用的结构以及其中残差稠密层的结构示意图；
40.图3为本技术实施例所提供的一种图像的超分辨率系统结构示意图。
具体实施方式
41.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
42.请参考图1，图1为本技术实施例所提供的一种图像的超分辨率方法的流程图，具体方案包括：
43.s101：获取目标图像和目标图像尺度；
44.s102：对所述目标图像进行低倍数的随机下采样，得到所述低分辨率图像；
45.s103：利用卷积网络处理所述低分辨率图像得到浅层特征，利用残差稠密层融合所述低分辨率图像的所有所述浅层特征，得到深层特征；
46.s104：通过全局残差学习结合所述浅层特征和深层特征，得到所述低分辨率的全局密集特征；
47.s105：将所述目标图像尺度和所述全局密集特征输入隐图像模型，输出对应的超分辨率图像。
48.为了更好的描述上述过程，下文先针对如何得到隐图像模型进行说明，本实施例仅要求在步骤s105执行前生成或者获取到隐图像模型即可。具体的，需要利用图像数据集进行特征训练，得到隐图像模型。其过程具体如下：
49.第一步、获取图像数据集，对所述图像数据集中的目标图像进行随机下采样，得到2倍、3倍和4倍下的低分辨率图像，将低分辨率图像和高分辨率图像两两一组作为训练集合；
50.第二步、对低分辨率图像经过特征提取模块得到和输入图像大小相同的低分辨率特征图；
51.第三步、将所述低分辨特征图和对应的坐标信息通过隐图像层进行上采样得到超分辨图像；
52.第四步、对所述超分辨率图像和所述目标图像计算l1损失，并利用所述l1损失反
向更新编码器和所述隐图像层，得到所述隐图像模型。
53.在第二步进行图像特征提取时，输入一个低分辨图像，获得低分辨图像的特征图，低分辨图像通过第一个卷积网络获得浅层特征，再逐步地利用一个残差稠密层来自适应地融合低分辨率图像所有的层次特征，最后通过全局的残差学习将原始的低分辨率图像的浅层特征和深层特征结合在一起，得到全局密集特征。参见图2，图2为本技术实施例所提供的特征提取采用的结构以及其中残差稠密层的结构示意图。
54.在第三步中，每个连续图像ii可以表示为二维特征形式mi∈r
h*w*d
，那么超分辨率图像可以表示为s＝f(z,[x,c])，其中z为图像表征向量，x表示连续图像域坐标，c＝[ch，cw]表示包含像素的宽高信息，s就是预测信号(也就是rgb值)，f(z，.)可以表示为连续图像，具体是一种正弦周期激活层，它将坐标映射到rgb空间。
[0055]
在mi的h*w的特征向量均匀的分布在连续图像域的二维空间，对于图像其中表示mi中距离xq最近的隐特征，那么t中的(00，01，10，11)分别表示离xq最近的左上、右上、左下、右下四个隐特征u
*
表示隐特征对应的坐标，s
t
表示xq与之间构成的矩形面积并进行了归一化。
[0056]
其中连续图像f(z，.)采用的正弦周期激活层，由正弦线性层组成。每个正弦线性层由线性层和正弦函数组成，再与预设固定参数omega相乘，公式表示为sin(omega*linear(x))。
[0057]
其中正弦线性层中的线性层linear需要特定的参数初始化，如果正弦线性层不在最后一层，则其中的线性层的参数初始化需要在以均匀分布中抽样数值进行填充。如果在最后一层，在以均匀分布中抽样数值其中in_features为输入的特征长度，omega为固定参数。
[0058]
在构建好正弦线性层后以序列式连接在一起，也就是上一层的输出就是下一层的输入，由此构成正弦周期激活层。上述隐图像模型的损失函数，具体为：
[0059][0060]
其中，xi为低分辨图像，yi为对应的高分辨率原图，g为本发明的超分辨率模型。l1损失用于反向更新编码器和隐图像层，该编码器指编码过程采用的编码器。
[0061]
在进行图像的超分辨率处理过程中，先获取目标图像和目标图像尺度。目标图像尺度通常由用户设定，s101可以接收用户输入的设定图像尺度。
[0062]
此后对目标图像进行随机下采样，构造2倍、3倍、4倍的下采样等低倍数的低分辨图像，将这些成对的低分辨率图像和原始的高分辨图像作为训练数据集，即2倍下采样的低分辨率图像与高分辨率图像为一组，以此类推。需要说明的是，步骤s102中的低倍数通常指
不超过10倍。
[0063]
然后从训练数据集裁剪大小为48*48的图像块，将这些图像转换为像素样本对，即坐标-图像对，这是由于后文隐图像模型的输入就是坐标和图像特征图。
[0064]
s103中用卷积网络处理所述低分辨率图像得到浅层特征，利用残差稠密层融合所述低分辨率图像的所有所述浅层特征，得到深层特征，其目的在于将低分辨率图像编码成大小一样的特征图。对输入图像的尺码以网格形式编码，以2维数组的形式存储，最里面一维存储的是网格的坐标，存储方式从右下角开始，从下往上，从左往右。
[0065]
将低分辨图像特征图和目标图像尺度输入到隐图像模型，生成超分辨率图像。
[0066]
在s105中，其具体执行如下步骤：
[0067]
s1051：将所述目标图像尺度和所述全局密集特征输入隐图像模型；
[0068]
s1052：根据所述目标图像尺度得到对应超分辨率的像素信息；
[0069]
s1053：利用正弦周期激活层将包含连续图像域坐标信息的所述全局密集特征从二维空间映射至rgb空间；
[0070]
s1054：利用所述全局密集特征的左上、右上、左下、右下四个隐特征构成的矩形和损失函数对所述全局密集特征计算，输出对应的超分辨率图像。
[0071]
具体内容与上文构建隐图像模型时的操作相类似，在此不作重复说明。
[0072]
本技术提出一种任意尺度的超分辨率方法，利用单一模型对低分辨率图像进行任意尺度的超分辨率，相比固定尺度的超分辨率可以有更灵活的放大倍数；相比于其他任意尺度放大的模型，采用siren网络作为隐函数，可以更好拟合高频信息，使得经过模型放大的图像细节表现更好。通过利用卷积网络和残差网络对图像进行表征提取，再利用隐图像模型进行处理，隐图像模块相较于mlp relu或其他结构而言，收敛速度更快，往往只需要在gpu上花费几秒钟，即可获得高保真的图像重构效果，因此本技术可以将输入的目标图像转换成指定尺寸下的超分辨率图像。
[0073]
下面对本技术实施例提供的图像的超分辨率系统进行介绍，下文描述的超分辨率系统与上文描述的图像的超分辨率方法可相互对应参照。
[0074]
参见图3，图3为本技术实施例所提供的一种图像的超分辨率系统结构示意图，本技术还提供一种图像的超分辨率系统，包括：
[0075]
获取模块，用于获取目标图像和目标图像尺度；
[0076]
下采样模块，用于对所述目标图像进行低倍数的随机下采样，得到所述低分辨率图像；
[0077]
特征提取模块，用于利用卷积网络处理所述低分辨率图像得到浅层特征，利用残差稠密层融合所述低分辨率图像的所有所述浅层特征，得到深层特征；
[0078]
特征学习模块，用于通过全局残差学习结合所述浅层特征和深层特征，得到所述低分辨率的全局密集特征；
[0079]
图像输出模块，用于将所述目标图像尺度和所述全局密集特征输入隐图像模型，输出对应的超分辨率图像。
[0080]
基于上述实施例，作为更优选的实施例，还可以包括：
[0081]
训练模块，用于利用图像数据集进行特征训练，得到所述隐图像模型。
[0082]
基于上述实施例，作为更优选的实施例，训练模块包括：
[0083]
第一获取单元，用于获取图像数据集，对所述图像数据集中的目标图像进行随机下采样，得到2倍、3倍和4倍下的低分辨率图像，将低分辨率图像和高分辨率图像两两一组作为训练集合；
[0084]
第二获取单元，用于对低分辨率图像经过特征提取模块得到和输入图像大小相同的低分辨率特征图；
[0085]
第三获取单元，用于将所述低分辨特征图和对应的坐标信息通过隐图像层进行上采样得到超分辨图像；
[0086]
第四获取单元，用于对所述超分辨率图像和所述目标图像计算l1损失，并利用所述l1损失反向更新编码器和所述隐图像层，得到所述隐图像模型。
[0087]
基于上述实施例，作为更优选的实施例，图像输出模块包括：
[0088]
输入单元，用于将所述目标图像尺度和所述全局密集特征输入隐图像模型；
[0089]
第五获取单元，用于根据所述目标图像尺度得到对应超分辨率的像素信息；
[0090]
映射单元，用于利用正弦周期激活层将包含连续图像域坐标信息的所述全局密集特征从二维空间映射至rgb空间；
[0091]
输出单元，用于利用所述全局密集特征的左上、右上、左下、右下四个隐特征构成的矩形和损失函数对所述全局密集特征计算，输出对应的超分辨率图像。
[0092]
基于上述实施例，作为更优选的实施例，所述正弦周期激活层由正弦线性层构成，每个所述正弦线性层由线性层和正选函数构成，并包含预设固定参数，各所述正弦线性层通过序列式相连接。
[0093]
基于上述实施例，作为更优选的实施例，若目标正弦线性层不为最后一层，则所述目标正弦线性层中的目标线性层的参数输出以第一均匀分布中抽样数值填充；
[0094]
若目标正弦线性层为最后一层，所述目标正弦线性层中的目标线性层的参数输出以第二均匀分布中抽样数值填充。
[0095]
基于上述实施例，作为更优选的实施例，所述损失函数为其中，xi为低分辨图像，yi为对应的目标图像，g为所述隐图像模型。
[0096]
本技术还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0097]
本技术还提供了一种电子设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。
[0098]
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0099]
本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想。应当指出，对于本技术领域的普通技术
人员来说，在不脱离本技术原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术权利要求的保护范围内。
[0100]
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。