一种结合空间自适应和纹理转换的图像超分辨重建方法

pattern recognition(cvpr)”利用可变形卷积进行图像对齐，这些基于图像对齐的方法都未考虑远距离通信的弊端。此外，现有的大多数算法没有考虑低分辨率输入图像(lr)与其高分辨率参考图像(ref)在颜色以及亮度分布有很大的差异，以至于所得到的高分辨率重建结果不能得到很好的视觉质量。


技术实现要素：

5.针对现有及技术存在的不足，本发明提供了一种结合空间自适应和纹理转换的图像超分辨重建方法，以解决现有技术对于低分辨率输入图像与其高分辨率参考图像之间的纹理匹配差异以及颜色和亮度分布差异性等因素考虑不足，造成重建结果图视觉质量不佳的问题。
6.为了解决上述技术问题，本发明采用如下技术方案：
7.一种结合空间自适应和纹理转换的图像超分辨重建方法，获取待处理图像lr及对应的高分辨率参考图像ref，输入至经过预先训练的图像超分辨重建模型，得到待处理图像lr的超分辨重建结果；
8.所述图像超分辨重建模型包括：
9.纹理特征提取模块，用于采用纹理特征提取器分别提取待处理图像lr的纹理特征图f
lr
和高分辨率参考图像ref的纹理特征图v；且将所述待处理图像lr和高分辨率参考图像ref采样处理至目标分辨率尺寸后，采用纹理特征提取器分别提取待处理图像lr的采样纹理特征图q和高分辨率参考图像ref的采样纹理特征图k；
10.纹理转换处理模块，用于利用近似最近邻搜索算法搜索匹配采样纹理特征图k与采样纹理特征图q的纹理相似区域，并基于匹配到的纹理相似区域对高分辨率参考图像ref的纹理特征图v进行纹理特征转换，构建待处理图像lr的相似高分辨率纹理特征图f
ref
；
11.空间自适应融合模块，用于利用待处理图像lr的纹理特征图f
lr
对所述相似高分辨率纹理特征图f
ref
进行图像空间自适应处理，并利用残差网络将图像空间自适应处理结果与待处理图像lr的纹理特征图f
lr
进行融合，将得到的融合图像作为待处理图像lr的超分辨重建结果。
12.作为优选方案，所述纹理特征提取模块中，将所述待处理图像lr和高分辨率参考图像ref采样处理至目标分辨率尺寸后采用纹理特征提取器分别提取待处理图像lr的采样纹理特征图q和高分辨率参考图像ref的采样纹理特征图k的具体方式包括：
13.s201：对所述待处理图像lr进行上采样处理，对所述高分辨率参考图像ref进行下采样和上采样处理，分别得到目标分辨率尺寸的待处理上采样图像lr
↑
和下上采样参考图像ref
↓↑
；
14.s202：利用纹理特征提取器对待处理上采样图像lr
↑
进行纹理特征提取，得到待处理图像lr对应的采样纹理特征图q；利用纹理特征提取器对下上采样参考图像ref
↓↑
进行纹理特征提取，得到高分辨率参考图像ref对应的采样纹理特征图k。
15.作为优选方案，所述纹理特征提取器为经过预训练的vgg19模型。
16.作为优选方案，所述纹理转换处理模块中，基于匹配到的纹理相似区域对高分辨率参考图像ref的纹理特征图v进行纹理特征转换构建待处理图像lr的相似高分辨率纹理特征图f
ref
的具体方式包括：
17.s301：分别计算匹配到的采样纹理特征图k与采样纹理特征图q的各纹理相似区域之间的相似度：
[0018][0019]
qi表示采样纹理特征图q中的第i个纹理相似区域，kj表示采样纹理特征图k中的第j个纹理相似区域，所述第i个纹理相似区域qi和第j个纹理相似区域kj是互为匹配的纹理相似区域，i＝j∈{1,2,
…
,n}，n表示匹配到的采样纹理特征图k与采样纹理特征图q的纹理相似区域的总匹配组数；r(i,j)表示采样纹理特征图q中的第i个纹理相似区域与采样纹理特征图k中的第j个纹理相似区域的相似度；＜
·
＞为归一化内积计算符；
[0020]
s302：基于采样纹理特征图k与采样纹理特征图q的各纹理相似区域之间的相似度构建硬注意力映射图h＝{h1,h2,
…
,hi,
…
,hn}和软注意力映射图s＝{s1,s2,
…
,si,
…
,sn}；
[0021]
其中，硬注意力映射图h中的第i个元素
[0022]
软注意力映射图s中的第i个元素
[0023]
s303：以硬注意力映射图h中的元素为索引，对高分辨率参考图像ref的纹理特征图v进行纹理相似区域索引选择操作，得到硬注意力索引高分辨率特征图t＝{t1,t2,
…
,ti,
…
,tn}；
[0024]
其中，硬注意力索引高分辨率特征图t中的第i个元素ti＝v
hi
，v
hi
表示硬注意力映射图h中的第i个元素hi索引选择纹理特征图v中的纹理相似区域；
[0025]
s304：基于待处理图像lr的纹理特征图f
lr
以及所述硬注意力索引高分辨率特征图t和软注意力映射图s进行纹理转换处理，构建待处理图像lr的相似高分辨率纹理特征图f
ref
：
[0026][0027]
其中，f
lr
表示待处理图像lr的纹理特征图，concat(
·
)表示concat级联连接，conv(
·
)表示卷积运算，表示乘积运算。
[0028]
作为优选方案，所述近似最近邻搜索算法采用patch match算法。
[0029]
作为优选方案，所述空间自适应融合模块中，利用待处理图像lr的纹理特征图f
lr
对相似高分辨率纹理特征图f
ref
进行图像空间自适应处理的具体包括：
[0030]
s401：将待处理图像lr的纹理特征图f
lr
和相似高分辨率纹理特征图f
ref
进行concat级联连接，然后输入可学习卷积层，并得到两个与纹理特征图f
lr
空间尺寸大小相同的空间自适应参数β和γ的初始值：
[0031]
β＝γ＝conv(concat(f
lr
,f
ref
))；
[0032]
其中，concat(
·
)表示concat级联连接，conv(
·
)表示卷积运算；
[0033]
s402：对相似高分辨率纹理特征图f
ref
进行空间自适应归一化更新：
[0034][0035]
表示相似高分辨率纹理特征图f
ref
中第c个特征通道，各特征通道经过空间自适应归一化更新后，得到空间自适应归一化更新后的相似高分辨率纹理特征图f
ref
；
[0036]
其中，和分别表示相似高分辨率纹理特征图f
ref
中第c个特征通道的均值和标准差，且：
[0037][0038]
其中，表示相似高分辨率纹理特征图f
ref
中第c个特征通道的第y行第x列像素位置的特征值，h和w分别表示高分辨率纹理图f
ref
的像素行高尺寸和像素列宽尺寸；
[0039]
s403：利用待处理图像lr的纹理特征图f
lr
对空间自适应参数β和γ进行更新：
[0040]
β
←
β μ
lr
，γ
←
γ σ
lr
；
[0041]
其中，μ
lr
和σ
lr
分别表示纹理特征图f
lr
的均值和标准差，且：
[0042][0043]
其中，表示纹理特征图f
lr
中第y行第x列像素位置的特征值，h和w分别纹理特征图f
lr
的像素行高尺寸和像素列宽尺寸；
[0044]
s404：利用空间自适应归一化更新后的相似高分辨率纹理特征图f
ref
及更新后的空间自适应参数β和γ进行图像空间自适应处理：
[0045][0046]
表示相似高分辨率纹理特征图f
ref
的图像空间自适应处理结果。
[0047]
作为优选方案，所述空间自适应融合模块中，利用残差网络将图像空间自适应处理结果与待处理图像lr的纹理特征图f
lr
进行融合具体方式为：
[0048][0049]
其中，f
′
lr
表示融合得到的待处理图像lr的超分辨重建结果图；conv(
·
)表示卷积运算，deconv[
·
]表示反卷积运算。
[0050]
作为优选方案，对图像超分辨重建模型进行训练优化的过程中所采用的损失函数l为：
[0051]
l＝λ
rec
l
rec
λ
per
l
per
λ
adv
l
adv
λ
tex
l
tex
；
[0052]
l
rec
和λ
rec
分别为重建损失及其对应的权重值；l
per
和λ
per
分别为感知损失及其对应的权重值；l
adv
和λ
adv
分别为对抗损失及其对应的权重值；l
tex
和λ
tex
分别为纹理损失及其对应的权重值。
[0053]
作为优选方案，损失函数l中：
[0054]
重建损失l
rec
＝||i
hr-i
sr
||1，表示重建输出图像i
sr
与真实图像i
hr
之间的差异；||
·
||1表示l1范数运算；
[0055]
感知损失表示重建输出图像i
sr
与真实图像i
hr
之间的语意感知差异；vi和c表示输出图像i
sr
和真实图像i
hr
通过纹理特征提取器提取纹理特征的特征体积和特征通道总数，φc(i
sr
)和φc(i
hr
)分别表示输出图像i
sr
和真实图像i
hr
通
过纹理特征提取器提取的第c个特征通道值，c∈{1,2,
…
,c}；||
·
||f表示frobenius范数运算；
[0056]
对抗损失表示重建输出图像i
sr
与真实图像i
hr
之间的视觉和清晰度差异；其中其中，d
′
表示1-lipschitz函数集，d(x)表示将数据x喂入生成对抗网络的判别器d返回的值，pr和pg分别表示真实分布和模型分布；和分别表示真实数据分布函数期望值和模型数据分布函数期望值；g表示生成对抗网络的生成器；
[0057]
纹理损失表示重建输出图像i
sr
与真实图像i
hr
之间的纹理差异；其中，gr表示gram矩阵，λc表示第c个特征通道的纹理特征大小的归一化因子，sc表示纹理转换网络中第c个特征通道软注意力的权重图；vc表示高分辨率参考图像ref的纹理特征图v中第c个特征通道的纹理特征值。
[0058]
作为优选方案，损失函数l中，重建损失l
rec
、感知损失l
per
、对抗损失l
adv
和纹理损失l
tex
各自对应的权重值的取值分别优选为λ
rec
＝1，λ
per
＝10-4
，λ
adv
＝10-6
，λ
tex
＝10-4
。
[0059]
相比现有技术，本发明具有如下有益效果：
[0060]
1、本发明结合空间自适应和纹理转换的图像超分辨重建方法，针对性的利用图像超分辨重建模型中的纹理转换处理模块和空间自适应融合模块进行纹理特征转换和图像空间自适应处理及融合，更充分地考虑了低分辨率输入图像与其高分辨率参考图像之间的纹理匹配准确性以及颜色和亮度分布的差异，使其对与低分辨率输入有不同颜色分布和光照分布的高分辨率参考图像具有更好的鲁棒性，进而能够从高分辨率参考图像中提取对重建更有利的纹理特征，使得所得到的超分辨重建结果图具备更好的视觉质量。
[0061]
2、本发明方法中，对图像超分辨重建模型进行训练优化的过程中，使用纹理特征提取器提取的纹理特征差异得到感知损失，通过重建后的结果图像与真实图像计算对抗损失、重建损失，并借鉴图像风格迁移中的纹理损失，构建新的损失函数对图像超分辨重建模型进行训练优化，能够更进一步的帮助提高图像超分辨重建模型的图像超分辨重构视觉质量。
附图说明
[0062]
图1为本发明方法的处理流程实例图。
[0063]
图2为本发明方法中利用待处理图像lr的纹理特征图f
lr
对相似高分辨率纹理特征图f
ref
进行图像空间自适应处理的流程示意图。
[0064]
图3为本发明方法中利用残差网络将图像空间自适应处理结果与待处理图像lr的纹理特征图f
lr
进行融合的流程示意图。
[0065]
图4为实施例中本发明方法与现有技术方法的图像重构结果对比图。
具体实施方式
[0066]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例
中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
[0067]
本发明提供一种结合空间自适应和纹理转换的图像超分辨重建方法，该方法将待处理图像lr及对应的高分辨率参考图像ref输入至经过预先训练的图像超分辨重建模型，以得到待处理图像lr的超分辨重建结果。其中，待处理图像lr为输入模型的低分辨率图像，高分辨率参考图像ref是与待处理图像lr具有内容相关性的一副高分辨率图像。
[0068]
本发明方法中采用的图像超分辨重建模型包括：
[0069]
纹理特征提取模块，用于采用纹理特征提取器分别提取待处理图像lr的纹理特征图f
lr
和高分辨率参考图像ref的纹理特征图v；且将所述待处理图像lr和高分辨率参考图像ref采样处理至目标分辨率尺寸后，采用纹理特征提取器分别提取待处理图像lr的采样纹理特征图q和高分辨率参考图像ref的采样纹理特征图k；
[0070]
纹理转换处理模块，用于利用近似最近邻搜索算法搜索匹配采样纹理特征图k与采样纹理特征图q的纹理相似区域，并基于匹配到的纹理相似区域对高分辨率参考图像ref的纹理特征图v进行纹理特征转换，构建待处理图像lr的相似高分辨率纹理特征图f
ref
；
[0071]
空间自适应融合模块，用于利用待处理图像lr的纹理特征图f
lr
对所述相似高分辨率纹理特征图f
ref
进行图像空间自适应处理，并利用残差网络将图像空间自适应处理结果与待处理图像lr的纹理特征图f
lr
进行融合，将得到的融合图像作为待处理图像lr的超分辨重建结果。
[0072]
本发明结合空间自适应和纹理转换的图像超分辨重建方法，针对现有的超分辨率图像重建技术中对于低分辨率输入图像(lr)与其高分辨率参考图像(ref)在颜色以及亮度分布之前的差异性等因素考虑不足的问题，针对性的利用图像超分辨重建模型中的纹理转换处理模块和空间自适应融合模块进行纹理特征转换和图像空间自适应处理及融合，更充分地考虑了低分辨率输入图像与其高分辨率参考图像之间的纹理匹配准确性以及颜色和亮度分布的差异，使其对与低分辨率输入有不同颜色分布和光照分布的高分辨率参考图像具有更好的鲁棒性，进而能够从高分辨率参考图像中提取对重建更有利的纹理特征，使得所得到的超分辨重建结果图具备更好的视觉质量。
[0073]
本发明方法中的图像超分辨重建模型进行图像超分辨重建的处理流程如图1所示，包括如下步骤：
[0074]
s1：纹理特征提取模块采用纹理特征提取器分别提取待处理图像lr的纹理特征图f
lr
和高分辨率参考图像ref的纹理特征图v；
[0075]
s2：纹理特征提取模块将所述待处理图像lr和高分辨率参考图像ref采样处理至目标分辨率尺寸后，采用纹理特征提取器分别提取待处理图像lr的采样纹理特征图q和高分辨率参考图像ref的采样纹理特征图k；
[0076]
s3：纹理转换处理模块利用近似最近邻搜索算法搜索匹配采样纹理特征图k与采样纹理特征图q的纹理相似区域，并基于匹配到的纹理相似区域对高分辨率参考图像ref的
纹理特征图v进行纹理特征转换，构建待处理图像lr的相似高分辨率纹理特征图f
ref
；
[0077]
s4：空间自适应融合模块利用待处理图像lr的纹理特征图f
lr
对所述相似高分辨率纹理特征图f
ref
进行图像空间自适应处理；
[0078]
s5：空间自适应融合模块利用残差网络将图像空间自适应处理结果与待处理图像lr的纹理特征图f
lr
进行融合，将得到的融合图像作为待处理图像lr的超分辨重建结果。
[0079]
优选的，纹理特征提取模块中，将所述待处理图像lr和高分辨率参考图像ref采样处理至目标分辨率尺寸后采用纹理特征提取器分别提取待处理图像lr的采样纹理特征图q和高分辨率参考图像ref的采样纹理特征图k的具体方式包括：
[0080]
s201：对所述待处理图像lr进行上采样处理，对所述高分辨率参考图像ref进行下采样和上采样处理，分别得到目标分辨率尺寸的待处理上采样图像lr
↑
和下上采样参考图像ref
↓↑
；
[0081]
s202：利用纹理特征提取器对待处理上采样图像lr
↑
进行纹理特征提取，得到待处理图像lr对应的采样纹理特征图q；利用纹理特征提取器对下上采样参考图像ref
↓↑
进行纹理特征提取，得到高分辨率参考图像ref对应的采样纹理特征图k。
[0082]
提取得到的这些纹理特征图，都将用于后续的特征映射和迁移转换过程。具体实施中，优选采用预训练的vgg19模型作为特征提取器。
[0083]
接下来在纹理转换处理模块中，可视为包含三个组成部分：相关性嵌入模块、用于特征转移的硬注意力以及特征合成的软注意力。相关性嵌入用于计算高分辨率参考图像ref中与待处理图像lr中特征最相似的纹理相似区域(记为patch块)，以得到硬注意力图(表示lr中与高分辨率参考图像ref中最相似的patch块的位置)和软注意力图(表示lr与高分辨率参考图像ref中最相似的patch块的置信度)。硬注意力模块依靠由相关性嵌入模块得到的硬注意力图，将高分辨率参考图像ref中最相似的特征映射到待处理图像lr上。软注意力模块用于进行纹理特征的合成。
[0084]
具体而言，纹理转换处理模块中，提取图像纹理特征使用的近似最近邻搜索算法优选采用patch match算法。在具体实施时，搜索匹配采样纹理特征图k与采样纹理特征图q的纹理相似区域的匹配逻辑是，将采样纹理特征图q中的每个特征像素点分别与采样纹理特征图k中的所有特征像素点进行相似度计算，将相似度最大且超过预设定匹配阈值的两个特征像素位置判定为一组匹配的纹理相似区域，由此遍历采样纹理特征图q中的各个特征像素点，搜索匹配出采样纹理特征图k与采样纹理特征图q之前的全部纹理相似区域。
[0085]
基于匹配到的纹理相似区域对高分辨率参考图像ref的纹理特征图v进行纹理特征转换构建待处理图像lr的相似高分辨率纹理特征图f
ref
的具体方式包括：
[0086]
s301：分别计算匹配到的采样纹理特征图k与采样纹理特征图q的各纹理相似区域之间的相似度：
[0087][0088]
qi表示采样纹理特征图q中的第i个纹理相似区域，kj表示采样纹理特征图k中的第j个纹理相似区域，所述第i个纹理相似区域qi和第j个纹理相似区域kj是互为匹配的纹理相似区域，i＝j∈{1,2,
…
,n}，n表示匹配到的采样纹理特征图k与采样纹理特征图q的纹理相似区域的总匹配组数；r(i,j)表示采样纹理特征图q中的第i个纹理相似区域与采样纹理特
征图k中的第j个纹理相似区域的相似度；＜
·
＞为归一化内积计算符；
[0089]
计算出的相似度用于得到硬注意力图映射和软注意力图映射。
[0090]
s302：基于采样纹理特征图k与采样纹理特征图q的各纹理相似区域之间的相似度构建硬注意力映射图h＝{h1,h2,
…
,hi,
…
,hn}和软注意力映射图s＝{s1,s2,
…
,si,
…
,sn}；
[0091]
其中，硬注意力映射图h中的第i个元素
[0092]
软注意力映射图s中的第i个元素
[0093]
硬注意力主要用于转移高分辨率参考图像ref特征v中与待处理图像lr最相似的特征。计算硬注意力映射图h(类似于数组或者矩阵，用于存储高分辨率参考图像ref中与待处理图像lr最相似的patch块的位置)，其中第i个元素hi(可以看做索引值，代表高分辨率参考图像ref特征中与待处理图像lr特征最相关的位置)。而软注意力用以表示待处理图像lr与高分辨率参考图像ref中最相似的patch块的置信度，主要用于增强高分辨率参考图像ref与待处理图像lr之间相似特征的转移，抵制不相似特征转移。
[0094]
s303：以硬注意力映射图h中的元素为索引，对高分辨率参考图像ref的纹理特征图v进行纹理相似区域索引选择操作，得到硬注意力索引高分辨率特征图t＝{t1,t2,
…
,ti,
…
,tn}；
[0095]
其中，硬注意力索引高分辨率特征图t中的第i个元素ti＝v
hi
，v
hi
表示硬注意力映射图h中的第i个元素hi索引选择纹理特征图v中的纹理相似区域。
[0096]
硬注意力索引高分辨率特征图t表征了从高分辨率参考图像ref中转移后的高分辨率(hr)图像特征。
[0097]
s304：基于待处理图像lr的纹理特征图f
lr
以及所述硬注意力索引高分辨率特征图t和软注意力映射图s进行纹理转换处理，构建待处理图像lr的相似高分辨率纹理特征图f
ref
：
[0098][0099]
其中，f
lr
表示待处理图像lr的纹理特征图，concat(
·
)表示concat级联连接，conv(
·
)表示卷积运算，表示乘积运算。
[0100]
该步骤是为了利用待处理图像lr中的更多信息，将从待处理图像lr中提取到的纹理特征图f
lr
与通过硬注意力模块中得到的高分辨特征t进行concat级联连接，然后进行卷积操作，最终与软注意力模块得到的置信度进行乘积，得到与待处理图像lr纹理特征中最相似的高分辨率纹理图f
ref
。
[0101]
在以前关于超分辨率图像重建的研究中，大多数算法并未考虑原始输入图像与参考图像之间颜色与亮度的分布存在差异，因此简单的将待处理图像lr特征与ref高分辨率图像特征连接起来并不是最优的。为了解决此问题，本发明方法中采用空间自适应融合模块将高分辨率参考图像ref中包含的纹理及颜色和亮度的分布特征转移映射到待处理图像lr的重构图中，以得到更好的视觉效果。
[0102]
空间自适应融合模块中，利用待处理图像lr的纹理特征图f
lr
对相似高分辨率纹理特征图f
ref
进行图像空间自适应处理的具体包括：
[0103]
s401：将待处理图像lr的纹理特征图f
lr
和相似高分辨率纹理特征图f
ref
进行
concat级联连接，然后输入可学习卷积层，并得到两个与纹理特征图f
lr
空间尺寸大小相同的空间自适应参数β和γ的初始值：
[0104]
β＝γ＝conv(concat(f
lr
,f
ref
))；
[0105]
其中，concat(
·
)表示concat级联连接，conv(
·
)表示卷积运算。
[0106]
这里，首先将lr特征f
lr
与ref特征f
ref
进行级联连接操作，然后再利用可学习卷积运算得到两个与纹理特征图f
lr
空间尺寸大小相同的空间自适应参数β和γ。
[0107]
s402：对相似高分辨率纹理特征图f
ref
进行空间自适应归一化更新：
[0108][0109]
表示相似高分辨率纹理特征图f
ref
中第c个特征通道，各特征通道经过空间自适应归一化更新后，得到空间自适应归一化更新后的相似高分辨率纹理特征图f
ref
；
[0110]
其中，和分别表示相似高分辨率纹理特征图f
ref
中第c个特征通道的均值和标准差，且：
[0111][0112]
其中，表示相似高分辨率纹理特征图f
ref
中第c个特征通道的第y行第x列像素位置的特征值，h和w分别表示高分辨率纹理图f
ref
的像素行高尺寸和像素列宽尺寸。
[0113]
这里利用待处理图像lr的纹理特征图f
lr
对相似高分辨率纹理特征图f
ref
进行图像空间自适应处理的流程示意图如图2所示。
[0114]
s403：利用待处理图像lr的纹理特征图f
lr
对空间自适应参数β和γ进行更新：
[0115]
β
←
β μ
lr
，γ
←
γ σ
lr
；
[0116]
其中，μ
lr
和σ
lr
分别表示纹理特征图f
lr
的均值和标准差，且：
[0117][0118]
其中，表示纹理特征图f
lr
中第y行第x列像素位置的特征值，h和w分别纹理特征图f
lr
的像素行高尺寸和像素列宽尺寸；
[0119]
s404：利用空间自适应归一化更新后的相似高分辨率纹理特征图f
ref
及更新后的空间自适应参数β和γ进行图像空间自适应处理：
[0120][0121]
表示相似高分辨率纹理特征图f
ref
的图像空间自适应处理结果。
[0122]
经过空间自适应之后，利用残差网络将待处理图像lr特征与经过空间自适应操作之后的高分辨率参考图像ref特征进行合成。
[0123]
空间自适应融合模块中，利用残差网络将图像空间自适应处理结果与待处理图像lr的纹理特征图f
lr
进行融合具体方式为：
[0124]
[0125]
其中，f
′
lr
表示融合得到的待处理图像lr的超分辨重建结果图；conv(
·
)表示卷积运算，deconv[
·
]表示反卷积运算。
[0126]
利用残差网络将图像空间自适应处理结果与待处理图像lr的纹理特征图f
lr
进行融合的流程示意图如图3所示。
[0127]
本发明方法使用经过预先训练的图像超分辨重建模型对低分辨率的待处理图像lr进行超分辨重建，图像超分辨重建模型重新构建图像的效果，很大程度上取决于在对模型新型训练优化过程中损失函数的选择。
[0128]
一般超分辨率模型选择平均绝对误差(mean absolute error,mae)或者均方误差(mean-square error,mse)作为优化的目标，原因是在测试时可以获得较高的评价指标，但是在进行8倍等大尺度的超分辨率重建任务中，重新构建的图像缺失大量高频信息，导致构建的图像不能达到视觉要求。
[0129]
本发明方法在对图像超分辨重建模型进行训练优化的过程中，采用了使用纹理特征提取器提取的纹理特征差异得到的感知损失l
per
，通过重建后的结果图像与真实图像计算对抗损失l
adv
、重建损失l
rec
，并借鉴图像风格迁移中的纹理损失l
tex
，构建新的损失函数l对图像超分辨重建模型进行训练优化，以进一步的帮助提高图像超分辨重建模型的图像超分辨重构视觉质量。本发明所采用的损失函数l为：
[0130]
l＝λ
rec
l
rec
λ
per
l
per
λ
adv
l
adv
λ
tex
l
tex
；
[0131]
l
rec
和λ
rec
分别为重建损失及其对应的权重值；l
per
和λ
per
分别为感知损失及其对应的权重值；l
adv
和λ
adv
分别为对抗损失及其对应的权重值；l
tex
和λ
tex
分别为纹理损失及其对应的权重值。
[0132]
其中，重建损失(reconstruction loss)l
rec
＝||i
hr-i
sr
||1，表示重建输出图像i
sr
与真实图像i
hr
之间的差异；||
·
||1表示l1范数运算。
[0133]
感知损失(perceptual loss)本发明中采用了vgg19模型中的relu5_1层来表示，即：表示重建输出图像i
sr
与真实图像i
hr
之间的语意感知差异；vi和c表示输出图像i
sr
和真实图像i
hr
通过纹理特征提取器提取纹理特征的特征体积和特征通道总数，其中，纹理特征的特征体积vi是指真实图像i
hr
的图像尺寸与特征通道总数c的乘积；φc(i
sr
)和φc(i
hr
)分别表示输出图像i
sr
和真实图像i
hr
通过纹理特征提取器提取的第c个特征通道值，c∈{1,2,
…
,c}；||
·
||f表示frobenius范数运算。
[0134]
对抗损失(adversarial loss)表示重建输出图像i
sr
与真实图像i
hr
之间的视觉和清晰度差异；其中其中，d
′
表示1-lipschitz函数集，d(x)表示将数据x喂入生成对抗网络的判别器d返回的值，pr和pg分别表示真实分布和模型分布；和分别表示真实数据分布函数期望值和模型数据分布函数期望值；g表示生成对抗网络的生成器。对抗损失被证明可以提高合成图像的视觉质量。本文采用wgan-gp方法生成对抗损失，能够使得生成结果更稳定。
[0135]
纹理损失(texture loss)表示重建输
出图像i
sr
与真实图像i
hr
之间的纹理差异；其中，gr表示gram矩阵，λc表示第c个特征通道的纹理特征大小的归一化因子，sc表示纹理转换网络中第c个特征通道软注意力的权重图；vc表示高分辨率参考图像ref的纹理特征图v中第c个特征通道的纹理特征值。纹理损失是借鉴风格迁移中的一种损失函数，能够提高sr输出图像的视觉质量。传统图像纹理损失函数只减少了sr输出图像与hr图像之间的差异。在本发明中，进一步考虑了重构输出图像与高分辨率参考图像ref之间的差异。通过纹理损失的考量，可以更好的实现纹理特征从高分辨率参考图像ref到低分辨率待处理图像lr重构结果的转移。
[0136]
至于损失函数l中，重建损失l
rec
、感知损失l
per
、对抗损失l
adv
和纹理损失l
tex
各自对应的权重值，则可根据实际应用情况下经过寻优算法来确定；作为一种优选方案，可以设置重建损失l
rec
、感知损失l
per
、对抗损失l
adv
和纹理损失l
tex
各自对应的权重值的取值分别优选为λ
rec
＝1，λ
per
＝10-4
，λ
adv
＝10-6
，λ
tex
＝10-4
。
[0137]
对比验证实验
[0138]
为了更好的呈现本发明方法相比于现有技术在重建结果图视觉质量上的提升效果，下面通过对比验证实验来加以验证。
[0139]
数据集和评价指标
[0140]
在本实验中，我们使用cufed5数据集来训练和测试模型。cufed5中的训练集包含11871对，每对由一个输入图像和一个参考图像组成；测试集包含126对，其中除了一张原始输入图像，还包含4幅参考图像且具有不同的相似性。此外，我们在sun80、urban100公开数据集上也进行了测试。我们通过峰值信噪比(psnr)和结构相似度(ssim)对sr结果进行评价。
[0141]
实验结果与分析
[0142]
本实验从客观评价结果和主观评价结果两方面来表现改进模型的超分辨率能力。
[0143]
客观评价结果
[0144]
本实验在三个公开数据集上对本模型进行了测试。为了评估模型的有效性，我们将本模型与其他现有技术的超分辨率凸图像重构方法ttsr(参见文献“f.yang,h.yang,j.fu,h.lu and b.guo,"learning texture transformer network for image super-resolution,"2020 ieee/cvf conference on computer vision and pattern recognition(cvpr)”)、ssen(“shim,g.,j.park,and i.s.kweon."robust reference-based super-resolution with similarity-aware deformable convolution."2020ieee/cvf conference on computer vision and pattern recognition(cvpr)ieee,2020.”)以及srntt(参见文献“z.zhang,z.wang,z.lin and h.qi,"image super-resolution by neural texture transfer,"2019ieee/cvf conference on computer vision and pattern recognition(cvpr)”)方法进行了比较，分别计算在不同数据集上采用不同算法进行上采样4倍时的psnr和ssim，对比结果如表1所示。
[0145]
从实验结果不难发现，在3种公开数据集上，本发明提出的方法在重建任务中，能够取得较好的psnr和ssim值，相较于其他模型，在客观指标上有所提升。
[0146]
表1不同refsr方法在三种公开数据集上psnr/ssim比较(粗体表示最好结果)
[0147][0148]
实验结果表明，本发明方法在cufed5、sun80以及urban100测试集上相比其他方法具有更高的峰值信噪比、结构相似度以及更好的视觉效果。
[0149]
4.2.2主观评价结果
[0150]
本实验选取了cufed5中的一张超分辨率图像进行重构，所得到的图像重构结果对比图如图4所示，“input image”为待重构的低分辨率图像为，“reference image”为高分辨率参考图像，“hr”为待重构区域的真实高分辨率图像，其余四张为ttsr、ssen、srntt三种方法以及本发明方法(ours)处理得到的超分辨率重建图像。从视觉对比结果可以看出，ttsr、ssen、srntt三种模型方法在重建任务中都可以完成重建高分辨率图像，但本发明方法(ours)能够重建出更好的纹理细节，达到更好的视觉效果，说明本发明方法重新构建出的图像更接近真实高分辨率图像。
[0151]
综上所述，发明结合空间自适应和纹理转换的图像超分辨重建方法，针对性的利用图像超分辨重建模型中的纹理转换处理模块和空间自适应融合模块进行纹理特征转换和图像空间自适应处理及融合，更充分地考虑了低分辨率输入图像与其高分辨率参考图像之间的纹理匹配准确性以及颜色和亮度分布的差异，使其对与低分辨率输入有不同颜色分布和光照分布的高分辨率参考图像具有更好的鲁棒性，进而能够从高分辨率参考图像中提取对重建更有利的纹理特征，使得所得到的超分辨重建结果图具备更好的视觉质量；此外，对图像超分辨重建模型进行训练优化的过程中，使用纹理特征提取器提取的纹理特征差异得到感知损失，通过重建后的结果图像与真实图像计算对抗损失、重建损失，并借鉴图像风格迁移中的纹理损失，构建新的损失函数对图像超分辨重建模型进行训练优化，能够更进一步的帮助提高图像超分辨重建模型的图像超分辨重构视觉质量。从实验结果可以看出，本发明方法在不同数据集上能够取得比srntt、ssen以及ttsr更好的评价指标，在主观视觉效果也有所提高。
[0152]
最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。