基于域对抗转换的盲图像超分辨方法及系统

1.本发明涉及计算机视觉技术领域，具体来说是一种基于域对抗转换的盲图像超分辨方法及系统。


背景技术：

2.图像超分辨任务作为低级视觉任务中的一个重要研究课题，其在医学影像处理、视频、遥感以及安全监控等领域发挥着不可替代的作用。盲图像超分辨任务是指在未知图像退化信息(如噪声、模糊、低分辨率、jpeg压缩伪影等)的前提下，从一副包含各种退化信息的低分辨率图像中恢复出高分辨率图像的过程。不同于基于双三次插值退化的图像超分辨任务，由于在真实场景中无法预知图像的退化信息，因此盲图像超分辨具有广泛的实际应用价值。
3.现在的图像超分辨方法可分为三种：(1)基于插值的方法(2)基于重建的方法(3)基于学习的方法。随着深度学习方法的不断发展，基于学习的方法在图像超分辨结果上远优于其它两种方法，因此目前主流的图像超分辨算法都是基于学习的方法。盲图像超分辨方法主要是基于卷机神经网络估计图像的退化信息，并根据估计的结果设计一系列算法在进行图像超分辨任务的同时去除原低分辨图像中的退化信息。
4.目前盲图像超分辨算法的研究依然存在许多不足，首先如何准确地建模图像的退化信息是该领域的研究热点，当建模的结果与实际相差较大时，该结果会误导图像超分辨算法去除图像中的退化信息，使得重建后图像的质量进一步降低。此外，建模图像的退化信息非常耗时，不易于盲图像超分辨算法的实际应用；其次在实际应用中无法得到成对的干净和退化图像，因此如何通过大量数据训练图像超分辨模型也是一个实际的难点。
5.申请号为cn201910750388.x公开的一种基于生成对抗网络的生成超分辨图像的方法，该方法首先选取高分辨率图像数据集和低分辨率图像数据集作为最初训练样本；然后将选取的高分辨率图像数据集和低分辨率图像数据集输入至残差网络中指导生成配对数据集；最后将得到的配对数据集作为输入利用损失函数进行训练产生的对抗网络，并生成超分辨率图像；提出了一个两阶段的过程，使用高到低网络来学习如何降级只需要未配对的高分辨率和低分辨率图像的高分辨率图像，并使用该网络的输出来训练低到高网络图像超高分辨率，为了有效地提高现实世界的低分辨率图像的质量，对图像处理与显示的诸多应用领域具有重要意义。该方法使用生成对抗网络模拟真实退化过程，但是真是退化过程多变，始终无法完全模拟，因此当测试时输入的低分辨率图像与模拟的图像存在较大差异时，这会大大影响算法的结果。


技术实现要素：

6.本发明所要解决的技术问题在于如何。
7.本发明通过以下技术手段实现解决上述技术问题的：
8.基于域对抗转换的盲图像超分辨方法，包括以下步骤：
9.域对抗阶段：
10.步骤11：利用真实退化数据r和合成退化数据x学习一个具有最优参数的退化图像的编码器e
r,x
和解码器g
r,x
，并使用判别器拉近真实数据和退化数据分布之间的差异；
11.步骤12：利用与合成退化图像数据x相对应的干净图像数据y学习一个具有最优参数的干净图像编码器ey和解码器gy，使用干净图像编码器ey将干净图像压缩编码到一个高斯空间中，为后期的域映射操作提供基础；
12.步骤13：利用干净图像数据y学习一个具有最优参数的超分辨图像编码器hg，并将输入图像编码到符合高斯分布的特征空间中，为后续的图像超分辨操作提供基础；
13.2、盲图像超分辨阶段
14.步骤21：将已有的包含未知退化信息的低分辨率图像输入退化图像编码器e
r,x
中提取图像特征，对图像本身的信息进行整合，将输入图像编码到一个低维隐空间中；
15.步骤22：将步骤21获得的图像特征输入域映射模块中，将含有退化信息的低维图像特征映射到一个不含退化信息的干净图像的特征，最终达到去除输入图像中包含的退化信息的目的；
16.步骤23：将步骤22获得的干净图像特征分别输入干净图像解码器gy和特征生成器g
feat
；干净图像解码器gy与干净图像编码器ey采用对称结构设计，并由图像恢复任务的重建损失函数进行约束，生成不含退化信息的低分辨率图像，同时在解码过程中会生成2个不同尺度的特征，该特征同步整合到特征增强模块g
feat
中，对输入的特征进行信息增强，判别器用于判别生成器生成的信息是否真实以及将生成器输出的特征映射到高斯空间中进行后续的超分辨操作，最后得到干净的高分辨率图像。
17.本发明通过域转换的方式建立从退化图像数据域到干净图像数据域之间的映射，通过此映射直接去除退化信息来避免退化信息的建模的缺陷。具体的本发明使用多任务学习的方式将图像复原和图像超分辨两个任务结合，通过图像复原任务中损失函数的不断约束以及域对抗方法的辅助，学习一个域转换模块实现将含有退化信息的图像特征转换为干净的图像特征，从而在特征层面上去除图像的退化信息，然后通过图像超分辨任务的约束以及特征生成器的辅助，学习一个特征增强模块以及上采样模块，充分利用图像自身信息实现图像超分辨任务。此外，由于真实场景中退化图像不存在对应干净高分辨图像，导致无法使用监督的方式训练模型。本发明引入域对抗方式，首先向同一编码器混合输入真实退化图像和合成退化图像，再使用域对抗方法约束该编码器将两种不同数据编码到同一空间中，最后再使用合成图像与其对应的干净图像学习整个模型。
18.进一步的，所述域对抗阶段学习过程具体为：
19.退化图像编码器e
r,x
学习：根据batch size的大小随机选择若干真实的和若干合成的宽高为[h,w]的退化图像，并将其输入到退化图像编码器e
r,x
中，e
r,x
将输入图像编码为具有64通道，宽高分别为[h/2,w/2]的特征，并通过kl散度将输出的特征约束到且符合高斯分布的数据域中；再设计一个域判别网络用以区分当前编码来自于真实退化图像数据域还是合成退化图像数据域；再设计一个与编码器e
r,x
结构对称的解码器g
r,x
，g
r,x
根据编码器e
r,x
输出的特征重建回原输入图像，并通过感知损失和对抗损失进行监督；
[0020]
干净图像编码器gy学习：输入batch size个宽高分别为[h,w]的干净图像，并将其输入到干净图像编码器ey中，通过约束ey使得ey编码的特征符合高斯分布，编码的特征具有
64通道、宽高分别[h/2,w/2]；再将编码的特征送入干净图像解码器gy中，通过重建原输入的干净图像来学习一个具有强大解码能力的解码器gy；
[0021]
超分辨图像编码器hg学习：输入batch size个宽高分别为[h,w]的干净图像，并将其输入到超分辨图像编码器hg中，将输入图像编码到一个高斯空间中，其编码特征的通道为64、宽高为[h,w]；再对编码的特征进行超分辨操作，用以学习一个次优的超分辨编码器。
[0022]
进一步的，所述盲图像超分辨阶段学习具体过程为：
[0023]
输入batch size个大小为[h,w]的具有合成退化信息的低分辨率图像x；
[0024]
将输入图像x送入域对抗阶段训练好的退化图像编码器e
r,x
中用于提取形状为[b,c,h/2,w/2]的图像特征f
degrade
，其中b表示batch size的大小，c表示特征通道数，本模型中设为64，h和w分别表示输入图像的宽高；
[0025]
域映射模块t
domaih
学习：将f
degrade
送入域映射模块t
domain
，输入输出前后特征的形状保持不变，域映射模块的作用是去除f
degrade
中包含的退化信息；在此阶段，干净图像编码器ey对一个干净低分辨图像y进行编码得到形状为[b,c,h/2,w/2]的特征f
clean
，该干净图像与第一步输入的合成退化图像x相对应，通过f
clean
引导域映射模块t
domain
将退化图像特征f
degrade
转换为干净图像特征f
′
，以此学习一个最优的域映射模块t
domain
的参数模型；
[0026]
特征增强模块f
enhance
学习：首先，f
′
输入干净图像解码器中gy中，选取干净图像编码器gy中两个不同尺度的特征融入特征生成器g
feat
中，在此过程中主要使用l1损失、感知损失和判别损失来约束整个过程，这个过程也被称为图像复原过程；其次，f
′
也会被输入到特征生成器g
feat
中，此时超分辨图像编码器hg会对干净低分辨图像编码得到形状为[b,c,h,w]的特征f
sr
，通过f
sr
的引导使得特征生成器g
feat
可以聚合两个多尺度特征以及干净图像特征f
′
中关于图像的高频纹理信息以及内容信息，然后生成一个与f
sr
具有相同数据分布且包含相似信息的特征f
″
，这个过程中会使用由一个判别器辅助，通过对抗的方式不断使得f
″
逼近f
sr
；
[0027]
上采样模块f
sr
学习：将上一步输出的特征f
″
送入域对抗阶段学习到的上采样模块f
sr
中，以干净高分辨图像作为监督进行特征上采样模块的模型训练，最终输出对应的干净高分辨图像i
hr
。
[0028]
进一步的，在重建原始干净低分辨率图像y的过程中会生成一部分图像的高频细节信息，在退化信息去除以及细节信息补充过程中，通过两次逐渐逼近的方式约束模块的学习，如公式(1)、(2)所示：
[0029]f′
＝t
domain
(f
degrade
)≈ey(y)
ꢀꢀꢀ
(1)
[0030]f″
＝f
enhance
(f
′
)≈hg(y)
ꢀꢀꢀ
(2)
[0031]
盲图像超分辨阶段整体流程可由公式(3)的数学公式近似表达：
[0032]ihr
＝f
sr
(f
enhance
(t
domain
(e
r,x
(x))))
ꢀꢀꢀ
(3)。
[0033]
进一步的，还包括测试阶段，测试方法为：
[0034]
步骤1、输入一张真实的退化低分辨率图像x；
[0035]
步骤2、使用退化图像编码器e
r,x
对输入图像x提取退化图像特征f
degrade
；
[0036]
步骤3、将f
degrade
输入学习好的域映射模块t
domain
去除图像中包含的退化信息，得到干净的图像特征f
′
；
[0037]
步骤4、将f
′
输入学习好的特征增强模块f
enhance
，对其进行信息增强，得到增强后
的图像特征f
″
；
[0038]
步骤5、将f
″
输入学习好的特征上采样模块f
sr
进行图像超分辨操作得到对应的干净高分辨率图像i
hr
。
[0039]
与上述方法对应的，本发明还提供一种基于域对抗转换的盲图像超分辨系统，包括：域对抗模块：
[0040]
步骤11：利用真实退化数据r和合成退化数据x学习一个具有最优参数的退化图像的编码器e
r,x
和解码器g
r,x
，并使用判别器拉近真实数据和退化数据分布之间的差异；
[0041]
步骤12：利用与合成退化图像数据x相对应的干净图像数据y学习一个具有最优参数的干净图像编码器ey和解码器gy，使用干净图像编码器ey将干净图像压缩编码到一个高斯空间中，为后期的域映射操作提供基础；
[0042]
步骤13：利用干净低分辨率图像y学习一个具有最优参数的超分辨图像编码器hg，并将输入图像编码到符合高斯分布的特征空间中，为后续的图像超分辨操作提供基础；
[0043]
盲图像超分辨模块
[0044]
步骤21：将已有的包含未知退化信息的低分辨率图像输入退化图像编码器e
r,x
中提取图像特征，对图像本身的信息进行整合，将输入图像编码到一个低维隐空间中；
[0045]
步骤22：将步骤21获得的图像特征输入域映射模块中，将含有退化信息的低维图像特征映射到一个不含退化信息的干净图像的特征，最终达到去除输入图像中包含的退化信息的目的；
[0046]
步骤23：将步骤22获得的干净图像特征分别输入干净图像解码器gy和特征生成器g
feat
；干净图像解码器gy与干净图像编码器ey采用对称结构设计，并由图像恢复任务的重建损失函数进行约束，生成不含退化信息的低分辨率图像，同时在解码过程中会生成2个不同尺度的特征，该特征同步整合到特征增强模块g
feat
中，对输入的特征进行信息增强，判别器用于判别生成器生成的信息是否真实以及将生成器输出的特征映射到高斯空间中进行后续的超分辨操作，最后得到干净的高分辨率图像。
[0047]
进一步的，所述域对抗阶段学习过程具体为：
[0048]
退化图像编码器e
r,x
学习：根据batch size的大小随机选择若干真实的和若干合成的宽高为[h,w]的退化图像，并将其输入到退化图像编码器e
r,x
中，e
r,x
将输入图像编码为具有64通道，宽高分别为[h/2,w/2]的特征，并通过kl散度将输出的特征约束到且符合高斯分布的数据域中；再设计一个域判别网络用以区分当前编码来自于真实退化图像数据域还是合成退化图像数据域；再设计一个与编码器e
r,x
结构对称的解码器g
r,x
，g
r,x
根据编码器e
r,x
输出的特征重建回原输入图像，并通过感知损失和对抗损失进行监督；
[0049]
干净图像编码器gy学习：输入batch size个宽高分别为[h,w]的干净图像，并将其输入到干净图像编码器ey中，通过约束ey使得ey编码的特征符合高斯分布，编码的特征具有64通道、宽高分别[h/2,w/2]；再将编码的特征送入干净图像解码器gy中，通过重建原输入的干净图像来学习一个具有强大解码能力的解码器gy；
[0050]
超分辨图像编码器hg学习：输入batch size个宽高分别为[h,w]的干净图像，并将其输入到超分辨图像编码器hg中，将输入图像编码到一个高斯空间中，其编码特征的通道为64、宽高为[h,w]；再对编码的特征进行超分辨操作，用以学习一个次优的超分辨编码器。
[0051]
进一步的，所述盲图像超分辨阶段学习具体过程为：
[0052]
输入batch size个大小为[h,w]的具有合成退化信息的低分辨率图像x；
[0053]
将输入图像x送入域对抗阶段训练好的退化图像编码器e
r,x
中用于提取形状为[b,c,h/2,w/2]的图像特征f
degrade
，其中b表示batch size的大小，c表示特征通道数，本模型中设为64，h和w分别表示输入图像的宽高；
[0054]
域映射模块t
domain
学习：将f
degrade
送入域映射模块t
domain
，输入输出前后特征的形状保持不变，域映射模块的作用是去除f
degrade
中包含的退化信息；在此阶段，干净图像编码器ey对一个干净低分辨图像y进行编码得到形状为[b,c,h/2,w/2]的特征f
clean
，该干净图像与第一步输入的合成退化图像x相对应，通过f
clean
引导域映射模块t
domain
将退化图像特征f
degrade
转换为干净图像特征f
′
，以此学习一个最优的域映射模块t
domain
的参数模型；
[0055]
特征增强模块f
enhance
学习：首先，f
′
输入干净图像解码器中gy中，选取干净图像编码器gy中两个不同尺度的特征融入特征生成器g
feat
中，在此过程中主要使用l1损失、感知损失和判别损失来约束整个过程，这个过程也被称为图像复原过程；其次，f
′
也会被输入到特征生成器g
feat
中，此时超分辨图像编码器hg会对干净低分辨图像编码得到形状为[b,c,h,w]的特征f
sr
，通过f
sr
的引导使得特征生成器g
feat
可以聚合两个多尺度特征以及干净图像特征f
′
中关于图像的高频纹理信息以及内容信息，然后生成一个与f
sr
具有相同数据分布且包含相似信息的特征f
″
，这个过程中会使用由一个判别器辅助，通过对抗的方式不断使得f
″
逼近f
sr
；
[0056]
上采样模块f
sr
学习：将上一步输出的特征f
″
送入域对抗阶段学习到的上采样模块f
sr
中，以干净高分辨图像作为监督进行特征上采样模块的模型训练，最终输出对应的干净高分辨图像。
[0057]
进一步的，在重建原始干净低分辨率图像y的过程中会生成一部分图像的高频细节信息，在退化信息去除以及细节信息补充过程中，通过两次逐渐逼近的方式约束模块的学习，如公式(1)、(2)所示：
[0058]f′
＝t
domain
(f
degrade
)≈ey(y)
ꢀꢀꢀ
(1)
[0059]f″
＝f
enhance
(f
′
)≈hg(y)
ꢀꢀꢀ
(2)
[0060]
盲图像超分辨阶段整体流程可由公式(3)的数学公式近似表达：
[0061]ihr
＝f
sr
(f
enhance
(t
domain
(e
r,x
(x))))
ꢀꢀꢀ
(3)。
[0062]
进一步的，还包括测试模块，测试方法为：
[0063]
步骤1、输入一张真实的退化低分辨率图像x；
[0064]
步骤2、使用退化图像编码器e
r,x
对输入图像x提取退化图像特征f
degrade
；
[0065]
步骤3、将f
degrade
输入学习好的域映射模块t
domain
去除图像中包含的退化信息，得到干净的图像特征f
′
；
[0066]
步骤4、将f
′
输入学习好的特征增强模块f
enhance
，对其进行信息增强，得到增强后的图像特征f
″
；
[0067]
步骤5、将f
″
输入学习好的特征上采样模块f
sr
进行图像超分辨操作得到对应的干净高分辨率图像i
hr
。
[0068]
本发明的优点在于：
[0069]
本发明通过域转换的方式建立从退化图像数据域到干净图像数据域之间的映射，通过此映射直接去除退化信息来避免退化信息的建模的缺陷。具体的本发明使用多任务学
习的方式将图像复原和图像超分辨两个任务结合，通过图像复原任务中损失函数的不断约束以及域对抗方法的辅助，学习一个域转换模块实现将含有退化信息的图像特征转换为干净的图像特征，从而在特征层面上去除图像的退化信息，然后通过图像超分辨任务的约束以及特征生成器的辅助，学习一个特征增强模块以及上采样模块，充分利用图像自身信息实现图像超分辨任务。此外，由于真实场景中退化图像不存在对应干净高分辨图像，导致无法使用监督的方式训练模型。本发明引入域对抗方式，首先向同一编码器混合输入真实退化图像和合成退化图像，再使用域对抗方法约束该编码器将两种不同数据编码到同一空间中，最后再使用合成图像与其对应的干净图像学习整个模型。
附图说明
[0070]
图1为本发明实施例中基于域对抗转换的盲图像超分辨方法的两个阶段流程图；
[0071]
图2为本发明实施例中基于以对抗转换的盲图像超分辨方法的网络模型结构示意图；
[0072]
图3为本发明应用实施例中基于域对抗转换的盲图像超分辨方法的数据分析结果图；
[0073]
图4为应用本发明实施例中方法展示在set5数据集中一张图像上进行4倍盲图像超分辨算法的可视化结果图，分别与当前最优的盲图像算法dasr、bsrgan等以及当前最常用的图像超分辨算法rcan的结果可视化对比。
具体实施方式
[0074]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0075]
本实例申请提供了一种新的基于域对抗转换的盲图像超分辨方法如图1，具体包括以下两个阶段：
[0076]
1、域对抗阶段
[0077]
步骤1：利用真实退化数据r和合成退化数据x学习一个具有最优参数的退化图像的编码器e
r,x
和解码器g
r,x
，并使用判别器拉近真实数据和退化数据分布之间的差异。
[0078]
步骤2：利用与合成退化图像数据x相对应的干净图像数据y学习一个具有最优参数的干净图像的编码器ey和解码器gy，并使得ey将干净图像压缩编码到一个高斯空间中，为后期的域映射操作提供基础。
[0079]
步骤3：利用干净低分辨率图像y学习一个具有最优参数的超分辨图像编码器hg，并将输入图像编码到符合高斯分布的特征空间中，为后续的图像超分辨操作提供基础。
[0080]
2、盲图像超分辨阶段
[0081]
步骤1：将已有的包含未知退化信息的低分辨率图像输入编码器中提取图像特征。图像编码器与pix2pix算法中的编码器类似，由2个卷积块和5个残差块组成，图像编码器旨在对图像本身的信息进行整合，将输入图像编码到一个低维隐空间中。
[0082]
步骤2：将步骤1获得的图像特征输入域映射模块中。域映射模块主要由卷积块和
残差块组成，旨在将含有退化信息的低维图像特征映射到一个不含退化信息的干净图像的特征，最终达到去除输入图像中包含的退化信息的目的。
[0083]
步骤3：将步骤2获得的干净图像特征分别输入干净图像解码器gy和特征生成器g
feat
。干净图像解码器gy与干净图像编码器采用对称结构设计，并由图像恢复任务的重建损失函数进行约束，期望生成不含退化信息的低分辨率图像，同时在解码过程中会生成2个不同尺度的特征，该特征会同步整合到特征增强模块g
feat
中，旨在充分利用多任务学习的优势。特征增强模块g
feat
主要由一个生成器和一个判别器组成，其中生成器对输入的特征进行信息增强，判别器用于判别生成器生成的信息是否真实以及将生成器输出的特征映射到高斯空间中进行后续的超分辨操作。
[0084]
步骤4：将步骤3生成的特征进行特征上采样操作并转换为3通道图像。本模块主要由多尺度残差模块和shufflepixel操作组成，其中多尺度残差模块由三个并行的空洞卷积率分别为1,2,5的空洞卷积组成，再借鉴选择性核(sknet)的融合方式对三个特征进行融合，最后使用通道注意力机制对特征进一步加权。本模块由图像超分辨中的重建损失进行约束，期望学习到一组最优的参数进行图像超分辨任务。
[0085]
具体实施时，分为训练过程和测试过程，具体包括如下：
[0086]
1训练过程
[0087]
训练过程包含两个阶段，其中域对抗阶段的训练是为了后续的盲图像超分辨阶段提供最优或者次优的初始化参数，减少模型的训练难度。
[0088]
域对抗阶段：以下三个步骤均相互独立，可以同时进行。本阶段的目的一方面是训练处若干具有最优或者次优的模型参数用于辅助后续的实验进行，另一方面是实现真实退化数据分布和合成退化数据分布的相互统一。
[0089]
根据batch size的大小随机选择若干真实的和若干合成的宽高为[h,w]的退化图像，并将其输入到退化图像编码器e
r,x
中，e
r,x
将输入图像编码为具有64通道，宽高分别为[h/2,w/2]的特征，并通过kl散度将输出的特征约束到且符合高斯分布的数据域中；再设计一个域判别网络用以区分当前编码来自于真实退化图像数据域还是合成退化图像数据域，这种域对抗方式可以使得e
r,x
将两种不同的退化图像编码到一个特征空间中；再设计一个与编码器e
r,x
结构对称的解码器g
r,x
(具体结构与pixel2pix模型中编码解码结构一致)，g
r,x
根据编码器e
r,x
输出的特征重建回原输入图像，并通过感知损失和对抗损失进行监督，目的是学习一个具有强大编码能力的编码器e
r,x
。
[0090]
输入batch size个宽高分别为[h,w]的干净图像，并将其输入到干净图像编码器ey中，通过约束ey使得ey编码的特征符合高斯分布，编码的特征具有64通道、宽高分别[h/2,w/2]；再将编码的特征送入干净图像解码器gy中，通过重建原输入的干净图像来学习一个具有强大解码能力的解码器gy，用于后续的特征增强模块。
[0091]
输入batch size个宽高分别为[h,w]的干净图像，并将其输入到超分辨图像编码器hg中，将输入图像编码到一个高斯空间中，其编码特征的通道为64、宽高为[h,w]；再对编码的特征进行超分辨操作，用以学习一个次优的超分辨参数模型。
[0092]
盲图像超分辨阶段：以下若干步骤具有紧密联系，前一阶段为后一阶段提供必要的支持。本阶段的目的是学习一个可用于真实场景的图像超分辨参数模型，用于完成图像超分辨任务。
[0093]
输入batch size个大小为[h,w]的具有合成退化信息的低分辨率图像x。
[0094]
将输入图像x送入域对抗阶段训练好的退化图像编码器e
r,x
中用于提取形状为[b,c,h/2,w/2]的图像特征f
degrade
，其中b表示batch size的大小，c表示特征通道数，本模型中设为64，h和w分别表示输入图像的宽高，本次的目的主要是将图像中如内容、风格和纹理等重要信息压缩，并去除一部分图像本身的冗余信息。
[0095]
将f
degrade
送入域映射模块t
domain
，输入输出前后特征的形状保持不变，域映射模块的作用是去除f
degrade
中包含的退化信息。在此阶段，干净图像编码器ey对一个干净低分辨图像y进行编码得到形状为[b,c,h/2,w/2]的特征f
clean
，该干净图像与第一步输入的合成退化图像x相对应，由于数据是合成的，因此对应的干净-退化图像对本实施例很容易获得，其目的是通过f
clean
引导域映射模块t
domain
将退化图像特征f
degrade
转换为干净图像特征f
′
，以此学习一个最优的参数模型用于去除退化信息。
[0096]
在前一阶段去除退化信息的过程中，域映射模块t
domain
不可避免的会损害特征f
degrade
中属于图像本身的信息，因此本阶段的目的是对前一阶段输出的特征f
′
进一步增强，用于后期的图像超分辨操作。首先，f
′
会被输入到干净图像解码器中gy中，在重建原始干净低分辨率图像y的过程中会生成一部分图像的高频细节信息，本实施例在此过程中选取解码器gy中第5层和第8层两个不同尺度的特征融入特征生成器g
feat
中，在此过程中主要使用l1损失、感知损失和判别损失来约束整个过程，这个过程也被称为图像复原过程；其次，f
′
也会被输入到特征生成器g
feat
中，此时超分辨图像编码器hg会对干净低分辨图像编码得到形状为[b,c,h,w]的特征f
sr
，通过f
sr
的引导使得特征生成器g
feat
可以聚合两个多尺度特征以及干净图像特征f
′
中关于图像的高频纹理信息以及内容信息，然后生成一个与f
sr
具有相同数据分布且包含相似信息的特征f
″
，这个过程中会使用由一个判别器辅助，通过对抗的方式不断使得f
″
逼近f
sr
，这个过程也被称为特征上采样过程。本实施例通过这两个过程联合优化优势，进一步增强了特征中包含的信息，的整个特征增强模块记作f
enhance
。
[0097]
将上一步输出的特征f
″
送入域对抗阶段学习到的图像超分辨参数模型f
sr
中，以干净高分辨图像作为监督进行特征上采样模块的模型训练，最终输出对应的干净高分辨图像。
[0098]
在退化信息去除以及细节信息补充过程中，本方法通过两次逐渐逼近的方式约束模块的学习，如公式(1)、(2)所示：
[0099]f′
＝t
domain
(f
degrade
)≈ey(y)
ꢀꢀꢀ
(1)
[0100]f″
＝f
enhance
(f
′
)≈hg(y)
ꢀꢀꢀ
(2)
[0101]
盲图像超分辨阶段整体流程可由公式(3)的数学公式近似表达：
[0102]ihr
＝f
sr
(f
enhance
(t
domain
(e
r,x
(x))))
ꢀꢀꢀ
(3)。
[0103]
2测试过程
[0104]
测试过程中固定训练阶段已经训练完成的模型参数，不进行梯度的反向传播，不同于训练过程每次输入batch size数量的图像，测试阶段每次只输入一张真实场景下的退化低分辨率图像，且不需要对应的干净低分辨率图像的引导以及对应干净高分辨图像的监督，仅通过一张退化的低分辨率图像生成干净的高分辨率图像。
[0105]
(1)输入一张真实的退化低分辨率图像x。
[0106]
(2)使用退化图像编码器e
r,x
对输入图像x提取退化图像特征f
degrade
。
[0107]
(3)将f
degrade
输入学习好的域映射模块t
domain
去除图像中包含的退化信息，得到干净的图像特征f
′
。
[0108]
(4)将f
′
输入学习好的特征增强模块f
enhance
，对其进行信息增强，得到增强后的图像特征f
″
。
[0109]
(5)将f
″
输入学习好的特征上采样模块f
sr
进行图像超分辨操作得到对应的干净高分辨率图像i
hr
。
[0110]
本实施例通过域转换的方式建立从退化图像数据域到干净图像数据域之间的映射，通过此映射直接去除退化信息来避免退化信息的建模的缺陷。具体的本实施例使用多任务学习的方式将图像复原和图像超分辨两个任务结合，通过图像复原任务中损失函数的不断约束以及域对抗方法的辅助，学习一个域转换模块实现将含有退化信息的图像特征转换为干净的图像特征，从而在特征层面上去除图像的退化信息，然后通过图像超分辨任务的约束以及特征生成器的辅助，学习一个特征增强模块以及上采样模块，充分利用图像自身信息实现图像超分辨任务。此外，由于真实场景中退化图像不存在对应干净高分辨图像，导致无法使用监督的方式训练模型。本实施例引入域对抗方式，首先向同一编码器混合输入真实退化图像和合成退化图像，再使用域对抗方法约束该编码器将两种不同数据编码到同一空间中，最后再使用合成图像与其对应的干净图像学习整个模型。
[0111]
图2是网络模型结构示意图。其中模型主要包括四部分，第一部分是退化图像编码器，主要用来压缩输入图像包含的信息；第二部分是域映射模块，主要用来除去输入图像中的退化信息，同时保留退化图像的内容和风格信息；第三部分是特征增强模块，主要由生成器和判别器组成层，其中生成器的作用是在输入特征包含信息的引导下，生成部分信息以增强输入特征的细节信息。判别器的作用一方面是判别生成器生成信息的真实性，另一方面是将生成器生成的特征映射到高斯空间中，以便后续的超分辨操作；第四部分是特征上采样模块，主要由多尺度残差结构、通道注意力结构、卷积层和shufflepixel组成，其目的是对生成模块输出的特征不断细化以及增大其分辨率，同时转换为3通道的图像。
[0112]
此外，模型中还包含若干辅助模块，(1)退化图像解码模块g
r,x
：本模块的功能是重建压缩后的输入退化图像，主要目的是为了训练退化图像编码模块e
r,x
，使得e
r,x
具有强大的图像编码能力，可以充分的压缩输入图像的信息。(2)干净图像编码模块ey：本模块的功能是对不含退化信息的图像进行压缩编码，主要目的是将压缩干净图像到低维空间中，然后使得域映射模块可以在低维空间中实现域转换操作，将退化图像特征转换为干净图像特征。(3)图像超分辨编码模块hg：本模块的主要功能是将干净图像编码到高斯空间中，从而使得特征增强模块可以将特征映射到相同的高斯空间，方便后续的图像超分辨操作。
[0113]
图3是本发明展示的数据分析结果图，分别在公开的数据集bsd100、set5、set14和urban100(通过未知方式使其随机退化)上进行2倍和4倍盲图像超分辨结果的定量分析，以psnr/ssim结果作为衡量标准并与当前最优的算法dasr、bsrgan等以及当前最常用的图像超分辨算法rcan的定量对比，其中加粗字体表示最优结果，斜体字体表示次优结果。
[0114]
图4是本发明展示在set5数据集中一张图像上进行4倍盲图像超分辨算法的可视化结果图，分别与当前最优的盲图像算法dasr、bsrgan等以及当前最常用的图像超分辨算法rcan的结果可视化对比。
[0115]
与上述方法对应的，本实例申请提供了一种新的基于域对抗转换的盲图像超分辨
系统，具体包括：
[0116]
1、域对抗模块
[0117]
步骤1：利用真实退化数据r和合成退化数据x学习一个具有最优参数的退化图像的编码器e
r,x
和解码器g
r,x
，并使用判别器拉近真实数据和退化数据分布之间的差异。
[0118]
步骤2：利用与合成退化图像数据x相对应的干净图像数据y学习一个具有最优参数的干净图像的编码器ey和解码器gy，并使得ey将干净图像压缩编码到一个高斯空间中，为后期的域映射操作提供基础。
[0119]
步骤3：利用干净低分辨率图像y学习一个具有最优参数的超分辨图像编码器hg，并将输入图像编码到符合高斯分布的特征空间中，为后续的图像超分辨操作提供基础。
[0120]
2、盲图像超分辨模块
[0121]
步骤1：将已有的包含未知退化信息的低分辨率图像输入编码器中提取图像特征。图像编码器与pix2pix算法中的编码器类似，由2个卷积块和5个残差块组成，图像编码器旨在对图像本身的信息进行整合，将输入图像编码到一个低维隐空间中。
[0122]
步骤2：将步骤1获得的图像特征输入域映射模块中。域映射模块主要由卷积块和残差块组成，旨在将含有退化信息的低维图像特征映射到一个不含退化信息的干净图像的特征，最终达到去除输入图像中包含的退化信息的目的。
[0123]
步骤3：将步骤2获得的干净图像特征分别输入干净图像解码器gy和特征生成器g
feat
。干净图像解码器gy与干净图像编码器采用对称结构设计，并由图像恢复任务的重建损失函数进行约束，期望生成不含退化信息的低分辨率图像，同时在解码过程中会生成2个不同尺度的特征，该特征会同步整合到特征增强模块g
feat
中，旨在充分利用多任务学习的优势。特征增强模块g
feat
主要由一个生成器和一个判别器组成，其中生成器对输入的特征进行信息增强，判别器用于判别生成器生成的信息是否真实以及将生成器输出的特征映射到高斯空间中进行后续的超分辨操作。
[0124]
步骤4：将步骤3生成的特征进行特征上采样操作并转换为3通道图像。本模块主要由多尺度残差模块和shufflepixel操作组成，其中多尺度残差模块由三个并行的空洞卷积率分别为1,2,5的空洞卷积组成，再借鉴选择性核(sknet)的融合方式对三个特征进行融合，最后使用通道注意力机制对特征进一步加权。本模块由图像超分辨中的重建损失进行约束，期望学习到一组最优的参数进行图像超分辨任务。
[0125]
具体实施时，分为训练过程和测试过程，具体包括如下：
[0126]
1训练过程
[0127]
训练过程包含两个阶段，其中域对抗阶段的训练是为了后续的盲图像超分辨阶段提供最优或者次优的初始化参数，减少模型的训练难度。
[0128]
域对抗阶段：以下三个步骤均相互独立，可以同时进行。本阶段的目的一方面是训练处若干具有最优或者次优的模型参数用于辅助后续的实验进行，另一方面是实现真实退化数据分布和合成退化数据分布的相互统一。
[0129]
根据batch size的大小随机选择若干真实的和若干合成的宽高为[h,w]的退化图像，并将其输入到退化图像编码器e
r,x
中，e
r,x
将输入图像编码为具有64通道，宽高分别为[h/2,w/2]的特征，并通过kl散度将输出的特征约束到且符合高斯分布的数据域中；再设计一个域判别网络用以区分当前编码来自于真实退化图像数据域还是合成退化图像数据域，
这种域对抗方式可以使得e
r,x
将两种不同的退化图像编码到一个特征空间中；再设计一个与编码器e
r,x
结构对称的解码器g
r,x
(具体结构与pixel2pix模型中编码解码结构一致)，g
r,x
根据编码器e
r,x
输出的特征重建回原输入图像，并通过感知损失和对抗损失进行监督，目的是学习一个具有强大编码能力的编码器e
r,x
。
[0130]
输入batch size个宽高分别为[h,w]的干净图像，并将其输入到干净图像编码器ey中，通过约束ey使得ey编码的特征符合高斯分布，编码的特征具有64通道、宽高分别[h/2,w/2]；再将编码的特征送入干净图像解码器gy中，通过重建原输入的干净图像来学习一个具有强大解码能力的解码器gy，用于后续的特征增强模块。
[0131]
输入batch size个宽高分别为[h,w]的干净图像，并将其输入到超分辨图像编码器hg中，将输入图像编码到一个高斯空间中，其编码特征的通道为64、宽高为[h,w]；再对编码的特征进行超分辨操作，用以学习一个次优的超分辨参数模型。
[0132]
盲图像超分辨阶段：以下若干步骤具有紧密联系，前一阶段为后一阶段提供必要的支持。本阶段的目的是学习一个可用于真实场景的图像超分辨参数模型，用于完成图像超分辨任务。
[0133]
输入batch size个大小为[h,w]的具有合成退化信息的低分辨率图像x。
[0134]
将输入图像x送入域对抗阶段训练好的退化图像编码器e
r,x
中用于提取形状为[b,c,h/2,w/2]的图像特征f
degrade
，其中b表示batch size的大小，c表示特征通道数，本模型中设为64，h和w分别表示输入图像的宽高，本次的目的主要是将图像中如内容、风格和纹理等重要信息压缩，并去除一部分图像本身的冗余信息。
[0135]
将f
degrade
送入域映射模块t
domain
，输入输出前后特征的形状保持不变，域映射模块的作用是去除f
degrade
中包含的退化信息。在此阶段，干净图像编码器ey对一个干净低分辨图像y进行编码得到形状为[b,c,h/2,w/2]的特征f
clean
，该干净图像与第一步输入的合成退化图像x相对应，由于数据是合成的，因此对应的干净-退化图像对本实施例很容易获得，其目的是通过f
clean
引导域映射模块t
domain
将退化图像特征f
degrade
转换为干净图像特征f
′
，以此学习一个最优的参数模型用于去除退化信息。
[0136]
在前一阶段去除退化信息的过程中，域映射模块t
domain
不可避免的会损害特征f
degrade
中属于图像本身的信息，因此本阶段的目的是对前一阶段输出的特征f
′
进一步增强，用于后期的图像超分辨操作。首先，f
′
会被输入到干净图像解码器中gy中，在重建原始干净低分辨率图像y的过程中会生成一部分图像的高频细节信息，本实施例在此过程中选取解码器gy中第5层和第8层两个不同尺度的特征融入特征生成器g
feat
中，在此过程中主要使用l1损失、感知损失和判别损失来约束整个过程，这个过程也被称为图像复原过程；其次，f
′
也会被输入到特征生成器g
feat
中，此时超分辨图像编码器hg会对干净低分辨图像编码得到形状为[b,c,h,w]的特征f
sr
，通过f
sr
的引导使得特征生成器g
feat
可以聚合两个多尺度特征以及干净图像特征f
′
中关于图像的高频纹理信息以及内容信息，然后生成一个与f
sr
具有相同数据分布且包含相似信息的特征f
″
，这个过程中会使用由一个判别器辅助，通过对抗的方式不断使得f
″
逼近f
sr
，这个过程也被称为特征上采样过程。本实施例通过这两个过程联合优化优势，进一步增强了特征中包含的信息，的整个特征增强模块记作f
enhance
。
[0137]
将上一步输出的特征f
″
送入域对抗阶段学习到的图像超分辨参数模型f
sr
中，以干净高分辨图像作为监督进行特征上采样模块的模型训练，最终输出对应的干净高分辨图像ihr
。
[0138]
在退化信息去除以及细节信息补充过程中，本方法通过两次逐渐逼近的方式约束模块的学习，如公式(1)、(2)所示：
[0139]f′
＝t
domain
(f
degrade
)≈ey(y)
ꢀꢀꢀ
(1)
[0140]f″
＝f
enhance
(f
′
)≈hg(y)
ꢀꢀꢀ
(2)
[0141]
盲图像超分辨阶段整体流程可由公式(3)的数学公式近似表达：
[0142]ihr
＝f
sr
(f
enhance
(t
domain
(e
r,x
(x))))
ꢀꢀꢀ
(3)。
[0143]
2测试过程
[0144]
测试过程中固定训练阶段已经训练完成的模型参数，不进行梯度的反向传播，不同于训练过程每次输入batch size数量的图像，测试阶段每次只输入一张真实场景下的退化低分辨率图像，且不需要对应的干净低分辨率图像的引导以及对应干净高分辨图像的监督，仅通过一张退化的低分辨率图像生成干净的高分辨率图像。
[0145]
(6)输入一张真实的退化低分辨率图像x。
[0146]
(7)使用退化图像编码器e
r,x
对输入图像x提取退化图像特征f
degrade
。
[0147]
(8)将f
degrade
输入学习好的域映射模块t
domain
去除图像中包含的退化信息，得到干净的图像特征f
′
。
[0148]
(9)将f
′
输入学习好的特征增强模块f
enhance
，对其进行信息增强，得到增强后的图像特征f
″
。
[0149]
将f
″
输入学习好的特征上采样模块f
sr
进行图像超分辨操作得到对应的干净高分辨率图像i
hr
。
[0150]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。