基于深度图像先验的高光谱图像超分辨率重建方法

1.本发明属于人工智能和图像处理技术领域，具体涉及一种基于深度图像先验的高光谱图像超分辨率重建方法。


背景技术：

2.高光谱图像具有丰富的光谱和空间信息，在捕捉目标物体的细节方面具有优势。它们有着非常广泛的应用，如陆地、大气、海洋等领域的观测。然而，由于入射能量的限制，在光学遥感系统的设计中，如果其他因素保持不变，并保证高信号色噪比(snr)，空间分辨率随着频谱特征的增加而降低。而高光谱图像超分辨率重建技术旨在通过一张低分辨率高光谱图像重建一张高分辨率高光谱图像。
3.现有技术提出高光谱图像超分辨率的学习方法只要包括经典的基于插值的方法、基于融合的方法和最新的基于深度学习的方法。基于插值的方法直接使用邻域像素信息，不能带来更多的信息，因此不能产生满意的结果。而基于贝叶斯推理和稀疏表示的融合方法将观测到的低分辨率超光谱图像与辅助图像(如全色图像、rgb图像和多光谱图像)进行融合，以提高低分辨率图像的质量。在这些方法中都需要良好的图像配准，这严重制约了基于融合的方法在现实世界中的应用。
4.随着卷积神经网络(cnn)的快速发展，基于深度学习的高光谱图像超分方法最近得到了蓬勃发展。由于卷积神经网络具有强大的非线性映射能力，它逐渐成为高光谱图像处理领域的一项重要技术，并取得了显著的成功。然而，与传统的灰度/rgb图像不同，由于超光谱图像的内部特征，不同数据集之间成像条件和光谱波段数量的差异，使得很难构建统一的深度神经网络。此外，训练图像的缺乏阻碍了高光谱图像处理的研究进展，超分辨率任务不可避免地面临以下挑战：1)难以获得超光谱图像的先验信息，超光谱图像通常包含数百个连续谱带。因此，为了避免过拟合问题，有必要从大量的样本图像中学习真实的先验图像。然而，与自然图像相比，可利用的高光谱图像数据集数量很少。2)考虑到成像条件的不同和高光谱谱带的数目不同，构建一个统一的深层神经网络仍然是一个难题。
5.ulyanov等人在文献“d.ulyanov,a.vedaldi,and v.lempitsky,“deep image prior.in proceedings of the ieee conference on computer vision and pattern recognition(cvpr),june 2018.”(以下简称deep image prior为dip算法)中提出一种不基于训练的图像自动处理网络，该方法证明了大部分的图像统计信息是由生成器cnn的结构捕获的，这个结构独立于学习过程。这意味着cnn的学习能力和内部结构都有利于图像数据的处理。此外，还可以利用结构本身来获取和处理图像统计信息，而不需要学习外部图像。然而，将该算法直接应用于hsisr也会引起一些问题：
6.1)所提出的结构是基于传统的灰度/rgb图像超分辨率任务，因此该方法在处理高维度的高光谱图像时不能取得令人满意的结果；
7.2)通过实验表明，该方法受网络结构以及输入图像的影响，需要反复调整网络结构以及网络输入，使两者匹配。


技术实现要素：

8.为了解决现有技术中存在的上述问题，本发明提供一种基于深度图像先验的高光谱图像超分辨率重建方法。本发明要解决的技术问题通过以下技术方案实现：
9.本发明提供的一种基于深度图像先验的高光谱图像超分辨率重建方法，包括：
10.步骤1：获取待超分的图像以及主体学习网络；
11.步骤2：对待超分的图像进行边缘裁剪，得到中心区域图像；
12.步骤3：在中心区域图像的第一位置区域进行均匀划分，获得非重叠的测试图像样本以及在第二位置区域进行提取，获得待超分的子图像块；
13.其中，第一位置区域与第二位置区域不存在重叠；
14.步骤4：将已构建的自动处理网络的输出连接主体学习网络的输入，以组成超分辨率重建网络；
15.其中，自动处理网络包括：输入处理模块以及主体恢复模块，输入处理模块内部按照输入在前输出在后，依次包括与输入图像像素数相同的第一卷积层、三个第二卷积层以及一个上采样层，主体恢复模块内部按照输入在前输出在后，依次包括一个第二卷积层、一个上采样层、一个注意力模块以及四个第二卷积层，自动处理网络包括主干道、参差跳跃通道以及组合通道，主干道由输入处理模块的输出连接主体恢复模块输入直至主体恢复模块输出组成，组合通道由输入处理模块的第一卷积层输出直接连接主体恢复模块的输入组成，参差跳跃通道由输入处理模块的第一卷积层直接连接主体恢复模块的最后一个第二卷积层的输出组成；
16.步骤5：将与待超分的子图像块大小相同的白噪声输入超分辨率重建网络中，通过反向传播调整超分辨率重建网络的参数降低损失函数直至最佳迭代次数，以使超分辨率重建网络根据待超分的子图像块的空间信息与光谱波段的相关性学习待超分的子图像块的特征，得到重构后的高光谱图像。
17.其中，第一位置区域为中心区域图像中左半侧区域，第二位置区域为中心区域图像中右半侧区域，中心区域图像的大小为1096
×
715
×
102，测试图像样本以及待超分的子图像块大小为223
×
223，第一卷积层的大小为223
×
223，第二卷积层的大小为3
×
3。
18.可选的，在自动处理网络中每个卷积层后都连接一个激活层，激活层的激活函数为：
[0019][0020]
其中，x表示上一层卷积后的参数，表示负方向上的斜率；
[0021]
自动处理网络的损失函数表示为：
[0022]
e(x；x0)＝||d(f
θ
(ipm(z)))-x0||1[0023]
其中，x0表示待超分的低质量图像，x表示输出图像，d(f
θ
(ipm(z)))表示输入的白噪声z输入到超分辨率重建网络，经过主体学习网络输出后再降采样所得的图像。
[0024]
可选的，输入处理模块中第一卷积层，用于将输入样本图像进行压缩；
[0025]
组合通道传输的压缩数据与上采样层采样的数据，经过维度组合输入至主体恢复模块，
[0026]
组合通道传输的压缩数据表示为：
[0027]
上采样层的采样数据表示为：
[0028]
自动处理网络的输出表示为：z
*
＝f
ipm
(z)＝z
p
h
cp
(z
ca
)
[0029]
其中，z
p
表示输入处理模块中第一卷积层压缩后的压缩数据。
[0030]
可选的，最佳迭代次数是经过多次实验获得，实验过程包括：
[0031]
根据超分辨率重建网络的参数规模设置实验迭代次数；
[0032]
获取高清子图组成实验集；
[0033]
使用与实验集大小相同的白噪声输入超分辨率重建网络训练超分辨率重建网络，直至达到实验迭代次数，记录每次迭代时超分辨率重建网络的参数数值以及每间隔第一数量迭代次存储超分辨率重建网络输出的重构图片；
[0034]
将每次存储的图片与高清子图进行对比，确定清晰度最高的重构图片；
[0035]
根据测试数据集，确定超分辨率重建网络输出清晰度最高的重构图片对应的参数数值以及实验迭代次数；
[0036]
将清晰度最高的重构图片对应的实验迭代次数确定为训练超分辨率重建网络的最佳迭代次数。
[0037]
可选的，步骤5包括：
[0038]
步骤61：将与待超分的子图像块大小相同的白噪声输入超分辨率重建网络中，得到输出图像；
[0039]
步骤62：计算将输出图像降采样后与待超分子图像块的损失函数；
[0040]
步骤63：通过反向传播调整超分辨率重建网络的参数训练超分辨率重建网络直至最佳迭代次数，获得重构后的子块；
[0041]
步骤64：将重构后的子块进行整合，得到重构后的高光谱图像。
[0042]
本发明提供的一种基于深度图像先验的高光谱图像超分辨率重建方法，通过在现有的主体学习网络中加入不基于训练的自动处理网络，通过设计自动处理网络来充分根据网络主体结构调整网络输入，使输入与网络结构产生共鸣，从而充分利用图像先验信息，利用dcnn的内在特征先捕获图像，然后再恢复图像。本发明所提出的网络结构充分利用了高光谱图像的空间信息和光谱波段之间的相关性学习图像特征，并且此本发明的自动处理网络可以自动调整输入结构，可以大大扩展dip方法的应用，使dip方法更适合于高光谱超分任务，可以进一步提高了构图像的质量。
[0043]
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
[0044]
图1是本发明实施例提供的一种基于深度图像先验的高光谱图像超分辨率重建方法的流程示意图；
[0045]
图2是本发明实施例提供的自动处理网络的内部结构示意图；
[0046]
图3为本发明方法与现有的超分辨率重建方法在pavia centre数据库上的4倍重建图像的对比结果图。
具体实施方式
[0047]
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
[0048]
如图1所示，本发明提供的一种基于深度图像先验的高光谱图像超分辨率重建方法包括：
[0049]
步骤1：获取待超分的图像以及主体学习网络；
[0050]
步骤2：对待超分的图像进行边缘裁剪，得到中心区域图像；
[0051]
值得说明的是：对于待超分的低质量图像，往往拥有几十上百的波段，对整体进行操作需要占用很大的计算空间，通常会首先将待超分的图像进行裁块，对获得对应的低质子图像块进行分别处理。
[0052]
步骤3：在中心区域图像的第一位置区域进行均匀划分，获得非重叠的测试图像样本以及在第二位置区域进行提取，获得待超分的子图像块；
[0053]
其中，第一位置区域与第二位置区域不存在重叠；第一位置区域为中心区域图像中左半侧区域，第二位置区域为中心区域图像中右半侧区域。中心区域图像的大小为1096
×
715
×
102，测试图像样本以及待超分的低质子图像块大小为223
×
223。
[0054]
值得说明的是：在像pavia这样的小数据集中，只有一幅图像，本发明将图像切割得到一个子图像，即中心区域图像。并将其中的一部分作为测试，其余的子图像大小vdsr的训练集相同。对pavia图像的中心区域进行裁剪，得到一幅大小为1096
×
715
×
102的子图像，并将子图像进一步划分为待超分数据和测试数据。其中，提取该图像的左侧部分作为测试数据，测试数据中有4张非重叠的图像块，像素为223
×
223。此外，测试数据用以验证网络的效果，可据此确定网络迭代形成最佳图像所需迭代次数，对待超分数据进行与上述相同的次数的超分迭代过程形成对应的超分图像子块。
[0055]
步骤4：将已构建的自动处理网络的输出连接主体学习网络的输入，以组成超分辨率重建网络；
[0056]
其中，自动处理网络包括：输入处理模块以及主体恢复模块，输入处理模块内部按照输入在前输出在后，依次包括与输入图像像素数相同的第一卷积层、三个第二卷积层以及一个上采样层，主体恢复模块内部按照输入在前输出在后，依次包括一个第二卷积层、一个上采样层、一个注意力模块以及四个第二卷积层，自动处理网络包括主干道、参差跳跃通道以及组合通道，主干道由输入处理模块的输出连接主体恢复模块输入直至主体恢复模块输出组成，组合通道由输入处理模块的第一卷积层输出直接连接主体恢复模块的输入组成，参差跳跃通道由输入处理模块的第一卷积层直接连接主体恢复模块的最后一个第二卷积层的输出组成；
[0057]
参考图2，假设输入大小为a
×
a的白噪声图像，建立高光谱深度学习神经网络。自动处理网络共包含输入处理模块、1个主体恢复模块。输入处理模块包含1个与图像像素数同样大小的第一卷积层a
×
a和3个3
×
3卷积层，第一卷积层的大小为223
×
223，第二卷积层的大小为3
×
3，一个采用双线性插值上采样层，每个卷积层后都包含一个prelu激活层，其中prelu激活定义为：
[0058]
[0059]
其中，x表示上一层卷积后的参数，表示负方向上的斜率。此外还包含一个连接操作，将输入图像压缩到1层通道连接到输入处理模块的最后，公式定义如下：
[0060]
其中，h是一系列延伸宽度(增加通道数)的卷积运算，为卷积后的通道的输入，输入到上采样模块，输出z
up
，则是经过卷积后的输出，两者最后在通道维度连接到一起，输入到主体恢复模块，其中
[0061]
对于主体恢复模块，首先采用一个3
×
3卷积层做浅层的特征提取，其次，采用注意力通道机制充分利用高光谱图像的空间信息和光谱波段之间的相关性，此外还有4个3
×
3卷积层，每个卷积后都包含一个prelu激活层，加上参差跳跃连接，实现了最后的调整输入的功能，生成了与后续主体网络匹配的优化输入z
*
。
[0062]
输入处理模块中第一卷积层，用于将输入噪声图像进行压缩；
[0063]
组合通道传输的压缩数据与上采样层采样的数据，经过维度组合输入至主体恢复模块，
[0064]
组合通道传输的压缩数据表示为：
[0065]
上采样层的采样数据表示为：
[0066]
自动处理网络的输出表示为：z
*
＝f
ipm
(z)＝z
p
h
cp
(z
ca
)
[0067]
其中，z
p
表示输入处理模块中第一卷积层压缩后的压缩数据。
[0068]
值得说明的是：待超分的图像空间信息维度为1096乘以715乘以102个通道，在自动处理网络中会在三个像素级、特征块、通道层不同的维度得到调整来充分使得输入的噪声图像在经历自动处理网络后输出的特征图完全适应后续的主体学习网络，使得重建图像质量大幅度提升。其中第一个卷积层会给每一个像素点分配一个可训练的权值，在迭代中会自由的调整每一个像素点值，这是在像素级调整，其次特征图经历两次上采样结构增大维度最后再由结尾的三个卷积层压缩，经历了拉伸，压缩的过程，以大小3
×
3特征块为处理单位重新调整了整体的特征图，最后注意力模块部分则起到在通道维度上分配权重，在迭代中调整各通道。在通常网络训练或迭代中，这样的三种结构组合是少见或者可以说是没有的，但是鉴于此算法是通过迭代过程中自动生成超分图像的算法，且从噪声图像中输出高清图像，所以与常规方法并不相同。本发明需要提前对输出图像做更加自由的处理变换，使无意义的噪声图像像素点在经历网络的映射后生成有意义的高清图像。除此之外，自动处理网络赋予了输出图像更大的自由度来适应后续的主体学习网络，使得后续主体超分网络结构上的选择更加自由。
[0069]
步骤5：将与待超分的子图像块大小相同的白噪声输入超分辨率重建网络中，通过反向传播调整超分辨率重建网络的参数降低损失函数直至最佳迭代次数，以使超分辨率重建网络根据待超分的子图像块的空间信息与光谱波段的相关性学习图像的特征，得到重构后的高光谱图像。
[0070]
值得说明的是：本发明是一种不基于训练的超分方法，并不需要真实的图像，当随机噪声第一次输入到网络时，网络没有经过迭代更新参数，所以网络参数仍然是初始的。当
然，网络不能输出有意义的图像，本发明采用l1损失函数来测量重建输出图像和待超分的低质量图像x0之间的差值。在反向传播后，生成的图像会逐渐接近x0。在这个过程中，网络会抵制噪声，并更快地迭代到看起来自然的图像。在这过程中，可以重建出更高质量的图像。本发明所用的损失函数为l1损失函数，具体如下：
[0071]
e(x；x0)＝||d(f
θ
(ipm(z)))-x0||1[0072]
其中，x0表示待超分的低质量图像，x表示输出图像，d(f
θ
(ipm(z)))表示输入的白噪声z输入到超分辨率重建网络，经过主体学习网络输出后再降采样所得的图像。
[0073]
作为本发明一种可选的实施方式，迭代次数是经过多次实验获得，实验过程包括：
[0074]
根据超分辨率重建网络的参数规模设置实验迭代次数；
[0075]
获取高清子图组成实验集；
[0076]
使用与实验集大小相同的白噪声输入超分辨率重建网络训练超分辨率重建网络，直至达到实验迭代次数，记录每次迭代时超分辨率重建网络的参数数值以及每间隔第一数量迭代次存储超分辨率重建网络输出的重构图片；
[0077]
将每次存储的图片与高清子图进行对比，确定清晰度最高的重构图片；
[0078]
根据测试数据集，确定超分辨率重建网络输出清晰度最高的重构图片对应的参数数值以及实验迭代次数；
[0079]
将清晰度最高的重构图片对应的实验迭代次数确定为训练超分辨率重建网络的最佳迭代次数。
[0080]
值得说明的是，本发明将该最佳迭代次数，确定为待超分图像超分迭代所需次数对每个待超分子图像块进行超分，最后整合。
[0081]
值得说明的是：选取合适的高清子图，本发明的方法经过多次迭代不易过拟合，重建的图像质量不易退化，而这与迭代次数相关。在实验条件下，预设15000次迭代，观察每个指标的趋势。在通过测试数据集确定最佳迭代次数过程中，本发明将每50次存储其图片，并选择最佳指标对应的图片记录。各个指标的表示的图像质量在超过最佳迭代次数后整体趋势是下降的，并在后期逐渐接近对应的低质量图像，所以需要在达到最佳迭代次数时停止迭代，根据实验中测试数据集得到的最佳指标记录当前的迭代次数，该迭代次数与实际应用中该网络的最佳停止迭代次数接近。本发明可以设置一个比停止迭代数大1000的数字来进行实验。最后，通过观察选择性能最好的重建图像。
[0082]
在实际场景中，15000次迭代是一个合适的数字。由于本发明网络不容易拟合，在实际应用中具有较强的鲁棒性，即使经过2万次迭代后，所有指标仍然足够优秀。多次迭代，重建图像会逐渐清晰，保存每一步生成的图像，根据清晰度挑选最优的结果，最后得到一系列清晰的子图像。
[0083]
作为本发明一种可选的实施方式，所述步骤6包括：
[0084]
步骤61：将与所述待超分子图像块大小相同的白噪声输入超分辨率重建网络中，得到输出图像；
[0085]
步骤62：计算将输出图像降采样后与待超分子图像块的损失函数；
[0086]
步骤63：通过反向传播调整所述超分辨率重建网络的参数训练所述超分辨率重建网络直至最佳迭代次数，获得重构后的子块；
[0087]
步骤64：将重构后的子块进行整合，得到重构后的高光谱图像。
[0088]
值得说明的是，本发明需要整合超分后子图构成图像。将每一个超分后的子块整合成最终超分后的高光谱图像。
[0089]
值得说明的是：由于待超分的图像数据结构复杂，通常会占用很大的内存，常用的处理手段会将其裁块分别超分处理降低网络处理数据的压力，最后再将其整合在一起获得超分图像。
[0090]
本发明提供的一种基于深度图像先验的待超分的图像超分辨率重建方法，通过在现有的主体学习网络中加入不基于训练的自动处理网络，通过设计输入处理模块来充分根据网络主体结构调整网络输入，使输入与网络结构产生共鸣，从而充分利用图像先验信息，利用dcnn的内在特征先捕获图像，然后再恢复图像。本发明所提出的网络结构充分利用了高光谱图像的空间信息和光谱波段之间的相关性学习图像特征，并且此本发明的高光谱自动处理网络中的输入处理模块可以自动调整输入结构，可以大大扩展深度图像先验算法的应用，使得深度图像先验dip的方法更适合于高光谱超分任务，可以进一步提高了构图像的质量。
[0091]
下面通过实验验证本发明重建方法的重建效果。
[0092]
为了解决小数据集训练数据不足导致重建图像不清晰和指标偏低的困难，本发明提出了本发明的重建方法，并改进了方法的应用。因此，本发明主要的比较方法是深度图像先验方法，主要说明它是一种不需要训练数据和参考地面真相的方法。本发明的算法性能在基于非训练的方法中是领先的，在基于学习的方法中也可以进行比较。在大多数实际应用中，许多sr方法在复杂的条件下几乎是不可能应用的，本工作主要针对训练数据难以获取且不需要地面真实参考的场景，在应用上更具有实用性。本发明的效果可以通过以下仿真实验做进一步的说明。
[0093]
1.仿真条件
[0094]
本发明是在中央处理器为inter(r)core(tm)i7-4790 3.60ghz cpu、nvidia titan xp gpu、ubuntu 16.04操作系统上。相关实验环境如下：
[0095]
python＝3.7
[0096]
pytorch＝1.2.0
[0097]
numpy
[0098]
skimage
[0099]
imageio
[0100]
matplotlib
[0101]
torch
[0102]
scipy
[0103]
argparse
[0104]
数据库采用高光谱超分领域广泛使用的数据集pavia centre dataset。实验中所对比的方法如下：
[0105]
一是深度先验神经网络，实验中记为dip，利用结构本身来捕获和处理图像统计信息，而不需要学习外部图像之间共享的细节。二是一种基于利用残差学习，加深网络结构的超分辨率重建算法，实验中记为vdsr，vdsr提出一个卷积后补0的操作，使得图像大小保持一致。
[0106]
2.仿真内容
[0107]
实验1，重建图像质量评价
[0108]
根据本发明具体实施方法和现有基于深度图像先验来进行自然图像超分重建算法dip，采用高光谱超分领域广泛使用的数据集pavia centre dataset和chikusei数据集。提取数据集中该图像的左侧部分作为测试数据，测试数据中有4张非重叠的待超分的图像，像素为223
×
223。pavia中心数据集是公共的hsi数据集，是pavia中心区域，由反射光学系统成像光谱仪传感器于2001年拍摄。它有102个光谱波段，1096
×
1096像素，chikusei数据集是日本chikusei的市区，拍摄于2014年7月29日。它有2517
×
2335像素，128个光谱波段，光谱范围为363～1018nm。实验选用标准的评价指标：利用5个常用的定量图像质量指标(pqis)评价方法的性能，包括光谱角映射(sam)、相对全局尺寸误差(ergas)、均方根误差(rmse)、结构相似度(ssim)和峰值信噪比(psnr)、本发明显示了psnr和ssim的所有波段的平均值，称为mpsnr,mssim。其余三个指标在hs融合领域被广泛采用。以上5个指标的最佳值分别为0、0、0、1和 ∞。。实验结果如表一，bicubic表示图像由双三次插值放大的结果，scale表示不同的放大倍数，分别为2倍、3倍和4倍方法。本发明的重建方法在各个性能指标上均明显优越于目前的不基于训练的超分辨率重建算法，在许多基于训练的方法中也效果优秀，说明本发明方法重建的图像分辨率方法更适用于难以获取数据集，难以统一网络的高光谱超分任务，进一步验证了本发明的先进性。
[0109]
表1 pavia centre数据集不同算法性能对比
[0110]
pavia datasetscalesam
↓
rmse
↓
ergas
↓
mpsnr
↑
ssim
↑
bicubic46.1520.0446.89527.5560.694vdsr46.7000.04196.69927.8820.724dip46.2660.04106.48428.1060.736ours45.9830.0406.25328.6590.761bicubic87.7460.0624.83024.5950.472vdsr88.0760.0614.68524.8480.501dip87.9280.0624.73624.7250.496ours87.6180.0604.61924.8870.503
[0111]
表2 chikusei数据集不同算法性能对比
[0112]
[0113][0114]
从表1以及表2可见，基于本发明的重建方法实现的图像自动处理网络享有更好的性能指标，同时本发明的重建方法的优点在于不需要基于样本进行训练，且忽略了不同数据集之间成像条件的差异。该工作不需要真值图像，重点关注训练数据难以获取的场景，具有实际应用价值。
[0115]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。