一种基于多降质方式数据增广的高光谱图像超分辨率复原方法与流程

1.本发明属于图像处理技术领域，特别涉及一种基于多降质方式数据增广的高光谱图像超分辨率复原方法。


背景技术：

2.近年来，多国局势动荡、自然灾害频发，先进的军事侦察技术、环境监视和资源探测技术显得尤为重要，因此对地探测技术在各国都居于核心地位，高光谱遥图像是一种高维图像，具有识别微弱信息和定量探测的优势，在军事和民用范围有很高应用价值。传统的基于融合的高光谱图像超分辨率方法虽取得一定效果，但此类方法要求输入的低分辨率高光谱图像和高分辨率辅助图像能良好配准，在实际应用场景下，获得良好配准的辅助图像是非常困难的；为解决辅助信息的不易获取问题，出现了基于稀疏字典学习或低秩近似方法，然而这种手工先验信息仅仅只能反映数据的部分特征。随着近年来深度学习的发展，卷积神经网络(cnn)对低分辨率图像和高分辨率图像之间的映射关系和建模能力相比于传统方法展现出了较强的优势。
3.目前，基于cnn的高光谱图像超分辨率复原算法取得了很大的进展，例如，对相邻波段划分若干个组，进行组内融合和组间融合机制的gdrnn方法；利用图像的稀疏表示与其低秩和自相似性特征相关联的fasthyde方法；将深度先验(deep prior)扩展到高光谱成像领域和三维卷积网络的deep hyperspectral prior方法。尽管这些深度学习的方法相较于传统方法有了很大的提升，但大都存在训练样本少，采样方法单一、空间和光谱相关性弱等问题。因为高光谱图像在获取过程中容易受到多种降质因素的影响，高光谱成像仪、成像环境、成像对象等都是影响成像质量的关键因素，不同的降质因素会导致获取信息的差异性，因此，目前的大多数方法对于不同降质因素会产生数据鲁棒性差等问题。


技术实现要素：

4.针对上述的问题，本发明提供一种基于多降质方式数据增广的高光谱图像超分辨率复原方法，包括：
5.获取高光谱图像，得到高光谱数据集；
6.对所述高光谱数据集进行预处理，将所述高光谱数据集中的图像按一定规则裁剪，生成非重叠的子图和重叠块，并将所述子图和所述重叠块分别作为测试数据和训练数据；
7.对所述测试数据和所述训练数据通过降质方式进行数据扩增，获得低分辨率的所述测试数据和所述训练数据；
8.构建高光谱图像超分辨率模型；
9.采用所述训练数据对所述高光谱图像超分辨率模型进行训练，从而得到训练好的高光谱图像超分辨率模型；
10.将所述测试数据输入所述训练好的高光谱图像超分辨率模型，获得超分辨率的高光谱图像；
11.其中，所述构建高光谱图像超分辨率模型包括；
12.将所述训练数据输入到分支-全局的空间光谱先验网络，获得超分后的高光谱图像，并通过lanczos重采样滤波器对所述超分后的高光谱图像进行下采样，获得lanczos下采样图像；
13.根据所述高光谱数据集中高光谱图像与所述超分后高光谱图像之间的损失和所述lanczos下采样图像与经过扩增后的所述测试数据、所述训练数据中图像之间的损失，获得损失函数；
14.根据所述损失函数和梯度下降法，确定所述分支-全局的空间光谱先验网络中卷积层的梯度；
15.根据所述分支-全局的空间光谱先验网络中卷积层的梯度，使用adam优化器迭代训练，直至所述分支-全局的空间光谱先验网络的psnr、ssim、sam指标均不再提升，完成训练。
16.优选的是，所述分支-全局的空间光谱先验网络包括多个并联的分支网络和全局网络，所述分支网络依次包括第一3*3卷积层、第一空间光谱深层特征提取模块、第一上采样模块和第一1*1卷积层，所述全局网络包括第二3*3卷积层、第二空间光谱深层特征提取模块、第二采样模块和第二1*1卷积层；
17.其中，所述第一空间光谱深层特征提取模块和所述第二空间光谱深层特征提取模块均包括一个空间残差模块和一个光谱注意力残差模块，且将多个并联的分支网络处理后的图像输入到所述全局网络中获得最终超分辨率高光谱图像。
18.优选的是，对所述测试数据和所述训练数据通过降质方式进行数据扩增，获得低分辨率的所述测试数据和所述训练数据包括：
19.采用双三次插值、最近邻插值和双线性插值分别对所述所述测试数据和所述训练数据分别进行下采样，以获得低分辨率图像；
20.其中，采用双三次插值得到的低分辨图像要再次进行高斯噪声处理。
21.优选的是，所述损失函数公式为：
22.l
total
＝l(δ，γ) l(μ，ε)；
23.式中：所以l(δ，γ)表示为高光谱数据集中的高光谱图像和模型对应输出的超分后的高光谱图像对的差距；l(μ，ε)表示为所述测试数据和所述训练数据中的低分辨率图像和进行lanczos下采样后的低分辨率图像对的差距；δ和γ分别表示高光谱数据集中的高光谱图像和超分后的高光谱图像，μ表示为所述测试数据和所述训练数据中的低分辨率图像，ε表示由γ进行lanczos下采样后的低分辨率图像。
24.优选的是，公式l(x，y)为：
25.l(x，y)＝l1 αl
sstv
；
26.式中：α用于平衡损失函数，设置为0.001；x表示为所述高光谱数据集、所述测试数据和所述训练数据中的图片；y表示为超分后的高光谱图像和超分后进行lanczos下采样后的低分辨率图像；l1为平均绝对误差函数；l
sstv
为空间光谱全变差函数。
27.优选的是，所述空间光谱全变差函数l
sstv
和所述平均绝对误差l1分别为：
[0028][0029][0030]
式中：x表示为所述高光谱数据集、所述测试数据和所述训练数据中的图片；y表示为超分后的高光谱图像和超分后进行lanczos下采样后的低分辨率图像；δh为y的水平梯度；δw为y的垂直梯度；δc为y的光谱梯度；n为图像数量。
[0031]
与现有技术相比，本发明的有益效果为：
[0032]
本发明对数据进行多降质方式扩增，可尽量模拟真实情况下由于成像设备、天气等原因所产生的低质量图像扩增，且损失函数为高光谱数据集中高光谱图像与超分后高光谱图像之间的损失加上lanczos下采样图像与经过扩增后的测试数据、训练数据中图像之间的损失，提升了高光谱图像超分辨率模型的性能。
附图说明
[0033]
图1是本发明基于多降质方式数据增广的高光谱图像超分辨率复原方法流程示意图；
[0034]
图2是本发明分支-全局的空间光谱先验网络示意图；
[0035]
图3是本发明一种降质方式与现有技术复原的效果对比图；
[0036]
图4是本发明另一种降质方式与现有技术复原的效果对比图；
[0037]
图5是本发明中chikusei数据集与现有技术复原的效果对比图；
[0038]
图6是本发明中pavia数据集与现有技术复原的效果对比图。
具体实施方式
[0039]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0040]
参照图1，一种基于多降质方式数据增广的高光谱图像超分辨率复原方法，包括：
[0041]
获取高光谱图像，得到高光谱数据集；
[0042]
对高光谱数据集进行预处理，将高光谱数据集中的图像按一定规则裁剪，生成非重叠的子图和重叠块，并将子图和重叠块分别作为测试数据和训练数据；
[0043]
具体地，剪去高光谱数据集中的图像周边图像，留下中心区域的图像；然后接着裁剪中心区域的图像，生成若干非重叠的子图作为测试数据；裁剪后的剩余部分则提取重叠块作为训练数据；
[0044]
对测试数据和训练数据通过降质方式进行数据扩增，获得低分辨率的测试数据和训练数据；
[0045]
具体地，采用双三次插值、最近邻插值和双线性插值分别对测试数据和训练数据分别进行下采样，以获得低分辨率图像；
[0046]
其中，采用双三次插值得到的低分辨图像要再次进行高斯噪声处理。
[0047]
构建高光谱图像超分辨率模型；
[0048]
采用训练数据对高光谱图像超分辨率模型进行训练，从而得到训练好的高光谱图像超分辨率模型；
[0049]
将测试数据输入训练好的高光谱图像超分辨率模型，获得超分辨率的高光谱图像；
[0050]
其中，构建高光谱图像超分辨率模型包括；
[0051]
将训练数据输入到分支-全局的空间光谱先验网络，获得超分后的高光谱图像，并通过lanczos重采样滤波器对超分后的高光谱图像进行下采样，获得lanczos下采样图像；
[0052]
根据高光谱数据集中高光谱图像与超分后高光谱图像之间的损失和lancaos下采样图像与经过扩增后的测试数据、训练数据中图像之间的损失，获得损失函数；
[0053]
根据损失函数和梯度下降法，确定分支-全局的空间光谱先验网络中卷积层的梯度；
[0054]
根据分支-全局的空间光谱先验网络中卷积层的梯度，使用adam优化器迭代训练，直至分支-全局的空间光谱先验网络的psnr、ssim、sam指标均不再提升，完成训练。
[0055]
参照图2，分支-全局的空间光谱先验网络包括多个并联的分支网络和全局网络，分支网络依次包括第一3*3卷积层、第一空间光谱深层特征提取模块、第一上采样模块和第一1*1卷积层，全局网络包括第二3*3卷积层、第二空间光谱深层特征提取模块、第二采样模块和第二1*1卷积层；
[0056]
其中，第一空间光谱深层特征提取模块和第二空间光谱深层特征提取模块均包括一个空间残差模块和一个光谱注意力残差模块，且将多个并联的分支网络处理后的图像输入到全局网络中获得最终超分辨率高光谱图像。
[0057]
再进一步地，损失函数公式为：
[0058]
l
total
＝l(δ，γ) l(μ，ε)；
[0059]
式中：所以l(δ，γ)表示为高光谱数据集中的高光谱图像和模型对应输出的超分后的高光谱图像对的差距；l(μ，ε)表示为测试数据和训练数据中的低分辨率图像和进行lanczos下采样后的低分辨率图像对的差距；δ和γ分别表示高光谱数据集中的高光谱图像和超分后的高光谱图像，μ表示为测试数据和训练数据中的低分辨率图像，ε表示由γ进行lanczos下采样后的低分辨率图像。
[0060]
其中，公式l(x，y)为：
[0061]
l(x，y)＝l1 αl
sstv
；
[0062]
式中：α用于平衡损失函数，设置为0.001；x表示为高光谱数据集、测试数据和训练数据中的图片；y表示为超分后的高光谱图像和超分后进行lanczos下采样后的低分辨率图像；l1为平均绝对误差函数；l
sstv
为空间光谱全变差函数。
[0063]
进一步地，空间光谱全变差函数l
sstv
和平均绝对误差l1分别为：
[0064][0065][0066]
式中：x表示为高光谱数据集、测试数据和训练数据中的图片；y表示为超分后的高光谱图像和超分后进行lanczos下采样后的低分辨率图像；δh为y的水平梯度；δw为y的垂直梯度；δc为y的光谱梯度；n为图像数量。
[0067]
参照图3，带有噪声的低分辨率图像通过传统插值、数据未扩增训练的模型、数据扩增后训练的模型三种方式进行超分辨率复原，数据扩增后的模型相比于前两种方式能有效的去除噪声，空间分辨率得到明显的提升。
[0068]
参照图4，低分辨率图像是由双线插值获得，数据扩增后的模型相比于前两种方式，边界线更加清晰，相比之下，未扩增数据集的模型复原的图像存在雾面效果(彩色图像较明显)。
[0069]
在本实施例中，使用chikusei和pavia两个公开数据集。
[0070]
数据预处理包括：
[0071]
chikusei数据集有128个光谱带，光谱范围从363nm到1018nm，每个光谱有2517
×
2335个像素；由于边缘信息缺失，对图像中心区域进行裁剪得到2304
×
2048
×
128的子图像；然后进一步划分得到训练数据和测试数据，具体操作为：提取子图像的顶部区域形成测试数据，测试数据具有四张512
×
512
×
128个像素的非重叠高光谱图像；子图像的剩余区域提取重叠块作为训练数据(取10％的数据作为验证集)，当上采样因子为4倍时，提取的重叠块(overlap patches)大小为64
×
64像素，允许32像素重叠，当上采样因子为8倍时，提取的patch大小为128
×
128像素，允许64像素重叠。
[0072]
pavia数据集有102个光谱带，每个波段有1096
×
1096个像素，但部分区域不包含有价值信息，因此移除无价值区域后每个波段保留1096
×
715个像素，即裁剪图像的中心区域获得1096
×
715
×
102像素的子图像。然后对该图像进一步划分训练数据和测试数据，具体操作为：提取该图像的左侧部分形成测试数据，测试数据具有四张223
×
223像素的非重叠高光谱图像；从子图像的剩余区域中提取重叠快作为训练数据(取10％的数据作为验证集)，像素重叠大小和patch大小与chikusei类似。
[0073]
数据扩增包括：
[0074]
高光谱图像在拍摄过程中会受到多种降质因素的影响，高光谱成像仪、成像环境以及目标本身的特点都是不可忽视的因素，都有可能造成空间图像质量下降。同时高光谱图像的获取依托于精密仪器，因此相比于普通图像，高光谱图像的训练样本数量有限，而有限的样本数量无法训练处泛化能力较好的模型。
[0075]
本发明为解决训练样本单一和数据量有限的问题，采用多种下采样方法和高斯噪声处理以模拟实际情况中高光谱降质图像的模糊效果。首先在chikusei数据集上通过数据预处理得到训练数据和测试数据，训练数据像素大小为1792
×
2048
×
128，测试数据是四张
像素大小为512
×
512
×
128的图像，然后对训练数据进行重叠块提取，当采样因子为4时，每个重叠块的大小为64
×
64
×
128，当采样因子为8时，重叠块大小设为128
×
128
×
128。
[0076]
对于上述得到的所有训练和测试数据使用双三次插值、双线性插值和最近邻插值进行下采样，得到16
×
16
×
128的训练数据的低分辨率图像，和4
×
128
×
128
×
128的测试数据的低分辨率图像；然后在双三次插值进行下采样获取的低分辨率图像中，再取1/3数据对其进行噪声污染，为模仿不同程度的噪声污染，将1/3的数据继续进行二等均分，当采样因子为4倍时，两部分数据分别加入均值为0、方差为0.001和均值为0、方差为0.002的噪声，对于采样因子为8倍的数据分别加入均值为0、方差为0.0001和均值为0、方差为0.0002的噪声。
[0077]
相比于原始数据增加了一倍的数据量，将扩增过的数据输入到神经网络进行训练，获得的模型有更强的泛化能力，尤其针对有噪声的数据，psnr和sam分别从28.16、16.08提升到38.57、3.38。
[0078]
构建高光谱图像超分辨率模型包括：
[0079]
分支-全局的空间光谱先验网络包括多个并联的分支网络和全局网络，分支网络依次包括第一3*3卷积层、第一空间光谱深层特征提取模块、第一上采样模块和第一1*1卷积层，全局网络包括第二3*3卷积层、第二空间光谱深层特征提取模块、第二采样模块和第二1*1卷积层；
[0080]
其中，第一空间光谱深层特征提取模块和第二空间光谱深层特征提取模块均包括一个空间残差模块和一个光谱注意力残差模块，且将多个并联的分支网络处理后的图像输入到全局网络中获得最终超分辨率高光谱图像。
[0081]
具体地，输入的低分辨率图像首先被分为几个重叠组，每组数据都被输入到分支网络进行空间光谱特征提取，并采用较小的上采样因子进行放大；然后将所有分支的输出连接起来并反馈送到全局网络进行全局的空谱特征提取和上采样。其中为了使每个分支网络和全局网络中的光谱深层特征提取模块共享相同的结构，在每个分支上采样模块后加入了一个重构层，并采用了全局残差结构来加深网络结构。
[0082]
由于高光谱图像波段较多，所以低分辨率高光谱图像(lr)数据输入时先划分为s个重叠组，其中每组的光谱带数(p)设为8，相邻组间的重叠(o)设为2，为有效处理“边缘”谱带，采用“回退”分割策略。当最后一组谱带小于p波段时，选择最后p个波段作为最后一组。
[0083]
当完成重叠组的划分后低分辨率图像分别输入对应的分支网络，每一组应用一个卷积层来提取浅层特征随后输入空谱特征提取网络(sspn)进行深度特征提取。其中sspn引入了长跳跃连接，更加高效的提取高频信息，并级联了3个空间频谱块(ssb)，每个ssb包含一个空间残差模块和一个光谱注意力残差模块，前者利用3
×
3卷积提取空间信息，后者1
×
1卷积提取光谱相关性，ssb计算方式为
[0084]
[0085]
其中r代表共有r个ssb模块，是第r个ssb函数，是第r个ssb的输入，是最终提取的特征。
[0086]
在网络中间，即分支sspn输出到全局sspn之前，添加一个上采样模块，获得放大后的特征图，然后再添加一个卷积层(重构层)，将输出的特征通道数量减少到和输入组的频谱数量相同。至此，每个分支都可看做一个超分辨率重建子网络。
[0087]
分支网络提取的特征最后由全局网络进行连接，与局部分支类似，先用一个卷积层提取浅层特征，再送入全局sspn，然后依次经过上采样模块、重建层生成最终的超分辨率高光谱图像。
[0088]
再进一步地，本发明为保证光谱特征之间的关联性和可信度，使用空间光谱全变差(sstv)，扩展了传统的全变差模型，考虑了空间和光谱的相关性，又因l1损失在训练阶段能保持良好的收敛性，可以用来平衡网络的重建精度，所以目标损失函数是sstv损失和l1损失的加权和。同时为充分利用低分辨率图像之间的信息关系，引入了lanczos重采样滤波器对超分后的图像进行下采样，与原始的低分辨率图像进行上述损失计算，最后与高分辨率图像的损失值相加。
[0089]
损失函数公式为：
[0090]
l
total
＝l(δ，γ) l(μ，ε)；
[0091]
式中：所以l(δ，γ)表示为高光谱数据集中的高光谱图像和模型对应输出的超分后的高光谱图像对的差距；l(μ，ε)表示为测试数据和训练数据中的低分辨率图像和进行lanczos下采样后的低分辨率图像对的差距；δ和γ分别表示高光谱数据集中的高光谱图像和超分后的高光谱图像，μ表示为测试数据和训练数据中的低分辨率图像，ε表示由γ进行lanczos下采样后的低分辨率图像。
[0092]
其中，公式l(x，y)为：
[0093]
l(x，y)＝l1 αl
sstv
；
[0094]
式中：α用于平衡损失函数，设置为0.001；x表示为高光谱数据集、测试数据和训练数据中的图片；y表示为超分后的高光谱图像和超分后进行lanczos下采样后的低分辨率图像；l1为平均绝对误差函数；l
sstv
为空间光谱全变差函数。
[0095]
进一步地，空间光谱全变差函数l
sstv
和平均绝对误差l1分别为：
[0096][0097][0098]
式中：x表示为高光谱数据集、测试数据和训练数据中的图片；y表示为超分后的高光谱图像和超分后进行lanczos下采样后的低分辨率图像；δh为y的水平梯度；δw为y的垂直梯度；δc为y的光谱梯度；n为图像数量。
[0099]
训练过程中使用adam优化器，初始学习率设置为0.0001，当达到30个epoch时衰减
十倍，迭代40个epoch后可达到稳定性能，当采样因子为4时训练批次大小为32，当采样因子为8时，训练批次设为16。
[0100]
模型预测
[0101]
模型训练完成后，加载预训练模型参数，输入预处理好的测试数据，可获得超分辨率结果指标和npy格式的预测数据，若对数据进行可视化，需先将npy格式转换为mat格式，最后使用matlab工具选取任意3个波段作为rgb三通道输出可视化图像。
[0102]
模型的评价指标为为峰值信噪比(psnr)、结构相似性(ssim)、均方根误差(rmse)、互相关(cc)、光谱角度映射(sam)、相对无量纲全局误差(ergas)，前三个指标主要针评价空间维质量，数值越大代表图像质量越好，后三个指标评价光谱维质量，数值越小代表光谱维度误差越小。在chikusei和pavia数据集评估了算法的预测性能，本发明方法在空间维和光谱维都获得了良好的重建效果。实验结果如表1、表2、表3、表4所示。
[0103]
表1本发明基于原有损失函数提出扩增数据集方法后对不同降质图片的预测性能对比结果：
[0104][0105]
表2本发明基于改进损失函数提出的扩增数据集方法对不同降质图片的预测性能对比结果：
[0106][0107]
[0108]
表1、表2所示，在公开数据集chikusei上，验证了本发明数据扩增的效果，表1是进行数据扩增后采用未改进的损失函数，即直接使用高分辨率图像做损失计算，表2增加了低分辨率图像和下采样后的低分图像损失计算，可看出无论损失函数如何改动，扩增数据集后的模型均有更强的鲁棒性，对有高斯噪声的图像和三种不同下采样获得的图像都有明显效果。因在bicubic插值的基础上进行扩增，相当于降低了bicubic插值训练的比重，所以效果略有下降，但针对其他三种图像在空间指标和光谱指标均有大幅提升，尤其加入gaussian噪声的图像扩增数据集后psnr可提高近40％。
[0109]
表3本发明提出的损失函数方法预测性能对比结果：
[0110][0111]
表3所示，在chikusei、pavia两个数据集(未扩增数据集)上进行损失函数的验证，本发明改进的损失函数在两个数据集上的各个指标均获得较好的效果，在不同的采样因子上psnr可提高0.02-0.2，ssim可提高0.02-0.1，sam可降低0.02-0.3。
[0112]
表4本发明提出的方法综合预测性能对比结果：
[0113][0114][0115]
表4所示，为验证本发明提出的方法在综合指标的效果，在扩增数据集基础上改动损失函数，相比于原始数据集和损失函数，效果均有大幅提升，数据证明本发明方法在空间维质量提升和光谱维损失降低上有较大意义。
[0116]
高光谱图像超分辨率复原流程为：对数据进行预处理和数据扩增(仅应用于训练阶段)，其中数据扩增部分采用本发明使用最近邻插值、双线性插值、双三次插值等多种方法进行下采样，同时添加不同标准差的高斯噪声以达到扩增数据的目的；然后根据数据集种类和比例因子分割为不同尺寸送入神经网络，在此过程中，采用本发明改进过的sstv损失函数(仅应用于训练阶段)；最后可获得预测后的高分辨率图像数据及指标，对图像数据进行后处理，随机选取三个波段作为rgb通道可获得可视化的图像。
[0117]
参照图5和6，分别为在chikusei、pavia数据集上验证损失函数改进后的效果，本发明复原的图像相比于传统插值方法有更高的清晰度，高频信息恢复较好。
[0118]
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。