一种基于空间-光谱相关性的光谱图像超分辨率映射方法与流程

1.本发明涉及遥感信息处理技术领域，尤其是一种基于空间-光谱相关性的光谱图像超分辨率映射方法。


背景技术：

2.土地覆盖类别映射信息是生态系统监测、人口变化和环境保护的重要遥感数据之一。光谱图像(多光谱图像和高光谱图像)由于其丰富的光谱特性，常常被用来提供土地覆盖类别映射信息。然而，由于成像条件的影响，采集到的光谱图像分辨率有时比较粗糙，产生大量的混合像元。这些混合像素对获得准确的土地覆盖映射信息产生了挑战。尽管光谱解混可以从光谱图像中得到各土地覆盖类别所占比例的丰度图像，但土地覆盖类别映射信息仍然没有得到。作为光谱解混的后续处理技术，超分辨率映射(super-resolution mapping，srm)可以在亚像素级利用土地覆盖类别映射信息处理混合像素得到srm结果。在srm中，根据比例因子s将每个混合像素分割成s
×
s亚像素，然后将土地覆盖类别标签分配给每个亚像素以获得srm结果。
3.srm结果已成功地应用于许多领域，如水边界提取、建筑物映射、燃烧区映射和土地覆盖变化检测。根据获得srm结果的方式，srm主要有两种类型(先初始化后优化和软硬转化)。在初始化阶段，将标签随机分配给亚像素，然后通过优化算法逐步变换每个亚像素的位置，得到最终的srm结果。基于周长最小化、像素交换、邻域值、粒子群优化和遗传算法的srm都属于这一类型。然而，由于这种类型的优化过程复杂，通常需要较长的处理时间。软硬转化由于其简单的计算处理而更受欢迎。软硬转化包含两个步骤(即亚像素锐化和类分配)。首先通过亚像素锐化得到亚像素类别比例的精细丰度图像。亚像素锐化是通过超分辨率重建、反向传播神经网络、空间吸引模型、指标协克里格、霍普菲尔德神经网络、目标信息和频谱特性来实现的。然后根据这些比例，通过类分配将标签分配给所有亚像素。类分配方法包括模拟退火、线性优化、最高分数值、对象单位和类单位。当存在适当的辅助数据时，例如深度学习网络、多时相图像、全色图像、精细尺度信息和激光雷达数据可用于改善srm结果。在srm的研究中，通常认为粗糙光谱成像的原因是由于线性成像条件的影响。因此，在大多数srm模拟实验中，作为实验数据的模拟粗光谱图像是通过线性下采样从精细光谱图像中获得的。然而，成像条件的一些影响，如传感器差异、太阳角和季节效应，也具有非线性行为。这些影响也是导致光谱图像粗糙的主要因素之一。传统的srm方法往往忽略了非线性成像条件的影响，从而影响最终的srm结果。此外，尽管传统的srm方法可以利用光谱图像的光谱特性来改进最终的srm结果，但这些光谱特性通常是从光谱图像的光谱解混结果中获得的。光谱解混误差会影响光谱特性的精度。
4.针对这些问题，提出了基于空间-光谱相关性的光谱图像超分辨率映射方法(super-resolution mapping based on space-spectrum correlation for spectral imagery，ssc)包括空间相关性和光谱相关性。基于线性欧氏距离的混合空间引力模型在像素尺度和亚像素尺度上都能有效地刻画空间相关性。在这里，为了克服线性成像条件的影
响，利用混合空间引力获得空间相关性。kullback-leibler距离被证明是两个概率密度函数(pdf)相似性的一个很好的非线性估计量。为了克服非线性成像条件的影响，利用kullback-leibler距离计算频谱特性，提出了一种新的频谱相关性。将空间相关性和新的光谱相关性结合起来，得到具有线性和非线性特性的优化函数。最后，根据优化函数的最大化，采用基于模拟退火的类别分配方法将标签分配给每个亚像素，得到最终的srm结果。


技术实现要素：

5.发明目的：本发明提供一种新型基于空间-光谱相关性的光谱图像超分辨率映射方法，建立更加有效的超分辨率映射模型，进而克服线性和非线性成像影响，提高超分辨率映射精度。
6.技术方案：
7.一种基于空间-光谱相关性的光谱图像超分辨率映射，包括步骤：
8.(1)通过基于线性欧式距离的混合空间引力模型对原始光谱图像进行处理，获得空间相关性；具体为：
9.假设输入的光谱图像y有k个像素，n个类别，和b个光谱波段。丰度图像f
n
(n＝1，2，...，n)是通过光谱分解从光谱图像中y获得的。f
n
包含像素p
a
(a＝1，2，...，k)属于第n类的比例值。设s为比例因子，则将每个像素分成s
×
s个亚像素p
a
(a＝1，2，...，ks2)。针对空间相关性，由于通过计算线性欧氏距离来考虑像素和亚像素尺度的空间相关性，利用混合空间引力模型产生空间相关性，克服了线性成像条件的影响。在混合空间引力模型中，对于亚像素p
a
的第n类的空间相关性计算如下：
[0010][0011]
其中δ是权重参数，和是对于亚像素p
a
的像素尺度和亚像素尺度第n类的空间相关性，可以通过公式(2)和(3)获得：
[0012][0013][0014]
其中，f
n
(p
j
)是中心亚像素p
a
的邻域像素p
j
属于第n类的比例。x
aj
决定亚像素p
a
和邻域亚像素p
j
是否属于同一类别n，由公式(4)给出。k
i
和k
ii
分别是相邻像素和亚像素的数目。这里考虑8个相邻像素或8个相邻子像素。d(p
a
，p
j
)是中心亚像素p
a
与相邻像素p
j
之间的线性欧式距离，d(p
a
，p
j
)是中心亚像素p
a
与相邻亚像素p
j
之间的线性欧式距离。ε1和ε2是指数模型参数。
[0015][0016]
根据空间相关性最大化原理，c
spa
可以通过公式(5)和(6)得到：
[0017]
[0018][0019]
(2)利用非线性kullback-leibler距离计算光谱图像的光谱特性得到光谱相关性；具体为：针对光谱相关性，利用非线性kullback-leibler距离计算光谱图像的光谱特性得到光谱相关性，克服了非线性成像条件的影响。首先原始光谱图像y首先用双三次插值在比例因子s下进行上采样，则获得的上采样图像有ks2个亚像素p
a
(a＝1，2，...，ks2)。然后，中心亚像素p
a
与邻域亚像素p
j
之间的kullback-leibler距离kld(p
a
；p
j
)由公式(7)所得。
[0020]
kld(p
a
；p
j
)＝kl(p
a
；p
j
) kl(p
j
；p
a
)
ꢀꢀꢀꢀ
(7)
[0021]
其中kl(p
a
；p
j
)是从中心亚像素p
a
到相邻亚像素p
j
的kullback-leibler散度。kl(p
j
；p
a
)是从相邻亚像素p
j
到中心亚像素p
a
的kullback-leibler散度。kl(p
a
；p
j
)被定义为：
[0022][0023]
其中和分别是中心亚像素p
a
和相邻亚像素p
j
的概率密度函数(pdf)。这里直接利用光谱图像的光谱特性建立所有亚像素p
i
的假设服从高斯分布，以亚像素p
i
为中心的8邻域的局部是为中心的8邻域的局部是可以定位为：
[0024][0025]
其中b是光谱波段的数目。e和m是由局部内光谱亚像素值计算得到。e∈i
b
是平均向量，其中m协方差矩阵包括[m
b，c
]，其中m是具有正行列式的可逆对称矩阵，|m|＞0。
[0026]
组合式(8)和(9)可导出为：
[0027][0028]
kl(p
j
；p
a
)也由上述过程导出。对于亚像素p
a
的第n类的光谱相关性计算如下：
[0029][0030]
其中相邻亚像素的数目k
ii
仍设置为8。y
n
(p
a
；p
j
)是通过经验阈值t判断中央亚像素p
a
和相邻亚像素p
j
是否属于同一类别n，定义为：
[0031][0032]
其中，y
n
(p
a
；p
j
)＝1表示中心亚像素p
a
和相邻亚像素p
j
之间的光谱特性的pdf是相似，则将这两个亚像素视为相同类别；反之，y
n
(p
a
；p
j
)＝0。
[0033]
根据kullback-leibler距离理论，两个亚像素间的kullback-leibler距离越小，两个亚像素间的光谱相关性越高。因此，光谱相关性c
spe
被定义为：
[0034][0035]
(3)将空间相关性c
spa
和光谱相关性c
spe
相结合，得到具有良好线性和非线性特性的优化函数f。本文提出的方法的目标是最大化f，公式为：
[0036]
max f＝(1-θ)c
spa
θc
spe
ꢀꢀꢀꢀꢀꢀ
(14)
[0037]
其中θ(0≤θ＜1)是用于平衡c
spa
和c
spe
之间影响的权重参数。
[0038]
基于模拟退火的类分配方法根据函数f的最大化，给每亚子像素分配类别标签，得到最终的超分辨率映射结果。此外，类别分配时，应满足以下约束函数。
[0039][0040]
其中第一个方程约束意味着每个亚像素只属于一个类别。第二个约束确保类别的亚像素数是固定的。
[0041]
有益效果：本发明的方法建立更加有效的超分辨率映射模型，进一步克服线性和非线性成像影响，提高超分辨率映射精度。
附图说明
[0042]
图1为本发明方法流程示意图。
[0043]
图2(a)为ulysses多光谱遥感图像数据集的评价参考图像示意图。
[0044]
图2(b)为ulysses多光谱遥感图像数据集的基于亚像元尺度空间引力模型的超分辨率映射结果示意图。
[0045]
图2(c)为ulysses多光谱遥感图像数据集的基于空-谱插值的超分辨率映射结果示意图。
[0046]
图2(d)为ulysses多光谱遥感图像数据集的基于混合空间引力模型的超分辨率映射结果示意图。
[0047]
图2(e)为ulysses多光谱遥感图像数据集的基于目标空间相关性的超分辨率映射结果示意图。
[0048]
图2(f)为ulysses多光谱遥感图像数据集的基于空间-光谱相关性的超分辨率映射结果示意图。
[0049]
图3(a)为ksc高光谱遥感图像数据集的评价参考图像示意图。
[0050]
图3(b)为ksc高光谱遥感图像数据集的基于亚像元尺度空间引力模型的超分辨率映射结果示意图。
[0051]
图3(c)为ksc高光谱遥感图像数据集的基于空-谱插值的超分辨率映射结果示意图。
[0052]
图3(d)为ksc高光谱遥感图像数据集的基于混合空间引力模型的超分辨率映射结果示意图。
[0053]
图3(e)为ksc高光谱遥感图像数据集的基于目标空间相关性的超分辨率映射结果示意图。
[0054]
图3(f)为ksc高光谱遥感图像数据集的基于空间-光谱相关性的超分辨率映射结果示意图。
具体实施方式
[0055]
下面结合附图和具体实施例，进一步阐明本发明。
[0056]
本发明提出的基于空间-光谱相关性的光谱图像超分辨率映射(super-resolution mapping based on space-spectrum correlation for spectral imagery，ssc)的方法实现框图如图1所示。如图1所示，本发明的一种基于空间-光谱相关性的光谱图像超分辨率映射方法，包括如下步骤：
[0057]
(1)通过基于线性欧式距离的混合空间引力模型对原始光谱图像进行处理，获得空间相关性；具体为：
[0058]
假设输入的光谱图像y有k个像素，n个类别，和b个光谱波段。丰度图像f
n
(n＝1，2，...，n)是通过光谱分解从光谱图像中y获得的。f
n
包含像素p
a
(a＝1，2，...，k)属于第n类的比例值。设s为比例因子，则将每个像素分成s
×
s个亚像素p
a
(a＝1，2，...，ks2)。针对空间相关性，由于通过计算线性欧氏距离来考虑像素和亚像素尺度的空间相关性，利用混合空间引力模型产生空间相关性，克服了线性成像条件的影响。在混合空间引力模型中，对于亚像素p
a
的第n类的空间相关性计算如下：
[0059][0060]
其中δ是权重参数，和是对于亚像素p
a
的像素尺度和亚像素尺度第n类的空间相关性，可以通过公式(2)和(3)获得：
[0061][0062][0063]
其中，f
n
(p
j
)是中心亚像素p
a
的邻域像素p
j
属于第n类的比例。x
aj
决定亚像素p
a
和邻域亚像素p
j
是否属于同一类别n，由公式(4)给出。k
i
和k
ii
分别是相邻像素和亚像素的数目。这里考虑8个相邻像素或8个相邻子像素。d(p
a
，p
j
)是中心亚像素p
a
与相邻像素p
j
之间的线性欧式距离，d(p
a
，p
j
)是中心亚像素p
a
与相邻亚像素p
j
之间的线性欧式距离。ε1和ε2是指数模型参数。
[0064][0065]
根据空间相关性最大化原理，c
spa
可以通过公式(5)和(6)得到：
[0066]
[0067][0068]
(2)利用非线性kullback-leibler距离计算光谱图像的光谱特性得到光谱相关性；具体为：针对光谱相关性，利用非线性kullback-leibler距离计算光谱图像的光谱特性得到光谱相关性，克服了非线性成像条件的影响。首先原始光谱图像y首先用双三次插值在比例因子s下进行上采样，则获得的上采样图像有ks2个亚像素p
a
(a＝1，2，...，ks2)。然后，中心亚像素p
a
与邻域亚像素p
j
之间的kullback-leibler距离kld(p
a
；p
j
)由公式(7)所得。
[0069]
kld(p
a
；p
j
)＝kl(p
a
；p
j
) kl(p
j
；p
a
)
ꢀꢀꢀꢀ
(7)
[0070]
其中kl(p
a
；p
j
)是从中心亚像素p
a
到相邻亚像素p
j
的kullback-leibler散度。kl(p
j
；p
a
)是从相邻亚像素p
j
到中心亚像素p
a
的kullback-leibler散度。kl(p
a
；p
j
)被定义为：
[0071][0072]
其中和分别是中心亚像素p
a
和相邻亚像素p
j
的概率密度函数(pdf)。这里直接利用光谱图像的光谱特性建立所有亚像素p
i
的假设服从高斯分布，以亚像素p
i
为中心的8邻域的局部是为中心的8邻域的局部是可以定位为：
[0073][0074]
其中b是光谱波段的数目。e和m是由局部内光谱亚像素值计算得到。e∈i
b
是平均向量，其中m协方差矩阵包括[m
b，c
]，其中m是具有正行列式的可逆对称矩阵，|m|＞0。
[0075]
组合式(8)和(9)可导出为：
[0076][0077]
kl(p
j
；p
a
)也由上述过程导出。对于亚像素p
a
的第n类的光谱相关性计算如下：
[0078][0079]
其中相邻亚像素的数目k
ii
仍设置为8。y
n
(p
a
；p
j
)是通过经验阈值t判断中央亚像素p
a
和相邻亚像素p
j
是否属于同一类别n，定义为：
[0080][0081]
其中，y
n
(p
a
；p
j
)＝1表示中心亚像素p
a
和相邻亚像素p
j
之间的光谱特性的pdf是相
似，则将这两个亚像素视为相同类别；反之，y
n
(p
a
；p
j
)＝0。
[0082]
根据kullback-leibler距离理论，两个亚像素间的kullback-leibler距离越小，两个亚像素间的光谱相关性越高。因此，光谱相关性c
spe
被定义为：
[0083][0084]
(3)将空间相关性c
spa
和光谱相关性c
spe
相结合，得到具有良好线性和非线性特性的优化函数f。本文提出的方法的目标是最大化f，公式为：
[0085]
max f＝(1-θ)c
spa
θc
spe
ꢀꢀꢀꢀꢀꢀ
(14)
[0086]
其中θ(0≤θ＜1)是用于平衡c
spa
和c
spe
之间影响的权重参数。
[0087]
基于模拟退火的类分配方法根据函数f的最大化，给每亚子像素分配类别标签，得到最终的超分辨率映射结果。此外，类别分配时，应满足以下约束函数。
[0088][0089]
其中第一个方程约束意味着每个亚像素只属于一个类别。第二个约束确保类别的亚像素数是固定的。
[0090]
图2为ulysses多光谱遥感图像数据集的超分辨率映射结果。其中：a)评价参考图像，b)基于亚像元尺度空间引力模型的超分辨率映射方法(spsam)，c)基于空-谱插值的超分辨率映射方法(ssi)，d)基于混合空间引力模型的超分辨率映射方法(msam)，e)基于目标空间相关性的超分辨率映射方法(osd)，f)基于空间-光谱相关性的超分辨率映射方法(ssc)。
[0091]
图3为ksc高光谱遥感图像数据集的超分辨率映射结果。其中：a)评价参考图像，b)基于亚像元尺度空间引力模型的超分辨率映射方法(spsam)，c)基于空-谱插值的超分辨率映射方法(ssi)，d)基于混合空间引力模型的超分辨率映射方法(msam)，e)基于目标空间相关性的超分辨率映射方法(osd)，f)基于空间-光谱相关性的超分辨率映射方法(ssc)。
[0092]
我们通过将本发明提出方法应用到两组不同的光谱图像来证明所提出方法的高效性。为了进行定量评估，对原始精细的遥感图像先利用s＝6进行下采样后调解亮度为原来的50％，即l＝50％以产生模拟低分辨率图像。利用每个类别定位精度和总体精度评价(overall accuracy，oa)和(kappa coefficient，kappa)定量评价。
[0093]
第一组试验中，目标为ulysses多光谱遥感图像数据集，图2是对低分辨率多光谱遥感图像的超分辨率映射结果，从图中可以看出，ssc方法的结果最接近参考图像，效果更佳。表1为第一组实验中各种方法的每个类别的映射精度，总体精度评价oa和kappa，进一步验证了所提出的方法在上的超分辨率映射优势。
[0094]
第二组实验选取一幅来自ksc高光谱遥感图像。图3展示了四种方法的超分辨率映射结果。表2为第二组实验中各种方法的总体精度评价oa和kappa。与第一组实验结论相似，所提出的方法scc仍然在亚超分辨率映射方法中存在明显优势。
[0095]
表1第一组实验各种方法的数据分析结果(％)
[0096][0097]
表2第二组实验各种方法的数据分析结果(％)
[0098][0099]
以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换(如数量、形状、位置等)，这些等同变换均属于本发明的保护。