一种基于双尺度回归的多分辨率分析全色锐化方法与流程

1.本发明涉及遥感图像处理技术领域，是一种多光谱图像与全色锐化图像融合的全色锐化技术。


背景技术：

2.利用装有光学传感器的卫星进行地球观测是遥感的重要应用。由于物理限制，多光谱传感器获得的空间分辨率较低的图像比获取同一场景图像的单波段全色传感器要低。全色锐化是指在同一区域同时获得的全色(panchromatic，pan)图像和多光谱(multispectral，ms)图像的融合，这可以看作是数据融合的一个特殊问题，因为目标是将pan中的空间细节和ms图像的几个光谱波段(相对于pan的单个波段)结合在一个独特的产物中。
3.目前为止，提出了各种各样的全色锐化方法。比较常用的方法：1.成分替代方法(component substitution，cs)：cs方法将ms图像投影到一个新的域，分离ms图像的光谱信息和空间细节信息，并用pan图像代替分离的空间细节信息。最后，通过逆变换得到平移锐化的图像。cs包括强度-亮度-饱和度(intensity-hue-saturation，ihs)、主成分分析(principal component analysis，pca)、gram-schmidt(gs)、gs的改进版本(gsa)等等。虽然cs通常具有简单的物理意义和快速的操作速度，但结果可能达不到理想的结果。2.深度学习：在过去十年里已经开始向全色锐化迈进了最初的步伐。这一领域的开创性工作包括压缩感知或基于字典的解决方案，包括全色锐化神经网络(pnn)及其在网络深度、拓扑和微调方面更复杂的变化。dl通常需要大量的精细训练数据来实现好的性能，并且在没有这样的数据的情况下，dl的性能可能会很差。3.多分辨率分析方法(multiresolution analysis，mra)：mra方法是将空间信息注入到ms图像中，是目前比较成功和流行的一类高光谱全色锐化框架。包括附加小波亮度成比(additive wavelet luminance proportional，awlp)，基于平滑滤波器的强度调制(smoothing filter based on intensity modulation，sfim)，形态滤波器(morphological filters，mf)和基于匹配调制传递函数(modulation transfer function，mtf)的算法广义拉普拉斯算子金字塔(generalized laplacian pyramid，glp)的mtf-glp包括mtf-glp的高通调制(mtf-glp with high-pass modulation，mtf-glp-hpm)；mtf-glp带有基于上下文的决策(mtf-glp with a context-based decision，mtf-glp-cbd)；mtf-glp-hpm带有基于阴霾校正版本(mtf-glp-hpm based on haze-corrected version，mtf-glp-hpm-h)和mtf-glp-hpm带有基于后处理(mtf-glp-hpm based on post-processing，mtf-glp-hpm-pp)等。mra算法速度快，基于mtf的算法比sfim算法有更好的结果，在计算复杂度上与最具竞争力的算法表现相当。基于mtf-glp的算法的回归算法有mtf-glp基于全尺度回归(mtf-glp based on full-scale regression，mtf-glp-reg-fs)和mtf-glp-hpm基于多重线性回归(mtf-glp-hpm based on multivariate linear regression，mtf-glp-hpm-r)。然而，现有的基于尺度回归方法的mra存在尺度回归信息不足的问题，影响了全色锐化结果。为了克服这个问题，因
此提出了一种基于双尺度回归的mra模型，可以提高锐化结果的精度，促进更广泛的应用。


技术实现要素：

4.尺度回归可以有效地改善mra模型并获得更好的全色锐化结果。然而，现有的基于尺度回归的mra方法存在尺度回归信息不足的问题。为解决这一问题，提出了一种基于双尺度回归的全色锐化方法，包括精细尺度和粗糙尺度信息来改进mtf-glp-hpm方法，来提高全色锐化的精度，促进其广泛应用，提出方法为mtf-glp-hpm基于双尺度回归(mtf-glp based on dual scale regression，mtf-glp-hpm-ds-reg)。包括如下步骤：
5.(1)在基于高斯滤波器的广义拉普拉斯金字塔与多光谱(multispectral，ms)传感器的匹配调制传递函数mtf-glp上，设计一个基于尺度回归的mra模型。
6.(2)利用hpm注入方案对该mra模型进行了改进，使其原有hpm的注入系数添加上尺度回归的信息。
7.(3)将双尺度信息包括精细尺度和粗糙尺度信息添加到尺度回归中，最后生成一个迭代的收敛的双尺度回归模型，得到最终的全色锐化结果。
8.步骤(1)中，设计一个基于尺度回归的mra模型的具体步骤为：将(低分辨率的ms图像)插值成p
hr
(高分辨率的pan图像)的尺寸。然后，利用mtf-glp从p
hr
来得到低通版本的低分辨率的pan图像p
lr
。最后注入系数g用于控制注入信息，如公式(1)来获得全色锐化的结果第b谱带的全色锐化结果为：
[0009][0010]
本发明采用全尺度回归，通过多次迭代得到合适的注入系数gb，其定义如下：
[0011][0012]
其中cov为两个图像的协方差，var为图像的样本方差。当gb达到收敛时，迭代过程停止。
[0013]
步骤(2)中，具体步骤为：hpm注入方案可以改善mra模型，因此本发明采用hpm注入方案来改善基于尺度回归的mra模型的性能。hpm注入方案如下：
[0014][0015]
下面将说明如何将尺度回归添加到hpm注入方案中。传感器s获取的数字ms或pan图像可以定义为传感器空间响应与传感器在其光谱频带内采集的总能量的卷积，表示为：
[0016][0017]
其中上标xr可表示高分辨率(high resolutions，hr)或低分辨率(low resolutions，lr)，δs是一个加性常数，ks表示一个乘性常数。引入这两个常数是为了得到a/d转换器的全数字范围，但δs通常可以忽略不计。表示传感器的空间响应而ws是传感器辐射频率λ按相对光谱响应加权的积分。由此，我们可以改写p
lr
和p
hr
为：
[0018][0019]
[0020][0021]
从此角度看，全色锐化的目的是获得高分辨率图像，它的空间响应为高分辨率pan的和ms的总能量wb，所以的表达式可以定义为：
[0022][0023]
根据hpm注入方案，将式(6)-(8)代入式(3)，得到
[0024][0025]
通过适当设置的乘法系数，其值可以转换为目标表达式(9)，修改后的式子可以表示为：
[0026][0027]
接下来，由于高分辨的ms传感器的空间响应与现有pan相同，并且低分辨率pan图像是由mtf-glp构造的，利用一个滤波器来匹配低分辨率ms传感器的空间响应，三个等式定义如下：
[0028][0029][0030][0031]
根据式(6)和(7)，可得到如下表达式：
[0032][0033]
相似地，得到式(16)：
[0034][0035]
根据式(15)和(16)，提出了一个线性仿射函数来求解其定义为：
[0036][0037]
接下来问题就转化为求系数m和n的问题来得到本发明采用基于尺度回归的高分辨率pan图像与高分辨率ms图像之间的光谱匹配方法，计算系数m和n如下：
[0038][0039][0040]
其中，e为求图像的均值。我们现在可以重写式(11)：
[0041][0042]
根据式(2)中尺度回归的注入系数gb的定义，式(20)可以写成：
[0043][0044]
由此我们可以提出方法为mtf-glp-hpm基于全尺度回归(mtf-glp based on full scale regression，mtf-glp-hpm-fs-reg)作为之后实验的一种对比方法。
[0045]
步骤(3)中，根据式(2)，基于尺度回归的注入系数gb只考虑了精细尺度下的和的协方差。因此，gb中的回归尺度信息是单一的，这影响了基于量表回归模型的mra的性能。为了丰富回归所需的尺度信息，提高最终的全色锐化结果，将精细尺度信息和粗糙尺度信息都引入回归中，构造双尺度回归。也就是说，所提出的双尺度回归不仅考虑了和之间协方差的细尺度信息，而且也考虑了和之间协方差的粗尺度信息。因此，我们将gb改写成：
[0046][0047]
其中对参数μ进行了调整，使所提出的方法在不同的场景下更加灵活，由此引入最终注入系数，通过迭代过程实现双尺度回归。而迭代过程最后得到一种封闭解，且迭代方法可以获得较好的性能。通过推导数学公式，可以证明了双尺度回归模型的迭代性和收敛性。
[0048]
首先，令来得到初始注入系数其定义为：
[0049][0050]
通过推导得到为：
[0051][0052]
则令为：
[0053][0054]
为了证明双尺度回归模型的迭代性和收敛性，利用数学归纳得到了由式(25)推导出的得到方程如下：
[0055][0056]
类似地，在回归中使用的迭代过程需要有一个固定点，当n接近无穷时，可以这样定义
[0057][0058]
又已知：
[0059][0060]
最后推导可得出：
[0061][0062]
根据(26)-(29)，所提出的双尺度回归模型具有迭代性和收敛性。将每次迭代后得到注入系数gb代入式(21)，当停止迭代过程，得到最终全色锐化的结果。
附图说明
[0063]
图1为基于双尺度回归的多分辨率分析模型流程图
[0064]
图2(a)为quickbird卫星数据集原有ms图像
[0065]
图2(b)为quickbird卫星数据集原有pan图像
[0066]
图2(c)为quickbird卫星数据集降分辨率ms图像
[0067]
图2(d)为quickbird卫星数据集降分辨率pan图像
[0068]
图3(a)为基于awlp方法的quickbird卫星数据集降分辨率结果
[0069]
图3(b)为基于mtf-glp方法的quickbird卫星数据集降分辨率结果
[0070]
图3(c)为基于mtf-glp-fs方法的quickbird卫星数据集降分辨率结果
[0071]
图3(d)为基于mtf-glp-cbd方法的quickbird卫星数据集降分辨率结果
[0072]
图3(e)为基于c-mtf-glp-cbd方法的quickbird卫星数据集降分辨率结果
[0073]
图3(f)为基于mf方法的quickbird卫星数据集降分辨率结果
[0074]
图3(g)为基于mtf-glp-hpm方法的quickbird卫星数据集全分辨率结果
[0075]
图3(h)为基于mtf-glp-hpm-r方法的quickbird卫星数据集全分辨率结果
[0076]
图3(i)为基于mtf-glp-hpm-h方法的quickbird卫星数据集全分辨率结果
[0077]
图3(j)为基于mtf-glp-hpm-pp方法的quickbird卫星数据集全分辨率结果
[0078]
图3(k)为基于mtf-glp-hpm-fs-reg方法的quickbird卫星数据集全分辨率结果
[0079]
图3(l)为基于mtf-glp-hpm-ds-reg方法的quickbird卫星数据集全分辨率结果
[0080]
图4(a)为基于awlp方法的quickbird卫星数据集全分辨率结果
[0081]
图4(b)为基于mtf-glp方法的quickbird卫星数据集全分辨率结果
[0082]
图4(c)为基于mtf-glp-fs方法的quickbird卫星数据集全分辨率结果
[0083]
图4(d)为基于mtf-glp-cbd方法的quickbird卫星数据集全分辨率结果
[0084]
图4(e)为基于c-mtf-glp-cbd方法的quickbird卫星数据集全分辨率结果
[0085]
图4(f)为基于mf方法的quickbird卫星数据集全分辨率结果
[0086]
图4(g)为基于mtf-glp-hpm方法的quickbird卫星数据集全分辨率结果
[0087]
图4(h)为基于mtf-glp-hpm-r方法的quickbird卫星数据集全分辨率结果
[0088]
图4(i)为基于mtf-glp-hpm-h方法的quickbird卫星数据集全分辨率结果
[0089]
图4(j)为基于mtf-glp-hpm-pp方法的quickbird卫星数据集降分辨率结果
[0090]
图4(k)为基于mtf-glp-hpm-fs-reg方法的quickbird卫星数据集全分辨率结果
[0091]
图4(l)为基于mtf-glp-hpm-ds-reg方法的quickbird卫星数据集全分辨率结果
具体实施方式
[0092]
基于双尺度回归的全色锐化方法，包括如下步骤：
[0093]
(1)在基于高斯滤波器的广义拉普拉斯金字塔与多光谱ms传感器的匹配调制传递函数mtf-glp上，设计一个基于尺度回归的mra模型，具体步骤为：将(低分辨率的ms图像)插值成p
hr
(高分辨率的pan图像)的尺寸。然后，利用mtf-glp从p
hr
来得到低通版本的低分辨率的pan图像p
lr
。最后注入系数g用于控制注入信息，如公式(1)来获得全色锐化的结果第b谱带的全色锐化结果为：
[0094][0095]
本发明采用全尺度回归，通过多次迭代得到合适的注入系数gb，其定义如下：
[0096][0097]
其中cov为两个图像的协方差，var为图像的样本方差。当gb达到收敛时，迭代过程停止。
[0098]
(2)利用hpm注入方案对该mra模型进行了改进，使其原有hpm的注入系数添加上尺度回归的信息。hpm注入方案可以改善mra模型，因此本发明采用hpm注入方案来改善基于尺度回归的mra模型的性能。hpm注入方案如下：
[0099][0100]
下面将说明如何将尺度回归添加到hpm注入方案中。传感器s获取的数字ms或pan图像可以定义为传感器空间响应与传感器在其光谱频带内采集的总能量的卷积，表示为：
[0101][0102]
其中上标xr可表示高分辨率hr或低分辨率lr，δs是一个加性常数，ks表示一个乘性常数。引入这两个常数是为了得到a/d转换器的全数字范围，但δs通常可以忽略不计。表示传感器的空间响应而ws是传感器辐射频率λ按相对光谱响应加权的积分。由此，我们可以改写p
lr
和p
hr
为：
[0103][0104][0105][0106]
从此角度看，全色锐化的目的是获得高分辨率图像，它的空间响应为高分辨率pan的和ms的总能量wb，所以的表达式可以定义为：
[0107]
[0108]
根据hpm注入方案，将式(6)-(8)代入式(3)，得到
[0109][0110]
通过适当设置的乘法系数，其值可以转换为目标表达式(9)，修改后的式子可以表示为：
[0111][0112]
接下来，由于高分辨的ms传感器的空间响应与现有pan相同，并且低分辨率pan图像是由mtf-glp构造的，利用一个滤波器来匹配低分辨率ms传感器的空间响应，三个等式定义如下：
[0113][0114][0115][0116]
根据式(6)和(7)，可得到如下表达式：
[0117][0118]
相似地，得到式(16)：
[0119][0120]
根据式(15)和(16)，提出了一个线性仿射函数来求解其定义为：
[0121][0122]
接下来问题就转化为求系数m和n的问题来得到本发明采用基于尺度回归的高分辨率pan图像与高分辨率ms图像之间的光谱匹配方法，计算系数m和n如下：
[0123][0124][0125]
其中，e为求图像的均值。我们现在可以重写式(11)：
[0126][0127]
根据式(2)中尺度回归的注入系数gb的定义，式(20)可以写成：
[0128][0129]
(3)将双尺度信息包括精细尺度和粗糙尺度信息添加到尺度回归中，最后生成一个迭代的收敛的双尺度回归模型，得到最终的全色锐化结果。
[0130]
根据式(2)，基于尺度回归的注入系数gb只考虑了精细尺度下的和的协方
差。因此，gb中的回归尺度信息是单一的，这影响了基于量表回归模型的mra的性能。为了丰富回归所需的尺度信息，提高最终的全色锐化结果，将精细尺度信息和粗糙尺度信息都引入回归中，构造双尺度回归。也就是说，所提出的双尺度回归不仅考虑了和之间协方差的细尺度信息，而且也考虑了和之间协方差的粗尺度信息。因此，我们将gb改写成：
[0131][0132]
其中对参数μ进行了调整，使所提出的方法在不同的场景下更加灵活，由此引入最终注入系数，通过迭代过程实现双尺度回归。而迭代过程最后得到一种封闭解，且迭代方法可以获得较好的性能。通过推导数学公式，可以证明了双尺度回归模型的迭代性和收敛性。
[0133]
首先，令来得到初始注入系数其定义为：
[0134][0135]
通过推导得到为：
[0136][0137]
则令为：
[0138][0139]
为了证明双尺度回归模型的迭代性和收敛性，利用数学归纳得到了由式(25)推导出的得到方程如下：
[0140][0141]
类似地，在回归中使用的迭代过程需要有一个固定点，当n接近无穷时，可以这样定义
[0142][0143]
又已知：
[0144]
[0145]
最后推导可得出：
[0146][0147]
根据(26)-(29)，所提出的双尺度回归模型具有迭代性和收敛性。将每次迭代后得到注入系数gb代入式(21)，当停止迭代过程，得到最终全色锐化的结果。
[0148]
按照上述步骤，可以产生最终全色锐化的结果图像。我们将相应的类标签分配给这些理想的cosi主题图像，然后对它们进行积分，得到最终的映射结果。
[0149]
图1为本发明提出的基于双尺度回归的多分辨率分析模型原理流程图。
[0150]
图2(a)为quickbird卫星数据集原有ms图像；图2(b)为quickbird卫星数据集原有pan图像；图2(c)为quickbird卫星数据集降分辨率ms图像；图2(d)为quickbird卫星数据集降分辨率pan图像。
[0151]
图3(a)为基于awlp方法的quickbird卫星数据集降分辨率结果；图3(b)为基于mtf-glp方法的quickbird卫星数据集降分辨率结果；图3(c)为基于mtf-glp-fs方法的quickbird卫星数据集降分辨率结果；图3(d)为基于mtf-glp-cbd方法的quickbird卫星数据集降分辨率结果；图3(e)为基于c-mtf-glp-cbd方法的quickbird卫星数据集降分辨率结果；图3(f)为基于mf方法的quickbird卫星数据集降分辨率结果；图3(g)为基于mtf-glp-hpm方法的quickbird卫星数据集全分辨率结果；图3(h)为基于mtf-glp-hpm-r方法的quickbird卫星数据集全分辨率结果；图3(i)为基于mtf-glp-hpm-h方法的quickbird卫星数据集全分辨率结果；图3(j)为基于mtf-glp-hpm-pp方法的quickbird卫星数据集全分辨率结果；图3(k)为基于mtf-glp-hpm-fs-reg方法的quickbird卫星数据集全分辨率结果；图3(l)为基于mtf-glp-hpm-ds-reg方法的quickbird卫星数据集全分辨率结果；
[0152]
图4(a)为基于awlp方法的quickbird卫星数据集全分辨率结果；图4(b)为基于mtf-glp方法的quickbird卫星数据集全分辨率结果；图4(c)为基于mtf-glp-fs方法的quickbird卫星数据集全分辨率结果；图4(d)为基于mtf-glp-cbd方法的quickbird卫星数据集全分辨率结果；图4(e)为基于c-mtf-glp-cbd方法的quickbird卫星数据集全分辨率结果；图4(f)为基于mf方法的quickbird卫星数据集全分辨率结果；图4(g)为基于mtf-glp-hpm方法的quickbird卫星数据集全分辨率结果；图4(h)为基于mtf-glp-hpm-r方法的quickbird卫星数据集全分辨率结果；图4(i)为基于mtf-glp-hpm-h方法的quickbird卫星数据集全分辨率结果；图4(j)为基于mtf-glp-hpm-pp方法的quickbird卫星数据集降分辨率结果；图4(k)为基于mtf-glp-hpm-fs-reg方法的quickbird卫星数据集全分辨率结果；图4(l)为基于mtf-glp-hpm-ds-reg方法的quickbird卫星数据集全分辨率结果。
[0153]
表1为全色锐化结果的评价指标图，指标包含降分辨率的q4，q_avg，sam和ergas；全分辨率的d
λ
，ds和qnr。下表显示了实验1和2中12种spm方法分别在降分辨率和全分辨率的指标值。提出的mtf-glp-hpm-ds-reg在所有方法中，在降分辨率时获得最低的sam，ergas和最高的q4，q_avg；在全分辨率时获得最低的d
λ
，ds和最高的qnr。从总体结果来看，mtf-glp-hpm-ds-reg无论在将分辨率评估还是全分辨率评估中都有着良好的性能和一定的稳定性。
[0154]
表1.全色锐化结果指标图
[0155]
方法q4q_avgsamergasd
λds
qnr指标参考值1.00000.00000.00000.00000.00000.00001.0000
awlp0.80850.80081.17350.77740.10720.14770.7610mtf-glp0.79470.78491.19940.87350.11950.16110.7387mtf-glp-fs0.85050.83561.13550.72700.07450.11110.8227mtf-glp-cbd0.84820.83331.14260.73310.07540.11280.8204c-mtf-glp-cbd0.82620.81151.24360.79130.07370.10760.8266mf0.82050.80491.19090.80150.12900.17310.7203mtf-glp-hpm0.79710.78741.16990.86120.11900.15760.7422mtf-glp-hpm-r0.85110.83631.11340.71900.10620.13960.7690mtf-glp-hpm-h0.81700.81431.27580.76240.07510.10980.8234mtf-glp-hpm-pp0.79420.77781.36000.86880.14920.19030.6888mtf-glp-hpm-fs-reg0.85350.83871.10940.71200.07430.10810.8256mtf-glp-hpm-ds-reg0.85460.83981.10830.70860.07160.10500.8309