一种基于细节注入模型的遥感图像融合方法

1.本发明属于遥感图像融合领域，特别涉及一种基于细节注入模型的遥感图像融合方法。


背景技术：

2.随着卫星传感器技术的不断发展，遥感数据获取能力进一步提升。受限于成像机理，卫星很难获得同时具有高空间分辨率和高光谱分辨率的遥感图像。目前，大多数商业卫星，例如quickbird，ikonos，geoeye以及worldview等，可以共同获取全色(pan)和多光谱(ms)图像。由于同一时间、同一场景下的全色图像与多光谱图像之间存在良好的互补性，通过图像融合技术可以得到高空间分辨率的多光谱遥感图像，以便进行图像分类、目标识别、变化检测、特征提取、图像分割等。因此，如何结合pan图像和ms图像的互补信息是亟待解决的问题，而多光谱图像与全色图像的融合研究也具有十分重大的意义。
3.全色与多光谱图像的融合技术主要包含三种方式：基于成分替换的方法(cs,component substitution)、基于多分辨率分析的方法(mra,multiresolution analysis)以及基于变分优化的方法(vo,variational optimization)。其中，cs方法的基本思想是通过从pan图像中提取高频细节信息并将其注入到ms图像中，其代表性算法有：主成分分析法、施密特正交化方法等。通常，此类方法具有较低的时间复杂度但却容易引起光谱畸变，其原因在于该类融合算法未充分考虑光谱信息的保留问题。基于mra的方法首先使用金字塔或小波变换将原图像分解到多个不同尺度，然后采用恰当的融合规则对各个尺度的子带图像进行融合，最后利用逆变换得到融合图像，其代表性算法有：
à
trous小波变换、非下采样轮廓波变换等。从整体上来看，由于考虑了图像中地物的各向异性，因此该类方法通常能够保持较好的光谱信息，但其融合结果的质量严重依赖于融合规则、分解层数与方向数。基于vo的模型是一种重要的全色锐化方法，它通常包含能量泛函的设计与求解两部分，其代表性算法有：p xs、稀疏表达等。该类方法虽有较好的保真度，但其计算过程复杂且时间成本较高。
4.现有全色与多光谱图像的融合技术仍存在以下不足：
5.(1)算法时间效率低下。与传统rgb图像相比，多光谱图像具有高维光谱通道、数据量大等特点，而目前很多算法具有较高的时间复杂度，如一些基于深度学习和基于变分优化的方法在一定程度上并不能满足一些对实时性要求较高的实际需求。
6.(2)光谱信息失真。由于图像低频信息中包含了大量的光谱特征，因此目前很多算法会先分离出全色图像与多光谱图像的低频信息，然后再进行融合。其融合结果的好坏严重依赖于融合方法的选择与参数的设置，而不恰当的方法与参数会导致出现严重的光谱扭曲现象。
7.(3)空间细节信息丢失。基于细节注入模型的算法通常将提取的单波段的细节信息依次注入到原多光谱图像的各个波段当中，却往往忽略了原多光谱图像不同波段间的差异性，因此这种方式容易造成融合图像细节清晰度较低的问题。


技术实现要素：

8.针对现有技术算法时间效率低下、空间细节信息丢失的问题，本发明提出一种基于细节注入模型的遥感图像融合方法，具体包括以下步骤：
9.s1、若多光谱图像的波段数为n，则将全色图像构建为n维图像，记为第一全色图像，且任意维图像的与原全色图像相同；
10.s2、将n维全色图像与多光谱进行逐波段直方图匹配，得到经过直方图匹配后的n维全色图像，记为第二全色图像；
11.s3、第二全色图像和多光谱图像分别利用滚动引导滤波进行迭代滤波分别获得各自的低通图像，并通过差分运算会获取各自的第一高频细节分量；
12.s4、根据像素显著性判断从第二全色图像中获取全色图像的单波段细节图像，记为第三全色图像；
13.s5、通过aihs算法从第三全色图像与多光谱图像的高频细节分量中得到高频亮度分量；
14.s6、从第三全色图像中提取除了高频亮度分量以外的细节信息，记为第一细节图；
15.s7、利用引导滤波器对第二全色图像的第一高频细节分量以及多光谱图像的第一高频细节分量进行滤波得到各自的第二高频细节分量；
16.s8、将多光谱图像的第一高频细节分量与第二高频细节分量的残差与第一细节图之和作为第二细节图；
17.s9、以第二细节图作为初始值，根据最速下降法估算经过细节增强后的细节图，得到第三细节图；
18.s10、将多光谱图像与第三细节图进行融合，根据融合结果得到遥感图像的亮度分量的高频分量，完成融合。
19.进一步的，第二全色图像和多光谱图像的第一高频细节分量的获取过程包括以下步骤：
20.pans
l
＝rgf(pans,σs,σr,t)
21.ms
l
＝rgf(ms,σs,σr,t)
22.pansh＝pans-pans
l
23.msh＝ms-ms
l
24.其中，pans
l
为第二全色图像的低通图像；rgf()代表滚动引导滤波操作；pans为第二全色图像；σs是空间标准差，其取值控制着滤波尺度大小；σr为高斯函数在灰度域的权重参数；t代表迭代次数；ms
l
为多光谱图像的低通图像；ms为多光谱图像；pansh为第二全色图像的第一高频细节分量；msh为多光谱图像的第一高频细节分量。
25.进一步的，第三全色图像的获取过程包括：
[0026][0027]
其中，panh(r,k)表示第三全色图像的第r行第k列的像素点；表示第二全色图像的第i维图像中的第r行第k列的像素点，i＝{1,2,...,n}；abs()表示绝对值运算。
[0028]
进一步的，第一细节图表示为：
[0029][0030]
其中，为第i维全色图像对应的第一细节图；为第二全色图像的第i维图像的第一高频细节分量；ih为高频亮度分量。
[0031]
进一步的，通过aihs算法从第三全色图像与多光谱图像的高频细节分量中得到高频亮度分量i的过程包括：
[0032][0033][0034]
其中，αi表示自适应因子；表示第i个波段的多光谱图像的第一高频细节分量。
[0035]
进一步的，第二细节图的获取过程包括以下步骤：
[0036][0037][0038][0039]
其中，根据引导滤波器得到的第二高频细节分量；gf()为引导滤波器；pansh为第二全色图像的第一高频细节分量；msh为多光谱图像的第一高频细节分量；m为滤波窗口；γ为惩罚因子；res为多光谱图像的第一高频细节分量与第二高频细节分量的残差；为第i维全色图像对应的第一细节图；d
final
为第二细节图。
[0040]
进一步的，根据最速下降法估算经过细节增强后的细节图的过程包括：
[0041][0042][0043]
其中，为第n 1次的迭代结果细节图；代表第n次的迭代结果得到的第i维第三细节图；初始时取值为第二细节图；f为最小化差异函数；di为第i维第三细节图；f(di)为通过最小化差异函数f求解得到的与panh具有最小差异的结果图像；panh为第三全色图像；msh为多光谱图像的第一高频细节分量；|| ||表示求范数。
[0044]
进一步的，遥感图像的亮度分量的高频分量表示为：
[0045][0046]
其中，为遥感图像的亮度分量的高频分量；fi为第i维理想的融合结果图像；msh为多光谱图像的第一高频细节分量；di为第i维第三细节图；n为多光谱图像的波段数。
[0047]
与现有技术相比，本发明具有以下有益效果：
[0048]
(1)涉及简单的滤波、差分运算等操作，因此本发明具有较低的时间复杂度，对于256
×
256大小的输入图像，本发明能在秒级内得到处理结果。
[0049]
(2)由于滚动引导滤波器具有尺度感知与边缘保留的优点，因此本文假设在理想情况下由滚动引导滤波器得到的低频图像保留了较少的梯度信息，因此经差分运算得到高频图像则具有丰富的细节信息。因此，本发明可以较好地维持空间结构特征。
[0050]
综上所述，本发明区别于传统的细节注入方法，本发明认为原多光谱图像不同波段间应注入不同的细节信息，因此本发明利用引导滤波与差分运算提取了多级细节残差以降低空谱失真。
附图说明
[0051]
图1为本发明基于细节信息提取的流程框架图；
[0052]
图2为本发明一种基于细节注入模型的遥感图像融合方法流程图。
具体实施方式
[0053]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0054]
本发明提供一种基于细节注入模型的遥感图像融合方法，如图2，具体包括以下步骤：
[0055]
s1、若多光谱图像的波段数为n，则将全色图像构建为n维图像，记为第一全色图像，且任意维图像的与原全色图像相同；
[0056]
s2、将n维全色图像与多光谱进行逐波段直方图匹配，得到经过直方图匹配后的n维全色图像，记为第二全色图像；
[0057]
s3、第二全色图像和多光谱图像分别利用滚动引导滤波进行迭代滤波分别获得各自的低通图像，并通过差分运算会获取各自的第一高频细节分量；
[0058]
s4、根据像素显著性判断从第二全色图像中获取全色图像的单波段细节图像，记为第三全色图像；
[0059]
s5、通过aihs算法从第三全色图像与多光谱图像的高频细节分量中得到高频亮度分量；
[0060]
s6、从第三全色图像中提取除了高频亮度分量以外的细节信息，记为第一细节图；
[0061]
s7、利用引导滤波器对第二全色图像的高频细节分量以及多光谱图像的高频细节分量进行滤波得到各自的第二高频细节分量；
[0062]
s8、将多光谱图像的第一高频细节分量与第二高频细节分量的残差与第一细节图之和作为第二细节图；
[0063]
s9、以第二细节图作为初始值，根据最速下降法估算经过细节增强后的细节图，得到第三细节图；
[0064]
s10、将多光谱图像与第三细节图进行融合，根据融合结果得到遥感图像的亮度分量的高频分量，完成融合。
[0065]
在本实施例中，以图1基于细节信息提取的流程框架为基础，本发明的实施过程包括以下步骤：
[0066]
步骤1：考虑到ms图像的不同波段间存在一定差异性，假设ms图像的波段数为n，为了方便后续处理，首先将pan图像构造成n维图像，其中，任意维pan图像均与原pan图像相同。
[0067]
步骤2：将步骤1中的n维pan图像与ms图像进行逐波段直方图匹配可以得到经直方图匹配后的n维pan图像，记作pans。
[0068]
步骤3：将pans与原多光谱图像利用滚动引导滤波进行迭代滤波获得低通图像pans
l
与ms
l
，接着通过差分运算获取各自的高频细节分量，其计算方式如下：
[0069]
pans
l
＝rgf(pans,σs,σr,t)
[0070]
ms
l
＝rgf(ms,σs,σr,t)
[0071]
pansh＝pans-pans
l
[0072]
msh＝ms-ms
l
[0073]
其中pansh代表pans的高频细节分量；msh代表ms的高频细节分量。
[0074]
步骤4：将pansh经像素显著性判断法获取精细的单波段细节图像panh，受启发于多分辨率分析模型中系数绝对值取大的融合规则，中本文将显著性判断法定义为：
[0075][0076]
其中i,j为图像panh的横纵坐标；max(abs(
·
))代表绝对值取大运算。而后将panh与msh通过aihs算法估算出高频亮度分量ih，aihs算法的数学表达式如下：
[0077][0078]
步骤5：提取pansh相对于ih额外拥有的细节信息其实现过程可以通过下式表示：
[0079][0080]
其中i代表维度，其取值范围为1至n。
[0081]
步骤6：由于gf具有优秀的细节转移特性，本文利用引导滤波器与差值运算提取细节残差res，再结合res与获取最终的细节图d
final
，其数学表达如下：
[0082][0083][0084][0085]
其中代表经gf滤波得到的中间结果；m为滤波窗口；γ是惩罚因子。
[0086]
步骤7：本发明将融合结果图像的亮度分量的高频分量表示为：
[0087][0088]
其中fi为第i个波段的融合结果；di是经细节增强后的细节图。当通过步骤3消除了低频信息影响后，d
final
与ms图像具有相同的光谱特征，因此在步骤4中通过aihs估算高频亮度分量ih时求得的自适应因子不必更新。其中，di可以通过最速下降法进行估算：
[0089][0090][0091]
上式中，η为步长，初始时取值为d
final
。
[0092]
步骤8：获得细节增强后的细节图di后。其融合结果可以写为下式：
[0093]fi
＝msi di[0094]
其中，fi代表经融合得到的高空间分辨率的多光谱图像；msi与di分别代表原多光谱图像与最终细节图。
[0095]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。