基于CNN和NSCT的多光谱图像和全色图像模糊融合方法与流程

基于cnn和nsct的多光谱图像和全色图像模糊融合方法
技术领域
1.本发明涉及遥感图像处理技术领域，尤其涉及一种基于cnn和nsct的多光谱图像和全色图像模糊融合方法。


背景技术：

2.遥感图像广泛地应用于产量预测、林业病虫害检测、森林自然灾害预测、地质探测、国家安防、土地利用、环境变化检测等，但是受到卫星传感器技术发展的限制，目前还不能获得同时具有高空间分辨率和高光谱分辨率的图像，只能获得高空间分辨率低光谱分辨率的全色图像(pan图像)和低空间分辨率高光谱分辨率的多光谱图像(ms图像)，无法满足人们的需求，从而研究出了利用pan图像和ms图像的冗余和互补信息，获得高空间分辨率高光谱分辨率的图像，一般可以通过图像增强、超分辨率重建、图像融合等技术实现，图像融合技术是指将多源图像通过一定方法生成一个质量更高、信息更丰富的图像，符合人们的视觉感知、以便决策人员可以通过更清晰的图像做出更精确的决策。
3.ms图像和pan图像融合(全色锐化)是遥感图像处理领域研究的热门、重点之一。融合方法可以归纳为成分替换方法、多分辨率分析法、变分方法、深度学习。成分替换方法，像ihs、gihs、aihs、pca、brovey、gs等，虽然这些方法能够提高空间分辨率，但是普遍存在光谱信息不同程度的失真。多分辨率分析法像小波(wavelet)变换、拉普拉斯金字塔分解(laplacian pyramid，lp)、轮廓波(contourlet)变换、曲波(curvelet)变换、非下采样轮廓波变换(nsct)等虽然在一定程度上减少了光谱失真，但是空间分辨率比较低，还可能出现伪影问题。深度学习在计算机视觉领域的快速发展，使得各种网络开始应用在遥感图像融合方向，像pnn、drpnn、pannet、pangan等网络的提出用于全色锐化取得了一定的效果，但是还是会存在光谱失真、空间分辨率低、融合质量不高、过拟合、训练时间过长的问题。


技术实现要素：

4.鉴于此，本发明的目的在于提供一种基于cnn和nsct的多光谱图像和全色图像模糊融合方法，以解决现有技术所存在的上述问题。
5.为实现上述发明目的，本发明提供一种基于cnn和nsct的多光谱图像和全色图像模糊融合方法，包括以下步骤：
6.获取原始卫星遥感图像，对原始卫星遥感图像进行预处理，获得配准的多光谱图像和全色图像；
7.基于多光谱图像和全色图像构建仿真训练集和测试集，所述仿真训练集和测试集包括dums图像、lpan图像和ms图像；
8.对仿真训练集中的dums图像进行rgb
‑
ihs变换，将dums图像分解为强度分量、色度分量和饱和度分量，使用强度分量将对应的lpan图像进行直方图均衡化处理，得到mlpan图像；
9.对强度分量和mlpan图像提取多尺度多方向的低频特征和高频特征；
10.将强度分量和mlpan图像的低频特征和高频特征、dums图像和mlpan图像作为输入，将dums图像与ms图像之间相差的细节作为输出，以resnet残差模块为基础构建浅层的多尺度特征提取网络mtenet,对mtenet进行训练得到更丰富的细节特征图像prod；
11.将细节特征图像prod和mlpan第一层高频子带图像使用模糊融合规则进行融合，得到注入细节图像ind，将注入细节图像ind和dums图像作为输入，ms图像作为输出，以resnet残差模块为基础构建浅层的细节注入网络，对其进行充分训练，得到最终的融合图像。
12.进一步的，所述对原始卫星遥感图像进行预处理具体为：对原始卫星遥感图像进行大气校正和空间配准。
13.进一步的，所述基于多光谱图像和全色图像构建仿真训练集和测试集，具体包括以下步骤：
14.根据wald准则以及全色图像和多光谱图像之间的空间分辨率之比，对全色图像和多光谱图像使用双三次插值方法进行下采样，得到的图像分别记为lpan图像和dms图像；
15.根据wald准则对下采样后的dms图像使用双三次插值方法进行上采样，得到的图像记为dums图像；
16.根据wald准则对ms图像使用双三次插值方法进行上采样，得到的图像记作ums图像。
17.进一步的，所述对强度分量和mlpan图像提取多尺度多方向的低频特征和高频特征，具体包括：
18.通过非下采样金字塔滤波器组将dums图像和mlpan图像进行分解，得到多层对应的dums低频子带和dums高频子带，mlpan低频子带和mlpan高频子带；
19.通过非下采样方向滤波器组对dums高频子带和mlpan高频子带进行滤波，得到各个方向上的高频方向滤波图像。
20.进一步的，所述将强度分量和mlpan图像的低频特征和高频特征、dums图像和mlpan图像作为输入，将dums图像与ms图像之间的细节作为输出，以resnet残差模块为基础构建浅层的多尺度特征提取网络mtenet，对mtenet进行训练得到更丰富的细节特征图像prod，具体包括：
21.将强度分量和mlpan图像的低频子带图像、高频方向滤波图像，dums图像和mlpan图像作为mtenet的输入；
22.将dums图像与ms图像之间相差的细节作为标签；
23.对mtenet进行训练使得损失函数最小，冻结训练参数，得到最优模型，进而得到更丰富的细节特征，记作prod。
24.进一步的，所述将细节特征图像prod和mlpan第一层高频子带图像使用模糊融合规则进行融合，得到注入细节图像ind，具体包括以下步骤：
25.在高频子带引入对比度和匹配度作为度量参数，分别获取归一化的mlpan图像第一尺度高频子带h
1,1
和prod细节特征图像的对比度以及h
1,1
和prod之间的匹配度；
26.将度量参数对比度和匹配度量化到模糊论域，并建立模糊论域的隶属度函数和模糊规则；
27.根据最大隶属度原则，使用模糊规则对h
1,1
和prod细节特征图像各自的权值进行
模糊决策，根据得到的加权项进行融合获得注入细节图像ind。
28.与现有技术相比，本发明的有益效果是：
29.本发明提供的基于cnn与nsct的多光谱图像和全色图像模糊融合方法，提取dums和mlpan图像各自的多尺度多方向的低频子带图像和高频子带图像，再使用resnet中残差模块及非线性特性构建浅层的细节提取网络mtenet以提取更丰富的细节信息，构建的浅层网络，具有便于训练，可防止出现过拟合现象的特点。由于在mtenet提取细节特征时，mlpan图像的高频被dums图像的高频所替换，细节的分辨率会降低，所以利用模糊融合规则将由mtenet提取的特征和mlpan的第一层高频子带进行融合得到最终的注入细节。由于ms图像波段和pan图像波段之间是非线性关系，利用浅层的卷积神经网络的非线性将注入细节和dums图像进行训练，得到最终的融合结果。本发明的融合模型设计的网络结构简单，容易训练，防止过拟合，泛化能力强，能够在保留光谱信息的同时提高空间分辨率，从而获得同时具有高空间分辨率和高光谱分辨率的图像。
附图说明
30.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的优选实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
31.图1是本发明实施例提供的基于cnn和nsct的多光谱图像和全色图像模糊融合方法整体流程示意图。
32.图2是本发明实施例提供的构建仿真训练集和测试集整体流程示意图。
33.图3是本发明实施例提供的提取低频特征和高频特征整体流程示意图。
34.图4是本发明实施例提供的生成细节特征图像prod流程示意图。
具体实施方式
35.以下结合附图对本发明的原理和特征进行描述，所列举实施例只用于解释本发明，并非用于限定本发明的范围。
36.参照图1，本实施例提供一种基于cnn和nsct的多光谱图像和全色图像模糊融合方法，所述方法包括以下步骤：
37.s101、获取原始卫星遥感图像，对原始卫星遥感图像进行预处理，获得配准的多光谱图像和全色图像。
38.示例性地，本实施例中获取landsat
‑
8、landsat
‑
7、quickbird、gf
‑
2四个卫星的原始卫星遥感图像。对原始卫星遥感图像进行预处理，具体为根据采集到的上述四个卫星数据级别，对原始卫星遥感图像进行大气校正和空间配准。
39.s102、基于多光谱图像和全色图像构建仿真训练集和测试集，所述仿真训练集和测试集包括dums图像、lpan图像和ms图像。
40.示例性地，本实施例中采用landsat
‑
8卫星根据wald准则生成数据集，随机抽取dums图像、lpan图像和ms图像作为仿真训练集和测试集，根据wald准则生成的ums图像和pan图像作为全分辨率测试集。为了验证本发明提出融合方法的泛化能力，对landsat
‑
7、
quickbird、gf
‑
2卫星数据生成的仿真测试集和全分辨率测试集进行测试。
41.s103、对仿真训练集中的dums图像进行rgb
‑
ihs变换，将dums图像分解为强度(i)分量、色度(h)分量和饱和度(s)分量，使用强度(i)分量将对应的lpan图像进行直方图均衡化处理，得到mlpan图像。
42.示例性地，所述i分量的表达式为：
[0043][0044]
s104、对强度分量和mlpan图像提取多尺度多方向的低频特征和高频特征。
[0045]
s105、将强度分量和mlpan图像的低频特征和高频特征、dums图像和mlpan图像作为输入，将dums图像与ms图像之间相差的细节作为输出，以resnet残差模块为基础构建浅层的多尺度提取网络mtenet，对mtenet进行训练得到更丰富的细节特征图像prod。
[0046]
s106、将细节特征图像prod和mlpan第一层高频子带图像使用模糊融合规则进行融合，得到注入细节图像ind，将注入细节图像ind和dums图像作为输入，ms图像作为输出，以resnet残差模块为基础构建浅层的细节注入网络，对其进行充分训练，得到最终的融合图像。
[0047]
作为一种可选的实施方式，参照图2，步骤s102中，所述基于多光谱图像和全色图像构建仿真训练集和测试集，具体包括以下步骤：
[0048]
s201、根据wald准则以及全色图像和多光谱图像之间的空间分辨率之比，对全色图像和多光谱图像使用双三次插值方法进行下采样，得到的图像分别记为lpan图像和dms图像。
[0049]
s202、根据wald准则对下采样后的dms图像使用双三次插值方法进行上采样，得到的图像记为dums图像。
[0050]
s203、根据wald准则对ms图像使用双三次插值方法进行上采样，得到的图像记作ums图像。
[0051]
作为一种可选的实施方式，参照图3，步骤s104中，所述对强度分量和mlpan图像提取多尺度多方向的低频特征和高频特征，具体为通过使用nsct方法对其进行分解获得多尺度多方向的低频子带和高频方向子带，包括以下步骤：
[0052]
s301、通过非下采样金字塔滤波器组将dums图像和mlpan图像进行分解，得到多层对应的dums低频子带和dums高频子带，mlpan低频子带和mlpan高频子带。
[0053]
s302、通过非下采样方向滤波器组对dums高频子带和mlpan高频子带进行滤波，得到各个方向上的高频方向滤波图像。
[0054]
示例性地，所述非下采样金字塔滤波器组的低通滤波器包括低通分解滤波器和低通重构滤波器{l0(x),l1(x)}；所述非下采样金字塔滤波器组的高通滤波器包括高通分解滤波器和高通重构滤波器{h0(x),h1(x)}，非下采样金字塔滤波器组满足bezout恒等式1d多项式函数：
[0055]
l
01d
(x)l
11d
(x) h
01d
(x)h
11d
(x)＝1。
[0056]
所述非下采样方向滤波器组的扇形滤波器包括扇形分解滤波器和扇形重构滤波器，{s0(x),s1(x)}，非下采样方向滤波器组的棋盘滤波器包括棋盘分解滤波器和棋盘重构滤波器{q0(x),q1(x)}，非下采样方向滤波器组满足bezout恒等式1d多项式函数：
[0057]
s
01d
(x)s
11d
(x) q
01d
(x)q
11d
(x)＝1。
[0058]
作为一种可选的实施方式，参照图4，所述步骤s105，具体包括以下步骤：
[0059]
s401、将强度分量和mlpan图像的低频子带图像、高频方向滤波图像，dums图像和mlpan图像作为mtenet的输入。
[0060]
s402、将dums图像与ms图像之间相差的细节作为标签。
[0061]
s403、对mtenet进行训练使得损失函数最小，冻结训练参数，得到最优模型，进而得到更丰富的细节特征，记作prod。
[0062]
作为一种可选的实施方式，步骤s106中，所述将细节特征图像prod和mlpan第一层高频子带图像使用模糊融合规则进行融合，具体包括以下步骤：
[0063]
h
1,1
表示mlpan图像第1层分解后第1尺度下高频子带系数，l1为第一层第一尺度下的对应低频子带系数，根据人眼的局部对比度敏感性，在高频子带引入对比度d
s,1,1
(i,j)作为度量参数，其表达为：
[0064][0065][0066]
其中，w
1,1
(p,q)为窗口掩模，h
s,1,1
(i,j)表示坐标(i，j)处mlpan图像第1层分解得到的第1尺度下的高频子带图像或细节特征图像prod；l
s,1
(i,j)表示相对应尺度下的低频子带图像。
[0067]
h
1,1
,prod图像之间的局部相似性使用区域匹配度m
l,p,1,1
(i,j)进行表示，其表达式为：
[0068][0069]
分别得到归一化的mlpan图像高频子带h
1,1
和细节特征图像prod的对比度d
mlpan,1,1
(i,j)和d
prod,1,1
(i,j)以及h
1,1
与prod之间的匹配度m
s,1,1
(i,j)度量参数。
[0070]
再将取值范围是[0,1]区间的d
mlpan,1,1
(i,j)、d
prod,1,1
(i,j)和m
s,1,1
(i,j)进行量化为值域为[0，1]的模糊论域x、y、z、w；对于x，建立模糊集x＝{mlpan图像高频子带特征占优势}；对于y，建立模糊集y＝{细节特征图像prod占优势}；对于z，建立模糊集z＝{mlpan图像高频子带特征与细节特征图像prod匹配}；对于w，建立模糊集w＝{mlpan图像高频子带特征
与细节特征图像prod不匹配}。x和y的隶属度函数为：z和w的隶属度函数为：
[0071]
使用mamdani极小化的原理设计4种模糊融合规则，包括：
[0072]
1)如果mlpan图像高频子带的区域特征占优，且区域特征不匹配，那么规则g1定义为：
[0073]
g1：如果μ
l
(x)≥μ
p
(y)和μ
um
(w)≥μ
m
(z)，则μ
g1
＝μ
l
(x)∧μ
um
(w)。
[0074]
2)如果细节特征图像prod的区域特征占优，且区域特征不匹配，那么规则g2定义为：
[0075]
g2：如果μ
l
(x)<μ
p
(y)和μ
um
(w)≥μ
m
(z)，则μ
g2
＝μ
p
(y)∧μ
um
(w)。
[0076]
3)如果mlpan图像高频子带的区域特征占优，且区域特征匹配，那么规则g3定义为：
[0077]
g3：如果μ
l
(x)≥μ
p
(y)和μ
um
(w)<μ
m
(z)，则
[0078]
4)如果细节特征图像prod的区域特征占优，且区域特征匹配，那么规则g4定义为：
[0079]
g4：如果μ
l
(x)<μ
p
(y)和μ
um
(w)<μ
m
(z)，则
[0080]
根据最大隶属度原则，使用上面所述4种模糊融合规则对各自的权值进行模糊决策，即：
[0081][0082]
其中∨表示取最大值，∧表示取最小值，则对应的mlpan图像高频子带和细节特征图像prod的加权项分别为：
[0083]
[0084]
根据得到的加权项，可以得到融合后的图像为：
[0085]
ind＝w
l
(x,y)h
1,1
w
p
(x,y)prod。
[0086]
最后将得到的注入细节图像ind和dums图像作为输入，ms图像作为输出，以resnet残差模块为基础构建浅层的细节注入网络，对其进行充分训练,使得损失函数最小，冻结网络参数，得到最优模型,生成最终的融合图像。
[0087]
本实施例中，所采用的卷积神经网络结构由一个resnet残差模块和一个单层卷积层构成，所述单个resnet残差模块结构具体为：残差部分的2个卷积层使用的卷积核为3
×3×
32，直接连接部分使用的卷积核为1
×1×
32；一个单层卷积层结构具体为1
×1×
n，n表示输出ms图像的通道数，本实施例中使用r、g、b三个通道，所以n＝3。细节注入网络可以表示为ms＝d(concat(dums,ind),w
d
)，其中w
d
是注入细节网络的超参数，dums是上采样后的低分辨率ms图像，ind是注入细节。
[0088]
在采用上述实施例所述方法进行的一个实验中，采用quickbird卫星传感器获取的遥感图像进行测试。其中多光谱图像空间分辨率是2.8米，像素大小是510
×
510；对应的全色图像分辨率是0.7米，像素大小是2040
×
2040。按照wald准则对空间分辨率0.7米全色图像和空间分辨率2.8米多光谱图像以4倍因子进行下采样操作获得2.8米全色和11.2米多光谱仿真图像。分别使用indusion、nsct、sfim、mtf_glp、pnn、drpnn和pannet融合方法与本发明基于cnn与nsct的多光谱图像和全色图像模糊融合方法进行对比实验，无论是降分辨率还是全分辨率下的实验结果，本发明提出的方法的融合效果相对于其他图像融合方法都更优。
[0089]
本发明提出的基于cnn与nsct的多光谱图像和全色图像模糊融合方法能更大程度提高分辨率的同时保留光谱信息，使用简单的网络减少训练时间，提高融合性能。
[0090]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。