基于内部和外部先验的高光谱融合成像方法、系统及介质

1.本发明涉及高光谱图像与多光谱图像融合技术，具体涉及一种基于内部和外部先验的高光谱融合成像方法、系统及介质。


背景技术：

2.相对于传统的全色图像或rgb图像，高光谱图像具有更多的光谱波段也就是有很高的光谱分辨率，这些丰富的光谱信息有利于分析物体的物理化学特性。因此高光谱图像在遥感、医学影像、地质勘探等领域有着广泛的应用。而由于辐射的光能一定，成像的光谱数量增加会导致每个光谱的能量降低，易受噪声干扰，为了避免噪声需要增大感光单元的尺寸，因此高光谱图像的空间分辨率往往较低。为了解决光谱分辨率和空间分辨率的矛盾，提高高光谱图像的空间分辨率，往往采用将高光谱图像和有着更高空间分辨率的多光谱图像融合的方法。因此研究高光谱图像和多光谱图像融合具有重要意义。
3.近年来，通过融合高分辨率多光谱图像和低分辨率高光谱图像来提高高光谱图像的分辨率已经成为了一种极为有效的方法，国内外众多学者提出了多种多样的融合方法，对如何提高融合图像的质量进行了广泛而深入的研究。这些方法利用了图像本身各种不同的先验特征来设计或学习正则项以约束高光谱图像超分重建的过程，根据利用的先验特征不同，这些放可主要分为利用图像内部先验与外部先验的两类方法。基于图像内部先验的方法利用光谱图像本身的先验信息，如基于稀疏表示的方法有贝叶斯稀疏表示先对场景进行分析推断其材料的光谱概率分布再进行稀疏编码，基于局部低秩的方法利用光谱图像本身的局部低秩等特性对高光谱图像的超分重建过程进行正则约束；基于图像外部先验的方法则是根据图像间共有的先验特征学习或设计正则项，现在被广泛应用于图像融合的基于深度卷积神经网络的方法可主要归为此类基于外部先验的方法，这些方法有些是对高光谱图像的成像模型进行分析，基于模型引导设计网络结构，需要从其他大量的高光谱数据中学习图像的外部先验知识。显然，基于图像内部先验的方法缺少光谱图像融合中普遍存在的外部先验信息，而如深度卷积神经网络这类基于图像外部先验的方法又往往需要大量难以获取的高分辨率高光谱图像进行训练，且往往存在泛化性能差等问题。


技术实现要素：

4.本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于内部和外部先验的高光谱融合成像方法、系统及介质，本发明能够将低分辨率的高光谱图像与高分辨率的多光谱图像的高效融合获取高分辨率的高光谱图像，具有融合效果好、计算效率高、鲁棒性强的优点。
5.为了解决上述技术问题，本发明采用的技术方案为：一种基于内部和外部先验的高光谱融合成像方法，包括：s101，采用超像素分割方法从输入的多光谱图像z中学习图像的局部相似性以作为内部先验；采用深度学习神经网络从外部的任意灰度图像集中学习图像的外部先验；
s102，将内部先验和外部先验引入输入的低分辨率的高光谱图像y和多光谱图像z到输出的高分辨率的融合高光谱图像x的基础观测模型以建立优化观测模型，并求解所述优化观测模型从而获得高分辨率的融合高光谱图像x。
6.可选地，步骤s101中采用超像素分割方法从输入的多光谱图像z中学习图像的局部相似性包括：s201，将多光谱图像z分块为k个图像块，并分别采用超像素分割以获得低秩特征；s202，将多光谱图像z的k个图像块的低秩特征采用核范数约束，得到下式所示的多光谱图像z的局部低秩特征以作为引入的内部先验；，上式中，k为多光谱图像z的图像块数量，zi为多光谱图像z的第i个图像块。
7.可选地，步骤s102包括：s301，为输入的低分辨率的高光谱图像y和多光谱图像z到输出的高分辨率的融合高光谱图像x建立下式所示的关联表示模型；=xbd nh，z=rx nm，上式中，b表示模糊运算，d表示空间下采样，nh表示加性噪声，r表示光谱下采样矩阵，nm表示加性噪声；s302，根据关联表示模型，将融合高光谱图像x分解为光谱子空间e与系数矩阵a的乘积，建立下式所示的输入的低分辨率的高光谱图像y和多光谱图像z到输出的高分辨率的融合高光谱图像x的基础观测模型；，上式中，a为系数矩阵，e为的高光谱图像y光谱子空间；s303，在基础观测模型的基础上，引入内部先验和外部先验作为两个正则项，并建立下式所示的优化观测模型：，上式中，η1和η2分别为两个正则项的权重参数，表示为系数矩阵a引入的内部先验，k为系数矩阵a构成图像的图像块数量，ai为系数矩阵a构成图像的第i个图像块，表示为系数矩阵a引入的外部先验；s304，根据优化观测模型构造增广的拉格朗日函数；s305，对增广的拉格朗日函数进行求解获得高分辨率的融合高光谱图像x。
8.可选地，步骤s302中高光谱图像y的光谱子空间e的获取方法包括：取l个最大的奇异值将高光谱图像y进行奇异值分解为y=u1σ
1v1
，并将其中的左奇异向量组成的矩阵u1作为高光谱图像y的光谱子空间e，其中σ1为奇异值矩阵，v1为右奇异向量组成的矩阵。
9.可选地，步骤s304中根据优化观测模型构造增广的拉格朗日函数的函数表达式为：
，上式中，l(a,v1,v2,g1,g2)表示增广的拉格朗日函数，其中v1,v2分别为引入的等于待估计的系数矩阵a的变量，g1,g2分别为拉格朗日乘子，λ为权重参数，μ为惩罚因子，表示为变量v1引入的内部先验，k为系数矩阵a构成图像的图像块数量，v
1i
为变量v1构成图像的第i个图像块，表示为变量v2引入的外部先验。
10.可选地，步骤s305中对增广的拉格朗日函数进行求解获得融合高光谱图像x包括：s401，将所述增广的拉格朗日函数分解为下述子问题求解模型：，，，，，，上式中，g
*1
,g
*2
分别为更新后的拉格朗日乘子，μ
*
为更新后的惩罚因子，γ为更新系数；s402，采用交替方向乘子法admm分别对子问题求解模型进行迭代求解，直至迭代次数k等于预设的预设阈值k时跳转步骤s403；s403，将得到的系数矩阵a乘以光谱子空间e得到高分辨率的融合高光谱图像x。
11.可选地，步骤s402中采用交替方向乘子法admm分别对子问题求解模型进行迭代求解时，针对系数矩阵a的子问题求解模型采用求解希尔维斯特方程获得更新后的系数矩阵a；针对变量v1的子问题求解模型采用奇异值阈值算法以实现核范数优化求解更新后的变量v1针对变量v2的子问题求解模型为将变量v2的子问题求解模型视为从带有方差为λ/(2μ)的高斯噪声的图像(a-g2/(2μ))的去噪问题，采用预设的深度卷积神经网络输入图像(a
‑ꢀ
g2/(2μ))以及高斯噪声的分布λ/(2μ)、输出为去噪后的灰度图像以作为更新后的变量v2。
12.可选地，所述深度卷积神经网络由三个部分组成，第一部分由包含卷积和线性整流单元的第一层组成，第二部分是由13个均由卷积、线性整流单元和批标准化操作单元组成的层依次级联构成，第三部分由只包含一个卷积操作的层构成。
13.此外，本发明还提供一种基于内部和外部先验的高光谱融合成像系统，包括相互
连接的微处理器和存储器，所述微处理器被编程或配置以执行所述基于内部和外部先验的高光谱融合成像方法。
14.此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述基于内部和外部先验的高光谱融合成像方法。
15.和现有技术相比，本发明主要具有下述优点：本发明包括采用超像素分割方法从输入的多光谱图像z中学习图像的局部相似性以作为内部先验；采用深度学习神经网络从外部的任意灰度图像集中学习图像的外部先验；先验和外部先验引入输入的低分辨率的高光谱图像y和多光谱图像z到输出的高分辨率的融合高光谱图像x的基础观测模型以建立优化观测模型，并求解所述优化观测模型从而获得高分辨率的融合高光谱图像x，本发明充分利用了图像内部和外部学习到的先验，对整个融合过程进行了约束，达成了卓越的融合效果，能够将低分辨率的高光谱图像与高分辨率的多光谱图像的高效融合获取高分辨率的高光谱图像，具有融合效果好、计算效率高、鲁棒性强的优点。
附图说明
16.图1为本发明实施例方法的基本流程示意图。
17.图2为本发明实施例中超像素分割输入及输出结果的实例示意图。
18.图3为本发明实施例中步骤s102的流程示意图。
19.图4为本发明实施例中采用的深度学习神经网络结构示意图。
具体实施方式
20.如图1所示，本实施例基于内部和外部先验的高光谱融合成像方法包括：s101，采用超像素分割方法从输入的多光谱图像z中学习图像的局部相似性以作为内部先验；采用深度学习神经网络从外部的任意灰度图像集中学习图像的外部先验；s102，将内部先验和外部先验引入输入的低分辨率的高光谱图像y和多光谱图像z到输出的高分辨率的融合高光谱图像x的基础观测模型以建立优化观测模型，并求解所述优化观测模型从而获得高分辨率（相对高光谱图像y的分辨率高）的融合高光谱图像x。
21.为了充分利用高光谱图像的局部低秩特性，本实施例使用超像素分割和核范数优化添加局部低秩先验，旨在提高融合效果和融合效率。本实施例中，步骤s101中采用超像素分割方法从输入的多光谱图像z中学习图像的局部相似性包括：s201，将多光谱图像z分块为k个图像块，并分别采用超像素分割以获得低秩特征；需要说明的是，超像素分割方法为现有图像处理方法，本实施例中仅仅涉及对超像素分割方法的应用，并不涉及对超像素分割方法的改进，故其实现细节在此不再详述。
22.s202，将多光谱图像z的k个图像块的低秩特征采用核范数约束，得到下式所示的多光谱图像z的局部低秩特征以作为引入的内部先验；，上式中，k为多光谱图像z的图像块数量，zi为多光谱图像z的第i个图像块。
23.在图像块内部往往存在低秩特征，对融合过程提供了良好的先验约束。本实施例
利用了多光谱图像z内部的局部低秩特性，采用超像素分割方法从输入的多光谱图像z中学习图像的局部相似性以作为内部先验，从而对融合过程提供了良好的先验约束，能够提高获得高分辨率的融合高光谱图像x的质量。
24.图2为本实施例中超像素分割输入及输出结果的实例示意图，其中（a）为多光谱图像z的原图，（b）为超像素分割获得的低秩特征，（c）为采用核范数约束得到的局部低秩特征。由图2可以看出，多光谱图像z进行超像素分割得到的图像块内存在低秩特征。在图像处理中，核范数往往被用来约束图像的低秩特性，定义为矩阵奇异值的和，其定义为：，上式中，tr表示矩阵迹范数，也就是矩阵对角线元素之和。
25.如图3所示，步骤s102包括：s301，为输入的低分辨率的高光谱图像y和多光谱图像z到输出的高分辨率的融合高光谱图像x建立下式所示的关联表示模型；=xbd nh，z=rx nm，上式中，b表示模糊运算，d表示空间下采样，nh表示加性噪声，r表示光谱下采样矩阵，nm表示加性噪声；本实施例中通过对高光谱图像与多光谱图像的观测模型进行分析，得到了高光谱、多光谱图像与融合高光谱图像的关系，建立了上述融合图像的数学模型；s302，根据关联表示模型，将融合高光谱图像x分解为光谱子空间e与系数矩阵a的乘积，建立下式所示的输入的低分辨率的高光谱图像y和多光谱图像z到输出的高分辨率的融合高光谱图像x的基础观测模型；，上式中，a为系数矩阵，e为的高光谱图像y光谱子空间；通过将融合高光谱图像x采用子空间表示，将融合高光谱图像x分解为光谱子空间e与系数矩阵a的乘积，大大提高了计算效率的同时，保证了后续从灰度图像中学习到的外部先验可以应用在光谱图像的融合上；s303，在基础观测模型的基础上，引入内部先验和外部先验作为两个正则项，并建立下式所示的优化观测模型：，上式中，η1和η2分别为两个正则项的权重参数，表示为系数矩阵a引入的内部先验，k为系数矩阵a构成图像的图像块数量，ai为系数矩阵a构成图像的第i个图像块，表示为系数矩阵a引入的外部先验；由于系数矩阵a是由高分辨率的高光谱图像x分解出光谱子空间e得到的，所以可以将其视为一种特殊的多光谱图像。而高分辨率的多光谱图像z中含有主要的空间信息，所以对其进行超像素分割可以较好地保留特征，系数矩阵a在迭代的开始并不准确，所以使用高分辨率多光谱图像z进行分割更加合适；s304，根据优化观测模型构造增广的拉格朗日函数；
s305，对增广的拉格朗日函数进行求解获得高分辨率的融合高光谱图像x。
26.本实施例中，步骤s302中高光谱图像y的光谱子空间e的获取方法包括：取l个最大的奇异值将高光谱图像y进行奇异值分解为y=u1σ
1v1
，并将其中的左奇异向量组成的矩阵u1作为高光谱图像y的光谱子空间e，其中σ1为奇异值矩阵，v1为右奇异向量组成的矩阵。本实施例利用了高光谱图像中含有的主要光谱信息，对高光谱图像进行截断的奇异值分解得到了光谱子空间e，在降低维度的同时很好地对高光谱图像进行了近似表达，并且分解出的光谱子空间e包含了主要的光谱信息。
27.本实施例步骤s304中根据优化观测模型构造增广的拉格朗日函数的函数表达式为：，上式中，l(a,v1,v2,g1,g2)表示增广的拉格朗日函数，其中v1,v2分别为引入的等于待估计的系数矩阵a的变量，g1,g2分别为拉格朗日乘子，λ为权重参数，μ为惩罚因子，表示为变量v1引入的内部先验，k为系数矩阵a构成图像的图像块数量，v
1i
为变量v1构成图像的第i个图像块，表示为变量v2引入的外部先验。
28.本实施例步骤s305中对增广的拉格朗日函数进行求解获得融合高光谱图像x包括：s401，将所述增广的拉格朗日函数分解为下述子问题求解模型：，，，，，，上式中，g
*1
,g
*2
分别为更新后的拉格朗日乘子，μ
*
为更新后的惩罚因子，γ为更新系数；s402，采用交替方向乘子法admm分别对子问题求解模型进行迭代求解，直至迭代次数k等于预设的预设阈值k时跳转步骤s403；s403，将得到的系数矩阵a乘以光谱子空间e得到高分辨率的融合高光谱图像x。
29.本实施例中，步骤s402中采用交替方向乘子法admm分别对子问题求解模型进行迭代求解时，首先初始化迭代次数k等于1，将待估计的系数a、引入的变量v1、v2、拉格朗日乘子g1、g2都初始化为元素全为0的矩阵，初始化惩罚因子μ的取值；然后针对前文的子问题求解模型进行迭代更新直至迭代次数k等于预设阈值k。
30.作为一种可选的实施方式，本实施例中针对前文的子问题求解模型进行迭代更新时包括：针对系数矩阵a的子问题求解模型采用求解希尔维斯特方程获得更新后的系数矩阵a；例如本实施例中具体采用q.wei等人的r-fuse方法求解希尔维斯特方程。针对变量v1的子问题求解模型采用奇异值阈值算法（j.-f.cai等人提出的现有方法）以实现核范数优化求解更新后的变量v1；针对变量v2的子问题求解模型为将变量v2的子问题求解模型视为从带有方差为λ/(2μ)的高斯噪声的图像(a
‑ꢀ
g2/(2μ))的去噪问题，采用预设的深度卷积神经网络输入图像(a
‑ꢀ
g2/(2μ))以及高斯噪声的分布λ/(2μ)、输出为去噪后的灰度图像以作为更新后的变量v2。
31.本实施例中使用的深度卷积神经网络本质上是将一种在灰度图像上训练出的已知噪声水平的图像去噪方法插入到高光谱图像与多光谱图像的融合过程中而不是针对某种尺寸或光谱维度的高光谱图像与多光谱图像进行训练的，因此可以适用于多种空间和光谱维度的高光谱图像与多光谱图像融合，泛化性能强。如图4所示，本实施例中深度卷积神经网络由三个部分组成，第一部分由包含卷积和线性整流单元的第一层组成，第二部分是由13个均由卷积、线性整流单元和批标准化操作单元组成的层依次级联构成，第三部分由只包含一个卷积操作的层构成。该深度卷积神经网络的训练样本为普通灰度图像数据集，本实施例实验中直接采用了k.zhang等人在灰度图像上的训练结果。深度卷积神经网络的输入是二维空间的图像与相应的噪声水平，经过三个部分的组合与叠加后，得到相应的去噪图像，将过程表示为：，上式中，v2为输入深度卷积神经网络的变量。
32.由于深度卷积神经网络为采用为普通灰度图像数据集训练得到，而且可采用任意的灰度图像数据集，相对采用特定的图像样本而言，具有更易获得的特性。
33.为了验证本实施例基于内部和外部先验的高光谱融合成像方法，选用pavia university数据集中的高光谱图像进行实验。图像的空间分辨率为610*340，光谱分辨率为115，在实验中，为了方便下采样，将图像在空间上裁剪为16的倍数，即空间分辨率为608*336，并选取93个信噪比较高的光谱进行实验，因此本实施例在实验中所采用的高分辨率高光谱图像的分辨率为608*336*93。同时为了横向比较本实施例方法的融合效果，在实验中选取了5种典型的高光谱图像与多光谱图像融合方法（gsa、nssr、cnnmf 、hysure、cstf）作为对照。同时，为了定量比较不同方法的融合效果，本实施例方法在实验中选取了五种常用的融合高光谱图像的评价指标，包括峰值信噪比（psnr）、相对整体合成误差（ergas）、统一图像质量指标（uiqi）、光谱角距离（sam）和均方根误差（rmse）。其中psnr、uiqi的值越大，表示融合高光谱图像质量越高，ergas、sam、rmse的值越大代表融合高光谱图像的质量越差。5种典型的融合方法（gsa、nssr、cnnmf 、hysure、cstf）和本实施例方法（cnn_llr）在pavia university 数据集上融合实验的客观评价指标展示在表1中，每项评价指标的最优方法的
结果加粗显示。
34.表1：本实施例方法与五种典型高光谱和多光谱融合方法的客观评价指标。
35.表1表明了本实施例方法（cnn_llr）在所选用的5种融合高光谱图像评价指标上都取得了优于其他方法的效果，主要原因是本实施例方法（cnn_llr）充分学习了图像内部和外部的先验信息，利用图像内部的局部低秩特性和通过深度卷积神经网络在图像外部的灰度图像上学习到的先验知识，在图像的融合过程起到了约束作用。
36.综上所述，本实施例的基于内部和外部先验的高光谱融合成像方法充分学习了图像的内部和外部先验，先使用超像素分割将多光谱图像分割成若干个图像块，再在每个图像块中运用核范数表示局部低秩特性，并且由于超像素块互不重叠，可以将核范数求和表示整体图像的局部低秩。又由于本实施例使用的深度卷积神经网络仅在灰度图像上训练而不需要难以获取的高光谱数据，并且在外部灰度图像上的训练成果可以直接运用到融合过程中，大大提高了深度卷积神经网络在高光谱图像与多光谱图像融合中的应用，使其可以更便捷地训练，并且适用范围广，不局限于某种光谱或空间维度的高光谱图像与多光谱图像融合。本实施例方法利用低分辨率高光谱图像含有主要光谱信息的事实，从低分辨率高光谱图像中使用截断的奇异值分解获得了光谱子空间，保留绝大部分图像信息的同时大大降低了维度，提高了计算效率；同时分解出的系数矩阵几乎不含有光谱信息，这样也使得引入外部灰度图像上训练的深度卷积神经网络更加适用。本实施例采用超像素分割与核范数作为图像内部的局部低秩先验来约束系数矩阵的估计过程，对于核范数的优化则是采用了奇异值阈值算法，以较高的计算效率完成了优化过程。对于内部先验和外部先验的结合问题，本实施例首先根据将高光谱图像分解为光谱子空间和系数矩阵，又根据高光谱图像与多光谱图像的观测模型构建出了基础模型，在基础模型上引入内部先验和外部先验，整体求解过程则是采用了交替方向乘子法，引入了两个变量与拉格朗日乘子，构建出了新的拉格朗日函数，在迭代过程中交替更新各个变量的值，直到达到迭代次数阈值，获得高分辨率高光谱图像。本实施例的优势是同时学习了图像内部和外部的先验特征，提升融合效果的同时提高了计算效率。对于从图像外部训练的深度卷积神经网络，也是将其作为一个去噪的部件单元插入到融合过程中，实现了松耦合，使得训练更加简便的同时，扩展了其泛化性能，适用于融合不同空间与光谱维度的高光谱图像和多光谱图像。通过与其它一些典型的高光谱图像与多光谱图像融合方法相比，本实施例高光谱和多光谱图像融合方法融合的高光谱图像质量更好，而且泛化性能较好，在对不同空间与光谱维度的高光谱图像与多光谱图像进行融合时不需要修改深度卷积神经网络的结构与参数，同时计算用时较少，效率高。总而言之，本实施例方法采用超像素分割方法从多光谱图像z中学习图像的局部相似性；采
用深度学习的方法从外部的任意灰度图像中学习图像的外部先验；将内部先验和外部先验相结合估计得到高分辨率高光谱x，本发明能够有效实现低分辨率高光谱图像与高分辨率多光谱图像的融合，得到高分辨率的高光谱图像，具有融合效果好、鲁棒性强的优点。
37.此外，本实施例还提供一种基于内部和外部先验的高光谱融合成像系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述基于内部和外部先验的高光谱融合成像方法。此外，本实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，该计算机程序用于被微处理器编程或配置以执行前述基于内部和外部先验的高光谱融合成像方法。
38.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
39.以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。