基于深度子空间嵌入的全色锐化方法及装置

1.本发明涉及基于深度子空间嵌入的全色锐化方法及装置，属于全色锐化领域。


背景技术：

2.全色锐化技术指的是对同一颗遥感卫星同时采集到的全色图像与多光谱图像进行全色锐化，在保证高空间分辨率的同时获取多光谱图像丰富的光谱信息，最终得到高分辨率多光谱图像。而全色锐化技术这一巨大的优势使遥感图像能发挥更大的用途，拓宽了遥感图像的使用场景与使用效果。因此研究全色锐化对全国乃至世界的科学研究、环境保护、经济发展等方面具有重大意义。
3.目前全色锐化传统方法主要有三类：基于成分替换的方法、基于多分辨率分析的方法、基于变分优化的方法。成分替换方法使用全色图像替换投影变换后多光谱图像中的某一部分空间信息，然后经逆变换生成具有高分辨的多光谱图像。此类方法实现简单并且运算速度很快，但其对全色图像和被替换分量之间相关性有较大的依赖性。因此，由于全色图像与多光谱图像之间的不匹配而导致全色锐化后的多光谱图像存在严重的光谱失真。基于多分辨率分析的全色锐化方法利用多尺度分解技术，其将空间滤波器应用于全色图像以生成注入多光谱图像的空间信息。多分辨率分析算法能够保证较好的光谱特性从而有效的解决光谱失真问题，但实现复杂计算负担大且会存在空间信息的退化，如振铃效应等。基于变分优化框架的全色锐化算法对多光谱图像、全色图像和预测图像三者在空间结构和光谱信息上的关联提出假设，同时构造正则项求解函数的最小值以得到高分辨率多光谱图像，此类方法具有较高的光谱保真性但存在很多问题，如参数较多，模型求解过程复杂，泛化能力不够，时间效率不理想等，因此该类方法仍有许多地方需要改进。
4.上述的经典的全色锐化方法，容易出现存在严重的光谱失真、振铃效应、先验缺失等问题，都有一定的局限性。随着深度学习在图像处理领域的成功应用，全色锐化方法得到了新的发展。masi等人最早开创性地提出了一种基于卷积神经网络的全色锐化方法，该方法采用三层卷积的超分辨率重建网络。它包括输入图像的非线性映射和各种辐射指数，在不增加复杂度的情况下提高了方法的性能。基于深度学习的方法能提供比基于其他类型的方法更好的全色锐化结果，但这需要更多的计算时间和大量的训练数据集。该类方法对数据依赖性太大，而且泛化性能低。


技术实现要素：

5.本发明的目的在于克服现有技术中的不足，提供一种基于深度子空间嵌入的全色锐化方法及装置，可解决光谱失真的同时提高了数据泛化性能。
6.为达到上述目的，本发明是采用下述技术方案实现的：
7.第一方面，本发明提供一种基于深度子空间嵌入的全色锐化方法，所述方法包括如下步骤：
8.步骤1：从遥感卫星数据集中获得全色图像和多光谱图像，进行像素匹配，确保两
张图像的采集区域一致，得到采集时间和采集区域完全相同的全色图像pan和多光谱图像ms；
9.步骤2：根据多光谱图像ms，对ms数据进行子空间表征，得到子空间基e；
10.步骤3：将全色图像pan和多光谱图像ms输入用于全色锐化的神经网络pannet，得到高分辨率多光谱图像x
net
；
11.步骤4：根据pan图、ms图、x
net
，进行数学模型搭建，得到数学优化模型；
12.步骤5：通过替代方向乘数方法解决所述数学优化模型，依次循环迭代x、u、z变量，直至满足终止条件；最终得到变量x的最终结果，即为全色锐化任务的目标高分辨率多光谱图像。
13.进一步的，步骤2中，对ms数据进行子空间表征的方法具体包括：
14.设置子空间基e的子空间维度k为5；
15.对ms数据进行奇异值分解；
16.由ms数据的前5个左奇异向量得到子空间基e。
17.进一步的，所述数学优化模型为：
[0018][0019]
s.t.u＝xb,ez＝x
[0020]
式中，p表示pan图，y表示ms图，x代表全色锐化任务的目标结果，初始化为0；u、z为辅助变量初始化为0用于辅助迭代x；λ、α、τ、β为权重，初始化为0.001；s表示由稀疏分量组成的抽样矩阵；b表示高斯模糊核；代表pan图的上采样版本；代表的低通版本；φ(
·
)代表图像先验。
[0021]
进一步的，步骤5中，对数学优化模型的迭代求解方法具体包括以下步骤：
[0022]
首先引入多个辅助变量作为该融合模型的约束项，并最终将其划分为多个子问题然后进行分别迭代求解，将数学优化模型拉格朗日展开：
[0023][0024]
其中，∧1,∧2,η1,η2为引入的辅助变量，初始化为0；
[0025]
根据更新当前变量时固定其他变量的思想，通过依次交替迭代求解上述公式：
[0026][0027]
[0028][0029]
step4：update∧1,∧2；
[0030]
依次循环迭代x、u、z变量，直至满足|x
i 1-xi|＜10-5
的终止条件；最终得到变量x的最终结果，即为全色锐化任务的目标高分辨率多光谱图像。
[0031]
进一步的，迭代求解：公式的方法包括：
[0032][0033]
上式重写为：
[0034][0035]
其中：
[0036][0037]
g(x)＝||x||1[0038][0039]
引入近端梯度下降算法，令xk代表x第k次更新后的结果，对于x
→
xk时，f(x)的表示为：
[0040][0041][0042]
其中l》＝1,为步长，于是得到迭代x
k 1
的公式：
[0043][0044][0045][0046]
最终得到：，并将x
k 1
输出为x
i 1
；；
[0047]
进一步的，迭代求解的方法包括：
[0048][0049]
令：其中
[0050]
符号代表克罗内克尔积，vec(
·
)代表向量化运算符，根据上式，可以推出：
[0051][0052]
根据上式直接求出u
i 1
。
[0053]
进一步的，迭代求解的方法包括：
[0054][0055][0056]
因为e是一个半正交矩阵，这意味着对于所有有等距特性：
[0057]
||ex||2＝||x||2[0058]
于是可以得到：
[0059][0060]
令：
[0061]
得到：直接引入“三维块匹配算法”解决该问题，输出得到z
i 1
。
[0062]
第二方面，本发明提供一种基于深度子空间嵌入的全色锐化装置，包括：
[0063]
图像获取模块：用于从遥感卫星数据集中获得全色图像和多光谱图像，进行像素匹配，确保两张图像的采集区域一致，得到采集时间和采集区域完全相同的全色图像pan和多光谱图像ms；
[0064]
子空间模块：用于根据多光谱图像ms，对ms数据进行子空间表征，得到子空间基e；
[0065]
神经网络模块：用于将全色图像pan和多光谱图像ms输入用于全色锐化的神经网络pannet，得到高分辨率多光谱图像x
net
；
[0066]
数学建模模块：用于根据pan图、ms图、x
net
，进行数学模型搭建，得到数学优化模型；
[0067]
锐化输出模块：用于通过替代方向乘数方法解决所述数学优化模型，依次循环迭
代x、u、z变量，直至满足终止条件；最终得到变量x的最终结果，即为全色锐化任务的目标高分辨率多光谱图像。
[0068]
第三方面，本发明实施例还提供了一种基于深度子空间嵌入的全色锐化装置，包括处理器及存储介质；
[0069]
所述存储介质用于存储指令；
[0070]
所述处理器用于根据所述指令进行操作以执行第一方面所述方法的步骤。
[0071]
与现有技术相比，本发明所达到的有益效果：
[0072]
本发明提出一种基于深度子空间嵌入的全色锐化方法，该方法提出了一个通用的全色锐化框架，将传统的变分优化和提出的深度子空间技术联系起来用于全色锐化，旨在同时从变分优化和深度学习方法中获得优点，利用变分优化方法的良好建模解释和数据泛化性能以及深度学习技术的准确性，特别是引入深度子空间能更好的处理多光谱高维而又庞大的数据，使的全色锐化算法具有更好的准确性、泛化性与高效性。
[0073]
本发明提出的一种基于深度子空间嵌入的全色锐化方法，该方法得到的高分辨率多光谱图像具有更好的边缘纹理结构和更准确的光谱信息与空间信息，并且该方法的泛化性能也表现优异。
附图说明
[0074]
图1为本发明的模型总体框架图。
[0075]
图2、图3为本发明方法的目标增强效果展示。
[0076]
图4、图5为不同对比方法的直观视觉对比展示。
具体实施方式
[0077]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0078]
实施例一：
[0079]
提供了一种基于深度子空间嵌入的全色锐化方法，所述方法包括如下步骤：
[0080]
待全色锐化的全色图像与低分辨率多光谱图像；
[0081]
将待全色锐化的全色图像与低分辨率的多光谱图像输入根据基于深度子空间嵌入的全色锐化方法编写的matlab程序，获得高分辨率多光谱图像。
[0082]
具体的，获得全色锐化结果的方法包括：
[0083]
步骤1：从遥感卫星数据集中获得全色图像和多光谱图像，进行像素匹配，确保两张图像的采集区域一致，得到采集时间和采集区域完全相同的全色图像(pan)和多光谱图像(ms)；
[0084]
步骤2：根据上一步得到的ms图数据，进行对ms数据进行子空间表征，得到子空间基(用e表示)；
[0085]
步骤3：根据步骤一得到的ms图与pan图，将它们输入由杨俊峰博士设计的用于全色锐化的神经网络pannet，得到一份该网络输出的高分辨率多光谱图像(用x
net
表示)；
[0086]
步骤4：根据以上步骤得到的pan图(用p表示)、ms图(用y表示)、x
net
，进行本发明方法的数学模型搭建，得到数学优化模型(其中x代表全色锐化任务的目标结果，初始化为0；
u、z为辅助变量初始化为0用于辅助迭代x；λ、α、τ、β为权重，初始化为0.001；s表示由稀疏分量组成的抽样矩阵；b表示高斯模糊核；代表pan图的上采样版本；代表的低通版本；φ(
·
)代表图像先验)：
[0087][0088]
s.t.u＝xb,ez＝x
[0089]
步骤5：通过替代方向乘数方法解决步骤4中的数学优化模型，依次循环迭代x、u、z变量，直至满足|x
i 1-xi|＜10-5
的终止条件。最终得到变量x的最终结果，即为全色锐化任务的目标高分辨率多光谱图像。
[0090]
步骤具体解析：
[0091]
步骤2中，对ms数据进行子空间表征的方法具体包括：首先设置子空间基e的子空间维度k为5，然后对ms数据进行奇异值分解，最终子空间基e由ms数据的前5个左奇异向量得到。
[0092]
步骤5中，对数学优化模型的迭代求解方法具体包括：首先引入多个辅助变量作为该融合模型的约束项，并最终将其划分为多个子问题然后进行分别迭代求解，将步骤4中的数学优化模型拉格朗日展开(其中∧1,∧2,η1,η2为引入的辅助变量，初始化为0)：
[0093][0094]
根据更新当前变量时固定其他变量的思想，通过依次交替迭代求解上述公式：
[0095][0096][0097][0098]
step4：update∧1,∧2[0099]
①
迭代求解：公式：
[0100][0101]
上式重写为：
[0102][0103]
其中：
[0104][0105]
g(x)＝||x||1[0106][0107]
引入近端梯度下降算法，令xk代表x第k次更新后的结果，对于x
→
xk时，f(x)的近似可表示为：
[0108][0109][0110]
其中l》＝1,为步长，于是可以得到迭代x
k 1
的公式：
[0111][0112][0113][0114]
最终得到：并将x
k 1
输出为x
i 1
。
[0115]
②
迭代求解
[0116][0117]
令：其中
[0118]
符号代表克罗内克尔积，vec(
·
)代表向量化运算符，根据上式，可以推出：
[0119][0120]
根据上式直接求出u
i 1
[0121]
③
迭代求解
[0122][0123][0124]
因为e是一个半正交矩阵，这意味着对于所有有等距特性：
[0125]
||ex||2＝||x||2[0126]
于是可以得到：
[0127][0128]
令：
[0129]
得到：直接引入“三维块匹配算法”解决该问题，输出得到z
i 1
。
[0130]
依次循环迭代x、u、z变量，直至满足|x
i 1-xi|＜10-5
的终止条件。最终得到变量x的最终结果，即为全色锐化任务的目标高分辨率多光谱图像。
[0131]
具体的，本实施例通过如图1所示的方法实现了通过高分辨率单色图像和低分辨率全色锐化得到高分辨率多光谱图像，并且将本发明的全色锐化方法和其他几种传统的红外目标检测算法在同一真实数据集上进行对比实验，本发明以matlab为实现软件平台。
[0132]
本发明的具体步骤如下：
[0133]
本发明提出的基于深度子空间嵌入的全色锐化方法是由五个阶段组成。
[0134]
首先，搭建“变分优化 深度子空间”全色锐化框架，并准备待全色锐化的高空间分辨率的全色图像与低分辨率多光谱图像；
[0135]
然后，通过引用高分辨率多光谱图像的下采样版本，根据遥感卫星传感器的点扩散函数设计模糊操作，以进行光谱保真；
[0136]
第三，充分利用多光谱保真度的多分辨率分析原理与高分辨率多光谱的稀疏性，引入基于l1正则项约束与细节注入的空间结构增强项；
[0137]
第四，将cnn的先验信息引入了一种鲁棒子空间的方法，实现深度子空间嵌入；
[0138]
最后，通过替代方向乘数方法解决统一的优化框架，计算出最终的全色锐化结果，实现全色锐化。
[0139]
具体步骤包括：
[0140]
步骤1：搭建“变分优化 深度子空间”全色锐化模型，准备全色图像和低分辨率多光谱图像，收集worldview-3、worldview-2遥感数据集。
[0141]
为了解决全色锐化光谱失真和数据依赖性问题。提出了一个通用的全色锐化框架，将传统的变分优化和提出的深度子空间技术联系起来用于全色锐化，本发明提出了一种“变分优化 深度子空间”全色锐化模型：
[0142][0143]
其中f
ds
(x,x
net
)代表深度子空间嵌入项，起到先验项的作用：f
spec
(x,y)代表光谱保真项；f
spat
(x,p)代表空间保真项；代表高分辨率多光谱图像；代表低分辨率多光谱图像；代表高分辨率单色图像；ez＝x为子空间表示法，代表对x子空间表示的基，代表x相对于e的表示系数，ez指的是e与z在第三维度展开后进行依次矩阵相乘运算(即)；λ,α为设计的参数权重。
[0144]
接着在maxar官网下载公开的worldview-3、worldview-2遥感数据集，里面包含全色图像、低分辨率多光谱图像。
[0145]
步骤2：光谱保真项搭建
[0146]
许多现有的空间光谱全色锐化方法将低分辨率多光谱图像上采样到全色图像尺度。然而，使用这种(通常是有偏差的)插值过程可能会携带不精确的信息，从而影响性能。本方法引用了底层高分辨率多光谱图像的下采样版本。根据遥感卫星传感器的点扩散函数执行此操作，旨在设计模糊操作。因此，建模：
[0147]
y＝xbs ξ1[0148]
其中：是模糊算子的矩阵化，表示由稀疏分量组成的抽样矩阵，ξ1是高斯噪声。于是得到下式：
[0149][0150]
其中是frobenius范数，简称f-范数，是一种矩阵范数。
[0151]
步骤3：搭建基于l1正则约束的空间结构增强项
[0152]
基于多光谱保真度的多分辨率分析原理与高分辨率多光谱图像的稀疏性，本方法搭建一种新的空间结构增强方案。该空间结构增强方案的突出特点是引入了l1正则化约束与细节注入的思想来处理高分辨率多光谱图像在复原过程中的空间偏离问题与全色锐化噪声问题。一般多分辨率分析框架可以表述为
[0153][0154]
对于i＝1,2,...,s，其中分别表示在和注入系数的尺度上y(i)的上采样版本，符号表示逐元素乘法，是的低通版本，通过脉冲响应hi滤波，即其中*表示卷积操作。此外被视为高通版本的图像细节。
[0155]
用xb替换yh，以避免引入低分辨率多光谱图像，从而独立建模从未知高分辨率多光谱图像到全色图像的关系。因此，考虑矩阵形式，有
[0156][0157]
同时考虑到多光谱图像的图像稀疏性，将l1正则化约束其应用于全色锐化的空间保真任务中，可以获得如下基于多分辨率分析的细节注入与l1正则化约束的空间保真度模
型：
[0158][0159]
其中：符号表示逐元素乘法；是的低通版本。在本文中，采用高通调制方案来处理细节提取。即，定义(直接使用xb而不是yh)，因此有：
[0160][0161]
其中是利用基于调制传递函数的滤波器定义的，因此依赖于高通调制与l1正则化约束的最终空间保真度可以形式化如下：
[0162][0163]
步骤4：制作worldview-3、worldview-2训练集，将全色图和低分辨率多光谱图像输入进cnn网络得到先验信息，然后引入了一种子空间表征的方法，实现深度子空间嵌入
[0164]
将拿到的worldview-3数据集根据80％、10％、10％的比例划分训练集、验证集、测试集，训练集共有有12000个{全色图像、低分辨率多光谱图像、真实高分辨率多光谱图像}图像数组。
[0165]
考虑到了高分辨率多光谱图像数据庞大且通道之间具有高相关性，本方法特地将深度子空间嵌入项引入了一种鲁棒子空间的方法。该方法将高分辨率多光谱图像庞大的数据转换为子空间基e与其表示系数z的乘积，而同时子空间基e可以从观测中学习。由于z的大小比x小得多，这意味着正在解决一个条件更好的问题。与其他稀疏表示相比，(正交)子空间表示是一种稀疏表，这意味着可以使用较少的变换域系数很好地重建信号。ds深度子空间嵌入项定义如下：
[0166][0167]
其中f
ds
(x,x
net
)即深度子空间嵌入项，起到先验项的作用，β是平衡变分优化和深度子空间项的正参数；表示基于cnn的通用卷积神经网络方法的输出；ez＝x为子空间表示法，代表对x子空间表示的基，代表x相对于e的表示系数，ez指的是e与z在第三维度展开后进行依次矩阵相乘运算(即)，φ(
·
)是一个正则化项，可表示根据图像定制的先验信息。
[0168]
步骤5：通过替代方向乘数方法解决统一的优化框架，计算出最终的全色锐化结果
[0169]
通过结合上述的光谱保真项、空间保真项、深度子空间项，得到的优化求解模型：
[0170][0171]
s.t.u＝xb,ez＝x
[0172]
通过交替方向乘子法来解决公式化的混合问题，引入多个辅助变量作为该全色锐化模型的约束项，并最终将其划分为多个子问题然后进行分别迭代求解：
[0173][0174]
根据更新当前变量时固定其他变量的思想，通过依次交替迭代求解上述公式：
[0175][0176][0177][0178]
step4：update∧1,∧2[0179]
(一)迭代求解：公式：
[0180][0181]
上式重写为：
[0182][0183]
其中：
[0184][0185]
g(x)＝||x||1[0186][0187]
引入近端梯度下降算法，令xk代表x第k次更新后的结果，对于x
→
xk时，f(x)的近似可表示为：
[0188][0189][0190]
其中l》＝1,为步长，于是可以得到迭代x
k 1
的公式：
[0191][0192][0193][0194]
最终得到：
[0195]
(二)迭代求解
[0196][0197]
令：其中
[0198]
符号代表克罗内克尔积，vec(
·
)代表向量化运算符，根据上式，可以推出：
[0199][0200]
(三)迭代求解
[0201][0202][0203]
因为e是一个半正交矩阵，这意味着对于所有有等距特性：
[0204]
||ex||2＝||x||2[0205]
于是可以得到：
[0206][0207]
令：
[0208]
得到：直接引入bm3d解决该问题
[0209]
最后，是对于全色锐化目标x的解决方案是：对上述每一个子问题进行分别求解，直到达到终止条件，最终得到高分辨率多光谱图像。
[0210]
整体的算法流程如下：
[0211]
①
输入：全色图像p，低分辨率多光谱图像y。
letters,2014,12(1):180-184.)；pannet是一种用于泛锐化的深度网络架构(yang j,fu x,huy,et al.pannet:a deep networkarchitecture for pan-sharpening[c]//2017ieee international conference on computer vision(iccv).ieee,2017.)。在worldview-3数据集上的结果分别如附图4所示。
[0228]
对于对比的深度学习方法，统一都不在worldview-2数据集进行训练，而是利用worldview-3数据集训练的模型进行实验检验泛化性能。四种不同方法在worldview-2数据集直观视觉对比图，如附图5所示。
[0229]
综上，本发明提出的基于深度子空间嵌入的全色锐化方法，得到的高分辨率多光谱图像具有更好的边缘纹理结构和更准确的光谱信息与空间信息，并且该方法的泛化性能也表现优异，具有很好的准确性、泛化性与高效性。
[0230]
实施例二：
[0231]
提供一种基于深度子空间嵌入的全色锐化装置，包括：
[0232]
图像获取模块：用于从遥感卫星数据集中获得全色图像和多光谱图像，进行像素匹配，确保两张图像的采集区域一致，得到采集时间和采集区域完全相同的全色图像pan和多光谱图像ms；
[0233]
子空间模块：用于根据多光谱图像ms，对ms数据进行子空间表征，得到子空间基e；
[0234]
神经网络模块：用于将全色图像pan和多光谱图像ms输入用于全色锐化的神经网络pannet，得到高分辨率多光谱图像x
net
；
[0235]
数学建模模块：用于根据pan图、ms图、x
net
，进行数学模型搭建，得到数学优化模型；
[0236]
锐化输出模块：用于通过替代方向乘数方法解决所述数学优化模型，依次循环迭代x、u、z变量，直至满足终止条件；最终得到变量x的最终结果，即为全色锐化任务的目标高分辨率多光谱图像。
[0237]
本实施例的装置可用于实现实施例一所述方法的步骤。
[0238]
实施例三：
[0239]
本实施例还提供了一种基于深度子空间嵌入的全色锐化装置，包括处理器及存储介质；
[0240]
所述存储介质用于存储指令；
[0241]
所述处理器用于根据所述指令进行操作以执行实施例一所述方法的步骤。
[0242]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0243]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0244]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0245]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0246]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。