基于深度先验联合注意力的光谱超分辨率方法与流程

技术特征：
1.一种基于深度先验联合注意力的光谱超分辨率方法，其特征在于步骤如下：步骤1，构建训练数据集和测试数据集：首先从给定数据集中提取训练集和测试集，然后将训练集中的每一对rgb图像和高光谱图像裁剪为64
×
64大小的图像，构成训练数据集，测试集中的rgb图像和高光谱图像不做裁剪直接作为测试数据集；步骤2，构建光谱超分辨率网络模型：首先，依次构建多通道渐进卷积模块、光谱空间的伪联合注意力模块，然后，基于多通道渐进卷积模块和光谱空间的伪联合注意力模块构建先验变换模块，最后，基于先验变换模块构建深度先验联合注意力网络，即光谱超分辨率网络模型；所述的多通道渐进卷积模块将输入特征按下式均分为g组：其中，e
i
表示第i组特征，e1表示第一组特征，k
i
(
·
)表示第i级函数处理操作，当i＝1,2,
…
,g-1时，每一级函数由一个3
×
3卷积层和一个激活层组成，最后一级函数为一个3
×
3卷积层；p
i
表示经第i级函数处理后得到的第i组特征；
⊙
表示串接操作；所述的光谱空间的伪联合注意力模块的处理过程如下：步骤a：利用两个1
×
1卷积对输入特征进行变换和通道降维，然后利用平均池化计算由邻近像素组成的补丁的特征均值，并对池化后的特征进行变形，最后利用内积运算及归一化指数函数建模不同补丁之间的相关性，其计算公式如下：a＝softmax(u
t
w
θ
w
φ
u)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中，a表示补丁间的相关性矩阵，u表示对输入特征平均池化和变形后得到的特征矩阵，w
θ
表示对输入特征进行变换和通道降维的1
×
1卷积的权重一，w
φ
表示对输入特征进行变换和通道降维的1
×
1卷积的权重二；步骤b：利用上述两个1
×
1卷积的权重及其转置对输入特征进行变换，再对得到的特征进行全局平均池化，得到通道描述符，其计算公式如下：z＝(w
θ
w
θt
z w
φ
w
φt
z)/2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中，z表示伪联合注意力模块的输入特征，z＝[z1,z2,...,z
c
,...z
c
]表示伪联合注意力模块利用上述两个1
×
1卷积的权重及其转置对输入特征进行变换后得到的特征，v
c
表示第c个通道的描述符，h表示输入特征的高度，w表示输入特征的宽度，c表示输入特征的通道数量；z
c
(i,j)表示z
c
的第i行j列元素；步骤c：利用两个步长为7的1维卷积学习得到通道注意力，其计算公式如下：其中，w1表示用于学习邻近通道相关性的步长为7的1维卷积的权重，w2表示用于获得通道注意力系数的步长为7的1维卷积的权重；表示邻近通道描
述符序列，表示邻近通道相关性建模后的邻近通道描述符序列，k＝7表示步长，δ(
·
)表示修正线性单元函数，σ(
·
)表示sigmoid函数，y
c
表示第c个通道特征的注意力因子；步骤d：利用展开和折叠操作计算得到伪联合注意力模块的输出特征，其计算公式如下：z＝fold(unflod(y*z)a)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)其中，unfold及fold分别表示展开和折叠操作,y＝[y1,y2,...,y
c
,...y
c
]表示通道注意力因子序列，z表示伪联合注意力模块最终输出的特征；所述的先验变换模块采用双重残差结构，其计算公式如下：q＝f
leakyrelu
(f
2d
(f
mpc
(f
leakyrelu
(f
pjam
(f
2d
(x)) x))) x)
ꢀꢀꢀꢀꢀꢀꢀ
(7)其中，x表示输入先验变换模块的特征图，q表示先验变换模块输出的特征图，f
pjam
(
·
)表示光谱空间的伪联合注意力模块操作处理，f
mpc
(
·
)表示多通道渐进卷积模块操作处理，f
2d
(
·
)表示2d卷积操作处理，卷积层的核大小为3
×
3、步长为1，f
leakyrelu
(
·
)为激活函数；所述的深度先验联合注意力网络由若干先验变换模块、卷积层及激活层构成，首先由两个步长为1、核大小为3
×
3的2d卷积和两个激活层组成浅层特征提取函数，对输入图像进行特征提取，得到浅层特征；然后再利用8个先验变换模块对浅层特征依次递归变换得到深层特征，并利用一个步长为1、核大小为3
×
3的2d卷积对深层特征进行变换，引入全局残差将变换后的特征与浅层特征融合；最后得到的融合特征经激活层激活后，利用一个3
×
3卷积层由其重建高光谱图像，其计算公式如下：其中，x表示输入的rgb图像，f0表示浅层特征，f
k
表示第k个先验变换模块的输出，k＝1,2,...,8，f8表示第8个先验变换模块的输出，即深层特征，y表示重建的高光谱图像；步骤3，模型训练：将步骤1的图像训练集输入到步骤2构建的光谱超分辨率网络模型进行训练，得到训练好的网络；训练采用随机梯度下降算法，优化器采用adam，通过最小化损失函数训练网络参数，损失函数按照下式进行计算：其中，m表示输入图像的空间分辨率，b表示重建的高光谱图像波段数，表示真实图像第i个像素第j个波段的光谱反射率强度值，表示经网络处理后得到的重建图像第i个像素第j个波段的光谱反射率强度值，|i
gt
|＝m
×
b；步骤4，图像重建：将测试数据集rgb图像输入到训练好的光谱超分辨率网络模型，模型输出即为其对应的高光谱图像。

技术总结
本发明提供了一种基于深度先验联合注意力的光谱超分辨率方法。首先，对给定数据训练集中的每一对RGB图像和高光谱图像RGB图像进行裁剪处理，构成训练数据集；然后，构建包括若干先验变换模块、卷积层及激活层的光谱超分辨率网络，并进行训练；最后，利用训练好的模型对测试集中的RGB图像进行光谱超分辨处理，获取对应的高光谱图像。本发明所设计的网络能够有效地利用高光谱图像自身的空间非局部自相似性及光谱相关性先验，并充分利用局部特征的互补性，使同一类别对象光谱分布更加一致，能够较好地改善RGB图像光谱超分辨率的性能。较好地改善RGB图像光谱超分辨率的性能。较好地改善RGB图像光谱超分辨率的性能。


技术研发人员：王琦 张铭威 袁媛
受保护的技术使用者：西北工业大学
技术研发日：2021.11.08
技术公布日：2022/1/6