基于自注意力机制的光谱超分辨率重建方法及系统

技术特征：
1.一种基于自注意力机制的光谱超分辨率重建方法，其特征在于，包括：s101，对输入的rgb图像x进行特征提取得到空谱浅层特征h0；s102，将空谱浅层特征h0输入训练好的多阶段光谱超分辨率重建网络msct得到重建高光谱图像h；所述多阶段光谱超分辨率重建网络msct由多个级联连接的单阶段光谱超分辨率重建网络sct将空谱浅层特征h0进行特征提取后，再通过一个卷积操作后与空谱浅层特征h0叠加得到重建高光谱图像h，所述单阶段光谱超分辨率重建网络sct用于通过一包含多级编码器的编码器模块对空谱浅层特征h0进行编码、再通过一瓶颈模块将编码特征h
b
送入一包含多级解码器的解码器模块，同时通过一基于自注意力机制的通道特征交叉融合模块cct将各级编码器的编码特征h
i
进行通道特征交叉融合得到交叉融合编码特征h
ic
并送入对应层级的解码器进行融合以最终获得输出的重建高光谱图像h。2.根据权利要求1所述的基于自注意力机制的光谱超分辨率重建方法，其特征在于，所述通道特征交叉融合模块cct将各级编码器的编码特征h
i
进行通道特征交叉融合得到编码特征h
ic
包括：s201，分别将各级编码器的编码特征h
i
通过层归一化得到特征图t
i
；s202，将各级特征图t
i
进行通道维堆叠操作得到特征图t；s203，将各级特征图t
i
以及特征图t通过多头通道自注意力机制单元mca进行交叉通道自注意力计算得到各级注意力特征图t
i,out
；s204，分别将各级注意力特征图t
i,out
首先与编码特征h
i
跳跃连接，然后再将跳跃连接得到的特征依次经过层归一化、多层感知机后得到的特征图与原始的注意力特征图t
i,out
进行跳跃连接后得到交叉融合编码特征h
ic
。3.根据权利要求2所述的基于自注意力机制的光谱超分辨率重建方法，其特征在于，步骤s203中通过多头通道自注意力机制单元mca进行交叉通道自注意力计算包括：s301，将各级特征图t
i
和查询映射矩阵w
q
相乘作为查询矩阵q
ci
，将特征图t和键映射矩阵w
k
相乘作为键矩阵k
c
，将特征图t和值映射矩阵wv相乘作为值矩阵v
c
；s302，根据下式计算各级交叉通道注意力矩阵ca
i
：，上式中，softmax表示softmax激活函数，t表示对矩阵的转置；s303，根据下式计算各级注意力特征图t
i,out
：，上式中，w
s
表示输出映射矩阵。4.根据权利要求1所述的基于自注意力机制的光谱超分辨率重建方法，其特征在于，所述包含多级编码器的编码器模块中每一个编码器的输出端均连接有个下采样模块，所述包含多级解码器的解码器模块中每一个解码器的输入端均包含一个上采样模块，所述上采样模块用于将瓶颈模块输出的编码特征h
b
或者上一个解码器输出的解码特征先进行二维反卷积，再与对应的交叉融合编码特征h
ic
进行通道维堆叠操作，最后通过卷积核大小为1
×
1的二维卷积进行降维以或得到输出的解码特征，且由最后一级解码器输出的解码特征通过一卷积核大小为3
×
3的二维卷积进行映射后再与空谱浅层特征h0合并得到重建高光谱图像h。5.根据权利要求4所述的基于自注意力机制的光谱超分辨率重建方法，其特征在于，所述编码器、解码器和瓶颈模块均为光谱注意力模块sab，所述光谱注意力模块sab对输入的特征图的处理包括：s401，将输入的特征图经过层归一化、多头光谱自注意力机制单元smsa进行交叉通道自注意力计算，再将交叉通道自注意力计算得到的特征图与输入的特征图进行跳跃连接；s402，将步骤s401中跳跃连接得到的特征图经过层归一化、多层感知机后再与步骤s401中跳跃连接得到的特征图进行跳跃连接后作为光谱注意力模块sab输出的特征图。6.根据权利要求5所述的基于自注意力机制的光谱超分辨率重建方法，其特征在于，步骤s401中多头光谱自注意力机制单元smsa进行交叉通道自注意力计算包括：s501，针对输入多头光谱自注意力机制单元smsa的特征图h
in
，分别将特征图h
in
和查询映射矩阵w
q
相乘作为查询矩阵q
s
，将特征图h
in
和键映射矩阵w
k
相乘作为键矩阵k
s
，将特征图h
in
和值映射矩阵wv相乘作为值矩阵v
s
，并以此确定n个单头自注意力中任意第j个单头自注意力对应的查询矩阵q
sj
、键矩阵k
sj
以及值矩阵v
sj
；s502，根据下式计算任意第j个单头自注意力矩阵a
i
：，上式中，softmax表示softmax激活函数，σ
j
表示第j个单头自注意力的权重系数，t表示对矩阵的转置；s503，根据下式计算多头光谱自注意力机制单元smsa输出的特征图：，上式中，表示多头光谱自注意力机制单元smsa输出的特征图，cat为通道维堆叠操作，n为单头自注意力数量，w
s
表示输出映射矩阵，为位置编码层操作。7.根据权利要求1所述的基于自注意力机制的光谱超分辨率重建方法，其特征在于，步骤s101中对输入的rgb图像x进行特征提取包括：s601，对输入的rgb图像x进行卷积操作进行通道上采样得到初步特征h0'；s602，对初步特征h0'进行卷积操作进行通道上采样得到空谱浅层特征h0。8.根据权利要求1所述的基于自注意力机制的光谱超分辨率重建方法，其特征在于，步骤s102中的多阶段光谱超分辨率重建网络msct在训练阶段所使用的损失函数为：，上式中，h为重建高光谱图像，n为rgb图像x的像素总量，s为物理传感器的光谱响应函数，h(i)为重建高光谱图像h的第i个像素，x(i)为rgb图像x的第i个像素，λ为权重值，
为重建高光谱图像h的正则项。9.一种基于自注意力机制的光谱超分辨率重建系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～8中任意一项所述基于自注意力机制的光谱超分辨率重建方法。10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序用于被微处理器编程或配置以执行权利要求1～8中任意一项所述基于自注意力机制的光谱超分辨率重建方法。

技术总结
本发明公开了一种基于自注意力机制的光谱超分辨率重建方法及系统，本发明包括对输入的RGB图像X进行特征提取得到空谱浅层特征，再输入多阶段光谱超分辨率重建网络MSCT得到重建高光谱图像H；多阶段光谱超分辨率重建网络MSCT由多个级联连接的单阶段光谱超分辨率重建网络SCT以及卷积操作模块连接构成，所述单阶段光谱超分辨率重建网络SCT包括依次相连的编码器模块、瓶颈模块和解码器模块构成的支路，以及连接在编码器模块和解码器模块之间的通道特征交叉融合模块CCT。本发明能够有效实现从高空间分辨率的RGB图像重建得到高空间分辨率的高光谱图像，具有模型轻量化、重建精度高和重建速度快的优点。高和重建速度快的优点。高和重建速度快的优点。


技术研发人员：李树涛 吴耀航 佃仁伟
受保护的技术使用者：湖南大学
技术研发日：2023.01.03
技术公布日：2023/2/6