基于自注意力机制的光谱超分辨率重建方法及系统

1.本发明属于光谱超分辨率重建技术领域，具体涉及一种基于自注意力机制的光谱超分辨率重建方法及系统。


背景技术：

2.高光谱成像以窄带记录现实世界的场景光谱，其中每个波段捕获特定光谱波长的信息，与普通rgb图像相比，高光谱图像具有更多通道，储存了更丰富的场景信息，基于这一特点，高光谱图像在遥感、医学诊断、目标检测等领域有广泛的应用。传统成像系统通常通过沿空间或光谱维度扫描场景的光谱仪来获取高光谱图像，包括摆扫式、推扫式和带序扫描仪，然而扫描过程极为耗时，且成像设备常常因物理尺寸较大而无法嵌入便携式平台中使用。快照压缩成像（sci）系统能够解决上述难题，其通过编码孔径掩膜对成像场景的各光谱通道进行调制来生成二维快照估计图，再经过重建算法获取高光谱图像，但对于消费级使用者而言该系统仍然过于昂贵，“低成本”的sci系统也往往需要一万至十万美元的开销，且调制过程中容易引入大量噪声，这依旧限制了高光谱图像的应用。现有的rgb图像成像设备可快速获取高空间分辨率的rgb图像且使用成本低廉，故直接由rgb图像进行光谱通道重建是一种可行方法。该技术利用光谱自注意力机制捕捉光谱通道间的内在联系，并借助通道交叉融合注意力机制融合特征中的有用信息，显著提升了高光谱图像重建精度，大大降低了高光谱图像的获取难度。目前获取高光谱图像的途径主要有两种，一种是通过融合成像方法，一种是通过光谱超分辨率方法。融合成像方法通过融合低空间分辨率高光谱图像和高空间分辨率多光谱图像来得到高分辨率高光谱图像，但低空间分辨率的高光谱图像依旧获取困难，故该方法实用效益较低。光谱超分辨率方法能够直接从rgb图像重建得高光谱图像，高光谱图像具有空间维稀疏和光谱维自相似的特点，但现有的光谱超分辨率方法主要基于卷积神经网络，其通过卷积操作提取特征的方式主要针对空间维，对光谱通道间的自相似性和依赖关系的捕捉能力不足，极大程度上限制了重建效果。


技术实现要素：

3.本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于自注意力机制的光谱超分辨率重建方法及系统，本发明能够有效实现从高空间分辨率的rgb图像重建得到高空间分辨率的高光谱图像，具有模型轻量化、重建精度高和重建速度快的优点。
4.为了解决上述技术问题，本发明采用的技术方案为：一种基于自注意力机制的光谱超分辨率重建方法，包括：s101，对输入的rgb图像x进行特征提取得到空谱浅层特征h0；s102，将空谱浅层特征h0输入训练好的多阶段光谱超分辨率重建网络msct得到重建高光谱图像h；所述多阶段光谱超分辨率重建网络msct由多个级联连接的单阶段光谱超分辨率重建网络sct将空谱浅层特征h0进行特征提取后，再通过一个卷积操作后与空谱浅层特征h0叠加得到重建高光谱图像h，所述单阶段光谱超分辨率重建网络sct用于通过一包
含多级编码器的编码器模块对空谱浅层特征h0进行编码、再通过一瓶颈模块将编码特征hb送入一包含多级解码器的解码器模块，同时通过一基于自注意力机制的通道特征交叉融合模块cct将各级编码器的编码特征hi进行通道特征交叉融合得到交叉融合编码特征h
ic
并送入对应层级的解码器进行融合以最终获得输出的重建高光谱图像h。
5.可选地，所述通道特征交叉融合模块cct将各级编码器的编码特征hi进行通道特征交叉融合得到编码特征h
ic
包括：s201，分别将各级编码器的编码特征hi通过层归一化得到特征图ti；s202，将各级特征图ti进行通道维堆叠操作得到特征图t；s203，将各级特征图ti以及特征图t通过多头通道自注意力机制单元mca进行交叉通道自注意力计算得到各级注意力特征图t
i,out
；s204，分别将各级注意力特征图t
i,out
首先与编码特征hi跳跃连接，然后再将跳跃连接得到的特征依次经过层归一化、多层感知机后得到的特征图与原始的注意力特征图t
i,out
进行跳跃连接后得到交叉融合编码特征h
ic
。
6.可选地，步骤s203中通过多头通道自注意力机制单元mca进行交叉通道自注意力计算包括：s301，将各级特征图ti和查询映射矩阵wq相乘作为查询矩阵q
ci
，将特征图t和键映射矩阵wk相乘作为键矩阵kc，将特征图t和值映射矩阵wv相乘作为值矩阵vc；s302，根据下式计算各级交叉通道注意力矩阵cai：，上式中，softmax表示softmax激活函数，t表示对矩阵的转置；s303，根据下式计算各级注意力特征图t
i,out
：，上式中，ws表示输出映射矩阵。
7.可选地，所述包含多级编码器的编码器模块中每一个编码器的输出端均连接有个下采样模块，所述包含多级解码器的解码器模块中每一个解码器的输入端均包含一个上采样模块，所述上采样模块用于将瓶颈模块输出的编码特征hb或者上一个解码器输出的解码特征先进行二维反卷积，再与对应的交叉融合编码特征h
ic
进行通道维堆叠操作，最后通过卷积核大小为1
×
1的二维卷积进行降维以或得到输出的解码特征，且由最后一级解码器输出的解码特征通过一卷积核大小为3
×
3的二维卷积进行映射后再与空谱浅层特征h0合并得到重建高光谱图像h。
8.可选地，所述编码器、解码器和瓶颈模块均为光谱注意力模块sab，所述光谱注意力模块sab对输入的特征图的处理包括：s401，将输入的特征图经过层归一化、多头光谱自注意力机制单元smsa进行交叉通道自注意力计算，再将交叉通道自注意力计算得到的特征图与输入的特征图进行跳跃连接；s402，将步骤s401中跳跃连接得到的特征图经过层归一化、多层感知机后再与步
骤s401中跳跃连接得到的特征图进行跳跃连接后作为光谱注意力模块sab输出的特征图。
9.可选地，步骤s401中多头光谱自注意力机制单元smsa进行交叉通道自注意力计算包括：s501，针对输入多头光谱自注意力机制单元smsa的特征图h
in
，分别将特征图h
in
和查询映射矩阵wq相乘作为查询矩阵qs，将特征图h
in
和键映射矩阵wk相乘作为键矩阵ks，将特征图h
in
和值映射矩阵wv相乘作为值矩阵vs，并以此确定n个单头自注意力中任意第j个单头自注意力对应的查询矩阵q
sj
、键矩阵k
sj
以及值矩阵v
sj
；s502，根据下式计算任意第j个单头自注意力矩阵ai：，上式中，softmax表示softmax激活函数，σj表示第j个单头自注意力的权重系数，t表示对矩阵的转置；s503，根据下式计算多头光谱自注意力机制单元smsa输出的特征图：，上式中，表示多头光谱自注意力机制单元smsa输出的特征图，cat为通道维堆叠操作，n为单头自注意力数量，ws表示输出映射矩阵，为位置编码层操作。
10.可选地，步骤s101中对输入的rgb图像x进行特征提取包括：s601，对输入的rgb图像x进行卷积操作进行通道上采样得到初步特征h0'；s602，对初步特征h0'进行卷积操作进行通道上采样得到空谱浅层特征h0。
11.可选地，步骤s102中的多阶段光谱超分辨率重建网络msct在训练阶段所使用的损失函数为：，上式中，h为重建高光谱图像，n为rgb图像x的像素总量，s为物理传感器的光谱响应函数，h(i)为重建高光谱图像h的第i个像素，x(i)为rgb图像x的第i个像素，λ为权重值，为重建高光谱图像h的正则项。
12.此外，本发明还提供一种基于自注意力机制的光谱超分辨率重建系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述基于自注意力机制的光谱超分辨率重建方法。
13.此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述基于自注意力机制的光谱超分辨率重建方法。
14.和现有技术相比，本发明主要具有下述优点：本发明包括对输入的rgb图像x进行特征提取得到空谱浅层特征，再输入多阶段光谱超分辨率重建网络msct得到重建高光谱图像h；多阶段光谱超分辨率重建网络msct由多个级联连接的单阶段光谱超分辨率重建网络
sct以及卷积操作模块连接构成，单阶段光谱超分辨率重建网络sct包括依次相连的编码器模块、瓶颈模块和解码器模块构成的支路，以及连接在编码器模块和解码器模块之间的通道特征交叉融合模块cct，通过编码器模块捕捉光谱通道间的隐含依赖关系，并借助通道特征交叉融合模块来融合光谱注意力模块所提取的有用信息，辅以基于高光谱图像和rgb图像映射关系的损失函数来优化重建结果，由解码器输出通道数量扩展后的特征图。经过的多阶段光谱超分辨率重建网络msct后，再经过卷积层和跳跃连接输出重建高光谱图像h，因此本实施例方法能够有效实现从rgb图像获取高空间分辨率的高光谱图像，具有重建精度高、运算速度快、成本低的优点。
15.1、本发明基于rgb图像和高光谱图像之间的映射关系引导网络的学习过程。根据高光谱图像具有空间维稀疏和光谱维自相似的特点，利用光谱注意力模块和通道特征交叉融合模块，进一步提升了光谱超分辨率重建的精度和质量，高效地实现从rgb图像到高光谱图像的映射，降低了高光谱图像的获取成本。
16.2、本发明相比于一般的空间注意力机制模块能够令网络更准确地学习到光谱通道间的依赖关系（通过光谱注意力模块、和/或通道特征交叉融合模块），经现有rgb-高光谱图像数据集训练可得到比现有方法更优的泛化性能，且网络整体参数量较少，计算开销较低。
17.3、本发明在对不同来源的rgb图像进行光谱超分辨率重建时，仅需按需求改变输出光谱通道数即可，具有很强的普适性和鲁棒性。
附图说明
18.图1为本发明实施例方法的基本流程示意图。
19.图2为本发明实施例中多阶段光谱超分辨率重建网络msct的结构示意图。
20.图3为本发明实施例中单阶段光谱超分辨率重建网络sct的结构示意图。
21.图4为本发明实施例中通道特征交叉融合模块cct的结构示意图。
22.图5为本发明实施例中多头通道自注意力机制单元mca的结构示意图。
23.图6为本发明实施例中光谱注意力模块sab的结构示意图。
24.图7为本发明实施例中多头光谱自注意力机制单元smsa的结构示意图。
具体实施方式
25.如图1所示，本实施例基于自注意力机制的光谱超分辨率重建方法包括：s101，对输入的rgb图像x进行特征提取得到空谱浅层特征h0；s102，将空谱浅层特征h0输入训练好的多阶段光谱超分辨率重建网络msct得到重建高光谱图像h。
26.如图2所示，本实施例中的多阶段光谱超分辨率重建网络msct由多个级联连接的单阶段光谱超分辨率重建网络sct将空谱浅层特征h0进行特征提取后，再通过一个卷积操作后与空谱浅层特征h0叠加得到重建高光谱图像h。本实施例中多阶段光谱超分辨率重建网络msct具体包括三个级联连接的单阶段光谱超分辨率重建网络sct，通过三个级联连接的单阶段光谱超分辨率重建网络sct依次将空谱浅层特征h0进行特征提取后，再采用卷积核大小为3
×
3的卷积层进行卷积操作后与空谱浅层特征h0叠加得到重建高光谱图像h。
27.如图3所示，本实施例中的单阶段光谱超分辨率重建网络sct用于通过一包含多级编码器的编码器模块对空谱浅层特征h0进行编码、再通过一瓶颈模块将编码特征hb送入一包含多级解码器的解码器模块，同时通过一基于自注意力机制的通道特征交叉融合模块cct将各级编码器的编码特征hi进行通道特征交叉融合得到交叉融合编码特征h
ic
并送入对应层级的解码器进行融合以最终获得输出的重建高光谱图像h。其中，编码器模块、瓶颈模块、解码器模块构成了单阶段光谱超分辨率重建网络sct的主路，自注意力机制的通道特征交叉融合模块cct构成了单阶段光谱超分辨率重建网络sct的分路，将主路输出与分路输出叠加，由解码器模块输出高光谱图像h，形成了u形结构，因此本实施例中将单阶段光谱超分辨率重建网络sct命名为单阶段u形分支网络，将多阶段光谱超分辨率重建网络msct命名为多阶段u形分支网络。编码器模块包含编码器的级数与解码器模块包含解码器的级数相同，可以根据实际需要选择，例如作为一种可选的实施方式，本实施例中编码器模块包含两级编码器，解码器模块同样也包含两级解码器。
28.通道特征交叉融合模块cct用于融合编码器所提取浅层特征中的有用信息，将其叠加至解码器特征，从而进一步提升光谱超分辨率重建质量。如图3所示，本实施例中通道特征交叉融合模块cct将各级编码器的编码特征hi进行通道特征交叉融合得到编码特征h
ic
包括：s201，分别将各级编码器的编码特征hi通过层归一化（layernorm）得到特征图ti，可表示为：，上式中，ln表示层归一化（layernorm）；s202，将各级特征图ti进行通道维堆叠操作得到特征图t，可表示为：，上式中，cat为通道维堆叠操作。
29.s203，将各级特征图ti以及特征图t通过多头通道自注意力机制单元mca进行交叉通道自注意力计算得到各级注意力特征图t
i,out
；s204，分别将各级注意力特征图t
i,out
首先与编码特征hi跳跃连接，然后再将跳跃连接得到的特征依次经过层归一化（layernorm）、多层感知机（mlp）后得到的特征图与原始的注意力特征图t
i,out
进行跳跃连接后得到交叉融合编码特征h
ic
。具体地，本实施例中为两级编码器，因此编码器模块输出特征、通过网络分支路，本实施例中通道特征交叉融合模块cct输出的交叉融合编码特征分别为、，可表示为：，如图4所示，本实施例步骤s203中通过多头通道自注意力机制单元mca进行交叉通道自注意力计算包括：s301，将各级特征图ti和查询映射矩阵wq相乘作为查询矩阵q
ci
，将特征图t和键映射矩阵wk相乘作为键矩阵kc，将特征图t和值映射矩阵wv相乘作为值矩阵vc，可表示为：，
，，s302，根据下式计算各级交叉通道注意力矩阵cai：，上式中，softmax表示softmax激活函数，t表示对矩阵的转置；s303，根据下式计算各级注意力特征图t
i,out
：，上式中，ws表示输出映射矩阵。本实施例中，i为编码器的级数，具体取值为2。参见图4，多头通道自注意力机制单元mca由作为输入映射的三个线性层、作为输出映射的一个线性层构成，用于进行交叉通道自注意力计算，其中作为输入映射的三个线性层用于生成输入映射矩阵、、，作为输出映射的一个线性层用于生成输出映射矩阵。所述层归一化用于特征归一化。所述多层感知机为线性层-gelu激活函数层-线性层-gelu激活函数层-线性层级联结构，用于加强非线性映射。、各自经过层归一化得到，为输入至通道特征交叉融合模块的特征图。、、为输入映射矩阵，为输出映射矩阵，均为可学习参数。cat为通道维堆叠操作，为交叉通道注意力矩阵，n为注意力头数，取n=2。经过交叉通道自注意力计算，融合各输入特征中的有用信息后，通道特征交叉融合模块（cct）输出的特征图为、，其经过跳跃连接、层归一化、mlp以及跳跃连接后得到通道特征交叉融合模块的输出、。
30.参见图2，本实施例中，包含多级编码器的编码器模块中每一个编码器的输出端均连接有个下采样模块，所述包含多级解码器的解码器模块中每一个解码器的输入端均包含一个上采样模块，所述上采样模块用于将瓶颈模块输出的编码特征hb或者上一个解码器输出的解码特征先进行二维反卷积，再与对应的交叉融合编码特征h
ic
进行通道维堆叠操作，最后通过卷积核大小为1
×
1的二维卷积进行降维以或得到输出的解码特征，且由最后一级解码器输出的解码特征通过一卷积核大小为3
×
3的二维卷积进行映射后再与空谱浅层特征h0合并得到重建高光谱图像h，可表示为：，，，上式中，、均为解码器模块输出，cat为通道维堆叠操作，表示卷积核
为1
×
1的二维卷积，起降维作用，配合通道维堆叠操作使通道维保持不变，表示卷积核为2
×
2的二维反卷积，起通道上采样作用，表示卷积核为3
×
3的二维卷积，起输出映射作用。
31.本实施例中，编码器、解码器和瓶颈模块均为光谱注意力模块sab，光谱注意力模块sab用于逐步发掘经过网络主路的特征图在通道维度隐含的自相似性和依赖关系。将光谱注意力模块sab采用函数的方式表示，空谱浅层特征h0通过网络主路，编码器模块输出特征分别为、，瓶颈模块输出特征为可表示为：，，，上式中，表示卷积核为4
×
4的二维卷积，起空间下采样作用。
32.如图5所示，光谱注意力模块sab为层归一化、多头光谱自注意力机制单元smsa、层归一化（layernorm）、多层感知机（mlp）依次相连构成的四层结构，光谱注意力模块sab对输入的特征图的处理包括：s401，将输入的特征图经过层归一化、多头光谱自注意力机制单元smsa进行交叉通道自注意力计算，再将交叉通道自注意力计算得到的特征图与输入的特征图进行跳跃连接；s402，将步骤s401中跳跃连接得到的特征图经过层归一化、多层感知机后再与步骤s401中跳跃连接得到的特征图进行跳跃连接后作为光谱注意力模块sab输出的特征图。
33.多头光谱自注意力机制单元smsa由作为输入映射的三个线性层、位置编码层、作为输出映射的一个线性层构成，用于进行光谱自注意力计算，其中作为输入映射的三个线性层用于生成映射矩阵、、，层归一化用于特征归一化。多层感知机为线性层-gelu激活函数层-线性层-gelu激活函数层-线性层级联结构，用于加强非线性映射。如图6所示，步骤s401中多头光谱自注意力机制单元smsa进行交叉通道自注意力计算包括：s501，针对输入多头光谱自注意力机制单元smsa的特征图h
in
，分别将特征图h
in
和查询映射矩阵wq相乘作为查询矩阵qs，将特征图h
in
和键映射矩阵wk相乘作为键矩阵ks，将特征图h
in
和值映射矩阵wv相乘作为值矩阵vs，并以此确定n个单头自注意力中任意第j个单头自注意力对应的查询矩阵q
sj
、键矩阵k
sj
以及值矩阵v
sj
；可表示为：，s502，根据下式计算任意第j个单头自注意力矩阵ai：
，上式中，softmax表示softmax激活函数，σj表示第j个单头自注意力的权重系数，t表示对矩阵的转置；s503，根据下式计算多头光谱自注意力机制单元smsa输出的特征图：，上式中，表示多头光谱自注意力机制单元smsa输出的特征图，cat为通道维堆叠操作，n为单头自注意力数量，ws表示输出映射矩阵，为位置编码层操作。本实施例中，位置编码层为3
×
3卷积层-gelu激活函数层-3
×
3卷积层级联结构，作为输出映射的一个线性层用于生成输出映射矩阵，表示当输入为特征图的情况下多头光谱自注意力机制单元smsa输出的特征图。为输入至光谱注意力模块sab的特征图，其分别与三个映射矩阵处理后得到，三者分别代表查询矩阵、键矩阵、值矩阵，都根据注意力头数而在通道维被均等切分。、、为输入映射矩阵，为调整矩阵乘法结果的权重系数、为输出映射矩阵，均为可学习参数。为单头自注意力矩阵，cat为用于拼接多个单头自注意力矩阵的通道维堆叠操作，n为自注意力头数，取n=4，j为注意力头数下标，为位置编码层操作。经过自注意力计算充分捕捉光谱通道间隐含关系后，光谱自注意力计算输出的特征图为，其经过跳跃连接、层归一化、mlp以及跳跃连接后得到光谱注意力模块（sab）的输出，二者即编码器模块输出特征。
34.本实施例中，步骤s101中对输入的rgb图像x进行特征提取包括：s601，对输入的rgb图像x进行卷积操作进行通道上采样得到初步特征h0'；s602，对初步特征h0'进行卷积操作进行通道上采样得到空谱浅层特征h0。由于待重建高光谱图像通道数大于rgb图像，步骤s101中对输入的rgb图像x进行特征提取采用卷积操作对rgb图像进行光谱上采样得到浅层特征，可表示为：，，上式中，x为rgb图像，表示卷积核为3
×
3的二维卷积，起通道上采样作用，为中间变量。
35.本实施例中，步骤s102中的多阶段光谱超分辨率重建网络msct在训练阶段所使用的损失函数为：，
上式中，h为重建高光谱图像，n为rgb图像x的像素总量，s为物理传感器的光谱响应函数，h(i)为重建高光谱图像h的第i个像素，x(i)为rgb图像x的第i个像素，λ为权重值，为重建高光谱图像h的正则项。
36.为了对本实施例方法进行验证，本实施例中利用ntire2022公开的950对数据集进行验证实验，其中ntire2022数据集包含空间尺寸一致的高光谱图像和rgb图像对，空间尺寸为482
×
512、高光谱图像波段数为31。在实验中，把该数据集中的rgb图像作为输入图像。在实际过程中，将ntire2022数据集中900对数据作为训练集，10对数据作为验证集，40对数据作为测试集，并对比了现有的三种光谱超分辨率方法（hscnn , hrnet, hdnet）在ntire2022数据集高光谱图像上的结果，且采用的超分辨率图像的评价指标有3种，分别是绝对相对误差（mrae）、均方根误差（rmse）、峰值信噪比（psnr）。其中psnr的值越大，高光谱图像质量越好，mrae和rmse的值越大代表高光谱图像的质量越差。表1展示了三种现有光谱超分辨率方法（hscnn , hrnet, hdnet）和本实施例提出的方法（msct）在ntire2022数据集上成像实验的客观评价指标，最好的数值结果被标黑。
37.表1：本实施例方法与三种现有光谱超分辨率的性能指标实验结果。
38.本实施例中还包括将三种现有光谱超分辨率方法（hscnn , hrnet, hdnet）和本实施例提出的方法（msct）在ntire2022数据集上成像对比，得到的结果包括光谱重建成像结果（均取arad_1k_0922场景的第四波段进行单波段展示），和光谱角误差图，可视化同一波段的光谱重建成像结果和对应参考图像的差异，角度越小代表重建成像越精确。
39.对比表1和三种现有光谱超分辨率方法（hscnn , hrnet, hdnet）和本实施例提出的方法（msct）在ntire2022数据集上成像对比可知，本实施例提出的方法（msct）的所有客观评价指标都优于其它方法，这是因为本实施例方法（msct）充分利用了高光谱图像在空间维稀疏和光谱维自相似的特点，利用光谱自注意力机制来更好地学习到光谱通道间的隐含依赖关系，并借助通道特征交叉融合模块充分融合了光谱注意力模块所提取的有用信息，进一步提升了光谱超分辨率重建的精度和质量。
40.综上所述，本实施例方法针对输入的一张rgb图像首先通过卷积层提取浅层特征，然后利用的多阶段光谱超分辨率重建网络msct进行光谱超分辨率重建，其中的编码器模块捕捉光谱通道间的隐含依赖关系，并借助通道特征交叉融合模块来融合光谱注意力模块所提取的有用信息，辅以基于高光谱图像和rgb图像映射关系的损失函数来优化重建结果，由解码器输出通道数量扩展后的特征图。经过的多阶段光谱超分辨率重建网络msct后，再经过卷积层和跳跃连接输出重建高光谱图像h。本实施例方法能够有效实现从rgb图像获取高空间分辨率的高光谱图像，具有重建精度高、运算速度快、成本低的优点。本实施例基于自注意力机制的光谱超分辨率重建方法，利用光谱注意力模块学习光谱通道间的隐含关系，并借助通道特征交叉融合机制融合光谱注意力模块所提取的有用信息，能够同时提升重建
高光谱图像的质量和效率。首先对rgb图像进行卷积操作提取浅层特征，然后输入至多阶段u形分支网络中，多阶段u形分支网络由3个结构一致的单阶段u形分支网络组成，单阶段u形分支网络的光谱注意力模块和下采样模块级联结构，在本实施例中被称为编码器模块。由于高光谱图像具有空间维稀疏、光谱维自相似的特点，因此设计了光谱注意力模块和通道交叉融合模块，其中光谱注意力模块用于捕捉光谱通道间的隐含依赖关系，通道交叉融合模块用于融合编码器所提取特征中的有用信息。之后将单阶段u形分支网络通过编码器和瓶颈的主路输出和通过通道交叉融合模块的分路输出叠加，由编码器输出通道扩展后的特征图，经过多阶段u形分支网络（msct）后，再经过卷积层和跳跃连接得到高光谱图像。本实施例基于自注意力机制的光谱超分辨率重建方法从rgb图像来估计高光谱图像，并采用训练好的多阶段u形分支网络来学习高光谱图像的光谱通道间隐含依赖关系，最终获得高光谱图像。本实施例的优势是借助自注意力机制充分捕捉高光谱图像的光谱通道间隐含依赖关系，在现有rgb-高光谱图像数据集上能够得到比现有方法更优的泛化性能，并且参数量更低，抗噪声干扰能力强，与其他高性能的高光谱超分辨率成像方法相比，本实施例基于自注意力机制的光谱超分辨率重建方法所得到的高光谱图像具有更好的质量，具有更强的抗噪声干扰能力，且在对不同类型的rgb图像进行超分辨率成像时，不需要对网络结构和参数进行过多改变，具有很强的普适性和鲁棒性。
41.此外，本实施例还提供一种基于自注意力机制的光谱超分辨率重建系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行前述基于自注意力机制的光谱超分辨率重建方法。此外，本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行前述基于自注意力机制的光谱超分辨率重建方法。
42.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
43.以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施
例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。