基于光谱库物理约束的高光谱图像生成方法、装置、设备及存储介质

摘要: 本发明涉及遥感图像处理,尤其涉及一种基于光谱库物理约束的高光谱图像生成方法、装置、设备及存储介质。背景技术:1、高光谱图像(hyperspectralimage...
基于光谱库物理约束的高光谱图像生成方法、装置、设备及存储介质

本发明涉及遥感图像处理,尤其涉及一种基于光谱库物理约束的高光谱图像生成方法、装置、设备及存储介质。

背景技术:

1、高光谱图像(hyperspectral image,hsi)通常包含数十至数百个连续且狭窄的光谱波段。在包含特定地物的高光谱图像上,能够精细捕捉到特定地物独特的光谱反射特性,因此高光谱图像在遥感地物识别、目标检测等领域具有重要作用。

2、然而,由于光学衍射极限和探测器噪声等物理约束,采集的高光谱图像的空间分辨率通常有限,且采集成本高昂。基于此,业界开始运用光谱生成技术扩充高光谱图像的数量,这种技术能够根据空间分辨率高但光谱波段少的多光谱图像(multispectral image,msi)或rgb图像,生成对应的高光谱图像。

3、在一些相关技术中,可利用预训练的深度学习模型,根据多光谱图像进行光谱重建,生成多光谱图像对应的高光谱图像。但是,现有的深度学习模型的训练过程仅以像素级数值误差为优化目标,缺乏对地物光谱固有物理特性的显式约束,易导致生成的高光谱图像中的光谱出现物理失真,具体表现为生成图像中的光谱与标准地物光谱库中的真值光谱之间存在严重偏差,甚至出现违背真实物理规律的突变,而由于生成的高光谱图像缺乏物理可信度,这会进一步影响后续的高精度目标检测、地物分类等下游任务。

4、综上,现有的高光谱图像生成方法难以生成具备物理可信度的图像,难以满足后续下游任务的应用需求。

技术实现思路

1、本发明提供一种基于光谱库物理约束的高光谱图像生成方法、装置、设备及存储介质,用以解决现有的高光谱图像生成方法难以生成具备物理可信度的图像,难以满足后续下游任务的应用需求的缺陷。

2、本发明提供一种基于光谱库物理约束的高光谱图像生成方法,包括:获取多光谱图像;多光谱图像是对包含目标地物的区域进行拍摄后得到的;将多光谱图像输入至预训练的光谱生成网络,获得光谱生成网络输出的包含目标地物的高光谱图像;其中,光谱生成网络是基于样本多光谱图像、样本高光谱图像和物理一致性损失函数训练得到的;物理一致性损失函数是基于光谱角损失函数和均方根损失函数确定的;光谱角损失函数以最小化生成光谱与标准地物光谱库中的真值光谱之间的差异为目标;生成光谱为重建高光谱图像的光谱,重建高光谱图像为光谱生成网络在预训练过程中基于样本多光谱图像和样本高光谱图像学习生成的图像;均方根损失函数以最小化样本高光谱图像与重建高光谱图像之间的差异为目标。

3、根据本发明提供的一种基于光谱库物理约束的高光谱图像生成方法,样本多光谱图像和样本高光谱图像为包含样本地物的图像;光谱生成网络是基于以下步骤训练得到的:对样本多光谱图像进行卷积处理,生成浅层特征图;获取样本多光谱图像对应的地物掩膜图像,并基于地物掩膜图像生成空间注意力权重图;地物掩膜图像包括样本地物的地物真值掩膜;对浅层特征图和空间注意力权重图进行加权融合,生成加权特征图;基于加权特征图和样本高光谱图像,训练得到光谱生成网络。

4、根据本发明提供的一种基于光谱库物理约束的高光谱图像生成方法,空间注意力权重图是基于以下步骤生成的:基于地物掩膜图像,确定样本地物在浅层特征图上的特征中心;基于样本多光谱图像中每一像素的浅层特征与特征中心的相似度,确定样本多光谱图像中每一像素对应的地物类别概率;基于样本多光谱图像中每一像素对应的地物类别概率,确定样本多光谱图像中每一像素对应的特征权重值,生成空间注意力权重图。

5、根据本发明提供的一种基于光谱库物理约束的高光谱图像生成方法,空间注意力权重图是基于以下步骤生成的:基于地物掩膜图像,确定样本多光谱图像的背景区域和样本地物所在区域;为背景区域分配第一特征权重值,并为样本地物所在区域分配第二特征权重值,生成空间注意力权重图;其中,第一特征权重值小于第二特征权重值。

6、根据本发明提供的一种基于光谱库物理约束的高光谱图像生成方法,光谱生成网络包括依次连接的卷积层、多个sgb模块、嵌入层和映射层;卷积层、多个sgb模块、嵌入层和映射层,用于对加权特征图进行特征提取,获得光谱特征,并基于光谱特征和样本高光谱图像学习生成重建高光谱图像。

7、根据本发明提供的一种基于光谱库物理约束的高光谱图像生成方法,sgb模块包括编码器、瓶颈层和解码器;其中,编码器包括第一层级和第二层级,第一层级包括个sab模块,第二层级包括个sab模块,编码器用于对输入的特征进行下采样操作和特征提取;瓶颈层包括个sab模块;解码器包括第三层级和第四层级,第三层级包括个sab模块,第四层级包括个sab模块,解码器用于对输入的特征进行上采样操作和特征提取;第一层级与第三层级之间设置跳跃连接,第二层级与第四层级之间设置跳跃连接;、、为正整数。

8、根据本发明提供的一种基于光谱库物理约束的高光谱图像生成方法,sab模块包括ssa模块、前馈网络和两个layernorm层;其中,ssa模块,用于基于输入的特征计算多个头部网络的自注意力,对多个头部网络的自注意力进行拼接和线性投影处理,生成注意力特征,并对注意力特征进行重塑处理,生成输出特征。

9、本发明还提供一种基于光谱库物理约束的高光谱图像生成装置,包括:获取模块,用于获取多光谱图像;多光谱图像是对包含目标地物的区域进行拍摄后得到的;图像生成模块,用于将多光谱图像输入至预训练的光谱生成网络,获得光谱生成网络输出的包含目标地物的高光谱图像;其中,光谱生成网络是基于样本多光谱图像、样本高光谱图像和物理一致性损失函数训练得到的;物理一致性损失函数是基于光谱角损失函数和均方根损失函数确定的;光谱角损失函数以最小化生成光谱与标准地物光谱库中的真值光谱之间的差异为目标;生成光谱为重建高光谱图像的光谱,重建高光谱图像为光谱生成网络在预训练过程中基于样本多光谱图像和样本高光谱图像学习生成的图像;均方根损失函数以最小化样本高光谱图像与重建高光谱图像之间的差异为目标。

10、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现如上述任一种基于光谱库物理约束的高光谱图像生成方法。

11、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种基于光谱库物理约束的高光谱图像生成方法。

12、本发明提供的基于光谱库物理约束的高光谱图像生成方法、装置、设备及存储介质,在模型训练阶段,对预训练过程中使用的损失函数进行了改进,利用样本多光谱图像、样本高光谱图像和物理一致性损失函数训练光谱生成网络,物理一致性损失函数是基于光谱角损失函数和均方根损失函数确定的,光谱角损失函数以最小化光谱生成网络在预训练过程中学习生成的重建高光谱图像的生成光谱与标准地物光谱库中的真值光谱之间的差异为目标,从而在物理层面显式约束了生成光谱的固有物理特性,使得生成光谱的光谱形态特征能够向标准地物光谱库中的真值光谱收敛,进而使得光谱生成网络具备重建符合真实地物光谱物理规律的光谱的能力,有利于光谱生成网络在模型推理阶段生成具备物理可信度的高光谱图像,而均方根损失函数以最小化样本高光谱图像与重建高光谱图像之间的差异为目标,可使得光谱生成网络具备高精度重建图像的能力,有利于光谱生成网络在模型推理阶段生成兼具高物理可信度和高视觉质量的高光谱图像;在模型推理阶段,只需要将包含目标地物的多光谱图像输入至完成训练的光谱生成网络,即可生成包含目标地物的高光谱图像,提高了高光谱图像的物理可信度和视觉质量,可满足后续下游任务的应用需求。