低空农业遥感高光谱重建方法、装置、设备及介质

摘要: 本技术涉及图像重建领域,尤其涉及一种低空农业遥感高光谱重建方法、相应的装置、电子设备及计算机可读存储介质。背景技术:1、rgb、多光谱和窄带相机具有成本低、载荷...
低空农业遥感高光谱重建方法、装置、设备及介质

本技术涉及图像重建领域,尤其涉及一种低空农业遥感高光谱重建方法、相应的装置、电子设备及计算机可读存储介质。

背景技术:

1、rgb、多光谱和窄带相机具有成本低、载荷轻、采集效率高等优势,广泛应用于无人机低空遥感和农业智能感知。然而,这类传感器通常只能采集少量离散宽波段信息,难以完整表征作物叶绿素、氮素、水分、红边变化、病害胁迫等连续光谱特征。高光谱成像设备能够提供丰富光谱信息,但设备成本高、载荷重、数据量大、采集效率和部署门槛较高,难以在大面积、常态化、低成本低空监测中普遍使用。

2、现有高光谱重建模型多采用固定输入通道数到固定输出通道数的深度网络架构,例如固定rgb输入重建31个固定波段,或固定某一特定多光谱相机输入重建固定高光谱波段。这类方法存在以下技术缺陷,其包括:

3、第一,输入传感器绑定严重。不同相机即使波段名称相同,其中心波长、带宽、光谱响应曲线也可能存在显著差异,固定通道模型难以跨设备直接使用,限制了模型的泛化能力。

4、第二,输入波段数量不灵活。实际低空平台可搭载3、4、5、6、8、12、16等不同波段组合的多光谱传感器,传统卷积网络要求固定输入通道数,更换设备后往往需要重新训练模型,部署成本高。

5、第三,输出波段数不灵活。现有模型常将输出光谱作为固定通道索引,仅能输出预设数量和位置的波段,难以根据用户实际需求输出任意波长列表或任意目标波段数,缺乏灵活性。

6、第四,物理一致性不足。现有模型仅从数据层面拟合多光谱到高光谱的映射关系,未考虑传感器成像物理过程。预测的高光谱图像经输入传感器光谱响应函数重投影后,不一定能回到原始多光谱观测,导致重建结果缺乏可解释性和可信度。

7、第五,未见传感器泛化能力弱。模型学习到的是特定相机成像链的经验映射关系,而非给定光谱响应函数条件下的统一反演规律。当应用于训练阶段未见过的新型传感器时,重建精度显著下降,难以满足实际应用中多传感器、多平台协同观测的需求。

8、综上所述,现有的高光谱重建忽视了传感器物理特性,导致模型被传感器型号、波段数和输出格式所绑定,既无法跨设备复用,也难以保证重建结果在物理上的自洽性等问题,本技术人出于解决该问题的考虑作出相应的探索。

技术实现思路

1、本技术的目的在于解决上述问题而提供一种低空农业遥感高光谱重建方法、相应的装置、电子设备及计算机可读存储介质。

2、为满足本技术的各个目的,本技术采用如下技术方案:

3、适应本技术的目的之一而提出的一种低空农业遥感高光谱重建方法,包括:

4、获取低空平台搭载的多光谱传感器所采集的目标区域多光谱图像,并获取所述多光谱传感器的光谱响应函数;将所述光谱响应函数重采样至统一光谱网格,生成用于标记有效波段的波段掩膜;

5、将每个有效波段的图像特征、所述有效波段在所述统一光谱网格上的光谱响应曲线、以及由所述光谱响应曲线导出的波段属性信息,共同输入至共享编码分支进行特征融合,得到各有效波段的波段级特征向量;依据所述波段掩膜,对所有有效波段的波段级特征向量进行集合级聚合,生成空间特征图和传感器条件向量;

6、将所述传感器条件向量作为调制参数,注入空间特征提取主干网络,对空间特征提取主干网络中的中间层特征图进行条件仿射变换,以自适应调整不同传感器输入下的光谱空间映射关系,并输出像素级低秩系数图;

7、对任意目标波长的波长值进行位置编码,将位置编码后的波长特征与所述传感器条件向量共同输入至光谱基生成网络,得到与所述目标波长的光谱基;

8、将所述像素级低秩系数图中各空间位置处的低秩系数向量,与所述光谱基向量进行内积运算,得到各空间位置在所述目标波长处的光谱反射率值;将各空间位置的光谱反射率值按照空间分辨率排列,以重建所述目标区域在所述目标波长处的高光谱图像。

9、可选的,将所述光谱响应函数重采样至统一光谱网格,生成用于标记有效波段的波段掩膜的步骤,包括:

10、将所述光谱响应函数中各波段的连续响应曲线通过插值方式重采样至统一光谱网格的各个离散波长节点上,得到光谱响应矩阵,所述光谱响应矩阵的行数等于所述输入波段数,列数等于所述统一光谱网格节点数;

11、根据预设的最大输入波段数,对波段数小于所述最大输入波段数的所述多光谱图像,在波段维度上补入填充图像数据,对所述光谱响应矩阵补入填充行数据,使补齐后的多光谱图像与光谱响应矩阵具有相同的波段维度;

12、生成长度等于所述最大输入波段数的波段掩膜,将所述波段掩膜中与有效波段的位置设为第一标识值,与填充波段的位置设为第二标识值,以标记有效波段与填充波段。

13、可选的,将每个有效波段的图像特征、所述有效波段在所述统一光谱网格上的光谱响应曲线、以及由所述光谱响应曲线导出的波段属性信息,共同输入至共享编码分支进行特征融合,得到各有效波段的波段级特征向量的步骤,包括:

14、将每个有效波段的二维空间图像输入至共享图像编码分支,提取所述有效波段的空间纹理特征图,并将所述空间纹理特征图转换为一维图像特征向量;

15、将所述有效波段在所述统一光谱网格上的光谱响应曲线输入至共享光谱编码分支,提取所述有效波段的曲线形态特征向量;

16、将由所述光谱响应曲线导出的波段属性信息输入至共享属性编码分支,提取所述有效波段的属性特征向量;

17、将所述一维图像特征向量、所述曲线形态特征向量和所述属性特征向量在特征维度上进行拼接,得到所述有效波段的波段级特征向量;

18、对各有效波段分别执行上述步骤,得到各有效波段的波段级特征向量。

19、可选的,依据所述波段掩膜,对所有有效波段的波段级特征向量进行集合级聚合,生成空间特征图和传感器条件向量的步骤,包括:

20、提取各有效波段的波段级特征向量中的图像特征向量,依据所述波段掩膜将所有有效波段的图像特征向量进行集合级聚合,生成空间特征图;

21、提取各有效波段的曲线形态特征向量和属性特征向量,作为光谱属性特征向量,依据所述波段掩膜将所有有效波段的光谱属性特征向量进行集合级聚合,生成传感器条件向量。

22、可选的,将所述传感器条件向量作为调制参数,注入空间特征提取主干网络,对空间特征提取主干网络中的中间层特征图进行条件仿射变换,以自适应调整不同传感器输入下的光谱空间映射关系,并输出像素级低秩系数图的步骤,包括:

23、将所述传感器条件向量输入至条件参数生成网络,经变换得到与空间特征提取主干网络中各待调制中间层的仿射参数对,其中,所述仿射参数对包括缩放参数和偏移参数;

24、将所述空间特征图输入至空间特征提取主干网络,经编码器下采样提取多尺度空间特征,并将各待调制中间层的所述仿射参数对注入空间特征提取主干网络的残差模块中,对所述残差模块中的中间层特征图执行仿射变换,得到经条件仿射变换后的中间层特征图;

25、将经条件仿射变换后的中间层特征图输入至空间特征提取主干网络的解码器进行上采样和空间细节恢复,得到具有高光谱语义特征的空间特征图;

26、将所述空间特征图通过逐点卷积层或全连接层沿光谱维度投影,得到像素级低秩系数图。

27、可选的,对任意目标波长的波长值进行位置编码,将位置编码后的波长特征与所述传感器条件向量共同输入至光谱基生成网络,得到与所述目标波长的光谱基的步骤,包括:

28、将任意目标波长的波长值归一化至预设数值范围,得到归一化波长值;

29、将所述归一化波长值输入至位置编码函数,通过傅里叶位置编码将所述归一化波长值映射为高维波长特征向量;

30、将所述高维波长特征向量与所述传感器条件向量在特征维度上进行拼接,得到联合条件向量;

31、将所述联合条件向量输入至光谱基生成网络,经非线性变换输出与所述目标波长的光谱基向量。

32、可选的,将各空间位置的光谱反射率值按照空间分辨率排列,以重建所述目标区域在所述目标波长处的高光谱图像的步骤之后,包括:

33、通过所述光谱响应函数对重建的高光谱图像进行前向投影运算,生成与原始多光谱图像具有相同波段数和空间分辨率的模拟多光谱图像;

34、计算所述模拟多光谱图像与原始多光谱图像之间的物理一致性约束信号,作为重投影一致性损失;

35、在模型训练阶段,将所述重投影一致性损失与其他训练损失进行加权组合,构建总损失函数,通过反向传播更新模型参数;

36、在推理阶段,将所述物理一致性约束信号作为优化目标,对重建的高光谱图像进行迭代细化,以减小前向投影后的高光谱图像与原始多光谱图像的物理一致性差异。

37、适应本技术的另一目的而提供的一种低空农业遥感高光谱重建装置,包括:

38、数据预处理模块,设置为获取低空平台搭载的多光谱传感器所采集的目标区域多光谱图像,并获取所述多光谱传感器的光谱响应函数;将所述光谱响应函数重采样至统一光谱网格,生成用于标记有效波段的波段掩膜;

39、波段集合编码模块,设置为将每个有效波段的图像特征、所述有效波段在所述统一光谱网格上的光谱响应曲线、以及由所述光谱响应曲线导出的波段属性信息,共同输入至共享编码分支进行特征融合,得到各有效波段的波段级特征向量;依据所述波段掩膜,对所有有效波段的波段级特征向量进行集合级聚合,生成空间特征图和传感器条件向量;

40、条件化空间映射模块,设置为将所述传感器条件向量作为调制参数,注入空间特征提取主干网络,对空间特征提取主干网络中的中间层特征图进行条件仿射变换,以自适应调整不同传感器输入下的光谱空间映射关系,并输出像素级低秩系数图;

41、连续光谱解码模块,设置为对任意目标波长的波长值进行位置编码,将位置编码后的波长特征与所述传感器条件向量共同输入至光谱基生成网络,得到与所述目标波长的光谱基;

42、高光谱重建模块,设置为将所述像素级低秩系数图中各空间位置处的低秩系数向量,与所述光谱基向量进行内积运算,得到各空间位置在所述目标波长处的光谱反射率值;将各空间位置的光谱反射率值按照空间分辨率排列,以重建所述目标区域在所述目标波长处的高光谱图像。

43、适应本技术的另一目的而提供的一种电子设备,包括中央处理器和存储器,所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本技术所述低空农业遥感高光谱重建方法的步骤。

44、适应本技术的另一目的而提供的一种计算机可读存储介质,其以计算机可读指令的形式存储有依据所述低空农业遥感高光谱重建方法所实现的计算机程序,该计算机程序被计算机调用运行时,执行相应的方法所包括的步骤。

45、相对于现有技术,本技术针对现有的高光谱重建忽视了传感器物理特性,导致模型被传感器型号、波段数和输出格式所绑定,既无法跨设备复用,也难以保证重建结果在物理上的自洽性等问题,本技术包括但不限于如下有益效果:

46、其一、本技术将光谱响应函数(srf)作为条件输入,通过集合编码生成传感器条件向量并注入主干网络,使同一模型适配任意中心波长、带宽和响应曲线形态的传感器,显著降低部署成本。

47、其二、 本技术通过维度补齐和波段掩膜机制处理任意数量波段输入;同时采用低秩分解表示,对任意目标波长进行位置编码后与传感器条件向量共同生成光谱基,再与低秩系数图线性组合,即可输出用户指定的任意波长或任意波段数,突破了固定输入输出的限制。

48、其三、本技术将重投影一致性作为训练约束,使重建结果既能逼近高光谱真值,又能解释原始多光谱观测。用户还可通过重投影误差评估重建结果在特定传感器上的可信度,便于工程部署和质量控制。

49、其四、 本技术采用低秩分解策略,仅需预测少量低秩系数即可重建任意波长,显著降低计算负担,有利于在低空无人机等资源有限的边缘平台部署。除低空农业遥感外,还可扩展至生态监测、工业视觉、食品检测、医学影像等领域,只需提供传感器srf和目标波长即可共享同一套模型,具有良好的技术迁移性。

50、进一步的,本技术显著降低了跨设备协同观测的部署成本,解决了农业监测中传感器型号更换频繁、多机协同数据不一致的实际痛点,使高光谱技术真正下沉到常态化、低成本的农业生产管理场景中。