一种基于多模态生态表征的跨域物种分布预测方法、系统、终端及存储介质

本发明涉及人工智能、遥感生态建模和生物多样性监测，尤其涉及一种基于多模态生态表征的跨域物种分布预测方法、系统、终端及计算机可读存储介质。

背景技术：

1、全球生物多样性快速下降，准确掌握物种在大尺度空间中的分布状态，是开展保护优先级评估、栖息地修复、自然保护地规划和长期生态监测的重要基础。传统物种分布模型通常依赖少量环境变量或人工调查数据，难以同时表达局地栖息地结构与宏观气候约束，也难以适应跨季节、跨区域和跨类群应用。

2、近年来，公民科学平台积累了大量带地理坐标的物种观测记录；sentinel-2等卫星能够提供覆盖可见光和近红外波段的多光谱遥感影像；有格网产品能够提供温度、降水和土壤属性等环境协变量。遥感影像可反映植被结构、物候状态、地表纹理和栖息地异质性，环境协变量可反映宏观气候梯度、降水限制和土壤约束，二者结合能够提升物种分布预测的空间精细化水平。

3、但多光谱遥感影像和环境协变量存在模态差异、尺度差异和生态含义差异。单纯将影像特征与环境变量拼接，难以表达同一视觉模式在不同生态区域中的不同含义。例如，同样的绿色植被像元，在干旱稀树草原中可能代表高质量栖息地，而在湿润森林中可能只是常见背景。模型从一个季节或地理区域迁移到另一个季节或地理区域时，物候、传感器条件、大气影响和土地覆盖组成都会导致域偏移，使预测性能明显下降。

4、已有的与本发明相关的现有技术和缺点如下：

5、（一）、基于环境协变量的传统物种分布模型。传统物种分布模型通常以物种出现记录、调查样点记录或公民科学观测记录为响应变量，以气候、地形、土壤、土地覆盖等环境协变量为解释变量，建立物种出现概率、栖息地适宜性或潜在分布范围的统计模型。典型技术路线包括最大熵模型、广义线性模型、广义加性模型、随机森林、梯度提升树、占域模型以及其他机器学习回归或分类模型。相关关于物种分布建模的研究均表明，环境变量模型是生态保护、气候变化风险评估和栖息地适宜性分析中的基础技术。该类方法结构清晰、解释性较强，并且便于利用 worldclim、soilgrids、地形因子和土地覆盖产品进行大尺度预测。

6、该类技术的不足在于，它主要依赖相对粗尺度的格网环境变量，难以表达局地栖息地结构、植被纹理、景观破碎化、边缘效应、物候状态和微生境差异。例如，worldclim能描述温度和降水梯度，soilgrids能描述土壤属性，但它们不能直接反映观测点周边几十米到数百米尺度内的植被冠层、水体邻近性、农田-林地镶嵌格局或城市扩张边缘。对于依赖微生境条件的鸟类、蝶类及其他物种，仅使用宏观环境变量容易导致预测结果过度平滑，难以区分同一气候带内部的栖息地质量差异。

7、（二）、基于遥感影像的物种分布预测技术。随着sentinel-2、landsat、modis、高分系列卫星和无人机影像的普及，现有技术开始将遥感数据引入物种分布建模。常见做法包括计算 ndvi、evi、植被覆盖度、土地覆盖类型、纹理特征和景观指数，再将其作为环境变量输入传统模型；也有方法直接将遥感影像块输入卷积神经网络或视觉transformer，以学习与物种出现相关的空间纹理和光谱模式。将ebird完整清单热点与 sentinel-2 影像、worldclim 气候变量和 soilgrids 土壤变量结合。

8、遥感方法相比纯环境变量模型能够捕获更细尺度的栖息地结构，适合识别植被活力、地表异质性、城市-农田-森林边界、湿地斑块和物候差异。但是，许多现有遥感方法仍把遥感影像当作普通图像处理，缺少生态环境背景约束。同一视觉模式在不同生态区的含义可能完全不同：干旱稀树草原中的绿色斑块可能表示稀缺且高价值的栖息地，而湿润森林中的绿色斑块可能只是常见背景；农田边缘、灌丛纹理、裸土和水体等特征也会随区域、季节和目标物种改变生态意义。如果模型只从影像外观学习静态特征，就容易把某一地区或某一季节中成立的视觉-物种关系错误迁移到其他地区或季节。

9、（三）、深度学习和视觉基础模型。近年来，resnet、vision transformer、satmae、satlas、remoteclip 等视觉模型被用于遥感和生态任务。普通卷积神经网络可以从遥感影像中学习局部纹理和景观结构；vision transformer可以通过自注意力机制建模更大范围的图像块关系；dinov2等自然图像基础模型具备较强通用视觉表征能力；satmae、satlas等卫星预训练模型则利用大规模遥感数据进行自监督或多任务预训练。实验中也将resnet-18、resnet-101、mosaiks、通用 vit、satmae 和 satlas 等作为对比基线，说明这些路线已经构成相关现有技术的重要组成部分。

10、直接套用视觉基础模型仍存在缺陷。首先，许多视觉基础模型基于自然rgb图像预训练，而生态遥感任务常需要红光、绿光、蓝光和近红外等多光谱通道，近红外通道与植被活力、叶片结构和栖息地质量密切相关。若只保留rgb，近红外信息会被丢弃；若直接修改输入层以接受四通道或更多通道，则可能破坏预训练权重结构，降低迁移能力。其次，基础模型通常学习通用视觉表征，并不天然理解温度、降水、土壤等环境协变量对物种生态位的约束。直接全量微调又需要大量可靠标注样本，在公民科学数据噪声较大、物种类别极不平衡的场景下容易过拟合，并可能造成预训练知识遗忘。

11、（四）、多模态融合技术。为了同时利用遥感影像和环境协变量，现有技术通常采用特征拼接、后期融合、固定权重融合或简单门控融合。例如，将cnn、vit或随机卷积特征提取得到的影像向量与 worldclim、soilgrids 等环境变量拼接后输入多层感知机或线性预测头；mosaiks类方法通过随机卷积特征表示卫星图像，再与环境特征共同用于预测。这类方法实现简单，能够在一定程度上结合局地遥感信息和宏观生态变量。

12、但是，简单拼接或固定权重融合默认不同模态之间的贡献关系相对稳定，难以适应不同物种、不同区域和不同环境条件下模态重要性的变化。对于某些物种，宏观气候可能是主要限制因素；对于另一些物种，局地植被结构或水体边缘可能更重要。对于同一物种，在核心分布区和边缘分布区，气候约束、土壤约束和影像纹理的作用也可能不同。如果融合层只在最终预测前一次性合并特征，视觉特征提取过程本身并未受到环境上下文调制，模型无法在浅层纹理、中层景观结构和深层栖息地语义等不同层级上根据生态背景调整表征。

13、因此，现有技术还有待于改进和发展。

技术实现思路

1、本发明的主要目的在于提供一种基于多模态生态表征的跨域物种分布预测方法、系统、终端及计算机可读存储介质，旨在解决现有技术中物种分布预测的准确性不高，跨域迁移能力和生态解释合理性不足的问题。

2、为实现上述目的，本发明提供一种基于多模态生态表征的跨域物种分布预测方法，所述基于多模态生态表征的跨域物种分布预测方法包括如下步骤：

3、采集目标样点的多光谱遥感影像、环境协变量和物种观测记录，对所述多光谱遥感影像、所述环境协变量和所述物种观测记录进行预处理，得到目标多光谱遥感影像、目标环境协变量和目标物种观测记录；

4、将所述目标多光谱遥感影像映射到视觉基础模型接收的三通道空间，构建权重矩阵，并计算投影后的三通道影像；

5、将所述目标环境协变量输入多层感知机和层归一化，得到环境隐向量，根据所述环境隐向量生成提示矩阵，根据所述提示矩阵得到最终提示；

6、对所述目标多光谱遥感影像进行二维离散傅里叶变换，利用可学习软圆形掩膜将频谱划分为低频区域和高频区域，将低频影像分量和高频影像分量分别输入轻量卷积编码器，得到低频特征和高频特征，将所述低频特征、所述高频特征和所述目标环境协变量拼接后输入到mlp，经softmax得到低频权重和高频权重；

7、获取视觉transformer输出的分类令牌特征，与频率解耦域适应特征拼接后输入融合投影器，得到细化视觉特征，得到环境相关表示，生成最终融合生态表征；

8、将所述最终融合生态表征输入预测头，输出目标地区多个物种的出现概率。

9、可选地，所述的基于多模态生态表征的跨域物种分布预测方法，其中，所述多光谱遥感影像包括红光、绿光、蓝光和近红外通道，其中，红光、绿光和蓝光用于表征可见光范围内的地表颜色和纹理信息，近红外通道用于表征植被活力、叶片结构和栖息地质量；

10、所述环境协变量包括气候变量、土壤变量、地形变量、土地覆盖变量和人类活动变量，所述气候变量包括年降水量、最湿季降水量、最暖季降水量、平均温度和温度季节性，所述土壤变量包括土壤砂粒含量、有机碳含量和阳离子交换量。

11、可选地，所述的基于多模态生态表征的跨域物种分布预测方法，其中，所述将所述目标多光谱遥感影像映射到视觉基础模型接收的三通道空间，构建权重矩阵，并计算投影后的三通道影像，具体包括：

12、若所述目标多光谱遥感影像为，其中，表示实数空间，4表示输入通道数，

h表示影像高度，

w表示影像宽度，构建权重矩阵，并计算投影后的三通道影像；

13、对于每个像素位置，其中，表示像素行坐标，表示像素列坐标，映射关系为，其中，表示对所有像素位置均执行映射，表示投影后的三通道影像在空间位置处的像素值向量，表示原始四通道多光谱影像在相同空间位置处的像素值向量。

14、可选地，所述的基于多模态生态表征的跨域物种分布预测方法，其中，所述将所述目标多光谱遥感影像映射到视觉基础模型接收的三通道空间，构建权重矩阵，并计算投影后的三通道影像，之后还包括：

15、在视觉基础模型与适配器模块的各transformer块中插入瓶颈残差适配器，计算形式为：

16、；

17、其中，表示输入到瓶颈残差适配器的特征向量，表示经过瓶颈残差适配器更新后的输出特征向量，表示降维投影矩阵，表示升维投影矩阵，表示高斯误差线性单元激活函数，表示随机失活正则化操作。

18、可选地，所述的基于多模态生态表征的跨域物种分布预测方法，其中，所述将所述目标环境协变量输入多层感知机和层归一化，得到环境隐向量，根据所述环境隐向量生成提示矩阵，根据所述提示矩阵得到最终提示，具体包括：

19、将所述目标环境协变量输入多层感知机和层归一化，得到环境隐向量：

20、；

21、其中，表示目标环境协变量，表示多层感知机，表示层归一化操作，表示编码后的环境隐向量；

22、针对浅层网络采用轻量两层根据环境隐向量生成提示矩阵，针对中层网络采用带的根据环境隐向量生成提示矩阵，针对深层网络采用低秩超网络生成提示矩阵：

23、；

24、其中，表示由环境协变量动态生成的提示矩阵，表示低秩降维映射函数，表示低秩升维映射函数；

25、最终提示由静态提示基线和动态环境提示构成：

26、；

27、其中，表示最终的提示矩阵，表示层组的静态提示基线，表示层组的可学习强度系数，为通道门控向量。

28、可选地，所述的基于多模态生态表征的跨域物种分布预测方法，其中，所述对所述目标多光谱遥感影像进行二维离散傅里叶变换，利用可学习软圆形掩膜将频谱划分为低频区域和高频区域，将低频影像分量和高频影像分量分别输入轻量卷积编码器，得到低频特征和高频特征，将所述低频特征、所述高频特征和所述目标环境协变量拼接后输入到mlp，经softmax得到低频权重和高频权重，具体包括：

29、对所述目标多光谱遥感影像进行二维离散傅里叶变换，利用可学习软圆形掩膜将频谱划分为低频区域和高频区域，其中，表示半径位置处的软频域掩膜值τ，表示频域坐标到频谱中心的归一化距离，表示控制掩膜平滑程度的平滑系数，表示sigmoid函数；

30、低频分量为：

31、；

32、其中，表示目标多光谱遥感影像，表示二维离散傅里叶变换，表示二维离散傅里叶逆变换，表示低频软掩膜，⊙ 表示逐元素相乘，表示低频影像分量，用于表示地形、景观格局和粗尺度结构；

33、高频分量为：

34、；

35、其中，表示高频软掩膜，表示高频影像分量，用于表示边缘、纹理、短期物候和瞬时大气影响；

36、将低频影像分量和高频影像分量分别输入轻量卷积编码器，得到低频特征和高频特征，将低频特征和高频特征与目标环境协变量拼接后输入 mlp，经softmax函数得到低频权重和高频权重：

37、；

38、其中，表示低频权重，表示高频权重，表示低频特征，表示高频特征。

39、可选地，所述的基于多模态生态表征的跨域物种分布预测方法，其中，

40、此外，为实现上述目的，本发明还提供一种基于多模态生态表征的跨域物种分布预测系统，其中，所述基于多模态生态表征的跨域物种分布预测系统包括：

41、数据采集与预处理模块，用于采集目标样点的多光谱遥感影像、环境协变量和物种观测记录，对所述多光谱遥感影像、所述环境协变量和所述物种观测记录进行预处理，得到目标多光谱遥感影像、目标环境协变量和目标物种观测记录；

42、可学习光谱投影模块，用于将所述目标多光谱遥感影像映射到视觉基础模型接收的三通道空间，构建权重矩阵，并计算投影后的三通道影像；

43、分层地理环境提示模块，用于将所述目标环境协变量输入多层感知机和层归一化，得到环境隐向量，根据所述环境隐向量生成提示矩阵，根据所述提示矩阵得到最终提示；

44、频率解耦域适应模块，用于对所述目标多光谱遥感影像进行二维离散傅里叶变换，利用可学习软圆形掩膜将频谱划分为低频区域和高频区域，将低频影像分量和高频影像分量分别输入轻量卷积编码器，得到低频特征和高频特征，将所述低频特征、所述高频特征和所述目标环境协变量拼接后输入到mlp，经softmax得到低频权重和高频权重；

45、自适应环境融合模块，用于获取视觉transformer输出的分类令牌特征，与频率解耦域适应特征拼接后输入融合投影器，得到细化视觉特征，得到环境相关表示，生成最终融合生态表征；

46、预测训练与不确定性量化模块，用于将所述最终融合生态表征输入预测头，输出目标地区多个物种的出现概率。

47、此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于多模态生态表征的跨域物种分布预测程序，所述基于多模态生态表征的跨域物种分布预测程序被所述处理器执行时实现如上所述的基于多模态生态表征的跨域物种分布预测方法的步骤。

48、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于多模态生态表征的跨域物种分布预测程序，所述基于多模态生态表征的跨域物种分布预测程序被处理器执行时实现如上所述的基于多模态生态表征的跨域物种分布预测方法的步骤。

49、本发明中，采集目标样点的多光谱遥感影像、环境协变量和物种观测记录，对所述多光谱遥感影像、所述环境协变量和所述物种观测记录进行预处理，得到目标多光谱遥感影像、目标环境协变量和目标物种观测记录；将所述目标多光谱遥感影像映射到视觉基础模型接收的三通道空间，构建权重矩阵，并计算投影后的三通道影像；将所述目标环境协变量输入多层感知机和层归一化，得到环境隐向量，根据所述环境隐向量生成提示矩阵，根据所述提示矩阵得到最终提示；对所述目标多光谱遥感影像进行二维离散傅里叶变换，利用可学习软圆形掩膜将频谱划分为低频区域和高频区域，将低频影像分量和高频影像分量分别输入轻量卷积编码器，得到低频特征和高频特征，将所述低频特征、所述高频特征和所述目标环境协变量拼接后输入到mlp，经softmax得到低频权重和高频权重；获取视觉transformer输出的分类令牌特征，与频率解耦域适应特征拼接后输入融合投影器，得到细化视觉特征，得到环境相关表示，生成最终融合生态表征；将所述最终融合生态表征输入预测头，输出目标地区多个物种的出现概率。本发明以多光谱遥感影像、环境协变量和物种观测记录为输入，以多个物种在样点或区域中的出现概率及可选不确定性分数为输出，在继承视觉基础模型通用表征能力的同时，引入近红外生态信息和地理环境上下文，从而提高物种分布预测的准确性、跨域迁移能力和生态解释合理性。