多模态时空特征融合与预测方法、系统、设备及介质与流程

本发明涉及地理信息科学与人工智能交叉，具体地，涉及一种多模态时空特征融合与预测方法、系统、设备及介质。

背景技术：

1、目前，在农业遥感监测与地理智能感知领域中，作物长势分析与产量预测通常采用基于单一模态卫星影像（如光学或雷达）的植被指数计算或传统机器学习分类方法。

2、在实际应用中，光学影像易受云雾遮挡导致时序数据缺失，而合成孔径雷达（sar）影像虽具备穿透能力但对作物类型区分度有限；同时，气象与地面观测数据往往空间连续性较差，难以与遥感影像数据进行有效融合。

3、现有的多源数据处理方法多采用简单的特征拼接或固定权重融合，无法根据数据质量波动动态调整各模态的贡献度，且传统模型难以同时捕获地理现象在时间维度上的连续演化规律与空间维度上的邻域扩散依赖特征，导致在复杂环境下预测精度低、鲁棒性差，无法满足精准农业决策对多模态时空信息深度融合与动态感知的迫切需求。

技术实现思路

1、针对现有技术中的缺陷，本发明的目的是提供一种多模态时空特征融合与预测方法、系统、设备及介质。

2、根据本发明提供的一种多模态时空特征融合与预测方法，包括：

3、获取目标区域的多源异构数据，并对所述多源异构数据分别进行特征编码，得到多个模态特征；

4、基于各所述模态特征的上下文信息，动态计算各所述模态特征的注意力权重，并基于所述注意力权重对多个所述模态特征进行加权融合，得到融合时空特征；

5、分别提取所述融合时空特征在时间维度的时序演化特征以及在空间维度的空间拓扑依赖特征，并基于所述时序演化特征和所述空间拓扑依赖特征进行联合预测，得到所述目标区域的预测结果。

6、优选地，所述基于各所述模态特征的上下文信息，动态计算各所述模态特征的注意力权重，并基于所述注意力权重对多个所述模态特征进行加权融合，得到融合时空特征，包括：

7、通过自适应注意力机制，评估各所述模态特征在所述上下文信息中的可靠性，计算各所述模态特征对应的注意力权重系数；

8、基于所述注意力权重系数对多个所述模态特征进行加权求和，得到所述融合时空特征。

9、优选地，所述多源异构数据包括光学影像、合成孔径雷达影像和气象数据；

10、所述计算各所述模态特征对应的注意力权重系数，包括：

11、通过公式计算第个模态的注意力权重系数；其中，为第个模态特征，为第个模态对应的可学习权重矩阵，为归一化指数函数；

12、所述基于所述注意力权重系数对多个所述模态特征进行加权求和，得到所述融合时空特征，包括：

13、通过公式计算所述融合时空特征；其中，表示对所有参与融合的模态进行加权累加，表示加权操作。

14、优选地，所述分别提取所述融合时空特征在时间维度的时序演化特征以及在空间维度的空间拓扑依赖特征，并基于所述时序演化特征和所述空间拓扑依赖特征进行联合预测，得到所述目标区域的预测结果，包括：

15、在时间维度上，通过序列建模提取所述时序演化特征；

16、在空间维度上，基于区域图结构提取所述空间拓扑依赖特征；

17、融合所述时序演化特征与所述空间拓扑依赖特征，得到所述预测结果。

18、优选地，所述区域图结构是基于地理空间距离构建的区域邻接矩阵定义的；

19、所述在时间维度上，通过序列建模提取所述时序演化特征，包括：

20、通过transformer网络对所述融合时空特征进行时间维度的序列演化建模，得到所述时序演化特征；

21、所述在空间维度上，基于区域图结构提取所述空间拓扑依赖特征，包括：

22、通过图卷积网络和所述区域邻接矩阵，对所述融合时空特征进行空间维度的拓扑依赖建模，得到所述空间拓扑依赖特征。

23、优选地，所述对所述多源异构数据分别进行特征编码，得到多个模态特征，包括：

24、对所述多源异构数据中的光学影像，通过卷积神经网络提取空间特征，得到对应的模态特征；

25、对所述多源异构数据中的合成孔径雷达影像，通过复数卷积结构提取纹理与结构信息，得到对应的模态特征；

26、对所述多源异构数据中的气象与土壤传感数据，通过长短期记忆网络捕捉时间变化趋势，得到对应的模态特征。

27、优选地，所述获取目标区域的多源异构数据，包括：

28、采用统一的地理坐标参考系统，对采集到的多源原始数据依次进行辐射校正、大气校正、重采样和配准，以实现数据空间对齐，得到所述多源异构数据。

29、优选地，所述方法包括：

30、通过多类感知硬件获取目标区域的多源异构数据，使用算力硬件并对所述多源异构数据分别进行特征编码，得到多个模态特征；

31、基于各所述模态特征的上下文信息，动态计算各所述模态特征的注意力权重，并基于所述注意力权重对多个所述模态特征进行加权融合，得到融合时空特征；

32、利用时空交互网络专用算力硬件分别提取所述融合时空特征在时间维度的时序演化特征以及在空间维度的空间拓扑依赖特征，并基于所述时序演化特征和所述空间拓扑依赖特征进行联合预测，得到所述目标区域的预测结果，由可视化与网关硬件输出农业智能决策成果。

33、根据本发明提供的一种多模态时空特征融合与预测系统，包括：

34、特征编码模块，用于获取目标区域的多源异构数据，并对所述多源异构数据分别进行特征编码，得到多个模态特征；

35、跨模态融合模块，用于基于各所述模态特征的上下文信息，动态计算各所述模态特征的注意力权重，并基于所述注意力权重对多个所述模态特征进行加权融合，得到融合时空特征；

36、时空预测模块，用于分别提取所述融合时空特征在时间维度的时序演化特征以及在空间维度的空间拓扑依赖特征，并基于所述时序演化特征和所述空间拓扑依赖特征进行联合预测，得到所述目标区域的预测结果。

37、根据本发明提供的一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述的多模态时空特征融合与预测方法。

38、根据本发明提供的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的多模态时空特征融合与预测方法。

39、与现有技术相比，本发明具有如下的有益效果：

40、1、本技术通过自适应注意力机制，根据各模态特征在当前上下文中的可靠性动态分配融合权重。当某一模态数据因云雾遮挡或传感器异常导致质量下降时，系统自动降低其权重并提高其他可靠模态的贡献，使多源数据在特征层面形成互补，提高了融合结果在复杂环境下的稳定性。

41、2、本技术通过时间维度的序列建模与空间维度的图结构建模构成双分支预测架构，同时捕捉作物生长随时间演化的规律和相邻地块间病虫害扩散、长势趋同等空间关联，解决了单一模型难以兼顾时空两方面特征的问题，使预测结果更贴合实际农业生产中的物理过程。

42、3、本技术针对光学影像、sar影像和气象传感数据各自的物理特性，分别选用卷积神经网络、复数卷积结构和长短期记忆网络进行特征编码，并依据真实地理距离构建区域邻接矩阵，使模型结构与数据特性相匹配，避免了通用网络的简单堆叠，在农业遥感监测场景下具有更好的适用性。

43、4、本发明能获得“硬件”技术效果的技术原理，是：通过多终端硬件协同采集原理解决单一成像硬件的采集缺陷及硬件对地物区分弱、传感器分布不足短板；通过硬件算力分层处理与对齐原理解决不同采集硬件分辨率、成像尺度、数据量纲不匹配的硬件底层数据冲突。

44、因此，本发明可以量化的“硬件”技术效果，是：多类型感知硬件互补协同，实现多时相、多尺度、全天候农业区域数据完整采集，消除时序数据断层，保证原始感知数据完整连续；依托硬件全域感知数据输入，模型预测精度相较传统单硬件数据源lstm方案提升12%，空间分析一致性提升15%，病害、干旱突发场景下硬件数据联动响应滞后率降低25%。