基于多源遥感数据融合的赤潮深度学习监测方法及系统

本发明涉及图像或视频识别或理解，特别是一种基于多源遥感数据融合的赤潮深度学习监测方法及系统。

背景技术：

1、赤潮是指在一定海洋环境条件下，海洋浮游微藻异常繁殖并在局部海域形成高生物量聚集的生态现象，通常表现为海水颜色异常变化，并可能伴随水质恶化、生物死亡等生态环境问题。随着近岸海域人类活动强度的持续增加，陆源营养盐输入增多、水动力条件变化等因素叠加作用，赤潮在近岸及半封闭海域的发生频率和影响程度呈上升趋势。因此，开展赤潮的有效监测与识别研究，对赤潮的预警与防控具有重要意义。

2、现有赤潮监测手段主要包括现场调查监测方法和基于遥感数据的监测方法。现场调查监测方法通常通过船舶采样、浮标监测等方式获取藻类生物量、叶绿素浓度及水质参数等信息，能够提供较为精确的局地观测结果，但该类方法监测范围有限、周期较长、人工和设备成本较高，实现大范围海域的连续监测存在实际困难。

3、基于遥感数据的赤潮监测方法利用卫星或航空平台获取海表观测信息，能够实现大范围、周期性的海域监测，在赤潮监测中得到广泛应用。现有遥感监测方法通常依赖单一遥感数据源，如单一光学卫星影像或单时相观测数据，通过经验阈值法、光谱指数法或基于统计分析的分类方法对赤潮进行识别。然而，不同遥感数据在空间分辨率、时间分辨率、光谱信息和观测条件等方面存在差异，单一数据源在云覆盖、观测间隔或光谱信息不足等情况下，赤潮监测结果的完整性和稳定性可能受到影响。

4、近年来，多源遥感数据融合技术逐渐应用于海洋环境监测领域，通过融合不同平台、不同传感器或不同时相的遥感数据，以弥补单一数据源在时空覆盖和信息表达方面的不足。但现有多源遥感融合方法多侧重于数据层或特征层的简单拼接，对不同数据源之间的尺度差异、时序不一致性及信息冗余问题考虑不足，多源遥感数据在赤潮监测中的协同优势尚未得到充分挖掘。

5、与此同时，深度学习技术在遥感图像处理和目标识别领域取得了显著进展，并逐渐被引入赤潮监测研究中。基于深度学习的赤潮识别方法能够自动提取遥感数据中的高维特征，在一定程度上提升赤潮识别精度和泛化能力。然而，现有方法多针对单源遥感数据构建网络模型，对多源遥感数据的融合方式缺乏统一有效的深度学习建模框架，兼顾多源数据的异构特性和赤潮空间分布特征仍面临挑战。此外，不同遥感数据在空间分辨率、观测频率和噪声特性方面存在差异，直接输入深度学习模型可能引入信息失配问题，对模型训练效果和监测精度产生影响。

6、因此，亟需一种基于多源遥感数据融合的赤潮深度学习监测方法及系统，以提升赤潮监测的准确性、稳定性和适用性，满足复杂海域条件下赤潮监测与预警的应用需求。

技术实现思路

1、本发明的目的在于克服现有技术存在的上述缺陷，提出了一种基于多源遥感数据融合的赤潮深度学习监测方法及系统，以解决现有赤潮遥感监测中单一数据源易受云覆盖、重访周期、空间分辨率和光谱信息不足影响，以及多源数据直接拼接导致尺度不一致、时序不一致和特征冲突的问题，显著提升了赤潮识别的准确率。

2、本发明的技术方案是：一种基于多源遥感数据融合的赤潮深度学习监测方法，其中，包括以下步骤：

3、s1、获取覆盖目标海域的至少两类具有互补特征的遥感数据源，并启动统一海洋大气校正流程，得到海表离水反射率；

4、s2、将步骤s1得到的海表离水反射率输入时空自适应对齐模块，形成包含空间位置、原始光谱值、时间补齐数据、云覆盖标识、信噪比质量因子、几何配准质量因子和时间可信度权重的统一时空基准数据立方体；

5、其中，所述时空自适应对齐模块包含空间重采样单元与时序插值单元；

6、所述空间重采样单元以高分辨率遥感影像所定义的地理坐标系为基准网格，利用双三次卷积插值算法将低分辨率遥感影像重投影至同一空间参考系下，并建立目标网格像元与所述低分辨率遥感影像的原始像元之间的最近邻索引，将参与后续特征提取的所述低分辨率遥感影像的光谱保持值取为对应原始像元处的海表离水反射率；

7、所述时序插值单元在预设时间窗口内检索相邻有效观测，对于目标时刻缺失有效观测的数据源，基于所述相邻有效观测进行三次样条插值，得到时间补齐数据；并根据目标时刻与最近有效观测时刻的时间间隔、所述最近有效观测时刻处的云覆盖标识及信噪比质量因子，生成该数据源的时间可信度权重；

8、对每一目标时刻和目标网格像元，将不同数据源的海表离水反射率、时间补齐数据、云覆盖标识、信噪比质量因子、几何配准质量因子及时间可信度权重按通道维度堆叠，形成所述统一时空基准数据立方体；

9、s3、将统一时空基准数据立方体输入异构特征解耦编码器，输出多尺度特征图；

10、s4、将各分支输出的多尺度特征图，以及所述统一时空基准数据立方体中的云覆盖标识、信噪比质量因子、几何配准质量因子和时间可信度权重输入注意力引导的跨模态融合网络，得到加权融合特征；

11、所述注意力引导的跨模态融合网络按下述方式进行融合：结合各数据源的云覆盖标识、信噪比质量因子、几何配准质量因子和时间可信度权重，获得各数据源的遥感源可信度；将所述遥感源可信度与由对应特征图得到的通道重要性向量和空间注意力相结合，沿遥感源维度归一化，得到各遥感源的归一化融合权重；依据所述归一化融合权重对各遥感源的特征加权求和，得到加权融合特征；

12、s5、将加权融合特征进行多尺度上下文聚合和上采样处理，输出目标海洋的像素级赤潮概率图。

13、本发明的步骤s1中，覆盖目标海域的至少两类具有互补特征的遥感数据源，包括高时间分辨率但中等空间分辨率的海洋水色遥感数据和高空间分辨率但较低重访频率的光学多光谱遥感数据；

14、海洋水色遥感数据包括sentinel-3 olci数据，光学多光谱遥感数据包括sentinel-2 msi数据或gf-1 wfv数据。

15、步骤s1的统一海洋大气校正处理中，针对不同数据源的光谱响应函数，调用对应查找表，并基于矢量辐射传输模型将大气顶反射率转换为海表离水反射率，其计算过程表示为：

16、

， （1）

17、其中，表示数据源的海表离水反射率，，表示sentinel-2 msi数据，表示sentinel-3 olci数据；表示太阳天顶角；表示传感器观测天顶角；表示相对方位角；表示气溶胶光学厚度；表示大气压强；表示近海面风速；表示与数据源的光谱响应函数相匹配的辐射传输反演函数；表示第个波段、空间位置、获取时刻的大气顶反射率。

18、步骤s2中，

19、时序插值单元基于滑动窗口机制，在设定的时间窗口内对缺失时相的数据进行处理；若某一时刻仅有sentinel-3 olci数据而无sentinel-2 msi数据，则在该时间窗口内搜索相邻可用的sentinel-2 msi观测，并采用三次样条插值生成中间时刻的虚拟高分辨率影像。

20、空间重采样单元中，设为sentinel-2 msi目标空间网格，为目标网格像元位置，为从数据源原始坐标系到目标网格的几何变换；

21、对sentinel-3 olci的低分辨率影像，通过双三次卷积获得目标网格上的空间定位值：

22、

， （2）

23、其中，表示双三次卷积核；和表示目标位置相对于原始邻域像元的亚像元偏移量；和分别表示双三次插值邻域内沿行方向和列方向的像元偏移索引；表示sentinel-3 olci数据经大气校正后的海表离水反射率；表示目标位置在olci原始栅格中对应参考像元的行索引；表示目标位置在olci原始栅格中对应参考像元的列索引；

24、建立目标网格像元与sentinel-3 olci原始像元的最近邻索引：

25、

， （3）

26、其中，表示将sentinel-3 olci原始坐标系中的像元位置映射至sentinel-2 msi目标网格的几何变换函数；表示目标网格像元；

27、并将参与后续特征提取的olci光谱保持值表示为：

28、

， （4）

29、时序插值单元的时间补齐过程中，设目标监测时刻为，预设时间窗口为，在的范围内检索有效观测，其中表示时间序列中有效观测时刻的编号；

30、若数据源在时刻缺失有效观测，则基于相邻有效观测集合进行三次样条插值：

31、

， （5）

32、其中，表示数据源在目标时刻、目标网格像元、第个波段上的时间补齐海表离水反射率；表示三次样条插值函数；表示数据源在时刻经空间重投影或最近邻光谱保持处理后的海表离水反射率；

33、同时，根据时间间隔和观测质量生成时间可信度权重：

34、

， （6）

35、其中，表示距离最近的有效观测时刻；表示时间衰减系数；表示数据源在目标网格像元及最近有效观测时刻处的云覆盖标识；表示由信噪比归一化得到的质量因子；

36、对每一目标时刻和目标网格像元，将不同数据源的海表离水反射率、时间补齐数据、云覆盖标识、信噪比质量因子、几何配准质量因子及时间可信度权重按通道维度堆叠，形成统一时空基准数据立方体：

37、，（7）

38、其中，表示msi在目标网格上的海表离水反射率数据；表示经最近邻索引保持后的olci海表离水反射率数据；表示msi在目标网格像元处的云覆盖标识；表示olci在目标网格像元处的云覆盖标识；表示msi的信噪比质量因子；表示olci的信噪比质量因子；表示msi的几何配准质量因子；表示olci的几何配准质量因子；表示msi的时间可信度权重；表示olci的时间可信度权重。

39、步骤s3中，异构特征解耦编码器包括与sentinel-2 msi数据对应的高空间分辨率分支和与sentinel-3 olci数据对应的海洋水色分支；

40、高空间分辨率分支用于提取赤潮斑块边界和局部纹理特征，sentinel-3 olci分支用于提取大范围水色异常和上下文特征，两个分支独立编码并输出多尺度特征图；

41、从统一时空基准数据立方体中分别提取由sentinel-2 msi各光谱波段构成的msi通道子张量和由sentinel-3 olci各水色波段构成的olci通道子张量，将msi通道子张量输入高空间分辨率分支，将olci通道子张量输入海洋水色分支；

42、高空间分辨率分支中，其第层特征表示为：

43、

，                （8）

44、其中，表示用于提取高空间分辨率纹理和边界信息的小感受野编码单元；表示卷积核尺寸；

45、海洋水色分支中，其第层特征表示为：

46、

，                 （9）

47、其中，表示用于提取大范围水色异常信息的大感受野编码单元。

48、步骤s4中，利用注意力引导的跨模态融合网络得到加权融合特征的具体步骤如下所述：

49、s4.1、对每张特征图执行全局平均池化操作，得到一个通道重要性向量：

50、对每一个数据源的特征图，其通道重要性向量的计算公式为：

51、，             （10）

52、其中，表示sigmoid函数；和均表示可学习映射；表示非线性激活函数；表示全局平均池化；

53、s4.2、对特征图沿通道维度分别进行平均池化和最大池化，将所得空间响应图组合后输入空间注意力生成函数，生成空间注意力，其计算公式为：

54、，             （11）

55、其中，表示由卷积层或可学习映射构成的空间注意力生成函数；表示沿通道维度对数据源的特征图进行平均池化得到的空间响应图；表示沿通道维度对数据源的特征图进行最大池化得到的空间响应图；

56、s4.3、结合数据源的云覆盖标识、信噪比质量因子、几何配准质量因子和时间可信度权重，获得该数据源的遥感源可信度：

57、

，  （12）

58、其中，、、、均表示可学习权重或预设权重；表示数据源的云覆盖标识；表示数据源的时间可信度权重；表示数据源在目标网格像元、目标监测时刻处的信噪比质量因子；表示数据源的几何配准质量因子，其计算公式为：

59、

，            （13）

60、其中，表示误差衰减系数；表示几何配准误差；

61、将通道重要性向量、空间注意力和遥感源可信度相结合，得到归一化融合权重：

62、

， （14）

63、其中，⊙表示逐元素乘法；计算时，通道重要性向量沿空间维广播，空间注意力和遥感源可信度沿通道维广播；表示在同一像素位置和通道上沿数据源维进行归一化，使各遥感源对应的归一化融合权重之和为1；

64、s4.4、依据步骤s4.3得到的归一化融合权重对多源特征进行加权融合，得到加权融合特征：

65、

。 （15）

66、步骤s5中，加权融合特征送入上下文聚合模块，该模块采用空洞卷积金字塔结构，包含数个并行的空洞卷积层；

67、在多尺度上下文聚合过程中，加权融合特征输入具有空洞卷积金字塔结构的上下文聚合模块，得到多尺度上下文特征：

68、

， （16）

69、其中，、、、分别表示膨胀率为1、6、12和18的空洞卷积运算；

70、加权融合特征经上下文聚合模块处理后进入上采样路径，该路径采用跳跃连接机制，将异构特征解耦编码器中不同层级输出的低维特征与解码器对应层进行通道拼接；上采样过程通过转置卷积实现，每次上采样倍率为2，直至恢复至原始影像分辨率；最终输出为单通道的概率图，每个像素值表示该位置属于赤潮区域的可能性；

71、结合跳跃连接和上采样路径得到赤潮概率图：

72、， （17）

73、其中，，表示目标网格像元在目标时刻属于赤潮区域的概率；表示上采样解码算子，其输入包括上下文特征及来自异构特征解耦编码器的跳跃连接特征。

74、本技术还包括一种上述基于多源遥感数据融合的赤潮深度学习监测方法的检测系统，其中，包括：

75、数据接收单元：依据预设的地理围栏范围，通过卫星数据接口同步拉取前一日覆盖该区域的sentinel-2 msi level-1c产品与sentinel-3 olci level-1b产品，并将两类数据缓存至本地分布式存储节点；

76、预处理单元：按照大气校正和时空自适应对齐流程生成统一时空基准数据立方体；

77、模型推理单元：接收预处理单元输出的统一时空基准数据立方体； 依次执行异构特征解耦编码、跨模态可信度加权融合、上下文聚合及上采样解码，生成像素级赤潮概率图；

78、结果输出单元：用于将像素级赤潮概率图转换为带地理坐标信息的栅格文件，并通过地图服务接口发布；

79、质量控制模块：用于基于云覆盖率、信噪比、光谱异常和几何配准误差中的至少一种生成质量标识图，并将质量标识图输入时空自适应对齐模块和跨模态融合网络。

80、本发明的有益效果是：

81、（1）本技术有效解决了多源遥感数据在尺度、时序与噪声特性上的异构性问题，避免了传统融合方法中因简单拼接导致的信息冗余或特征冲突；

82、（2）通过解耦编码与注意力融合机制，充分挖掘不同遥感源在赤潮识别中的互补优势；

83、（3）实现了从数据到决策的闭环流程，满足赤潮监测业务化运行对自动化、连续性与可靠性的要求；

84、（4）本技术显著提升了赤潮识别的准确率，在测试中f1-score达0.89；降低了漏报率，小于8%；并在云覆盖或数据缺失场景下保持稳定输出，具备突出的实用性与推广价值。