一种基于多模态融合注意力的环流遥感数据超分辨率生成方法及装置
本发明涉及海洋遥感信息处理,具体涉及一种基于多模态融合注意力的环流遥感数据超分辨率生成方法及装置。
背景技术:
1、海洋环流遥感数据是开展中尺度涡识别、环流动力过程分析及海洋环境监测等业务化应用的重要数据基础。随着中尺度涡识别、环流动力过程分析等业务化应用的不断深入,对环流遥感数据在空间分辨率、物理保真度、多物理量兼容性以及跨海域适用性等方面提出了越来越高的需求;然而,受限于卫星重访周期、传感器空间分辨率、数值模式计算资源等客观因素,现有卫星遥感观测与数值模式产出的环流数据在实际业务场景中往往难以直接满足上述需求。因此,如何在现有观测数据基础上,通过技术手段实现环流遥感数据的超分辨率重构,成为本领域亟需解决的技术问题。
2、为解决上述问题,本领域目前主要形成了三类技术路线,各类技术路线所依赖的核心原理不同,因而各自存在不同的局限性,具体分析如下。
3、其一,基于传统插值的技术路线,例如双线性插值、双三次插值、六边形网格插值以及反距离权重插值等方法,其核心原理是通过几何拟合或距离加权的方式对稀疏观测数据进行空间填充,从而提升数据的空间分辨率。此类方法虽然具有实现简单、通用性强的优点,但由于其本质上依赖线性或几何拟合规则,仅能够刻画数据在空间上的平滑变化趋势,无法表达海洋环流场所具有的强非线性动力演化特征。因此,在涡旋、锋面、近岸地形交界等动力结构复杂的区域,此类方法极易产生关键结构模糊、动力属性失真等问题,难以支撑中尺度涡识别、环流动力过程分析等对重构精度要求较高的应用场景。
4、其二,基于常规深度学习的技术路线,例如基于卷积神经网络或transformer等结构构建的超分辨率模型,其核心原理是利用深度神经网络的非线性拟合能力,直接从单一低分辨率数据中学习到高分辨率数据的映射关系。此类方法相较于传统插值方法在重构精度上有所提升,能够在一定程度上还原环流场的非线性特征。但由于此类方法普遍采用单模态输入方式,仅依赖低分辨率数据本身,未能引入具备互补信息的辅助数据,因而特征利用不够充分;同时,此类方法在网络内部通常对空间特征进行均匀的权重分配,未针对涡核、锋面边界、强流区等承载核心动力信息的关键区域进行有针对性的特征强化,导致重构结果的物理保真度不足,与真实环流场之间仍然存在较为明显的偏差。
5、其三,基于简单双模态数据直接融合的技术路线,此类方法尝试同时引入低分辨率环流数据与经插值处理后的辅助数据作为两路输入,通过直接通道拼接或固定系数加权的方式进行融合,以期弥补单模态输入特征利用不充分的问题。然而,由于此类方法缺乏自适应的模态权重分配机制,两路数据在融合过程中容易产生信息冗余、模态特征相互冲突的问题,反而可能引入额外噪声、干扰重构精度;同时,此类方法大多仅针对单一海洋动力参数(如仅针对海表面高度)独立设计相应的融合网络,对于海表面温度、表层流速、相对涡度等其他海洋动力参数需要另行设计、训练独立的模型,缺乏统一的处理流程,且模型的跨区域泛化能力较弱,在开阔大洋、近岸复杂海域、封闭海盆等不同动力环境下,重构精度容易出现较大波动,难以满足业务化、规模化的海洋环境监测与预报应用需求。
6、综上,现有的三类技术路线分别在物理真实性、特征利用效率、双模态信息融合效果以及跨区域泛化能力等方面存在不同程度的缺陷,且上述缺陷之间又相互关联:单模态输入的局限导致特征信息不足,简单融合方式的局限又进一步加剧了信息冗余与模态冲突,最终共同导致现有技术难以在关键动力区域获得物理保真、细节清晰的重构结果。因此,亟需一种能够构建互补的双模态输入、实现模态间自适应融合、并针对环流关键动力区域进行自适应特征增强的超分辨率生成方案,以从根本上解决现有技术存在的上述问题。
技术实现思路
1、本发明提供一种基于多模态融合注意力的环流遥感数据超分辨率生成方法及装置,以解决现有技术在环流遥感数据超分辨率重构中存在的重构结果模糊失真、物理保真度不足、跨区域泛化能力较弱的技术问题。
2、为解决上述技术问题,本发明一方面提供一种基于多模态融合注意力的环流遥感数据超分辨率生成方法,包括:
3、步骤s1、获取待处理的低分辨率环流遥感数据,并对低分辨率环流遥感数据进行插值处理,得到插值数据;
4、步骤s2、对低分辨率环流遥感数据进行上采样处理,得到上采样数据;
5、步骤s3、对上采样数据与插值数据进行空间网格对齐处理,得到对齐上采样数据和对齐插值数据;
6、步骤s4、通过双模态融合注意力模块,基于通道注意力机制,对对齐上采样数据与对齐插值数据进行自适应加权融合,得到双模态融合特征;
7、步骤s5、将双模态融合特征输入编解码网络,得到与低分辨率环流遥感数据对应的高分辨率环流遥感数据;
8、其中,编解码网络包括依次连接的编码器、瓶颈层和解码器,编码器、瓶颈层和解码器中均设置有多个空间注意力模块,各空间注意力模块分别用于对输入至该空间注意力模块的网络内部特征生成空间权重图,并根据空间权重图对网络内部特征进行加权处理,以增强关键动力区域的特征响应。
9、进一步地,步骤s4包括:
10、步骤s41、将对齐上采样数据与对齐插值数据在通道维度进行拼接,得到拼接特征;
11、步骤s42、对拼接特征依次进行通道压缩和通道恢复的卷积处理,并通过激活函数生成分别对应对齐上采样数据和对齐插值数据的权重系数;根据权重系数对对齐上采样数据和对齐插值数据进行逐像素加权求和,得到双模态融合特征。
12、进一步地,步骤s42包括:
13、步骤s421、对拼接特征依次进行通道压缩和通道恢复的卷积处理,包括:通过第一级1×1卷积对拼接特征进行通道压缩处理,得到通道压缩中间特征,并通过relu激活函数对通道压缩中间特征进行非线性变换,得到通道压缩特征;
14、步骤s422、通过第二级1×1卷积对通道压缩特征进行通道恢复处理,得到通道恢复特征,并通过sigmoid激活函数对通道恢复特征进行处理,将通道恢复特征约束至[0,1]区间,得到权重系数。
15、进一步地,步骤s5包括:步骤s51、通过编码器对双模态融合特征进行多级下采样处理,得到各级下采样处理分别对应的编码特征,其中第一级下采样处理以双模态融合特征为相应输入,第一级之后的每一级下采样处理以上一级下采样处理得到的编码特征为相应输入,每级下采样处理包括对相应输入依次进行卷积处理、批归一化处理和激活处理得到该级对应的编码激活特征、通过对应该级的空间注意力模块对作为网络内部特征的编码激活特征进行加权处理得到编码加权特征、对编码加权特征进行最大池化处理得到该级对应的编码特征。
16、进一步地,步骤s5还包括:步骤s52、通过瓶颈层对编码器最后一级下采样处理得到的编码特征进行通道维度扩展处理,得到通道扩展特征,通过对应瓶颈层的空间注意力模块对作为网络内部特征的通道扩展特征进行加权处理,得到瓶颈特征。
17、进一步地,步骤s5还包括:步骤s53、通过解码器对编码器最后一级下采样处理得到的编码特征或瓶颈特征进行多级上采样处理,得到各级上采样处理分别对应的解码特征,其中第一级上采样处理的输入特征为编码器最后一级下采样处理得到的编码特征或瓶颈特征,第一级之后的每一级上采样处理的输入特征为上一级上采样处理得到的解码特征,每级上采样处理包括将该级的输入特征进行转置卷积处理得到上采样特征、将上采样特征与编码器中对应层级的编码特征进行跳跃连接拼接得到解码拼接特征、对解码拼接特征进行卷积处理得到解码卷积特征、通过对应该级的空间注意力模块对作为网络内部特征的解码卷积特征进行加权处理得到该级对应的解码特征,最后一级上采样处理得到的解码特征为高分辨率环流遥感数据。
18、进一步地,各空间注意力模块生成空间权重图的方式包括:步骤sa1、对网络内部特征沿通道维度分别进行平均池化和最大池化,得到两个单通道特征图;
19、步骤sa2、将两个单通道特征图进行拼接,得到拼接特征图;对拼接特征图进行卷积处理,得到卷积特征图;通过激活函数对卷积特征图进行处理,得到空间权重图。
20、进一步地,步骤s1中的插值处理为六边形网格插值处理,步骤s2中的上采样处理为双线性插值上采样处理。
21、进一步地,低分辨率环流遥感数据的海洋动力参数选自海表面高度、海表面温度、表层流速和相对涡度中的至少一种;且步骤s5中的编解码网络为预先训练得到的网络,其训练方式为:以均方误差作为损失函数,基于编解码网络输出的高分辨率环流遥感数据与作为训练标签的真实高分辨率环流遥感数据之间的误差,对编解码网络进行训练。
22、本发明另一方面还提供一种基于多模态融合注意力的环流遥感数据超分辨率生成装置,包括处理器和存储器,存储器存储有计算机程序,处理器执行计算机程序时实现如上基于多模态融合注意力的环流遥感数据超分辨率生成方法。
23、与现有技术相比,本发明具有以下有益效果:
24、第一,本发明通过对低分辨率环流遥感数据进行插值处理与上采样处理,构建互补的双模态输入体系,并通过空间网格对齐处理保证两路数据在空间尺度与空间范围上的一致性,充分保留了低分辨率数据的全局动力信息与插值数据的局部精细结构,克服了传统插值方法依赖线性或几何拟合、无法刻画环流非线性动力特征的局限。
25、第二,本发明基于通道注意力机制对双模态数据进行自适应加权融合,通过学习得到的权重系数动态平衡两路数据在不同海域动力环境下的贡献度,相较于固定加权或直接拼接的融合方式,能够有效避免信息冗余与模态特征冲突,提升特征利用效率。
26、第三,本发明在编解码网络的编码器、瓶颈层和解码器全流程中均设置空间注意力模块,通过生成空间权重图对网络内部特征进行加权处理,能够自适应地强化涡核、锋面边界、近岸地形交界等关键动力区域的特征响应,同时抑制背景噪声干扰,显著提升重构结果的物理真实性与细节还原能力。
27、第四,本发明支持对海表面高度、海表面温度、表层流速、相对涡度等多种海洋动力参数进行同步超分辨率重构,无需针对单一参数分别建模,且在不同动力环境海域下均具备较强的泛化能力,具备更高的工程化应用价值。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com