基于扩散模型的WACCM模式产品空间降尺度方法、电子设备和存储介质与流程
本技术涉及气象数据降尺度,具体而言,涉及一种基于扩散模型的waccm模式产品空间降尺度方法、电子设备和存储介质。
背景技术:
1、气象时空降尺度方法主要是将整层大气气候模型(waccm)输出的低分辨率(如1°)气象要素场降尺度至高分辨率(如0.25°),以提升区域气候模拟与预报的精细化水平。
2、目前,传统的气象时空降尺度方法采用动力降尺度方法,其通过嵌套全球气候模式(gcm)与区域气候模式(rcm),利用gcm提供边界条件驱动rcm生成高分辨率区域气候数据,但该动力降尺度方法存在计算资源消耗大的问题。
技术实现思路
1、本技术实施例的目的在于提供一种基于扩散模型的waccm模式产品空间降尺度方法、电子设备和存储介质,用以解决传统的气象时空降尺度方法采用动力降尺度方法存在的计算资源消耗大的问题。
2、第一方面,本技术提供一种基于扩散模型的waccm模式产品空间降尺度方法,该方法包括:获取目标低分辨率气象要素场以及目标低分辨率气象要素场对应区域的目标高分辨率地形数据,其中,目标低分辨率气场要素通过对waccm模式输出的初始低分辨率气象要素场进行归一化以及数据重采样得到;将目标低分辨率气象要素场以及目标高分辨率地形数据进行拼接,生成目标条件图像;将目标条件图像输入预训练完成的扩散降尺度模型中,通过扩散降尺度模型执行条件引导的反向扩散采样过程,生成归一化的高分辨率气象要素场;对归一化的高分率气象要素场进行反归一化处理,获得目标高分辨率气象要素场。
3、本方案提供的基于扩散模型的waccm模式产品空间降尺度方法,首先获取经过预处理的低分辨率气象要素场和对应的高分辨率地形数据,将两者拼接形成条件图像,为模型提供必要的气象背景信息和地形约束,然后将条件图像输入预训练完成的扩散降尺度模型,模型在条件图像的引导下,通过反向扩散采样过程逐步去除初始噪声,生成高分辨率气象要素场,最后对生成的归一化高分辨率场进行反归一化处理,恢复其物理单位和量纲,得到最终的目标高分辨率气象要素场,由此,本方法基于生成式人工智能中的扩散模型技术,通过显式建模从低分辨率气象场到高分辨率气象场的复杂非线性映射关系和概率分布,实现空间降尺度,由于采用深度学习模型进行端到端推理,无需求解复杂的大气动力学方程组,计算复杂度大幅降低,节约计算资源,同时,地形是影响区域气象要素分布的重要下边界强迫因素,通过引入高分辨率地形数据作为条件约束,能够准确反映地形对气象要素的局地调制作用,生成结果更符合大气物理规律,提高目标高分辨率气象场的生成准确性。
4、在第一方面的可选实施方式中,在获取目标低分辨率气象要素场以及目标低分辨率气场要素对应区域的高分辨率地形数据之前,该方法还包括:获取waccm模式输出的初始低分辨率气象要素场以及初始高分辨率地形数据,其中,初始低分辨率气象要素场包括多个气象变量;采用双线性插值将初始低分辨率气象要素场重采样至高分辨率目标网格,生成初始插值低分辨率场;基于初始低分辨率气象要素场所在时空区域对应的均值和标准差对初始插值低分辨率场和初始高分辨率地形数据进行标准化,获得目标低分辨率气象要素场以及目标高分辨率地形数据。
5、上述实施方式,本方案采用归一标准化方法将数据调整到均值为0、标准差为1的分布,能够有效缓解梯度消失或梯度爆炸问题,使模型训练更加稳定,收敛速度更快。同时,通过双线性插值进行空间重采样,确保低分辨率气象要素场与高分辨率地形数据以及高分辨率气象要素场具有相同的地理投影和网格坐标,避免空间错位导致的模型训练误差。
6、在第一方面的可选实施方式中,通过扩散降尺度模型执行条件引导的反向扩散采样过程,生成归一化的高分辨率气象要素场,包括:初始化反向扩散采样过程,生成初始输入的当前带噪声图像;获取ddim加速采样器配置的目标个采样时间步数;在当前采样时间步数,将当前带噪声图像、通过正弦位置编码生成的对应时间步特征向量以及目标条件图像输入扩散降尺度模型的去噪网络;通过去噪网络提取多尺度时空特征、时间步特征向量以及预设的条件约束,预测当前采样时间步数对应的预测添加噪声;根据预测添加噪声、当前带噪声图像以及目标条件图像,计算反向扩散的上一采样时间步数的带噪声图像;当完成目标个采样时间步数的迭代后,获得归一化高分辨率气象要素场。
7、上述实施方式,本方案采用ddim加速采样器通过隐式概率模型的形式,跳过部分不必要的采样步骤,显著提升推理速度,能够满足准实时业务需求。同时,通过引入时间步编码和条件引导,使得模型能够在不同的去噪阶段生成不同尺度的特征,最终生成的高分辨率气象场具有清晰的空间结构和丰富的细节信息。
8、在第一方面的可选实施方式中,扩散降尺度模型的训练过程,包括:获取目标训练数据集,其中,目标训练数据集包括多组时空对齐的样本对,每组样本对包括归一化以及数据重采样完成的低分辨率气象要素场样本、归一化完成的对应时空范围的era5高分辨率气象要素场样本以及归一化完成的目标区域的高分辨率地形数据;根据目标训练数据集对构建的基于temresnet架构的预训练模型进行第一阶段预训练,获得预训练模型;对预训练模型进行第二阶段噪声添加与去除训练,获得扩散降尺度模型。
9、上述实施方式,采用两阶段训练策略,第一阶段的确定性预训练能够为扩散模型提供良好的参数初始化,使第二阶段的微调能够快速收敛,显著降低总训练时间;同时,第一阶段的确定性预训练保证生成结果的整体准确性,第二阶段的扩散模型微调则增强生成结果的细节丰富度和统计合理性,两者结合能够生成高质量的高分辨率气象场。
10、在第一方面的可选实施方式中,根据目标训练数据集对构建的基于temresnet架构的预训练模型进行第一阶段预训练,获得预训练模型,包括:从目标训练数据集中抽取一个批次的样本对,对样本对中的低分辨率气象要素场样本和高分辨率地形数据样本执行预处理生成第一目标条件图像样本;将第一目标条件图像样本输入预训练的temresnet网络中,其中,预训练的temresnet网络为移除时间步输入模块的u-net网络结构,其包括编码器、瓶颈层以及解码器,编码器由多个残差块与下采样模块级联构成,解码器由多个上采样模块与残差块级联构成,每个残差块包含二维卷积层、组归一化层和mish激活函数,预训练的temresnet网络引入正弦位置编码的时间步编码注入机制;通过temresnet网络的编码器对第一目标条件图像样本执行逐层特征提取与空间分辨率压缩,获得深层编码特征图;通过temresnet 网络的解码器按照从深层到浅层的顺序逐层执行上采样重建与对应层级编码器的浅层特征图融合,直至恢复至高分辨率目标网格尺寸,获得预测的高分辨率气象要素场;将预测的高分辨率气象要素场与对应的era5高分辨率气象要素场样本输入预设的组合损失函数中,计算预测结果与真实标签之间的损失值;判断损失值是否收敛或模型迭代次数是否达到第一阶段目标次数;若判定损失值未收敛且迭代次数未达到第一阶段目标次数,则根据损失值采用梯度下降算法执行反向传播对模型参数进行更新,并返回执行从训练集中抽取一个批次的样本对的步骤;若判定损失值收敛或迭代次数达到第一阶段目标次数,则保存第一阶段预训练的模型权重,获得预训练模型。
11、上述实施方式,temresnet网络采用编码器、解码器结构和跳跃连接,通过编码器提取不同尺度的特征,通过解码器将深层特征与浅层特征融合,恢复细节信息,这样同时捕捉气象场的大尺度背景信息和小尺度细节信息,提高模型的特征提取能力。同时,采用残差块、组归一化和mish激活函数,能够有效缓解梯度消失问题,提高训练过程的稳定性,使网络能够训练到更深的深度。
12、在第一方面的可选实施方式中,预设的组合损失函数为:;其中,为均方误差损失,为结构相似性指数,用于保持纹理结构,为图像梯度幅值的损失,用于增强场分布的锐利边缘,为1.0,为0.2,为0.05。
13、上述实施方式,采用组合损失函数进行第一阶段预训练,综合考虑整体偏差、结构相似性和边缘锐度三个方面。均方误差损失用于保证预测结果的整体准确性,结构相似性指数损失用于保持图像的纹理结构和视觉质量,梯度损失用于增强图像的边缘锐度和细节信息,这样通过调整不同损失函数的权重系数,平衡各方面的性能,使模型生成的高分辨率气象场既具有较高的整体准确性,又具有丰富的细节信息和良好的视觉质量。
14、在第一方面的可选实施方式中,对预训练模型进行第二阶段噪声添加与去除训练,获得扩散降尺度模型,包括:加载预训练模型的模型权重作为初始参数,并配置扩散过程参数,其中,扩散过程桉树包括总扩散步数以及残差混合系数;从目标训练数据集中抽取一个批次的目标样本对,基于目标样本对中的低分辨率气象要素场样本和高分辨率地形数据样本生成第二目标条件图像样本;对目标样本对中的era5高分辨率气象要素场样本执行前向加噪过程得到带噪声图像;将带噪声图像、对应的时间步编码和第二目标条件图像样本输入temresnet网络中,获得网络预测的噪声值;将预测的噪声值与前向过程中添加的真实噪声输入预设的噪声损失函数中,计算总损失值;判断总损失值是否收敛或模型迭代次数是否达到第二阶段目标次数;若判定总损失值未收敛且迭代次数未达到第二阶段目标次数,则根据总损失值采用梯度下降算法执行反向传播对模型参数进行更新,并返回执行从训练集中抽取一个批次的目标样本对,基于目标样本对中的低分辨率气象要素场样本和高分辨率地形数据样本生成第二目标条件图像样本的步骤;若判定总损失值收敛或迭代次数达到第二阶段目标次数,则保存第二阶段微调后的模型权重,获得扩散降尺度模型。
15、上述实施方式,第二阶段的噪声添加与去除训练能够使模型学习到数据的高频细节特征,有效恢复被低分辨率平滑掉的小尺度气象信息。同时,采用改进的前向加噪过程,引入残差混合系数,能够更好地引导生成过程,提高生成结果的稳定性和一致性。
16、在第一方面的可选实施方式中,获取目标训练数据集,包括:获取多组数据对,每组数据对包含waccm模式输出的低分辨率气象要素场、对应时空范围的era5高分辨率气象要素场以及目标区域的高分辨率地形数据;对每个数据对中的era5高分辨率气象要素场进行异常值剔除以及归一化处理,获得归一化完成的对应时空范围的era5高分辨率气象要素场样本;采用双线性插值将每个数据对中的初始低分辨率气象要素场重采样至高分辨率目标网格,生成每个数据对的初始插值低分辨率场;基于所有样本对应变量的均值和标准差对每个数据对的初始插值低分辨率场和初始高分辨率地形数据进行标准化,获得归一化以及数据重采样完成的低分辨率气象要素场样本以及归一化完成的目标区域的高分辨率地形数据,进而获得目标训练数据集。
17、上述实施方式,通过异常值剔除和标准化处理,能够有效提高训练数据的质量,避免异常值和数据分布差异对模型训练产生负面影响。同时,通过时空对齐处理,确保低分辨率场、高分辨率场和地形数据之间的对应关系准确,为模型学习正确的映射关系提供基础。
18、第二方面,本技术提供一种基于扩散模型的waccm模式产品空间降尺度装置,该装置包括获取模块、拼接模块、扩散降尺度模块以及反归一化处理模块,该获取模块用于获取目标低分辨率气象要素场以及目标低分辨率气象要素场对应区域的目标高分辨率地形数据,其中,目标低分辨率气场要素通过对waccm模式输出的初始低分辨率气象要素场进行归一化以及数据重采样得到;该拼接模块用于将目标低分辨率气象要素场以及目标高分辨率地形数据进行拼接,生成目标条件图像;该扩散降尺度模块用于将目标条件图像输入预训练完成的扩散降尺度模型中,通过扩散降尺度模型执行条件引导的反向扩散采样过程,生成归一化的高分辨率气象要素场;该反归一化处理模块用于对归一化的高分率气象要素场进行反归一化处理,获得目标高分辨率气象要素场。
19、本方案提供的基于扩散模型的waccm模式产品空间降尺度装置,首先获取经过预处理的低分辨率气象要素场和对应的高分辨率地形数据,将两者拼接形成条件图像,为模型提供必要的气象背景信息和地形约束,然后将条件图像输入预训练完成的扩散降尺度模型,模型在条件图像的引导下,通过反向扩散采样过程逐步去除初始噪声,生成高分辨率气象要素场,最后对生成的归一化高分辨率场进行反归一化处理,恢复其物理单位和量纲,得到最终的目标高分辨率气象要素场,由此,本方法基于生成式人工智能中的扩散模型技术,通过显式建模从低分辨率气象场到高分辨率气象场的复杂非线性映射关系和概率分布,实现空间降尺度,由于采用深度学习模型进行端到端推理,无需求解复杂的大气动力学方程组,计算复杂度大幅降低,节约计算资源,同时,地形是影响区域气象要素分布的重要下边界强迫因素,通过引入高分辨率地形数据作为条件约束,能够准确反映地形对气象要素的局地调制作用,生成结果更符合大气物理规律,提高目标高分辨率气象场的生成准确性。
20、第三方面,本发明提供一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,处理器执行计算机程序时执行第一方面、第一方面中任一可选实施方式所述的方法。
21、第四方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时执行第一方面、第一方面中任一可选实施方式所述的方法。
22、第五方面,本发明提供一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器执行时执行第一方面、第一方面中任一可选实施方式所述的方法。
23、上述说明仅是本技术技术方案的概述,为了能够更清楚了解本技术的技术手段,而可依照说明书的内容予以实施,并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂,以下特举本技术的具体实施方式。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com