一种基于邻域特征和级联机器学习的定量降水预报方法与流程
本发明涉及深度学习与时空序列数据处理,具体涉及一种基于邻域特征和级联机器学习的定量降水预报方法。
背景技术:
1、在降水等连续物理量的定量预测中,利用深度神经网络处理数值预报模式的网格数据,并建立预报订正模型,已成为气象预测领域常用的技术手段,现有方法通常采用单阶段卷积神经网络或循环神经网络,将经过空间插值的多源模式要素作为模型输入,并采用均方误差或绝对误差等对称损失函数进行训练,最终得到目标站点的连续降水量预测结果。
2、实际降水数据通常具有明显的零膨胀和长尾偏态分布特征,微量降水样本数量较多,而强降水及极端暴雨样本相对较少,采用单阶段连续回归网络进行训练时,模型参数更新容易受到大量微量降水样本的影响,使预测结果逐渐向整体平均水平靠近,进而造成强降水峰值被低估,预测结果也容易出现过度平滑的问题,此外,将数值预报模式的网格数据转换为站点特征时,常用的双线性插值主要利用周围网格点的线性加权结果,容易削弱局地对流区域原有的降水极值,使强降水信息在输入模型之前就有所损失,例如,公开号为cn121434668a的中国发明专利申请公开了一种基于fft变换的级联长短时神经网络降水预测方法及系统,虽然该方案尝试通过二分类网络判别降水发生与否、并级联回归网络预测具体雨量,但其回归阶段直接拟合全量有雨样本的连续降水量,在有雨样本内部仍面临从小雨到特大暴雨的跨量级长尾偏态分布干扰,导致回归网络参数仍向低值均值收缩,未能消除强降水极值低估的缺陷,针对强降水预测偏低的问题,如果仅通过增加神经网络层数或扩大模型参数规模来提高拟合能力,在强降水等稀少样本区间又容易出现过拟合和参数波动,若采用全局加权方式统一提高强降水样本的损失权重,则可能使模型过度关注少数强降水样本,进而增加微量降水的虚报情况。
3、因此,如何更充分地利用站点周围网格的降水信息,并通过分阶段处理并引入降水残差值预测以降低偏态降水数据对连续回归训练的影响,同时针对不同降水量级合理调整虚报和漏报误差的训练权重,成为本发明所要解决的技术问题。
技术实现思路
1、本发明提供一种基于邻域特征和级联机器学习的定量降水预报方法,以解决现有深度学习回归模型在处理长尾偏态降水数据时易发生极值低估、局部特征平滑以及对称损失优化失衡的问题。
2、所采用的技术方案具体如下:包括以下步骤:
3、步骤s101,获取气象网格预报数据、观测站点地理数据及逐小时实况降水数据,计算大尺度降水量占总降水量的比值构建降水形态判别因子,提取目标观测站点相邻网格点的降水量极大值与邻域降水概率,结合站点地理数据及预报时序变量,拼接构成输入特征向量;
4、步骤s102,将输入特征向量输入第一阶段分类网络,利用依据各离散降水量级区间的样本发生频率赋予逆向加权惩罚系数的逆样本频率加权损失函数进行训练,以提升低频强降水样本的梯度更新权重,输出预测概率分布向量及离散降水量级基线预测值;
5、步骤s103,在训练阶段,以逐小时实况降水数据与离散降水量级基线预测值的差值构建降水残差真实值,作为三分支残差网络的监督学习目标;将预测概率分布向量、离散降水量级基线预测值、观测站点地理数据及预报时序变量输入三分支残差网络;
6、步骤s104,三分支残差网络中的概率分支、空间分支及时间分支分别映射,依据各特征域的信息容量需求,按概率分支特征维度大于空间分支与时间分支特征维度的预设维度比例拼接为联合向量,经特征融合输入堆叠残差网络块,输出降水残差预测值;
7、步骤s105,在训练阶段,利用预报量级分段非对称huber损失函数更新参数,在离散降水量级基线预测值小于或等于预设量级临界阈值且降水残差预测值与降水残差真实值之间的差值大于预设误差过渡阈值时放大虚报误差梯度,在离散降水量级基线预测值大于预设量级临界阈值且降水残差预测值与降水残差真实值之间的差值小于预设误差过渡阈值-时放大漏报误差梯度;
8、步骤s106,将离散降水量级基线预测值与降水残差预测值相加,生成目标观测站点的定量降水预报值。
9、优选的,步骤s101中获取气象网格预报数据包括以下子步骤:步骤s1011,设定预报制作基准时刻,对全球数值预报模式数据与中尺度数值预报模式数据统一采用12h滚动回退,提取上一完整起报时次的预报数据作为基础特征数据源,并基于全球预报数据提取降水形态判别因子作为大尺度背景特征数据源;步骤s1012,针对中尺度数值预报模式数据,以预报制作基准时刻为基准提取临近起报时次数据作为临近预报数据源,并校验临近起报时次数据的预报时效是否完全覆盖目标预报时效区间:若完全覆盖,则直接保留;若无法覆盖,则向前逐级回退一个起报时次并重新校验,直至提取到完全覆盖目标预报时效区间的中尺度数值预报模式数据;基础特征数据源、大尺度背景特征数据源与临近预报数据源共同构成气象网格预报数据。
10、优选的,步骤s101中:气象网格预报数据包括全球数值预报模式数据及中尺度数值预报模式数据;降水形态判别因子的取值范围限定在0至1之间,用于表征大尺度环流系统降水或对流尺度降水的主导权重;提取目标观测站点相邻网格点的降水量极大值与邻域降水概率包括以下子步骤:步骤s1013,选取目标观测站点在数值预报模式数据的网格场中空间距离最近的相邻至少9个网格点,从数值预报模式数据中解析读取各网格点在目标预报时效下的预报累积降水量物理量字段,将预报累积降水量计算为各网格点在目标预报时效下的逐小时或逐3小时分段降水量,作为各网格点的模式预报降水量,并计算各网格点模式预报降水量的最大值作为降水量极大值;步骤s1014,设定降水强度阈值,统计至少9个网格点中模式预报降水量大于等于降水强度阈值的网格点数量,计算网格点数量占相邻网格点总数量的比值作为邻域降水概率。
11、优选的,步骤s102中第一阶段分类网络构建为极端梯度提升树模型;利用逆样本频率加权损失函数训练包括以下子步骤:步骤s1021,依据预设的降水强度等级标准将降水量划分为多个互斥的离散量级区间,统计训练样本集中各离散量级区间的样本发生频率,依据样本发生频率为各离散量级区间的样本配置与发生频率成反比的权重系数,并引入l1与l2正则化惩罚约束叶节点权重;步骤s1022,利用极端梯度提升树模型在分裂节点学习过程中自动学习缺失特征的最优分裂方向,输出目标观测站点在各个离散量级区间的后验概率,并将后验概率最大的离散量级区间的代表数值确定为离散降水量级基线预测值。
12、优选的,步骤s104中概率分支以第一阶段分类网络输出的预测结果作为输入,其内部结构包括:多层感知机编码层,输入第一阶段分类网络输出的预测概率分布向量,经由全连接层、层归一化层以及线性整流激活函数升维映射为64维概率隐层特征;量级非线性变换层,利用反双曲正弦变换处理离散降水量级基线预测值,并通过全连接层映射为32维量级特征;类别嵌入层,将离散降水量级基线预测值对应的离散量级类别索引转换为32维密集嵌入向量;概率隐层特征、量级特征以及密集嵌入向量拼接后形成128维中间特征,经由宽度为256的两层全连接网络与层归一化层处理,输出180维概率表征向量。
13、优选的,步骤s104中:空间分支将观测站点地理数据中的经度、纬度以及海拔高度实施标准差归一化处理,输入包含全连接层与层归一化层的空间感知网络,映射输出51维空间表征向量;时间分支将预报时效对应的小时、月份以及年中积日分别展开为正弦周期分量与余弦周期分量以构成6维时序特征,输入全连接网络升维映射输出25维时间表征向量。
14、优选的,步骤s104中堆叠残差网络块包括4个串联连接的残差单元;180维概率表征向量、51维空间表征向量以及25维时间表征向量按7:2:1维度比例拼接生成256维联合向量,经由特征融合层降维映射为256维融合隐层向量后输入首个残差单元;各个残差单元内部依次包含全连接层、层归一化层、线性整流激活函数层、随机失活层、第二全连接层以及第二层归一化层,并通过跳跃连接将残差单元的输入向量与变换输出向量相加后经线性整流激活函数输出,末位残差单元的输出端连接一维线性回归输出头以生成降水残差预测值。
15、优选的,步骤s105中预报量级分段非对称huber损失函数的计算公式为:,其中,为预报量级分段非对称huber损失值,为降水残差预测值与降水残差真实值之间的差值,为预设误差过渡阈值为的基础huber损失函数,为依据离散降水量级基线预测值与预设量级临界阈值的比较结果所激活的动态惩罚权重;当残差绝对误差时,;当时,。
16、优选的,步骤s105中:预设量级临界阈值设定为1.0mm,预设误差过渡阈值设定为归一化数值0.8;当离散降水量级基线预测值小于等于1.0mm且降水残差预测值大于降水残差真实值超出预设误差过渡阈值时,判定发生小雨虚报,动态惩罚权重配置为基础权重叠加与差值的绝对值成正比的小雨虚报惩罚乘子;当离散降水量级基线预测值大于1.0mm且降水残差预测值小于降水残差真实值超出预设误差过渡阈值时,判定发生强降水漏报,动态惩罚权重配置为基础权重叠加与差值的绝对值成正比的暴雨漏报惩罚乘子,且暴雨漏报惩罚乘子设定为大于小雨虚报惩罚乘子;当降水残差预测值与降水残差真实值差值的绝对值小于等于预设误差过渡阈值δ时,认为预测误差较小不增加惩罚权重。
17、优选的,步骤s106中生成目标观测站点的定量降水预报值包括:将离散降水量级基线预测值与降水残差预测值求和计算,当求和计算结果大于等于0时将求和计算结果作为定量降水预报值,当求和计算结果小于0时将定量降水预报值截断设置为0,输出满足非负物理约束的逐小时站点定量降水预测结果。
18、本发明提出了一种基于邻域特征和级联机器学习的定量降水预报方法,本发明的有益效果是:
19、1、通过提取目标站点周围设定范围内的格点降水极值以及大于设定降水阈值的邻域概率构建邻域特征因子,为机器学习模型建立了具有物理意义的空间降水特征,解决了点对点建模的机器学习方法无法捕捉空间特征的问题,提升了强降水信号的敏感度;具体而言,高分辨率数值预报模式积分常伴随对流单体空间落区偏移,传统单点双线性插值因网格线性平滑会削弱局地对流降水中心极值;本发明通过提取相邻网格点的降水量极大值,能够有效捕获目标站点周围潜在的最强降水能量,直接对冲落区位移偏差以保留强降水极值;同时,通过计算大于等于降水强度阈值的网格点占比构建邻域降水概率,量化了周边降水事件的空间尺度与预报一致性;二者正交协同,使机器学习模型更好的拟合不同天气系统的空间预报不确定性,高概率/高极大值表明预报场对强降水的发生具有高度的空间一致性,预报可信度高;低概率/高极大值表明预报场预测了局地强降水,但空间分布极其不确定,可能是孤立对流体;低极大值且高概率表明预报场为大范围均匀弱降水;低极大值/低概率则表征环境受均一无降水系统控制;该特征赋予了机器学习模型自适应感知天气系统空间结构与预报置信度的能力,显著提高了局地突发强降水与系统性大范围降水的判别精度。
20、2、在邻域特征和级联机器学习的定量降水预报中,通过将降水量级判断与连续降水量订正分阶段处理,使残差网络不再直接拟合零值样本占比较高、强降水样本稀少的原始降水分布,而是在第一阶段给出的离散降水量级基线预测值基础上学习降水残差,这样可以减轻零膨胀和长尾偏态数据对网络训练的影响,缩小连续回归的拟合范围,降低大量无降水或微量降水样本对参数更新的干扰,使网络训练更加稳定,并改善对强降水及极端降水数值的拟合能力,减少预测结果向平均值收缩而造成的强降水低估。
21、3、通过分别利用预测概率分布向量、观测站点地理数据和预报时序变量,使降水量级信息、站点空间信息以及时间变化信息能够在进入后续残差网络前分别形成对应的特征表示,各类信息按照相对固定的比例参与后续计算,可以避免某一类特征在网络训练中过度占据主导作用,尤其能够减少较强的量级概率信息对地形等较弱空间信息的掩盖,使不同来源的特征得到较为均衡的利用,从而提高模型对局地降水变化和突发强降水特征的识别能力。
22、4、通过根据离散降水量级基线预测值所在区间,对虚报误差和漏报误差采用不同的惩罚方式,可以使模型在小量级降水预测中更加重视虚报问题,在较大量级降水预测中更加重视漏报问题,与对正、负误差采用相同处理方式的损失函数相比,该方式能够使参数更新更加符合不同降水量级的预报需求,在抑制微量降水虚报的同时,提高网络对强降水低估和漏报误差的敏感程度,从而增强对极端高值降水的拟合能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com