面向航空危险天气的多源常规观测数据处理方法及系统与流程

摘要: 本技术属于气象数据处理,具体涉及一种面向航空危险天气的多源常规观测数据处理方法及系统。背景技术:1、低空航空飞行安全高度依赖高精度、时空连续的风、温、湿、降水气...
面向航空危险天气的多源常规观测数据处理方法及系统与流程

本技术属于气象数据处理,具体涉及一种面向航空危险天气的多源常规观测数据处理方法及系统。

背景技术:

1、低空航空飞行安全高度依赖高精度、时空连续的风、温、湿、降水气象初始场。当前航空危险天气监测所用的气象观测数据,通常先进行质量控制再通过空间插值填补缺测,最终生成格点场供下游预报系统使用。

2、现有技术中,质量控制多采用全局固定阈值进行极值校验,但在实际业务中,冬季与夏季、平原与山区的气候背景差异显著,同一固定阈值在冬季可能过宽、在夏季可能过窄,导致真实极端天气事件被误判为异常,或真正的异常值无法被检出。此外,现有质控方案通常仅对单个气象要素进行独立校验,因此对仪器漂移或传输错误导致的隐性矛盾数据缺乏识别能力。

3、空间插值方面,现有方法多采用反距离权重或普通克里金插值。这类方法仅依赖空间距离确定权重,在山区,同一经纬度网格点因海拔不同,气温实际差异可能很大,但传统插值方法无法识别这种差异,导致插值结果出现非物理跳变。质控与插值两个模块相互独立,为开环处理流程。

4、综上,现有方法在质控的适应性、插值的物理一致性方面均存在不足,难以满足低空航空对高可靠性气象初始场的需求。

技术实现思路

1、为解决上述问题,本发明提供一种面向航空危险天气的多源常规观测数据处理方法及系统,可为低空航空危险天气监测预警提供高可靠、时空连续的气象初始场。

2、第一方面,本发明技术方案提供一种面向航空危险天气的多源常规观测数据处理方法,包括:

3、s1、获取地面观测站数据、风廓线雷达wpr数据和数字高程模型dem数据,并进行时空坐标对齐,基于所述dem提取各站点的海拔、坡度和坡向地形特征,绑定至对应观测记录,生成标准化多源观测数据集;

4、s2、基于所述标准化多源观测数据集,依次执行自适应阈值校验、空间邻站一致性校验和要素间物理一致性校验,为每条观测记录生成分层质量标识码,得到带分层质量标识码的观测数据集;

5、s3、筛选出观测数据集中通过所有校验的观测值作为训练样本,训练机器学习模型并用训练好的机器学习模型对缺测点位进行插值,生成插值补全值,得到初次重建气象要素数据;

6、s4、将所述插值补全值回传至s2进行二次质量校验,若插值补全值被标记为异常,则剔除该异常插值补全值对应的缺测点位,缩小邻域样本范围后返回s3重新插值;否则,保留该插值补全值;直至全部插值补全值均通过二次质量校验或达到预设迭代次数,得到最终重建气象要素数据;

7、s5、将原始观测值与最终重建气象要素数据中的插值补全值,连同各自对应的分层质量标识码绑定,生成并输出统一格式的多源融合气象要素数据。

8、优选地,s2的步骤包括:

9、s21、 基于所述标准化多源观测数据集,对每条观测记录执行一级自适应阈值校验:根据观测站点所在季节,计算各气象要素的自适应阈值上限和下限,将超出所述自适应阈值上限或下限的观测值标记为一级异常;

10、s22、 执行二级空间邻站一致性校验:提取本站点周边预设半径范围内邻站的同期观测值,计算本站观测值与各邻站观测值的空间差值,若所述空间差值大于或等于本站观测值,则将本站观测值标记为二级异常;

11、s23、 执行三级要素间物理一致性校验:判断同一站点同一时刻的不同气象要素之间是否满足预设的大气物理规律,将不满足所述大气物理规律的观测值标记为三级异常;

12、s24、 根据s21至s23的校验结果,为每条观测记录生成对应的分层质量标识码,得到带分层质量标识码的观测数据集。

13、通过三级校验,可降低正常气象突变的误判率,并识别传统方法难以发现的隐性矛盾。

14、优选地,自适应阈值上限和下限的计算公式为:

15、自适应阈值上限为:

16、自适应阈值下限为:

17、其中,表示气象要素var的自适应阈值上限,表示气象要素var的自适应阈值下限,所述气象要素var包括气温、风速和降水;表示当前季节对应的最大季节基础阈值,表示当前季节对应的最小季节基础阈值。

18、使质控阈值随季节和海拔自适应调整,避免了将山区局地对流、地形温差等真实气象突变误判为异常,同时确保了对真正极端危险天气的有效捕捉,降低误判率。

19、优选地,所述分层质量标识码包括:

20、0表示完全有效观测,即通过全部三级校验;

21、1表示自适应阈值异常,即未通过一级自适应阈值校验;

22、2表示空间邻站矛盾,即未通过二级空间一致性校验;

23、3表示要素物理矛盾,即未通过三级物理一致性校验;

24、4表示多异常叠加,即同时存在两种或以上类型的异常;

25、5表示原始缺测点位,即观测站点该时刻无观测数据上报;

26、6表示插值补全值,即原始缺测或异常值被剔除后通过机器学习模型插值生成,或经迭代修正后生成的插值补全值。

27、优选地,s3的步骤包括:

28、s31、根据所述分层质量标识码,从带分层质量标识码的观测数据集中筛选出分层质量标识码为0的观测值作为有效训练样本;

29、s32、基于所述有效训练样本,训练机器学习模型,并采用训练好的所述机器学习模型分别执行地面二维要素场重建和垂直分层风场重建:

30、地面二维要素场重建:以待插值点位的地形特征及邻站有效观测要素作为输入特征,输入训练好的所述机器学习模型,对地面网格缺测点位进行插值,生成地面插值补全值,得到初次重建地面要素数据;

31、垂直分层风场重建:将风廓线雷达站点在连续时序窗口内的垂直分层风场观测序列,输入训练好的时序神经网络模型,对垂直分层缺测高度层进行插值,生成垂直插值补全值,得到初次重建垂直风场数据;

32、所述地面插值补全值和垂直插值补全值共同构成初次重建气象要素数据。

33、可同时重建地面水平场与垂直剖面场,输出三维气象要素数据。

34、优选地,地面二维要素场重建中,机器学习模型为xgboost回归模型;

35、xgboost回归模型的输入特征包括站点海拔、坡度、坡向、湿度、气温、风速、风向;

36、训练过程中,融合空间距离权重与dem地形相似度权重构建动态插值权重,所述动态插值权重的计算公式为:

37、

38、其中,为空间距离权重,距离越近权重越高;为地形权重,待插值点位与样本站点的海拔、坡度、坡向越相近则权重越高;

39、垂直分层风场重建中,时序神经网络模型为lstm模型;

40、所述lstm模型的输入为风廓线雷达站点在连续时序窗口内的垂直分层风场观测序列,输出为当前时刻缺测高度层的风场插值补全值;

41、所述垂直分层风场重建的插值过程中,施加垂直风切变物理约束:若补全后的相邻高度层风速切变值超出预设的垂直风切变气候统计阈值,则对该插值补全值进行平滑修正,使垂直风切变落入气候统计预设的合理范围内。

42、地面重建结果在复杂地形区具有空间连续性,垂直风场补全结果满足大气层结稳定性约束。

43、优选地,s4的步骤包括:

44、s41、将生成的所述插值补全值与对应的站点/网格点信息绑定,回传至s2,将所述插值补全值作为待校验观测值,依次执行所述自适应阈值校验、空间邻站一致性校验和要素间物理一致性校验,判断所述插值补全值是否满足质量要求;

45、s42、若所述插值补全值通过s41的全部校验,则保留该插值补全值:并将该插值补全值的分层质量标识码标记为0或6;

46、s43、若所述插值补全值在s41中被标记为一级异常、二级异常或三级异常中的任意一种,则剔除该异常插值补全值对应的缺测点位,并以该缺测点位为中心,缩小邻域样本范围后返回s3,重新选取训练样本对该缺测点位进行插值,生成新的插值补全值;

47、s44、重复s41至s43,直至全部插值补全值均通过s41的二次质量校验或达到预设迭代次数,得到最终重建气象要素数据。

48、通过迭代修正,每个补全值均经过多级质量校验。

49、优选地,s41中,所述插值补全值回传至s2后,按照与原始观测数据相同的校验标准执行所述自适应阈值校验、空间邻站一致性校验和要素间物理一致性校验;

50、其中,所述自适应阈值校验采用与s21中相同的自适应阈值上限和下限;

51、所述空间邻站一致性校验中,参与对比的邻站观测值包括邻站的原始有效观测值和已通过二次质量校验的插值补全值;

52、所述要素间物理一致性校验采用与s23中相同的预设大气物理规律。

53、随着迭代次数增加,可用于校验的参照增多,缺测区域覆盖率提高。

54、优选地,s32中,所述地面二维要素场重建和/或垂直分层风场重建的插值过程中,还引入时序基线偏差约束:

55、保存各站点最近设定时间范围内的时序观测基线,计算当前时刻待插值点位的有效邻站观测值与基线值的偏差量,若所述偏差量超过预设偏差阈值,则降低该邻站观测值在动态插值权重中的贡献权重;

56、s4中,在每次插值补全值回传至s2进行二次质量校验之前,还执行时序基线偏差约束校验:

57、保存各站点最近设定时间范围的时序观测基线,计算当前时刻插值补全值与基线值的偏差量,若所述偏差量超过预设偏差阈值,则将该插值补全值预标记为可疑值,在s41的三级校验中提高其空间邻站一致性校验的敏感度,缩小其与邻站差值的合理范围判定边界。

58、通过引入时序基线偏差约束,可抑制单时刻异常样本对插值结果的干扰。

59、第二方面,本发明技术方案还提供一种面向航空危险天气的多源常规观测数据处理系统,包括:

60、数据获取与预处理模块,用于获取地面观测站数据、风廓线雷达wpr数据和数字高程模型dem数据,并进行时空坐标对齐,基于所述dem提取各站点的海拔、坡度和坡向地形特征,绑定至对应观测记录,生成标准化多源观测数据集;

61、多级质控判别模块,用于基于所述标准化多源观测数据集,依次执行自适应阈值校验、空间邻站一致性校验和要素间物理一致性校验,为每条观测记录生成分层质量标识码,得到带分层质量标识码的观测数据集;

62、机器学习空间重建模块,用于筛选出观测数据集中通过所有校验的观测值作为训练样本,训练机器学习模型并用训练好的机器学习模型对缺测点位进行插值,生成插值补全值,得到初次重建气象要素数据;

63、迭代反馈修正模块,用于将所述插值补全值回传至所述多级质控判别模块进行二次质量校验,若插值补全值被标记为异常,则剔除该异常插值补全值对应的缺测点位,缩小邻域样本范围后返回所述机器学习空间重建模块重新插值;否则,保留该插值补全值;直至全部插值补全值均通过二次质量校验或达到预设迭代次数,得到最终重建气象要素数据;

64、标准化输出模块,用于将原始观测值与最终重建气象要素数据中的插值补全值,连同各自对应的分层质量标识码绑定,生成并输出统一格式的多源融合气象要素数据。

65、从以上技术方案可以看出,本技术具有以下优点:通过s4的迭代反馈机制将插值补全值回传至s2重新进行三级校验,异常插值补全值被剔除后缩小邻域重插,直至全部数据满足质量要求。各步骤间形成数据依赖和反馈闭环。通过迭代反馈,质控与插值形成闭环,提高了缺测区域插值结果的一致性。