一种基于气象物理正则化的晴空回波分类识别方法与流程

摘要: 本发明属于气象雷达智能识别,具体涉及一种基于气象物理正则化的晴空回波分类识别方法。背景技术:1、天气雷达是气象监测的核心设备,通过探测回波反射率、偏振参数等物理...
一种基于气象物理正则化的晴空回波分类识别方法与流程

本发明属于气象雷达智能识别,具体涉及一种基于气象物理正则化的晴空回波分类识别方法。

背景技术:

1、天气雷达是气象监测的核心设备,通过探测回波反射率、偏振参数等物理量实现天气现象识别。雷达回波主要分为晴空生物回波与非晴空回波两大类,精准区分两类回波是雷达数据质控、天气精准识别的前置核心步骤。

2、目前行业主流识别方法分为传统机器学习方法与纯数据驱动深度学习方法两类。其中,随机森林、xgboost等传统机器学习模型泛化能力有限,对复杂混杂回波场景识别精度不足;标准mlp等深度学习模型仅依赖样本数据训练,完全脱离气象物理规律,存在严重的“数据拟合、物理失准”问题。

3、现有技术普遍存在以下缺陷:一是传统硬阈值判别方法僵化,固定物理阈值无法适配复杂地形、弱强度非晴空回波场景,误判率高;二是纯数据驱动神经网络仅依靠数据分布学习特征,训练过程不受气象物理规则约束,易出现违背气象常识的预测结果,例如高置信度非晴空物理特征下模型预判为晴空,典型晴空生物特征下误判为非晴空回波;三是各类模型对晴空回波、非晴空回波的均衡识别能力不足,难以同时保证两类回波的识别精确率与召回率。

4、因此如何克服现有技术的不足是目前气象雷达智能识别技术领域亟需解决的问题。

技术实现思路

1、本发明的目的是为了解决现有技术的不足,提供一种基于气象物理正则化的晴空回波分类识别方法。

2、为实现上述目的,本发明采用的技术方案如下:

3、一种基于气象物理正则化的晴空回波分类识别方法,包括如下步骤:

4、步骤(1),数据采集与预处理:

5、采集雷达回波样本,剔除存在异常无效数据的样本,并进行标准化处理,然后对样本进行标签标注,标注为晴空回波和非晴空回波两类,从而形成数据集;雷达回波样本中包括反射率z、差分反射率zdr、差分相位phidp、相关系数cc、差分相位率kdp、信噪比snrh这6维特征;

6、步骤(2),数据集划分:

7、对数据集进行划分,划分为训练集和测试集;

8、步骤(3),模型构建:

9、构建物理正则化mlp模型;所述的物理正则化mlp模型包括顺序连接的输入层、两层隐藏层和输出层;输入层为1×6神经元;两层隐藏层均为1×64神经元,输出层为1×2神经元;输入层和第一隐藏层之间设置有批量归一化和relu激活函数;两层隐藏层层之间设置有批量归一化和relu激活函数;第二隐藏层直接与输出层相连;

10、步骤(4),模型训练:

11、采用训练集对物理正则化mlp模型进行训练,以样本中的6维特征作为输入,以标注的标签作为输出进行训练,训练过程中,以物理正则化损失函数最小化为目标进行训练,之后采用测试集进行测试,从而获得最终的物理正则化mlp模型;

12、步骤(5),模型分类识别:

13、将待识别的雷达回波数据,经标准化预处理后输入最终的物理正则化mlp模型中进行晴空回波、非晴空回波二分类识别,从而获得该雷达回波的分类。

14、进一步,优选的是,步骤(1)中,异常无效数据是指雷达回波样本中任一一个特征存在的缺失值、空值、超出雷达物理实测值域的数据。

15、进一步,优选的是,步骤(1)中,标注时,标签0为晴空回波,标签1为非晴空回波。

16、进一步,优选的是,步骤(2)中,训练集和测试集中的样本比例为8:2。

17、进一步,优选的是,步骤(4)中,物理正则化损失函数如下:

18、

19、

20、

21、

22、

23、

24、其中:为标准交叉熵分类损失,为物理正则化权重系数;为单批次平均物理正则化惩罚损失;为单批次训练样本总数;为第个样本对应的晴空物理惩罚损失;为第个样本对应的非晴空物理惩罚损失;为当前批次内雷达回波样本序号;表示第个样本的晴空掩码值;表示第个样本的相关系数值;为模型预测第个样本为非晴空回波的概率:为第个样本的反射率值;为第个样本的差分相位率值;为第个样本的相关系数值;为模型预测第个样本为非晴空回波的概率;为第个样本的非晴空场景掩码值。

25、进一步,优选的是,步骤(4)中,采用adam优化器进行训练。

26、进一步,优选的是,步骤(4)中,当连续20轮测试集总损失波动幅度小于0.001,同时测试集准确率变化低于0.05%,判定模型收敛,停止迭代训练。

27、本发明模型将气象先验规则嵌入神经网络训练过程,兼顾轻量化、数据拟合能力与物理合理性,解决传统模型物理逻辑缺失、弱非晴空回波识别不准的技术痛点。本发明适用于天气雷达晴空回波与非晴空回波的高精度自动区分,可应用于气象回波质控、天气现象智能识别等气象业务场景。

28、本发明与现有技术相比,其有益效果为:

29、本发明打破纯数据驱动模型完全依赖样本分布、易违背气象常识的缺陷,通过自定义物理正则化损失函数,将成熟的雷达气象先验规则嵌入训练全过程,强制模型预测结果符合雷达回波物理机理,从根源上减少不合理误判。在降低模型参数量与推理成本的前提下,本发明模型准确率、精确率、召回率综合指标仍全面超越随机森林、xgboost、标准无正则化mlp基线模型,实现了“降维不降准”的技术突破。对照随机森林、xgboost、无正则化标准mlp三类主流基线模型实测数据:相较于无正则mlp,本发明准确率提升4.521%、精确率提升5.180%、召回率提升6.139%;对比随机森林,准确率提升1.022%、精确率提升0.700%、召回率提升1.599%;对比xgboost,准确率提升0.581%、精确率提升0.373%、召回率提升1.139%,准确率、精确率、召回率综合指标全面优于各对比模型,实现了“轻量化降参不降准”的技术突破,尤其针对易混淆的晴空鸟虫生物回波识别精度提升显著。

1.一种基于气象物理正则化的晴空回波分类识别方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的基于气象物理正则化的晴空回波分类识别方法,其特征在于,步骤(1)中,异常无效数据是指雷达回波样本中任一一个特征存在的缺失值、空值、超出雷达物理实测值域的数据。

3.根据权利要求1所述的基于气象物理正则化的晴空回波分类识别方法,其特征在于,步骤(1)中,标注时,标签0为晴空回波,标签1为非晴空回波。

4.根据权利要求1所述的基于气象物理正则化的晴空回波分类识别方法,其特征在于,步骤(2)中,训练集和测试集中的样本比例为8:2。

5.根据权利要求1所述的基于气象物理正则化的晴空回波分类识别方法,其特征在于,步骤(4)中,物理正则化损失函数如下:

6.根据权利要求1所述的基于气象物理正则化的晴空回波分类识别方法,其特征在于,步骤(4)中,采用adam优化器进行训练。

7.根据权利要求1所述的基于气象物理正则化的晴空回波分类识别方法,其特征在于,步骤(4)中,当连续20轮测试集总损失波动幅度小于0.001,同时测试集准确率变化低于0.05%,判定模型收敛,停止迭代训练。