一种测风激光雷达无效测风数据的识别与剔除方法及设备与流程

本技术涉及测风激光雷达数据质量控制，特别是一种测风激光雷达无效测风数据的识别与剔除方法及电子设备。

背景技术：

1、测风激光雷达是大气风场探测的核心设备之一，其实现风速测量的原理为：向不同方位角发射激光脉冲，接收大气中气溶胶颗粒物的后向散射信号，基于后向散射信号的多普勒频移反演大气风场的三维分量。

2、上述算法的有效运行依赖于如下物理前提：在扫描周期内风场水平均匀、垂直风速分量可忽略以及散射信号的信号质量满足要求等。当这些物理前提被违反时，测风激光雷达会输出物理无效的风速测量结果。因此，为保证大气风场探测的准确性，需要识别物理无效的风速测量结果。

3、目前，相关技术多采用以下方案实现无效测量结果的识别：

4、（1）人工审查法：技术人员依赖自身经验，基于测风激光雷达的风速测量结果确定风速时序曲线和统计特征，以识别无效测量结果。该方法存在耗时长、主观性强且标准不统一的问题，不具备可复现性和规模化应用能力。

5、（2）固定阈值法：以参考源与测量源之间的风速差值的绝对值大于固定阈值为识别依据。但固定阈值在不同项目下的适用性无法保证，且识别准确度低。

6、（3）统计剔除法：基于简单统计量进行无效样本识别，隐含假设数据服从单一分布，对多种物理成因共存的复杂场景适应性差。

7、（4）单项目机器学习法。基于测风激光雷达在单个测风项目中的历史测量数据训练机器学习模型，以通过模型识别无效的风速测量结果。但是不同测风项目配置的测量高度不尽相同，导致特征维度不同，模型无法迁移至其他项目。

8、因此，需要提供一种测风激光雷达无效测风数据的识别与剔除方法，提升无效测量数据的识别效率和准确度，且具备跨项目可移植性。

技术实现思路

1、有鉴于此，本技术提供一种测风激光雷达无效测风数据的识别与剔除方法，所述方法包括：

2、获取多源数据集；其中，所述多源数据集至少包括测风激光雷达在各测量高度的瞬时测风数据、按照预设时间窗口对所述瞬时测风数据进行统计得到的测风统计数据、用于评估数据质量的质量对比数据以及反映外部环境状态的大气状态数据；

3、以所述预设时间窗口为单位，从所述多源数据集中提取用于表征数据有效性的特征；所述特征包括随测量高度层数变化的变维特征以及与测量高度层数无关的固定维度特征；将所述变维特征通过沿高度轴的统计聚合压缩为固定维度的统计特征，并将所述统计特征与所述固定维度特征进行拼接，得到固定维度的配置无关特征向量；

4、针对每一所述预设时间窗口，将窗口对应的配置无关特征向量进行标准化处理并输入无监督异常检测模型，得到用于表征所述配置无关特征向量相对于正常测风数据特征分布空间的偏离离群程度的偏离得分；

5、基于剩余测风统计数据与剩余质量对比数据之间的一致性指标构建收敛判定依据，按照所述偏离得分由高至低的顺序，从所述多源数据集中迭代剔除对应窗口的数据，直至剔除后的剩余数据收敛，将停止迭代时对应的偏离得分锁定为目标判别阈值，以根据目标判别阈值识别并剔除无效测风数据。

6、可选的，以所述预设时间窗口为单位，从所述多源数据集中提取用于表征数据有效性的特征，包括：

7、基于所述瞬时测风数据中的回波信号强度参数确定各所述测量高度对应的信号质量特征；其中，所述信号质量特征至少包括载噪比；

8、基于所述瞬时测风数据中的风场反演过程参数确定各所述测量高度对应的诊断特征；其中，所述诊断特征至少包括垂向风速统计量、多波束闭合残差以及各波束间残差一致性指标；

9、基于所述测风统计数据确定各所述测量高度在所述时间窗口内的风速离散程度特征；其中，所述风速离散程度特征至少包括风速标准差；所述信号质量特征、所述诊断特征及所述风速离散程度特征构成所述变维特征；

10、从所述多源数据集中获取对应所述预设时间窗口的大气状态特征作为所述固定维度特征；其中，所述大气状态特征至少包括环境温度、大气压强、相对湿度、降水状态指标、大气稳定度参数中的任意一项或多项的组合。

11、可选的，将所述变维特征通过沿高度轴的统计聚合压缩为固定维度的统计特征，包括：

12、对各所述测量高度对应的信号质量特征执行指定统计聚合操作，以得到信号质量统计特征；

13、对各所述测量高度对应的诊断特征执行所述指定统计聚合操作，以得到诊断统计特征；

14、对各所述测量高度对应的风速离散程度特征执行所述指定统计聚合操作，以得到风速离散程度统计特征；

15、其中，所述指定统计聚合操作包括确定平均值、最小值、最大值、中位数、标准差以及指定百分位数中的任意一项或多项的组合。

16、可选的，所述无监督异常检测模型包含多个不同类型的无监督异常检测子模型；将窗口对应的配置无关特征向量进行标准化处理并输入无监督异常检测模型，得到用于表征所述配置无关特征向量相对于正常测风数据特征分布空间的偏离离群程度的偏离得分，包括：

17、将所述配置无关特征向量进行标准化处理，得到标准特征向量；

18、将所述标准特征向量分别输入各所述无监督异常检测子模型，得到各所述无监督异常检测子模型输出的用于表征所述配置无关特征向量相对于所述正常测风数据特征分布空间的初始偏离得分；

19、对各所述初始偏离得分进行综合计算，确定所述偏离得分。

20、可选的，基于剩余测风统计数据与剩余质量对比数据之间的一致性指标构建收敛判定依据，按照所述偏离得分由高至低的顺序，从所述多源数据集中迭代剔除对应窗口的数据，直至剔除后的剩余数据收敛，将停止迭代时对应的偏离得分锁定为目标判别阈值，包括：

21、按照所述偏离得分由高至低的顺序，从所述多源数据集中逐步剔除对应时间窗口的数据；

22、在每轮剔除后，以各所述测量高度对应的剩余质量对比数据为自变量、剩余测风统计数据为因变量进行线性回归拟合，计算各测量高度对应的回归决定系数、线性回归斜率及线性截距作为所述一致性指标；

23、当所有所述测量高度对应的一致性指标均满足预设验收标准时停止迭代，并将停止迭代时最后被剔除时间窗口对应的偏离得分锁定为所述目标判别阈值。

24、可选的，在按照所述偏离得分由高至低的顺序从所述多源数据集中逐步剔除数据之前，还包括：

25、对于每一所述测量高度，基于所述测量高度对应的所述质量对比数据和所述测风统计数据进行线性拟合或一致性分析，确定各所述测量高度对应的原始一致性指标；

26、确定所有所述测量高度对应的原始一致性指标是否均满足所述预设验收标准；

27、若是，则启动阈值退化防护机制，对未进行降序排序的所有所述偏离得分提取指定百分位数，直接锁定为所述目标判别阈值；

28、若否，则执行按照所述偏离得分由高至低的顺序逐步剔除数据并锁定所述目标判别阈值的步骤。

29、可选的，根据目标判别阈值识别并剔除无效测风数据，包括：

30、获取指定测风激光雷达对应的当前数据集；其中，所述当前数据集至少包括所述指定测风激光雷达在各测量高度的当前瞬时测风数据，按照所述预设时间窗口对所述当前瞬时测风数据进行统计得到的当前测风统计数据，以及当前大气状态数据；

31、以所述预设时间窗口为单位，从所述当前数据集中提取用于表征数据有效性的当前特征；所述当前特征包括随测量高度层层数变化的当前变维特征以及与测量高度层数无关的当前固定维度特征；并将所述当前变维特征通过统计聚合压缩为固定维度的当前统计特征；将所述当前统计特征与所述当前固定维度特征拼接，得到当前配置无关特征向量；

32、针对每一所述预设时间窗口，将窗口对应的当前配置无关特征向量进行标准化处理并输入所述无监督异常检测模型，得到模型输出的当前偏离得分；

33、将各所述预设时间窗口中所述当前偏离得分大于所述目标判别阈值的窗口识别为无效时间窗口；并从所述当前数据集中剔除对应所述无效时间窗口的测风数据，得到清洗后的有效测风数据。

34、可选的，所述方法还包括：

35、利用预设的可解释性分析算法，确定所述当前配置无关特征向量中的各特征对所述当前偏离得分的贡献程度；

36、将各所述当前特征中对应最大贡献程度的特征，作为无效成因特征；

37、基于预先构建的无效成因规则库，确定与所述无效成因特征对应的无效成因，得到当前无效成因；其中，所述无效成因规则库用于存储特征与无效成因之间的对应关系；所述无效成因表征测风数据无效的原因。

38、可选的，所述无效成因规则库中的无效成因至少包括信号衰减、垂向风干扰以及波束一致性破坏；其中，所述信号衰减对应的特征为信号质量特征，所述垂向风干扰对应的特征为垂向风速统计量，所述波束一致性破坏对应的特征为各波束间残差一致性指标。

39、本技术还提供了一种电子设备，包括：

40、存储器，用于存储计算机程序；

41、处理器，用于执行所述计算机程序时实现上述任一项所述的测风激光雷达无效测风数据的识别与剔除方法。

42、综上，本技术提供了一种测风激光雷达无效测风数据的识别与剔除方法及设备。获取包含瞬时测风数据、测风统计数据、质量对比数据和大气状态数据的多源数据集；以时间窗口为单位，从多源数据集中提取用于表征数据有效性的特征；将随高度变化的变维特征统计聚合压缩为固定维度的统计特征，将统计特征与固定维度特征拼接得到配置无关特征向量；将标准化处理后的配置无关特征向量输入无监督异常检测模型计算偏离得分；基于剩余测风统计数据和剩余质量对比数据之间的一致性指标构建收敛判定依据，按照偏离得分由高至低的顺序，从多源数据集中迭代剔除对应窗口的数据，锁定目标判别阈值。应用训练好的模型与锁定的目标判别阈值，将偏离得分大于阈值的窗口识别并剔除为无效测风数据。本技术通过构建配置无关特征向量与物理收敛约束，不仅显著提升了无效测风数据的识别效率和准确度，而且打破了测风项目配置的测量高度层数限制，具备良好的跨项目移植性。