一种灌区监测数据预处理方法及系统与流程

本发明涉及水利监测数据处理，特别涉及一种灌区监测数据预处理方法及系统。

背景技术：

1、随着智慧水利和数字孪生灌区建设的深入推进，灌区普遍设置大量水位、流量、墒情、降雨量等在线监测传感器，实时采集雨情、水情、墒情数据，为灌溉需水预测、水资源配置决策及水情预警预报提供数据依据。然而，受户外复杂环境影响，采集到的监测数据普遍存在大量噪声干扰、数据缺失等问题，且雨情、水情、墒情三类要素数据存在极强的时空关联性，单一要素异常易传导影响后续分析。目前，常见的监测数据预处理方法中，基于固定阈值或统计规则的方式，实现简单但自适应能力差，对传感器采集的复杂噪声识别能力有限；基于单一时间序列模型的方式，通常假设数据满足平稳性或特定分布，难以捕捉灌区数据在灌溉期与非灌溉期之间的非平稳变化和季节性突变，且现有方法多针对单一要素独立处理，修复结果的可靠性有待提高。如何提高灌区监测数据预处理的准确性和可靠性，是当前需要解决的问题。

技术实现思路

1、为了解决灌区监测数据预处理的准确性和可靠性的技术问题，本发明提供了一种灌区监测数据预处理方法及系统。

2、本发明实施例第一方面公开了一种灌区监测数据预处理方法，所述方法包括：

3、采集灌区内各监测站的多要素在线监测数据，采用时间步长融合方法将不同采样频率的监测数据统一至相同时间步长，形成多源对齐的时间序列矩阵；其中，所述多要素包括雨情、水情和墒情；

4、对所述时间序列矩阵进行多尺度分解，得到表征长期变化特征的趋势分量序列和表征局部波动特征的细节分量序列；

5、针对所述细节分量序列，依据要素类型分别采用对应的异常判定规则进行异常检测，生成异常点位置标记；

6、基于所述异常点位置标记、监测站之间的空间关联关系以及各要素之间的跨要素关联关系，对所述异常点对应的趋势分量和细节分量进行协同修复，并基于灌区水文物理约束，对修复值进行校验与修正，得到修复后的监测时间序列；

7、根据所述修复后的监测时间序列生成标准化监测数据集，并为所述标准化监测数据集中各数据点生成对应的处理状态标签和置信度评分。

8、作为一种可选的实施方式，在本发明实施例第一方面中，所述采用时间步长融合方法将不同采样频率的监测数据统一至相同时间步长，形成多源对齐的时间序列矩阵，包括：

9、设定目标时间步长；

10、对于任一监测站在目标时刻的时间窗口内的在线监测数据：

11、若该时间窗口内存在唯一监测值，则以该监测值作为目标时刻的数据值；

12、若该时间窗口内存在多个监测值，则以所述多个监测值的算术平均值（或累计值）作为目标时刻的数据值；

13、若该时间窗口内无监测值，且距目标时刻最近的前后有效监测值之间的时间跨度小于预设的最大插补窗口，则以所述前后有效监测值的线性插值结果作为目标时刻的数据值；

14、若该时间窗口内无监测值，且距目标时刻最近的前后有效监测值之间的时间跨度大于或等于所述最大插补窗口，则将目标时刻标记为数据缺失；

15、基于各目标时刻的数据值及数据缺失标记，形成所述多源对齐的时间序列矩阵。

16、作为一种可选的实施方式，在本发明实施例第一方面中，所述针对所述细节分量序列，依据要素类型分别采用对应的异常判定规则进行异常检测，生成异常点位置标记，包括：

17、对于雨情数据对应的细节分量，采用基于空间相关性与物理阈值的检测规则；

18、对于水情数据对应的细节分量，采用基于无监督异常评分与深度学习时序预测的级联检测规则；

19、对于墒情数据对应的细节分量，采用基于局部统计特征与跨要素响应关系的检测规则；

20、汇集各要素的异常判定结果，确定异常点位置标记。

21、作为一种可选的实施方式，在本发明实施例第一方面中，所述基于所述异常点位置标记、监测站之间的空间关联关系以及各要素之间的跨要素关联关系，对所述异常点对应的趋势分量和细节分量进行协同修复，并基于灌区水文物理约束，对修复值进行校验与修正，得到修复后的监测时间序列，包括：

22、根据监测站之间的空间距离、渠系连通关系以及历史监测数据相关性，构建空间关联矩阵，确定各监测站的空间邻域范围及邻域权重；

23、根据雨情、水情和墒情之间的历史响应关系，构建跨要素关联矩阵，确定各要素之间的响应方向及响应强度；

24、根据所述异常点位置标记确定待修复位置，以所述空间邻域内同类要素的有效监测值和所述邻域权重进行空间插值修复，得到第一修复值，以同一监测站内存在响应关系的其他要素的有效监测值、所述响应方向及响应强度进行跨要素推估修复，得到第二修复值，并根据所述第一修复值和第二修复值确定初步修复值；

25、利用基于灌区水文物理方程构建的可微物理约束，对所述初步修复值进行物理一致性校验，并对不满足物理约束的修复值进行迭代修正，将修正后的趋势分量和细节分量重构为修复后的监测时间序列。

26、作为一种可选的实施方式，在本发明实施例第一方面中，所述根据所述修复后的监测时间序列生成标准化监测数据集，并为所述标准化监测数据集中各数据点生成对应的处理状态标签和置信度评分，包括：

27、将所述修复后的监测时间序列，按照统一的时间索引和监测站编码进行整理，形成所述标准化监测数据集；

28、根据各数据点是否经过异常检测标记以及修复处理，为各数据点分配处理状态标签；其中，所述处理状态标签至少包括原始、插补修复、物理修正和存疑；

29、根据各数据点的异常判定结果、所述协同修复中空间插值与跨要素推估的一致程度，以及所述可微物理约束校验输出的物理残差，确定各数据点的置信度评分。

30、作为一种可选的实施方式，在本发明实施例第一方面中，所述根据所述第一修复值和第二修复值确定初步修复值，包括：

31、以所述异常点对应的第一修复值和第二修复值作为输入，利用图注意力编码网络沿所述空间关联矩阵表征的空间关联关系和所述跨要素关联矩阵表征的跨要素关联关系进行消息传递，聚合所述异常点的空间邻域内相关节点的修复值特征，生成所述异常点的隐空间表征； 以可微物理约束解码网络对所述隐空间表征进行解码，输出所述初步修复值。

32、作为一种可选的实施方式，在本发明实施例第一方面中，所述根据监测站之间的空间距离、渠系连通关系以及历史监测数据相关性，构建空间关联矩阵，确定各监测站的空间邻域范围及邻域权重，包括：

33、根据灌区渠系拓扑和监测站地理位置，确定由渠段直接连通的水流物理边；

34、根据监测站之间的空间距离和历史监测数据相关性，确定气象水文关联边；

35、基于所述水流物理边和所述气象水文关联边，构建灌区水信息物联图谱；

36、以所述图谱中与目标监测站存在边连接的节点集合作为该监测站的空间邻域范围，以所述边的权重作为所述邻域权重。

37、本发明实施例第二方面公开了一种灌区监测数据预处理系统，包括：

38、数据采集模块，用于采集灌区内各监测站的多要素在线监测数据；

39、时间序列处理模块，用于采用时间步长融合方法将不同采样频率的监测数据统一至相同时间步长，形成多源对齐的时间序列矩阵；其中，所述多要素包括雨情、水情和墒情；

40、多尺度分解模块，用于对所述时间序列矩阵进行多尺度分解，得到表征长期变化特征的趋势分量序列和表征局部波动特征的细节分量序列；

41、异常检测模块，用于针对所述细节分量序列，依据要素类型分别采用对应的异常判定规则进行异常检测，生成异常点位置标记；

42、协同修复模块，用于基于所述异常点位置标记、监测站之间的空间关联关系以及各要素之间的跨要素关联关系，对所述异常点对应的趋势分量和细节分量进行协同修复，并基于灌区水文物理约束，对修复值进行校验与修正，得到修复后的监测时间序列；

43、结果输出模块，用于根据所述修复后的监测时间序列生成标准化监测数据集，并为所述标准化监测数据集中各数据点生成对应的处理状态标签和置信度评分。

44、本发明的实施例提供的技术方案可以包括以下有益效果：

45、本发明所提供的方法包括如下步骤，采用时间步长融合方法，将灌区内各监测站不同采样频率的多要素监测数据统一至相同时间步长，形成多源对齐的时间序列矩阵；对时间序列矩阵进行多尺度分解，得到趋势分量序列和细节分量序列；针对细节分量序列，依据要素类型分别采用对应的异常判定规则进行异常检测，生成异常点位置标记；基于异常点位置标记、监测站之间的空间关联关系以及各要素之间的跨要素关联关系，对异常点对应的趋势分量和细节分量进行协同修复，并以灌区水文物理约束对修复值进行校验与修正；最终输出带处理状态标签和置信度评分的标准化监测数据集。

46、此方法下，能够提高灌区多要素监测数据预处理的准确性与可靠性。

47、应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。