一种基于R-ARIMA与波动检验的水文实时序列异常值检测方法及系统与流程

本发明属于水文监测与数据处理，尤其涉及一种基于r-arima与波动检验的水文实时序列异常值检测方法及系统。

背景技术：

1、水文时间序列是水文监测量（如流量、水位、雨量等）按时间顺序排列的观测值序列，然而，序列中异常值的存在，既可能导致在线监测中的误判或虚假告警，也可能对时间序列分析的模型生成、预测预警等产生严重干扰，扭曲水文规律分析的成果。因此，实时、准确地检测出水文序列中的异常值，对于提高水利水电单位运管成效和改善水文分析建模精度具有重大现实意义。

2、水文时间序列异常值的产生原因复杂，主要包括：数据测量、传输、录入过程中的差错；环境因子突变（如闸门启闭、强降雨、工程施工）引发的序列跳变；测量手段或基准变化导致的数据不一致性。因此，有效检测异常值有助于挖掘序列背后的隐藏信息和规律，对辅助决策至关重要。

3、现有水文实时序列异常值在线检测方法包括模型预测法、假设检验法、聚类法、分类法、时频分析法、蒙特卡洛法、关联分析法及主层次分析法等，这些方法机理各异，各有其前提与适用场景，例如对数据的各态历经性、影响因子完整性或模型结构有特定要求。此外，依赖单一方法不可避免地存在局限性，如误判、漏判风险高，或在特定工况下鲁棒性不足。例如，单纯的统计阈值法（如3准则）在序列波动剧烈时易将正常极值误判为异常；而复杂的机器学习方法（如聚类、分类）往往计算量大，难以满足实时迭代更新的需求。

技术实现思路

1、发明目的：本发明提供一种基于r-arima与波动检验的水文实时序列异常值检测方法及系统，旨在解决现有技术存在的对数据特性依赖强、误判漏判风险高、计算复杂难以实时迭代等问题，通过融合时间序列预测与统计波动检验，并引入自迭代更新机制，实现高精度、低负载、综合性强、鲁棒性高、计算轻量且能长期稳定运行的实时异常检测。

2、技术方案：本发明所述的一种基于r-arima与波动检验的水文实时序列异常值检测方法，包括：

3、s1、获取预设数量的水文测值组成最近测序序列，基于最近测序序列构建arima模型；

4、s2、接收最新测值并使用所述arima模型产生预测值，对预测值与最新测值进行grubbs差异性校验，若检验通过，则判定最新测值为正常值，进入s4，若检验不通过，则进入s3进行二次检验；

5、s3、对预测值与最新测值进行dixon波动性检验，若检验通过，则判定最新测值为正常值，进入s4，若检验不通过，则判定最新测值为异常值；

6、s4、以滑动窗口的方式将最新测值添加到最近测值序列中，采用残差梯度法对arima模型进行迭代更新。

7、进一步的，所述基于最近测序序列构建arima模型，包括：

8、采用adf检验对最近测值序列持续进行差分操作，直至最近测值序列平稳为止，获得差分阶数与差分后的平稳序列；

9、对差分后的平稳序列进行白噪声检验，若检验结果为非白噪声序列，则获得非白噪声测值序列，否则重新检查数据或调整序列长度；

10、依据贝叶斯信息准则确定非白噪声测值序列的最优自回归阶数和最优滑动平均阶数；

11、基于确定的参数，利用极大似然估计建立arima模型，并对arima模型的残差进行白噪声检验，若检验通过，则输出arima模型，否则调整参数。

12、进一步的，所述grubbs差异性校验，包括：

13、构造grubbs差异性校验统计量，公式为：

14、；

15、其中，为最近测值序列的标准差，为预测值，为最新测值；

16、在预设的显著性水平下，若差异性校验统计量大于等于预设的grubbs临界值，为最近测值序列的测值数量，即，则判定最新测值与预测值存在显著差异，进入s3进行二次检验；若差异性校验统计量小于grubbs临界值，即，则判定最新测值为正常值，进入s4。

17、进一步的，所述dixon波动性检验，包括：

18、构造dixon波动性检验统计量，公式为：

19、；

20、其中，为最新测值，为最近测值序列的第n个测值，为最近测值序列的第n-1个测值，为最近测值序列中前后相邻两项差值中的最大值，为最近测值序列中前后相邻两项差值中的最小值；

21、在预设的显著性水平下，若波动性检验统计量大于等于dixon检验的预设临界值，即，则最新测值的波动性与最近测值序列显著不一致，判定最新测值为异常值；若波动性检验统计量小于dixon检验的临界值，即，则判定最新测值为正常值，进入s4。

22、进一步的，所述采用残差梯度法对arima模型进行迭代更新，公式为：

23、；

24、其中，为更新后的arima模型系数，为更新前的arima模型系数，为动态学习率，为损失函数关于模型系数的梯度，所述损失函数由预测残差确定，预测残差为最新测值与预测值的差值；所述动态学习率基于sigmoid函数随迭代更新次数衰减。

25、本发明所述的一种基于r-arima与波动检验的水文实时序列异常值检测系统，包括：

26、数据获取与模型搭建模块，用于获取预设数量的水文测值组成最近测序序列，基于最近测序序列构建arima模型；

27、差异性校验模块，用于接收最新测值并使用所述arima模型产生预测值，对预测值与最新测值进行grubbs差异性校验，若检验通过，则判定最新测值为正常值，进入更新模型模块，若检验不通过，则进入波动性检验模块进行二次检验；

28、波动性检验模块，用于对预测值与最新测值进行dixon波动性检验，若检验通过，则判定最新测值为正常值，进入更新模型模块，若检验不通过，则判定最新测值为异常值；

29、更新模型模块，用于以滑动窗口的方式将最新测值添加到最近测值序列中，采用残差梯度法对arima模型进行迭代更新。

30、进一步的，数据获取与模型搭建模块中，所述基于最近测序序列构建arima模型，包括：

31、采用adf检验对最近测值序列持续进行差分操作，直至最近测值序列平稳为止，获得差分阶数与差分后的平稳序列；

32、对差分后的平稳序列进行白噪声检验，若检验结果为非白噪声序列，则获得非白噪声测值序列，否则重新检查数据或调整序列长度；

33、依据贝叶斯信息准则确定非白噪声测值序列的最优自回归阶数和最优滑动平均阶数；

34、基于确定的参数，利用极大似然估计建立arima模型，并对arima模型的残差进行白噪声检验，若检验通过，则输出arima模型，否则调整参数。

35、进一步的，差异性校验模块中，所述grubbs差异性校验，包括：

36、构造grubbs差异性校验统计量，公式为：

37、；

38、其中，为最近测值序列的标准差，为预测值，为最新测值；

39、在预设的显著性水平下，若差异性校验统计量大于等于预设的grubbs临界值，为最近测值序列的测值数量，即，则判定最新测值与预测值存在显著差异，进入波动性检验模块进行二次检验；若差异性校验统计量小于grubbs临界值，即，则判定最新测值为正常值，进入更新模型模块。

40、进一步的，波动性检验模块中，所述dixon波动性检验，包括：

41、构造dixon波动性检验统计量，公式为：

42、；

43、其中，为最新测值，为最近测值序列的第n个测值，为最近测值序列的第n-1个测值，为最近测值序列中前后相邻两项差值中的最大值，为最近测值序列中前后相邻两项差值中的最小值；

44、在预设的显著性水平下，若波动性检验统计量大于等于dixon检验的预设临界值，即，则最新测值的波动性与最近测值序列显著不一致，判定最新测值为异常值；若波动性检验统计量小于dixon检验的临界值，即，则判定最新测值为正常值，进入更新模型模块。

45、进一步的，更新模型模块中，所述采用残差梯度法对arima模型进行迭代更新，公式为：

46、；

47、其中，为更新后的arima模型系数，为更新前的arima模型系数，为动态学习率，为损失函数关于模型系数的梯度，所述损失函数由预测残差确定，预测残差为最新测值与预测值的差值；所述动态学习率基于sigmoid函数随迭代更新次数衰减。

48、有益效果：与现有技术相比，本发明具有以下显著优势：

49、1、检测精度高，误判漏判风险低：通过规律性检验（grubbs准则）与波动性检验（dixon准则）的双重检验机制，既考虑序列的长期趋势，又兼顾局部合理波动，区分真实异常值与正常极值，提高查全率和查准率。

50、2、鲁棒性强：本发明不依赖于单一统计特性，在多时间尺度周期变化或局部波动剧烈的复杂水文工况下（如台风、洪水过程），均能保持稳定的检测性能。

51、3、计算轻量，适合实时处理：核心算法基于经典的arima模型和统计检验，计算复杂度低；同时，结合高效的残差梯度更新法，模型迭代更新速度快，能够满足水文数据高频采集（如每5分钟）下的实时在线检测需求。

52、4、长期稳定性好：通过迭代更新使arima模型能够持续适应水文序列非平稳、非线性的动态变化，避免模型因老化而导致的检测性能下降，保证方法的长期可靠运行。