一种在线时间序列异常检测方法、装置、设备及介质

摘要: 本发明涉及时间序列数据处理与智能异常检测,尤其涉及一种在线时间序列异常检测方法、装置、设备及介质。背景技术:1、随着工业设备运行监测、信息系统状态分析以及智能运...
一种在线时间序列异常检测方法、装置、设备及介质

本发明涉及时间序列数据处理与智能异常检测,尤其涉及一种在线时间序列异常检测方法、装置、设备及介质。

背景技术:

1、随着工业设备运行监测、信息系统状态分析以及智能运维等技术的发展,各类监测对象在连续运行过程中会产生大量具有时间关联性的时间序列数据。现有在线时间序列异常检测方法通常利用历史正常数据建立正常数据模型,将实时到达的待测数据与所述正常数据模型进行比较,并根据距离、密度或统计阈值等判定待测数据是否异常;为适应监测对象运行状态随时间产生的变化,部分方法还利用新到达的数据对正常数据模型进行持续更新。

2、然而,在在线更新过程中,当前到达的观测数据既是待检测对象,又可能成为正常数据模型的更新数据。若在其正常属性尚未确定的情况下直接参与模型更新,异常数据或偏离正常分布的数据可能改变正常模型的中心位置、数据离散程度或局部分布,使正常模型逐步偏离原有正常结构,进而影响后续异常判定。

3、另一方面,部分现有异常检测方法主要依据待测数据与正常数据模型之间的静态距离或预设边界进行异常判定,侧重评价待测数据相对于已有正常结构的偏离程度,难以反映待测数据参与模型更新后对原有正常数据结构造成的变化。对于具有不同内部离散程度的局部正常数据分布,采用统一距离关系或固定判定尺度,也难以充分反映待测数据对不同局部正常结构造成的扰动程度。因此,仍有必要改进在线时间序列异常检测中的模型更新和异常判定方式。

技术实现思路

1、有鉴于此,本发明的目的在于提供一种在线时间序列异常检测方法、装置、设备及介质,以改善上述问题。

2、本发明实施例提供了一种在线时间序列异常检测方法,包括:

3、s1、建立正常特征粒球:获取目标对象的历史正常时间序列数据并进行预处理,构造正常时序特征集合,根据所述正常时序特征集合建立与所述目标对象对应的多个正常特征粒球;确定多个所述正常特征粒球的粒球样本数量、粒球中心和粒球离散统计量作为正式结构参数,确定各所述正常特征粒球对应的异常判定阈值;

4、s2、确定目标粒球:以当前时刻为终点的预设时间窗口内的观测数据为准构造当前待测时序特征,计算所述当前待测时序特征与各所述正常特征粒球的粒球中心之间的欧氏距离,并将欧氏距离最小的正常特征粒球确定为目标粒球;

5、s3、执行试探吸收:读取所述目标粒球的正式结构参数,根据所述正式结构参数建立独立的临时计算状态,对所述当前待测时序特征执行试探吸收,并通过增量计算得到临时粒球样本数量、临时粒球中心和临时粒球离散统计量,作为临时结构参数;

6、s4、评估结构扰动并进行异常判定:以所述目标粒球试探吸收前后的粒球离散统计量变化以及试探吸收前的平均离散水平为基础确定结构扰动分数,并将所述结构扰动分数与目标粒球对应的异常判定阈值进行比较,以确定当前待测观测数据是否异常;

7、s5、执行在线状态更新:若当前待测观测数据判定为正常,则将所述临时结构参数提交为目标粒球更新后的正式结构参数;若判定为异常,丢弃所述临时结构参数并保持目标粒球试探吸收前的正式结构参数不变,输出所述目标对象的异常检测结果。

8、作为本发明的一种改进,s1中,所述正常特征粒球建立的具体方法为:对所述历史正常时间序列数据进行预处理,并按照预设时间窗口构造正常时序特征集合;从所述正常时序特征集合中选取部分正常时序特征初始化为候选粒球,根据候选粒球内部正常时序特征的离散程度判断其是否满足预设粒球生成条件;当不满足所述预设粒球生成条件时,对候选粒球进行分裂,并对分裂得到的子粒球继续进行判断和分裂,直至得到多个满足所述预设粒球生成条件的正常特征粒球。

9、作为本发明的一种改进,s1中,所述粒球中心等于该正常特征粒球所有正常时序特征的算术平均值;

10、所述粒球离散统计量等于正常特征粒球内部各正常时序特征与该粒球中心之间欧氏距离的平方之和。

11、作为本发明的一种改进,s3中,所述临时粒球样本数量计算方法为:

12、

13、式中,为第个正常特征粒球在当前时刻试探吸收待测时序特征后得到的临时粒球样本数量;上标表示试探吸收后的临时状态,表示第个正常特征粒球的粒球样本数量;

14、所述临时粒球中心计算方法为:

15、

16、式中,为第个正常特征粒球在当前时刻试探吸收待测时序特征后得到的临时粒球中心,表示第个正常特征粒球的粒球中心;

17、所述临时粒球离散统计量计算方法为:

18、

19、式中,表示第k个正常特征粒球在当前时刻试探吸收待测时序特征后得到的临时粒球离散统计量,表示第个正常特征粒球的粒球离散统计量,表示欧氏范数。

20、作为本发明的一种改进,s4中,结构扰动分数的计算公式为:

21、

22、式中,表示当前时刻待测时序特征对应的结构扰动分数,表示用于避免分母为零的预设正数。

23、作为本发明的一种改进,所述异常判定阈值确定方法为:从所述正常时序特征集合中,选取未参与所述正常特征粒球正式结构参数计算的正常时序特征作为阈值校准样本;针对各阈值校准样本,对确定的目标粒球,执行试探吸收,并计算历史正常结构扰动分数,且不利用所述阈值校准样本对应的临时计算结果修改所述正常特征粒球的正式结构参数;根据第k个正常特征粒球对应的历史正常结构扰动分数的统计分布,确定该正常特征粒球对应的异常判定阈值。

24、作为本发明的一种改进,s5中,执行在线状态更新具体为:当前待测观测数据判定为正常时,将临时粒球样本数量、临时粒球中心和临时粒球离散统计量分别作为目标粒球更新后的粒球样本数量、粒球中心和粒球离散统计量;当判定为异常时,丢弃所述临时计算结果,并保持目标粒球试探吸收前的粒球样本数量、粒球中心和粒球离散统计量不变;

25、输出当前待测观测数据的异常检测结果,并基于更新后或保持不变的正常特征粒球,对下一时刻到达的观测数据重复执行s2至s5。

26、本发明还提供一种在线时间序列异常检测装置,包括:

27、正常特征粒球建立单元,用于获取目标对象的历史正常时间序列数据并进行预处理,构造正常时序特征集合,根据所述正常时序特征集合建立与所述目标对象对应的多个正常特征粒球;确定多个所述正常特征粒球的粒球样本数量、粒球中心和粒球离散统计量作为正式结构参数,确定各所述正常特征粒球对应的异常判定阈值;

28、目标粒球确定单元,用于以当前时刻为终点的预设时间窗口内的观测数据为准构造当前待测时序特征,计算所述当前待测时序特征与各所述正常特征粒球的粒球中心之间的欧氏距离,并将欧氏距离最小的正常特征粒球确定为目标粒球;

29、试探吸收执行单元,用于读取所述目标粒球的正式结构参数,在不修改所述正式结构参数的条件下建立独立的临时计算状态,对所述当前待测时序特征执行试探吸收,并通过增量计算得到临时粒球样本数量、临时粒球中心和临时粒球离散统计量,作为临时结构参数;

30、结构扰动评估及异常判定单元,用于以所述目标粒球试探吸收前后的粒球离散统计量变化以及试探吸收前的平均离散水平为基础确定结构扰动分数,并将所述结构扰动分数与目标粒球对应的异常判定阈值进行比较,以确定当前待测观测数据是否异常;

31、在线状态更新执行单元,用于以下述规则执行:若当前待测观测数据判定为正常,则将所述临时结构参数提交为目标粒球更新后的正式结构参数;若判定为异常,丢弃所述临时结构参数并保持目标粒球试探吸收前的正式结构参数不变,输出目标对象的异常检测结果。

32、本发明还提供一种在线时间序列异常检测设备,包括存储器以及处理器,所述存储器内存储有计算机程序,所述计算机程序能够被所述处理器执行,以实现如上述的一种在线时间序列异常检测方法。

33、本发明还提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行,以实现如上述的一种在线时间序列异常检测方法。

34、与现有技术相比,本发明至少具有以下几个方面的优点:

35、(1)本发明在当前待测观测数据正式参与正常特征粒球更新之前,建立独立的临时计算状态并执行试探吸收,仅在判定为正常时提交临时结构参数,在判定为异常时丢弃临时计算结果并保持原正式结构参数不变,从而降低异常数据对正常特征粒球在线更新过程的干扰,有利于保持正常数据结构的稳定性。

36、(2)本发明根据待测时序特征试探吸收后引起的粒球离散统计量变化,并结合目标粒球原有的平均离散水平确定结构扰动分数,使异常判定能够依据不同正常特征粒球自身的局部波动水平进行调整,从而适应不同局部正常数据分布之间的离散程度差异。

37、(3)本发明采用粒球样本数量、粒球中心和粒球离散统计量表示正常特征粒球,并通过增量计算获得试探吸收后的临时结构参数,无需针对每个新到达的待测观测数据重新遍历目标粒球内部的全部历史正常时序特征,从而减少在线检测过程中的重复计算。