基于谱纯化与动态记忆的流式时序异常检测方法及系统

摘要: 本发明公开了一种基于谱纯化与动态记忆的流式时序异常检测方法及系统,属于时间序列异常检测。背景技术:1、流式时间序列异常检测(streamingtimeserie...
基于谱纯化与动态记忆的流式时序异常检测方法及系统

本发明公开了一种基于谱纯化与动态记忆的流式时序异常检测方法及系统,属于时间序列异常检测。

背景技术:

1、流式时间序列异常检测(streaming time series anomaly detection, tsad)是数据挖掘与信号处理领域的核心技术,旨在从连续到来的实时数据流中,识别出显著偏离正常行为模式的数据点或子序列。在网络安全威胁感知、工业设备状态监测以及金融欺诈检测等领域,部署高效的异常检测系统对于防范灾难性故障至关重要。 随着深度学习的发展,基于重构架构(如 transformer、自动编码器)的方法逐渐占据主流。这类方法通过学习正常数据的潜在分布,构建概率或显式隐空间,使得正常数据能够被高精度重构(重构误差极小),而异常数据由于不符合所学的正常分布规律,在重构时会产生显著偏差。为了应对真实工业场景中数据流统计特性随时间连续演进(即分布漂移,distribution drift)的挑战,近期的研究开始引入在线自适应更新机制或记忆库维护机制,以动态跟踪正常模式的变化。

2、现有技术存在以下缺陷:

3、(1)流式更新过程中的记忆污染(memory contamination)问题。现有的流式自适应检测方法在进行在线参数微调或记忆库动态吸纳时,缺乏对输入信号纯度的识别与过滤机制。在复杂的工业流式环境中,短期的瞬态异常、局部尖峰和随机高频噪声经常产生突发的表征偏离。现有模型无法区分真正的长时分布演进与这类瞬态扰动,导致异常或噪声信息被无差别地吸收到模型的更新序列或存储模块中。这种污染使模型错误地学到了如何重构异常,显著降低了异常发生时的重构误差,极大地增加了漏报率(false negativerate)。

4、(2)动态演进场景下的灾难性遗忘(catastrophic forgetting)问题。在流式动态环境中,正常模式的演进是连续且多变的。现有的记忆管理机制通常采用固定容量的压缩表示(例如固定数量的代理向量或静态字典)。当新数据批次不断涌入时,为了强行适应当前的新分布,模型不得不覆盖或过度漂移已有的历史特征。这种对旧知识的抹除导致模型丧失了对历史正常行为模式的多样性表达能力,在后续重新遇到历史相似场景时会触发大量持续误报,无法在知识留存(knowledge retention)与自适应进化之间取得平衡。

技术实现思路

1、本发明的目的在于提出一种基于谱纯化与动态记忆的流式时序异常检测方法,以解决流式在线检测中瞬态异常和高频噪声造成记忆污染、正常模式演进引发灾难性遗忘及固定容量记忆难以兼顾适应性与计算开销的问题,达到提升异常识别准确性、知识留存能力及多场景实时检测稳定性的效果。

2、一种基于谱纯化与动态记忆的流式时序异常检测方法,包括以下步骤:

3、对流式时间序列窗口进行频域变换,保留低频分量并抑制高频分量,利用可学习复数谱权重对所述低频分量进行自适应滤波,并对滤波后的频域分量进行时域逆变换,得到谱纯化序列;

4、对所述谱纯化序列进行特征嵌入和上下文时序编码,得到查询特征;

5、根据所述查询特征与动态记忆库中各正常模式记忆项之间的相似度,对各正常模式记忆项进行加权聚合,得到记忆增强特征;

6、根据所述查询特征与所述正常模式记忆项的相似度扩张所述动态记忆库,并在记忆项数量超过容量上限时,基于记忆项间相似度和历史使用计数合并记忆项,得到更新后的动态记忆库;

7、将所述查询特征与所述记忆增强特征融合并进行投影重构,得到重构时间序列;

8、根据所述流式时间序列窗口与所述重构时间序列之间的重构误差确定异常分数,并将所述异常分数与异常阈值进行比较,得到异常检测结果。

9、进一步地,对流式时间序列窗口进行频域变换,保留低频分量并抑制高频分量,利用可学习复数谱权重对所述低频分量进行自适应滤波,并对滤波后的频域分量进行时域逆变换,得到谱纯化序列,包括:

10、沿时间维度对所述流式时间序列窗口进行频域变换,得到频域系数;

11、对所述频域系数进行频率模态筛选和可学习谱滤波,得到谱纯化频域系数;

12、对所述谱纯化频域系数进行时域逆变换,得到所述谱纯化序列。

13、进一步地,对所述频域系数进行频率模态筛选和可学习谱滤波,得到谱纯化频域系数,包括:

14、从所述频域系数中保留预设数量的低频模态并抑制其余高频模态,得到目标频域系数;

15、利用可学习复数谱权重对所述目标频域系数进行元素级乘法,得到所述谱纯化频域系数。

16、进一步地,对所述谱纯化序列进行特征嵌入和上下文时序编码,得到查询特征,包括:

17、对所述谱纯化序列进行令牌嵌入并融合时间辅助嵌入,得到嵌入特征;

18、对所述嵌入特征进行上下文时序编码,得到所述查询特征。

19、进一步地,对所述谱纯化序列进行令牌嵌入并融合时间辅助嵌入,得到嵌入特征,包括:

20、利用一维卷积对所述谱纯化序列进行令牌嵌入,得到令牌嵌入特征;

21、将所述令牌嵌入特征与位置嵌入特征和时间戳嵌入特征融合并进行随机失活,得到所述嵌入特征。

22、进一步地,对所述嵌入特征进行上下文时序编码,得到所述查询特征,包括:

23、对所述嵌入特征进行多头自注意力编码,得到注意力特征;

24、对所述注意力特征进行前馈映射,得到所述查询特征。

25、进一步地,根据所述查询特征与动态记忆库中各正常模式记忆项之间的相似度,对各正常模式记忆项进行加权聚合,得到记忆增强特征,包括:

26、在所述动态记忆库为空时,对所述查询特征进行均值聚合,得到首个正常模式记忆项并存入所述动态记忆库;

27、根据所述查询特征与所述动态记忆库中各正常模式记忆项之间的相似度,确定记忆检索权重;

28、根据所述记忆检索权重对各正常模式记忆项进行加权聚合,得到所述记忆增强特征。

29、进一步地,根据所述查询特征与所述动态记忆库中各正常模式记忆项之间的相似度,确定记忆检索权重,包括:

30、计算所述查询特征与所述动态记忆库中各正常模式记忆项之间的内积相似度,得到相似度得分;

31、对所述相似度得分进行指数归一化,得到所述记忆检索权重。

32、进一步地,根据所述查询特征与所述正常模式记忆项的相似度扩张所述动态记忆库,并在记忆项数量超过容量上限时,基于记忆项间相似度和历史使用计数合并记忆项,得到更新后的动态记忆库,包括:

33、当所述查询特征与各正常模式记忆项之间的最大相似度低于相似度阈值时,根据所述查询特征新增正常模式记忆项,得到扩张后的动态记忆库;

34、当所述扩张后的动态记忆库中的记忆项数量超过所述容量上限时,基于记忆项间相似度和历史使用计数合并记忆项,得到所述更新后的动态记忆库。

35、进一步地,当所述查询特征与各正常模式记忆项之间的最大相似度低于相似度阈值时,根据所述查询特征新增正常模式记忆项,得到扩张后的动态记忆库,包括:

36、确定所述查询特征与所述动态记忆库中各正常模式记忆项之间的相似度,并从所确定的相似度中确定最大相似度;

37、在所述最大相似度低于所述相似度阈值时,对所述查询特征进行均值聚合以生成新的正常模式记忆项,并将所述新的正常模式记忆项存入所述动态记忆库,得到所述扩张后的动态记忆库。

38、进一步地,当所述扩张后的动态记忆库中的记忆项数量超过所述容量上限时,基于记忆项间相似度和历史使用计数合并记忆项,得到所述更新后的动态记忆库,包括:

39、计算所述扩张后的动态记忆库中各正常模式记忆项之间的两两余弦相似度,并确定余弦相似度最高的目标记忆项对;

40、根据所述目标记忆项对中各正常模式记忆项的历史使用计数确定合并权重,按照所述合并权重合并所述目标记忆项对并移除其中一个正常模式记忆项,得到剪枝后的动态记忆库;

41、在所述剪枝后的动态记忆库中的记忆项数量仍超过所述容量上限时,继续合并记忆项,直至记忆项数量不超过所述容量上限,得到所述更新后的动态记忆库。

42、进一步地,将所述查询特征与所述记忆增强特征融合并进行投影重构,得到重构时间序列,包括:

43、将所述查询特征与所述记忆增强特征进行拼接,得到复合特征;

44、对所述复合特征进行投影并重构所述流式时间序列窗口,得到所述重构时间序列。

45、进一步地,根据所述流式时间序列窗口与所述重构时间序列之间的重构误差确定异常分数,并将所述异常分数与异常阈值进行比较,得到异常检测结果,包括:

46、计算所述流式时间序列窗口与所述重构时间序列中各对应位置之间的平方差;

47、对所述平方差进行聚合以确定所述异常分数,并将所述异常分数与所述异常阈值进行比较,得到所述异常检测结果。

48、进一步地,根据所述流式时间序列窗口与所述重构时间序列之间的重构误差确定异常分数,并将所述异常分数与异常阈值进行比较,得到异常检测结果,包括:

49、根据所述流式时间序列窗口与所述重构时间序列确定负对数似然;

50、将所述负对数似然确定为所述异常分数,并将所述异常分数与所述异常阈值进行比较,得到所述异常检测结果。

51、一种基于谱纯化与动态记忆的流式时序异常检测系统,包括:

52、可学习频域模块,用于对流式时间序列窗口进行频域变换,保留低频分量并抑制高频分量,利用可学习复数谱权重对所述低频分量进行自适应滤波,并对滤波后的频域分量进行时域逆变换,得到谱纯化序列;

53、transformer编码器,用于对所述谱纯化序列进行特征嵌入和上下文时序编码,得到查询特征;

54、动态记忆模块,用于根据所述查询特征与动态记忆库中各正常模式记忆项之间的相似度,对各正常模式记忆项进行加权聚合,得到记忆增强特征;根据所述查询特征与所述正常模式记忆项的相似度扩张所述动态记忆库,并在记忆项数量超过容量上限时,基于记忆项间相似度和历史使用计数合并记忆项,得到更新后的动态记忆库;

55、投影重构层,用于将所述查询特征与所述记忆增强特征融合并进行投影重构,得到重构时间序列;

56、异常判定模块,用于根据所述流式时间序列窗口与所述重构时间序列之间的重构误差确定异常分数,并将所述异常分数与异常阈值进行比较,得到异常检测结果。

57、本发明取得了如下有益效果。

58、1.本发明针对瞬态异常、局部尖峰和高频噪声容易侵入特征空间并污染正常模式记忆的问题,对流式时间序列窗口进行频域变换,保留稳定低频模态并抑制高频分量,利用与检测损失联合优化的可学习复数谱权重进行自适应滤波,能够在上下文时序编码和记忆更新前降低异常及噪声扰动,减少流式在线更新中的记忆污染,增强异常与正常数据之间的重构误差差异,降低漏报率,并在多个国际基准数据集上取得95.87%的平均f1分数。

59、2.本发明针对正常模式随流式环境演进以及固定容量记忆容易产生灾难性遗忘的问题,根据查询特征与正常模式记忆项之间的相似度扩张动态记忆库,并在记忆项数量超过容量上限时,确定相似度最高的记忆项对,依据历史使用计数进行加权合并,能够在限制记忆容量和计算开销的同时吸收新的正常模式、保留历史正常模式的多样性,在swat监控数据集中取得100.00%的召回率。

60、3.本发明对谱纯化序列进行特征嵌入和上下文时序编码,并将查询特征与记忆检索得到的记忆增强特征融合后进行投影重构,使正常数据能够依据动态记忆库中的正常模式获得较小的重构误差,使异常数据因无法匹配正常模式而产生较大的重构偏差,从而提高不同波动场景下异常判定的准确性、泛化性和实时运行稳定性。