一种时序数据的异常检测方法、装置、设备、介质及产品与流程
本公开涉及人工智能,尤其涉及一种时序数据的异常检测方法、装置、设备、介质及产品。
背景技术:
1、异常检测,也称为异常识别或离群点检测,是识别数据中显著偏离正常模式的异常点的关键技术,在工业生产、网络安全等领域具有重要应用价值,例如在工业场景中,通过检测设备运行的时序数据异常,可提前发现故障隐患并进行预防性维护,避免重大经济损失。
2、在相关技术中,通常通过自编码器和预测模型对时序数据进行异常检测,但是,相关技术中的检测方法的精度较差,并且相关技术中的检测方法依赖于特定数据集,难以扩展至其他应用场景。鉴于此,如何提出一种高精度且泛化性强的时序数据的异常检测方法成为亟待解决的问题。
技术实现思路
1、本公开提供了一种时序数据的异常检测方法、装置、设备、介质及产品。
2、根据本公开的第一方面,提供了一种时序数据的异常检测方法,所述方法包括:
3、将原始时序数据输入至基于自注意力模型的编码器中进行编码处理,得到目标特征矩阵;所述目标特征矩阵用于指示所述原始时序数据中各时间点下所对应多维度数据之间的关系,以及各维度数据在各时间点的特征;
4、将所述目标特征矩阵输入至记忆网络模型,得到目标预测序列;所述目标预测序列用于指示各维度数据在历史时刻和未来时刻的预测值;
5、基于所述目标预测序列确定所述原始时序数据的异常评价结果;所述异常评价结果用于表征所述原始时序数据中各时间点下所对应各维度数据的异常程度;
6、基于所述异常评价结果在所述原始时序数据中确定异常数据。
7、进一步地,所述将原始时序数据输入至基于自注意力模型的编码器中进行编码处理,得到目标特征矩阵,包括:
8、基于预设滑动时间窗口对所述原始时序数据进行划分,得到多个数据序列;
9、将每个所述数据序列中的数据进行归一化处理,得到归一化数据序列,并将所述归一化数据序列输入至所述编码器中进行编码处理,得到目标特征矩阵。
10、进一步地,所述将所述归一化数据序列输入至所述编码器中进行编码处理,得到目标特征矩阵,包括:
11、通过所述编码器中第一自注意力模块对所述归一化数据序列进行压缩编码,得到第一特征矩阵;其中,所述第一特征矩阵用于指示所述原始时序数据中各维度数据在每个时间点上的特征;
12、通过所述编码器中第二自注意力模块对所述归一化数据序列进行压缩编码,得到第二特征矩阵;其中,所述第二特征矩阵用于指示所述原始时序数据中各时间点下所对应的多维度数据之间的关联关系;
13、基于所述第一特征矩阵和所述第二特征矩阵确定所述目标特征矩阵。
14、进一步地,所述将所述目标特征矩阵输入至记忆网络模型,得到目标预测序列,包括:
15、通过所述记忆网络模型对所述目标特征矩阵进行处理,得到第一预测序列和第二预测序列;其中,所述第一预测序列用于指示各维度数据在各历史时刻的预测值,所述第二预测序列各维度数据在各未来时刻的预测值;
16、基于所述第一预测序列和所述第二预测序列确定所述目标预测序列。
17、进一步地,所述基于所述目标预测序列确定所述原始时序数据的异常评价结果,包括:
18、基于所述目标预测序列,确定所述原始时序数据的点级别异常值和区间级别异常值;其中,所述点级别异常值用于指示所述原始时序数据中各时间点下各维度数据的偏离程度,所述区间级别异常值用于指示所述原始时序数据中各指定时间区间点下维度数据整体的偏离程度;
19、基于所述原始时序数据的点级别异常值和所述区间级别异常值确定所述原始时序数据的异常评价结果。
20、进一步地,所述基于所述目标预测序列,确定所述原始时序数据的点级别异常值,包括:
21、基于第一公式确定所述原始时序数据的点级别异常值;其中,所述第一公式为p为所述点级别异常值,||·||2为向量的二范数的平方计算公式,xi,j为所述原始时序数据中第i个时间点所对应的第j个维度数据,为所述目标预测序列中与xi,j相对应的数据。
22、进一步地,所述基于所述目标预测序列,确定所述原始时序数据的区间级别异常值,包括:
23、基于第二公式确定所述原始时序数据的区间级别异常值;其中,所述第二公式为c为所述区间级别异常值,dtw为动态时间弯曲计算公式,l为预设序列长度,xi,j-l+1,…,xi,j+l为在所述原始时序数据中以xi,j为中心,向两侧延伸l之后所构成的序列片段,为所述目标预测序列中与xi,j-l+1,…,xi,j+l相对应的序列片段。
24、进一步地,所述基于所述原始时序数据的点级别异常值和所述区间级别异常值确定所述原始时序数据的异常评价结果,包括:
25、计算所述点级别异常值与所述区间级别异常值的乘积,得到所述原始时序数据中各时间点下各维度数据的异常分数;
26、基于所述异常分数确定所述异常评价结果。
27、进一步地,所述基于所述异常评价结果在所述原始时序数据中确定异常数据,包括:
28、将所述异常评价结果中的异常分数进行降序排列,得到排序结果;
29、基于所述异常分数的下降速率在所述排序结果中确定肘点;其中,所述肘点用于指示所述原始时序数据中异常数据和正常数据之间的分界点;
30、基于所述肘点确定所述原始时序数据中的异常数据。
31、进一步地,所述基于所述肘点确定所述原始时序数据中的异常数据,包括:
32、将所述排序结果中位于所述肘点之前的异常分数所对应的数据确定为异常数据。
33、根据本公开的第二方面,提供了一种时序数据的异常检测装置,所述装置包括:
34、第一处理模块,用于将原始时序数据输入至基于自注意力模型的编码器中进行编码处理,得到目标特征矩阵;所述目标特征矩阵用于指示所述原始时序数据中各时间点下所对应多维度数据之间的关系,以及各维度数据在各时间点的特征;
35、第二处理模块,用于将所述目标特征矩阵输入至记忆网络模型,得到目标预测序列;所述目标预测序列用于指示各维度数据在历史时刻和未来时刻的预测值;
36、第一确定模块,用于基于所述目标预测序列确定所述原始时序数据的异常评价结果;所述异常评价结果用于表征所述原始时序数据中各时间点下所对应各维度数据的异常程度;
37、第二确定模块,用于基于所述异常评价结果在所述原始时序数据中确定异常数据。
38、根据本公开的第三方面,提供了一种电子设备。该电子设备包括:存储器和处理器,所述存储器上存储有计算机程序,所述处理器执行所述程序时实现如以上所述的方法。
39、根据本公开的第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现本公开的上述方法。
40、根据本公开的第五方面,提供了一种计算机程序产品。该计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现本公开的上述方法。
41、本公开实施例提供的一种时序数据的异常检测方法、装置、设备、介质及产品,在本技术实施例中,首先,将原始时序数据输入至基于自注意力模型的编码器中进行编码处理,得到目标特征矩阵;目标特征矩阵用于指示原始时序数据中各时间点下所对应多维度数据之间的关系,以及各维度数据在各时间点的特征;然后,将目标特征矩阵输入至记忆网络模型,得到目标预测序列;目标预测序列用于指示各维度数据在历史时刻和未来时刻的预测值;之后,基于目标预测序列确定原始时序数据的异常评价结果;异常评价结果用于表征原始时序数据中各时间点下所对应各维度数据的异常程度;最后,基于异常评价结果在原始时序数据中确定异常数据。
42、通过上述描述可知,本公开技术方案通过自注意力模型的编码器对原始时序数据进行编码得到目标特征矩阵,可以有效捕捉各时间点多维度数据间的复杂关联及各维度数据在时间序列上的特征,突破了传统方法对多变量时序数据内在关联性建模不足的局限,显著提升了对原始时序数据特征的捕捉精度,进而为后续高精度目标预测序列的生成奠定了基础;本公开技术方案将目标特征矩阵输入至记忆网络模型得到目标预测序列,通过历史与未来时刻的双向预测,可以生成高精度的目标预测序列,实现了对各维度数据在不同时刻的准确预测,提升了模型对复杂时序数据的重构能力;并且本公开技术方案基于目标预测序列确定原始时序数据的异常评价结果,进而基于异常评价结果在原始时序数据中确定异常数据,可以摆脱对经验规则和特定数据集的依赖,在保证了时序数据的异常检测方法精度的同时,还提升了时序数据的异常检测方法的泛化性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com