使用无监督深度神经网络的多维时序数据实时异常检测方法与流程

技术特征：
1.一种使用无监督深度神经网络的多维时序数据实时异常检测方法，其特征在于，包括以下步骤：步骤1、获得当前时刻之前设定时间段内的m组实时历史数据组，相邻实时历史数据组之间步长为w，每组实时历史数据组包含ω条实时历史数据，每条实时历史数据包含n个属性的实时历史属性数据；获得当前时刻的一条新采集数据，该条新采集数据包含n个属性的新采集属性数据；步骤2、计算每组实时历史数据组的相关性特征，得到每组实时历史数据组的相关性特征矩阵fm，相关性特征矩阵fm为n阶方阵，m个相关性特征矩阵fm组成长度为m的特征矩阵序列；将最新的一条新采集数据看作一个大小为n
×
1的一维矩阵，用计算相关性特征的方法计算这个一维矩阵的特征矩阵，得到自身特征矩阵sfm，该自身特征矩阵sfm为n阶方阵；步骤3、将特征矩阵序列输入提取特征重建数据模块，提取特征重建数据模块使用四层卷积神经网络作为特征提取器，为每一层卷积神经网络增加一层专门处理时间序列数据的lstm网络结构，对每一层lstm网络结构输出的特征提取矩阵进行重构获得重构矩阵，每一层重构矩阵的大小与当前一层lstm网络结构输出的特征提取矩阵大小一致，所有重构矩阵构成了重构矩阵序列，该重构矩阵序列为特征提取器的输出，且重构矩阵序列的大小与输入的特征矩阵序列的大小一致；提取特征重建数据模块将重构矩阵序列作为一线性回归的输入，线性回归的输出为预测采集数据，该预测采集数据的表现形式为n阶方阵psfm；步骤4、进行数据异常评估，包括以下步骤：步骤401、计算方阵psfm与自身特征矩阵sfm的差异；步骤402、依据上一步计算得到的差异计算异常得分sc；步骤403、根据给定的阈值δ判断异常得分sc是否达到了异常的范围：如果异常得分sc大于阈值δ，则说明可能发生了异常，立即将异常信号返回；如果异常得分sc不大于阈值δ，则直接将结果存储。2.如权利要求1所述的一种使用无监督深度神经网络的多维时序数据实时异常检测方法，其特征在于，步骤2中，所述相关性特征矩阵fm的计算公式为：式中，每组实时历史数据组的ω条实时历史数据为一个大小为n
×
ω的矩阵m。3.如权利要求1所述的一种使用无监督深度神经网络的多维时序数据实时异常检测方法，其特征在于，步骤401中，将距离矩阵dm作为所述方阵psfm与所述自身特征矩阵sfm的差异，dm＝‖psfm
‑
sfm‖2。4.如权利要求3所述的一种使用无监督深度神经网络的多维时序数据实时异常检测方法，其特征在于，步骤402中，计算异常得分sc时，统计所述距离矩阵dm中大于给定阈值θ的元素值的数量，将统计结果作为所述异常得分sc，sc＝f(dm,θ)，f是统计距离矩阵dm中大于阈值θ的元素的数量。5.如权利要求4所述的一种使用无监督深度神经网络的多维时序数据实时异常检测方法，其特征在于，所述阈值θ根据多个历史正常数据的距离矩阵hndms设定，则有：
θ＝1.5
×
(q3(max(hndms))
‑
q1(max(hndms))) q3(max(hndms))其中，max(hndms)为所有距离矩阵hndms中的最大数值组成的集合，q1和q3分别表示集合max(hndms)的下四分位数和上四分位数。6.如权利要求1所述的一种使用无监督深度神经网络的多维时序数据实时异常检测方法，其特征在于，步骤403中，采用以下方法设定所述阈值δ：步骤4031、得到多个历史正常数据的异常得分的异常得分集合sn，基于异常得分集合sn计算得到临时阈值δ
′
，有：δ
′
＝1.5
×
(q3(sn)
‑
q1(sn)) q3(sn)q1和q3分别表示异常得分集合sn的下四分位数和上四分位数；步骤4032、判断异常得分集合sn中是否存在大于临时阈值δ
′
的值，如果存在，则将所述阈值δ设置为异常得分集合sn中大于临时阈值δ
′
那部分值的上四分位数；如果不存在，则直接将所述阈值δ设为异常得分集合sn中的最大值，即有：δ表示为：

技术总结
本发明提供的一种使用无监督深度神经网络的多维时序数据实时异常检测方法可以分为两个阶段，分别为训练阶段和检测阶段。训练阶段需要利用历史采集的数据训练模型，拟合出符合这一应用场景的监测系统。在检测阶段，在真实数据产生之前，提前预测出接下来要到达的数据，根据真实到达的数据与预测数据之间的差异判断是否异常。一旦新到达的数据与预测数据之间的距离大于系统设定的阈值，判断该时刻采集的数据为异常数据，并发出异常提醒。本发明融合多种深度学习模型的优点，建立了一个自动实时检测多维时间序列中异常事件的模型。本发明具有很好的可扩展性，适用于多种场景下的多维时间序列异常检测。时间序列异常检测。时间序列异常检测。


技术研发人员：赵培海 王咪咪 常晓燕
受保护的技术使用者：东华大学
技术研发日：2021.07.27
技术公布日：2021/10/29