基于自监督学习多头注意力网络的时序数据异常检测方法

技术特征：
1.基于自监督学习多头注意力网络的时序数据异常检测方法，其特征在于，具体步骤如下：s1：针对多个工业传感器采集到的所有时序数据，先做归一化处理，得到归一化后的时序数据x
norm
；s2：对所述归一化后的时序数据x
norm
进行数据增强，分别通过两种方式对x
norm
进行数据增强，得到两组增强后的时序数据x
aug1
和x
aug2
；第一种增强方式通过随机掩码方式去除掉一些数据，得到增强后的时序数据x
aug1
；第二种增强方式为加入噪声进行增强，得到增强后的时序数据x
aug2
；s3：通过增强后的时序数据x
aug1
和x
aug2
对特征提取网络进行预训练，包括：s3-1：将增强后的时序数据x
aug1
和x
aug2
分别送入到特征提取网络f
ξ
与f
θ
中，得到对x
aug1
和x
aug2
的表征r1和r2；s3-2：所述表征r1和 r2被分别送入到网络g
ξ
和网络 (g
θ
q
θ
) 中，并得到最终的输出数据z和q；其中，特征提取网络f
ξ
和f
θ
结构一致，参数不共享；网络g
ξ
，g
θ
和q
θ
是辅助特征提取网络进行预训练的网络，网络g
ξ
，g
θ
和q
θ
结构一致，参数不共享；网络g
ξ
和特征提取网络f
ξ
相连接，网络g
θ
和网络q
θ
与特征提取网络f
θ
相连接，(g
θ
q
θ
)代表数据先经过网络g
θ
，再经过网络q
θ
；下标ξ表示网络参数，下标θ表示网络权重；s4：对所述特征提取网络f
ξ
和f
θ
，以及网络g
θ
，q
θ
和g
ξ
进行更新；s5：在特征提取网络 f
θ
之后再加入一个全连接层，对加入的所述全连接层进行训练。2.根据权利要求1所述的基于自监督学习多头注意力网络的时序数据异常检测方法，其特征在于，所述s1中的归一化处理公式为：x
norm
=(x-mean)/std其中，x
norm
表示归一化后的时序数据，x表示多个工业传感器采集到的所有时序数据，是由一段时间内每一个工业传感器采集到的时序数据序列组合形成的多维时序数据，mean表示一段时间内所述所有时序数据的均值，std表示采集到的所有时序数据的标准差。3.根据权利要求2所述的基于自监督学习多头注意力网络的时序数据异常检测方法，其特征在于，所述s2中第二种增强方式具体为：x
aug2 = x
norm r
noise · normal(0,std)其中，r
noise
表示噪声率，是一个超参数；normal(0,std)表示生成均值为0，标准差是std的高斯白噪声。4.根据权利要求3所述的基于自监督学习多头注意力网络的时序数据异常检测方法，其特征在于，所述s4具体包括：s4-1：在最终的输出数据z和q的基础上，计算二者的损失l
loss
，计算公式如下：其中，，；s4-2：基于计算得到的所述损失l
loss
，对特征提取网络f
θ
，网络g
θ
和q
θ
采用随机梯度下降
的方式进行网络参数的更新，得到更新后的网络权重θ；s4-3：对特征提取网络f
ξ
和网络g
ξ
采用动量的方式进行更新，更新的公式如下所示：其中，τ为一个超参数，体现网络权重θ更新的速度。5.根据权利要求4所述的基于自监督学习多头注意力网络的时序数据异常检测方法，其特征在于，所述s5具体包括：仅保留特征提取网络f
θ
和特征提取网络f
θ
的网络权重θ，并在特征提取网络f
θ
后面加入一个全连接层，采用有标签的数据对加入的所述全连接层进行训练，并采用随机梯度下降的方式更新该加入的所述全连接层的权重；训练完成后将所述特征提取网络f
θ
和加入的所述全连接层作为一个整体网络应用于时序数据的异常检测。6.根据权利要求1所述的基于自监督学习多头注意力网络的时序数据异常检测方法，其特征在于，所述s3-1具体包括：s3-1-1：将增强后的时序数据x
aug1
和x
aug2
作为输入数据，输入数据经过含有残差架构的空洞因果卷积进行特征的提取，将提取后的特征作为输出数据；s3-1-2：对s3-1-1的输入数据和s3-1-1的输出数据进行求和，求和后得到的数据经过batchnorm模块进行归一化处理，将归一化处理后的数据作为输出数据；s3-1-3：将s3-1-2的输出数据输入到含有残差结构的多头注意力机制模型中进行处理，输出处理后的数据；s3-1-4：对s3-1-2的输出数据和s3-1-3输出的处理后的数据进行求和，求和后的数据经过batchnorm模块进行归一化处理，输出归一化处理后的数据；s3-1-5：将s3-1-4输出的归一化处理后的数据经过一个全连接层，最终得到对x
aug1
和x
aug2
的表征r1和r2。7.根据权利要求1所述的基于自监督学习多头注意力网络的时序数据异常检测方法，其特征在于，s3-2具体包括：s3-2-1：将所述表征r1和r2作为输入数据，经过一个线性层；s3-2-2：s3-2-2输出的数据经过batchnorm模块进行归一化处理；s3-2-3：s-2-2输出的数据再经过一个relu层；s3-2-4：s-2-3输出的数据再经过一个线性层，得到最终的输出数据z和q。8.根据权利要求1所述的基于自监督学习多头注意力网络的时序数据异常检测方法，其特征在于，网络g
θ
为投影网络，网络q
θ
为预测网络。

技术总结
本发明涉及工业数据的异常检测领域，公开了一种基于自监督学习多头注意力网络的时序数据异常检测方法，包括S1：针对多个工业传感器采集到的所有时序数据，归一化后得到时序数据x


技术研发人员：吕金虎 乔怡群 王田 刘克新 郑乔露 张钰雯
受保护的技术使用者：中国信息通信研究院 中国科学院数学与系统科学研究院
技术研发日：2022.10.10
技术公布日：2022/11/8