一种无监督学习的电池生产工艺异常波动检测方法

1.本发明涉及工业生产工艺波动分析领域，具体涉及一种无监督学习的工艺波动的异常检测方法。


背景技术：

2.随着物联网和传感器技术的发展，工业生产中记录了大量的高维传感器数据，用来监测设备的运行状态。作为监控设备状态的一种重要方式，时间序列数据的异常检测在城市资源管理、计算机网络入侵检测、医疗保健和工业生产中得到了广泛关注。但是，通过传感器采集的数据多数是正常状态，而异常数据由于难以获得而较少，这就增加了异常检测的负担。如何通过现有的技术完成异常点检测，从而提高工业生产工艺波动分析的效率，减低生产设备的运行和维护成本具有重大的应用价值。
3.传统的异常点检测方法包括基于距离的方法和基于分类的方法。其中，一类支持向量机算法为基于距离方法的代表算法，通过对训练数据进行建模，从而区分出数据中的正常点和异常点。虽然该方法能够有效地解决数据的区分，但是该方法只关注了数据的本身信息，没有对时间序列的相关性进行捕捉，使得效果不佳。另一种方法是基于分类的方法，如隔离森林，该方法通过随机选择特征进行二叉树的搭建，从而完成时间序列的异常点检测，此方法需要耗费大量的时间进行特征设计和预处理，导致检测效果不稳定。
4.针对传统的异常点检测方法的缺点，基于深度学习的方法大量涌现出来，其中长短期记忆网络(long short-term memory，lstm)是处理时间序列的典型深度学习模型之一。基于lstm模型的数据异常点检测方法，主要是预测下一个时间步长内的数据，并计算预测数据与真实数据之间的距离，通过距离的大小进而判断该时间点的是否出现异常。lstm模型可以学习短期或长期时间序列数据中的非线性关系，但是对于噪声非常的敏感，从而增加了异常检测中的误分类风险。
5.综上所述，在处理电池生产过程工艺波动分析问题中，寻找一种有效的时间序列异常检测的方法，以替代现有的技术，成为了目前亟需解决的问题。


技术实现要素：

6.本发明提出一种基于无监督学习的电池生产工艺异常波动检测方法，分层特征融合重建网络hffrn(hierarchical feature fusion reconstruction network)，算法流程图如图1所示，该算法可以实现电池生产过程中工艺波动的异常检测的功能。
7.本发明的技术方案包括如下步骤：
8.1)数据采集：通过安装在电池生产设备上的传感器，采集生产过程中工艺参数的时间序列，建立数据集；
9.2)数据处理：将原始数据集划分为训练集x
train
、验证集x
val
、测试集x
test
,其中x
train
中只包含正常的样本，x
val
和x
test
中包含正常和异常的样本；对于每个数据集处理后，生成多通道特征矩阵m；
10.3)搭建hffrn模型，并使用训练集x
train
对模型进行训练；
11.搭建hffrn模型，具体构建步骤如下：
12.hffrn模型包含cnn-convlstm-attention网络，模型的第一层由4层二维卷积层组成编码层，每个二维卷积层都包含二维卷积2d-conv、批次归一化层bn以及泄露修正线性单元lrelu激活函数；通过接收与工艺相关的多通道特征矩阵序列，选择不同的卷积核的权重和窗口的宽度，4层2d-conv逐层提取特征矩阵的空间特征，完成空间特征的编码，每层的输出作为下层中间层的输入；中间层由四个并行的convlstm块组成，用于捕获多通道特征矩阵序列中的时间和空间两个维度上的特征，同时在此基础上引入注意力机制；注意力机制完成权重的分配，将更多注意力权重分配给关键特征并减少干扰；解码层由4个二维反卷积层组成，每层均包含二维反卷积2d-deconv、批次归一化层bn以及泄露修正线性单元lrelu激活函数；二维反卷积2d-deconv作为2d-conv的逆过程，通过调整卷积步长即可还原特征图特征信息；反卷积运算从最后一层反向解码到第一层，提取每一层的特征矩阵；对于最后一层直接通过对convlstm的输出进行反卷积运算得到特征提取矩阵；其余三层通过将本层convlstm的输出与i 1层的特征提取矩阵进行拼接之后再进行反卷积运算，得到本层的特征提取矩阵；特征提取矩阵用如下的公式进行表示：
[0013][0014]
其中，c1,c2,c3,c4为每块convlstm的输出，代表反卷积操作，代表串联操作，w
dei
和b
dii
分给为第i层中反卷积核的权重和偏置；
[0015]
分层特征融合层中通过4个并行的二维卷积2d-conv将特征提取矩阵转换成四个维度和大小相同的特征矩阵，公式如下：
[0016]
pi＝f(w
rei
*ri b
rei
) i＝1,2,3,4 (2)
[0017]
其中，pi为维度和大小相同的特征矩阵，w
rei
为卷积核的权重，b
rei
为卷积核的偏置；
[0018]
之后将这四个特征矩阵输入到联络层进行拼接；最后通过使用一个2
×
2的卷积核对特征矩阵中的特征值进行信息融合，得到融合特征矩阵，也即最终需要的重构特征矩阵，重构特征矩阵表示为：
[0019]
o＝f([p1；p2；p3；p4]*w b) (3)
[0020]
其中，o为重构特征矩阵，w为卷积核的权重，b为卷积核的偏置；[p1；p2；p3；p4]表示将p1、p2、p3和p4进行拼接；
[0021]
4)使用验证集x
val
用于验证已训练好的网络模型，并通过使用一种完全自适应的最佳阈值确定机制，寻找合适的阈值t；
[0022]
使用一种完全自适应的最佳阈值确定机制，寻找合适的阈值t，对异常得分进行划分，异常得分在该阈值以下的为正常点，反之为异常点；具体步骤如下：
[0023]
由于模型是使用正常的样本训练的，所以对于正常的样本模型实现很好的重构，验证集x
val
的数据中既有正常数据又有异常数据，重构时会产生较大的误差，通过以下公式表示异常得分：
[0024]
ε＝||o-m||
2 (4)
[0025]
其中，|| ||表示l2范数；
[0026]
将在验证集x
val
得到的异常得分ε1,ε2,...,εn按照升序的顺序进行排序，得到新的异常得分为假设最佳阈值为t，使得当异常得分ε
t
≤t的事件被分为正常点，反之为异常点；此时t满足以下的条件：
[0027][0028]
其中1≤t＜n；此时，正常事件和异常事件所占的比例为w0和w1，它们的均方差为δ0和δ1，通过以下公式表示：
[0029][0030][0031]
其中xi表示第i个异常得分，μ表示整体得分的均值；
[0032]
假设在最佳阈值t时，重建正常和异常样本后的最大化异常得分的类间方差为δ2，则
[0033]
δ2＝w0(t)
·
δ0(t) w1(t)
·
δ1(t) (8)
[0034]
对于最佳阈值t的寻找，只需要遍历所有时刻t，找出使得上式最大化的t，并将其对应的作为最佳的阈值，即
[0035]
5)使用测试集x
test
测定模型性能和泛化能力。
[0036]
作为优选，所述步骤1)数据采集，使用传感器获得电池生产过程中每个工艺下的时间序列，其中工艺包括混料、涂布、叠片和化成；将其建立成原始数据集x＝(x0,x1,
…
,xn)
t
∈rn×
t
，其中n为序列的维度，t为每个序列的长度；每一个样本包含t个样本点，即xi＝(x
1i
,x
2i
,
…
,x
ti
)，其中i表示原始数据集中第i个样本。
[0037]
作为优选，所述步骤2)数据处理，按照2:1:1比例对数据集划分为训练集x
train
验证集x
val
和测试集x
test
；对于每部分数据通过滑动窗口进行数据的等长度片段化分割，窗口的长度为w，之后对窗口中的任意两个时间序列进行互相关计算，生成多通道特征矩阵m。
[0038]
作为优选，hffrn模型训练中使用均方误差作为模型的损失函数。
[0039]
作为优选，所述的使用测试集x
test
测定模型性能和泛化能力，具体为：将训练和调节参数完成的模型，用测试集x
test
的数据进行模型测试，得到测试集中每个样本的异常得分，通过精准度、召回率和f1分数，对模型的性能进行评估。
[0040]
本发明的有益效果是：
[0041]
本发明提出的特征融合重建网络(hffrn)，该网络中编码器网络通过多层卷积操作对输入的多通道特征矩阵进行空间上的特征提取。convlstm网络可以提取输入的多通道特征矩阵序列在不同时间步长中的时间特征，完成数据的特征捕捉，同时在此基础上添加的注意力机制可以完成权重分配，将更多的注意力权重分配给关键的特征并减少噪声的干扰。通过译码器网络可以解码在上一步获得的特征映射，同时，利用特征矩阵信息的非对称能力来构造特征提取矩阵，从而增强各层之间的特征重用性。分层特征融合模型增加各层之间的特征交互，使得模型能够感知更多的特征维度和时间维度的信息。最后提出自适应阈值机制可以高效、自适应地对异常得分进行有效的划分。最终实现电池生产工艺异常波
动检测。
附图说明
[0042]
图1为本发明方法的流程图；
[0043]
图2为本发明的神经网络整体结构图。
具体实施方式
[0044]
下面结合附图及具体实施例对本发明作进一步详细说明。
[0045]
如图1所示，本发明包含以下步骤。
[0046]
1)数据采集：通过安装在电池生产设备上的传感器，采集生产过程中工艺参数的时间序列，建立数据集。
[0047]
2)数据处理：将原始数据集划分为训练集x
train
、验证集x
val
、测试集x
test
,其中x
train
中只包含正常的样本，x
val
和x
test
中包含正常和异常的样本。
[0048]
3)搭建hffrn模型，并使用训练集x
train
对模型进行训练。
[0049]
4)使用验证集x
val
用于验证以训练好的网络模型，并通过使用一种完全自适应的最佳阈值确定机制，寻找合适的阈值t。
[0050]
5)使用测试集x
test
测定模型性能和泛化能力。
[0051]
所述步骤1)数据采集，使用传感器获得电池生产过程中每个工艺下的时间序列，其中工艺包括混料、涂布、叠片和化成。将其建立成原始数据集x＝(x0,x1,
…
,xn)∈rn×
t
(其中n为序列的维度，t为每个序列的长度)。每一个样本包含t个样本点，即xi＝(x
1i
,x
2i
,
…
,x
ti
)，其中i表示原始数据集中第i个样本。
[0052]
所述步骤2)数据处理，按照2:1:1比例对数据集划分为训练集x
train
验证集x
val
和测试集x
test
。对于每部分数据通过滑动窗口(窗口的长度为w)进行数据的等长度片段化分割，之后对窗口中的任意两个时间序列进行互相关计算，生成多通道特征矩阵m。
[0053]
所述步骤3)中的hffrn模型整体结构图如图2所示，具体构建步骤如下：
[0054]
hffrn模型包含cnn-convlstm-attention网络，模型的第一层由4层二维卷积层组成编码层，每个二维卷积层都包含二维卷积(2d-conv,two-dimension convolution)、批次归一化层(bn,batch normalization)以及泄露修正线性单元(lrelu,leaky rectified linear unit)激活函数。通过接收与工艺相关的多通道特征矩阵序列，选择不同的卷积核的权重和窗口的宽度，4层2d-conv逐层提取特征矩阵的空间特征，完成空间特征的编码，每层的输出作为下层中间层的输入。中间层由四个并行的convlstm块组成，用于捕获多通道特征矩阵序列捕获时间和空间两个维度上的特征，同时在此基础上引入注意力机制。注意力机制完成权重的分配，将更多注意力权重分配给关键特征并减少干扰。解码层由4个二维反卷积层组成，每层均包含二维反卷积(2d-deconv，two-dimension deconvolution)、bn层以及激活函数lrelu。2d-deconv作为2d-conv的逆过程，通过调整卷积步长即可还原特征图特征信息。反卷积运算从最后一层反向解码到第一层，提取每一层的特征矩阵。对于最后一层(i＝4)直接通过对convlstm的输出进行反卷积运算得到特征提取矩阵。其余三层(0《i《4)通过将本层convlstm的输出与i 1层的特征提取矩阵进行拼接之后再进行反卷积运算，得到本层的特征提取矩阵。特征提取矩阵可以用如下的公式进行表示：
[0055][0056]
其中，c1,c2,c3,c4为每块convlstm的输出，代表反卷积操作，代表串联操作，w
dei
和b
dii
分给为第i层中反卷积核的权重和偏置。
[0057]
分层特征融合模型中通过4个并行的2d-conv将特征提取矩阵转换成四个维度和大小相同的特征矩阵，公式如下：
[0058]
pi＝f(w
rei
*ri b
rei
) i＝1,2,3,4 (2)
[0059]
其中，pi为维度和大小相同的特征矩阵，w
rei
为卷积核的权重，b
rei
为卷积核的偏置。
[0060]
之后将这四个特征矩阵输入到联络层进行拼接。最后通过使用一个2
×
2的卷积核对特征矩阵中的特征值进行信息融合，得到融合特征矩阵，也即最终需要的重构特征矩阵，重构特征矩阵表示为：
[0061]
o＝f([p1；p2；p3；p4]*w b) (3)
[0062]
其中，o为重构特征矩阵，w为卷积核的权重，b为卷积核的偏置。[p1；p2；p3；p4]表示将p1、p2、p3和p4进行拼接。
[0063]
模型构建完成之后，使用训练集x
train
的数据，对hffrn模型进行训练，反复多次训练，使得模型效果达到最优。其中使用均方误差作为模型的损失函数。
[0064]
所述步骤4)中将验证集x
val
数据验证以训练好的网络模型，并通过使用一种完全自适应的最佳阈值确定机制，寻找合适的阈值t。
[0065]
本步骤中使用一种完全自适应的最佳阈值确定机制，寻找合适的阈值t，对异常得分进行划分，异常得分在该阈值以下的为正常点，反之为异常点。具体步骤如下：
[0066]
由于模型是使用正常的样本训练的，所以对于正常的样本模型可以实现很好的重构，验证集x
val
的数据中既有正常数据又有异常数据，重构时会产生较大的误差，可通过以下公式表示异常得分：
[0067]
ε＝||o-m||
2 (4)
[0068]
其中，|| ||表示l2范数。
[0069]
将在验证集x
val
得到的异常得分ε1,ε2,...,εn按照升序的顺序进行排序，得到新的异常得分为假设最佳阈值为t，使得当异常得分ε
t
≤t的事件被分为正常点，反之为异常点。此时t满足以下的条件：
[0070][0071]
其中1≤t＜n。此时，正常事件和异常事件所占的比例为w0和w1，它们的均方差为δ0和δ1，可以通过以下公式表示：
[0072][0073][0074]
假设在最佳阈值t时，重建正常和异常样本后的最大化异常得分的类间方差为δ2，
则
[0075]
δ2＝w0(t)
·
δ0(t) w1(t)
·
δ1(t) (8)
[0076]
对于最佳阈值t的寻找，只需要遍历所有时刻t，找出使得上式最大化的t，并将其对应的作为最佳的阈值，即
[0077]
所述步骤5)中将训练和调节参数完成的模型，用测试集x
test
的数据进行模型测试，得到测试集中每个样本的异常得分，通过精准度(precision)、召回率(recall)和f1分数，对模型的性能进行评估。