一种工业时序数据通过数据处理进行在线异常监测方法与流程

1.本发明涉及基于粒子群算法优化的长短期记忆模型进行在线异常监测技术领域，具体是一种工业时序数据通过数据处理进行在线异常监测方法。


背景技术：

2.自从全球进入工业化时代以来，工业设备可以通过传感器获取海量、复杂的时序数据，如何在海量的时序数据中迅速挖掘出有用的信息是一个研究的热门方向。同时，复杂工业系统出现异常工况也是无法完全避免的，若是能够利用大数据中处理得到的重要信息对工业系统的运行异常状况进行在线监测，不仅能够在把握关键信息的同时简化数据处理过程，更是可以及时应对系统的故障，提高系统运行的可靠性。
3.根据已经发表的专利，分别对数据处理和时序数据在线监测有了部分表述。公开号为cn106557546a的中国专利公开了一种对特高压在线监测数据进行挖掘并评价的方法及系统，提出了一种关联规则，基于这种关联规则对异常数据进行了清洗，并针对清洗后的数据建立了质量评价体系，实现了对数据的深入挖掘。公开号为cn112288126a的中国专利公开了一种采样数据异常变化在线监测与诊断方法，通过合理的建立lstm模型对异常数据进行了监测诊断，该专利能够对复杂过程的工况进行监测。公开号为cn113326960a的中国专利公开了基于粒子群算法优化lstm的地铁牵引能耗预测方法，对lstm模型进行了优化处理，使其的超参数寻优的搜索能力获得了显著提高，也提高了模型预测的准确率。
4.以上专利的发表应用场合各不相同，尽管在它们的应用场合获得了不错的使用效果，也有很好的拓展使用前景，但是在工业时序数据的分析处理领域的应用尚未有详细报道。针对工业时序数据的海量数据，非常需要挖掘关键信息进行建立全新模型的在线监测系统。因此研究一种工业时序数据的数据处理并建立神经网络模型进行在线异常监测的方法具有很强的实际工程价值。


技术实现要素：

5.本发明的目是为了提出一种数据处理后的工业时序数据的在线监测方法，能够实现海量工业时序数据处理和通过处理数据建立在线监测系统。
6.为实现上述目的，本发明提供如下技术方案：一种工业时序数据通过数据处理进行在线异常监测方法，所述异常监测方法包括以下步骤：
7.步骤1：通过预处理、重复记录监测和冲突处理对在线监测的重复数据进行处理，处理过程可以通过设置阈值来实现；
8.步骤2：建立合适的关联规则对在线监测的异常数据进行处理，接着对处理后的数据质量进行分析评价；建立数据质量完备性、有效性、冗余性和规范性的阈值计算准则；通过判断数据是否满足阈值条件，对异常数据进行重新处理；
9.步骤3：使用处理后的数据在建立的基于粒子群算法优化的lstm神经网络模型中进行训练，之后能够得到预测数据；
10.步骤4：获取得到预测数据后，根据预测数据构建基于残差序列偏差中值和离差中值的数据管道；
11.步骤5：根据得到的数据管道去获取综合监测指数；通过判断时序数据是否在构建的管道区间内判断得到综合监测指数；
12.步骤6：根据综合监测指数建立状态监测模型，状态监测模型分为传感器采样模型和滑动窗模型两种；
13.步骤7：根据状态监测模型对数据异常变化进行监测；制定合理的监测异常数据的判断原则，当数据满足一定规则后能够准确判断数据是否异常；这样就完成了工业时序数据的在线异常监测。
14.作为本发明的一种优选技术方案，上述步骤4构建数据管道的方法为：
15.使用建立的神经网络模型获取预测数据，获取残差序列的公式为：
[0016][0017]
其中，{x(tk)∈rm,k＝0,1,2,
…
}是时间数据序列，而是预测数据序列。
[0018]
随后针对不同的监测时刻，分别计算残差序列的偏差中值和离差中值：
[0019][0020]
其中，med是中值算子，是用来计算序列的中值。
[0021]
随后，就可以根据两个中值确定残差数据管道，公式为：
[0022]
[ej(tk)-4.5θj(tk),ej(tk) 4.5θj(tk)](j＝1,2,
…
,m)；。
[0023]
作为一种优选技术方案，上述步骤5得到综合监测指数方法为：
[0024]
使用获得的残差数据管道计算测量数据的数据管道为：
[0025][0026]
之后可以得到综合监测指数tj(tk)为：
[0027][0028]
其中，之后进行判断，当tj(tk)＝1时，第j个传感器的节点异常报警。
[0029]
作为本发明的一种优选技术方案，上述步骤6构建的传感器采样模型和滑动窗模型：
[0030]
构造传感器采样数据模型为：
[0031][0032]
构建滑动窗模型为：
[0033][0034]
其中，ta代表数据的采样起始时间点，tb表示采样的结束时间点。
[0035]
作为本发明的一种优选技术方案，上述步骤7构建的数据是否异常变化的判断规则为：
[0036]
规则1：若监测指数满足可判断数据段{x(tn),
…
,x(tk)}均处于正常变化范围；
[0037]
规则2：若监测指数满足则可以判断对应时间段内的数据{x(ta),
…
,x(tb)}处于正常变化范围；
[0038]
规则3：若是有且则第j个传感器节点数据大部分时间在管道壁上方运行，说明监测数据多数偏大，可以认为数据处于偏大型异常；相反，若是有且则说明数据大部分在管道壁下方运行，可以认为数据处于偏小型异常。
[0039]
与现有技术相比，本发明的有益效果是：
[0040]
本发明针对海量工业数据进行在线异常监测问题，先是提出了一种数据处理的方法实现简化数据，随后建立了新型的基于粒子群算法优化的lstm模型完成了数据的异常监测。与现有技术相比，本发明能够简化处理的数据量并且在把握关键信息的同时简化数据处理过程；此外，本发明还可以及时应对系统的故障，对异常监测的友好程度较高，提高系统运行的可靠性，为处理此类问题提出了全新的思路。
附图说明
[0041]
附图1为本发明的工业时序数据的处理与在线异常监测方法流程图。
具体实施方式
[0042]
为了使本领域的技术人员更好地理解本技术方案，下面将结合本技术实施例中的附图对本技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例；基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动成果前提下所获得的所有其他实施例，都应当属于本技术保护的范围；
[0043]
需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合，下面将详细说明本技术；
[0044]
步骤1.对在线监测的重复数据进行处理。处理的流程有预处理、重复记录监测和冲突处理三个部分。其中在线监测重复数据的处理可以通过设置阈值来实现，其中相似动态阈值表示为：
[0045][0046]
步骤2.建立合适的关联规则对在线监测的异常数据进行处理，之后对处理后的数据质量进行分析评价，判断数据质量是否满足完全完备性、有效性、冗余性和规范性的阈值。如果数据满足所有的阈值条件，数据处理完成；如果数据不满足阈值条件，返回重新对异常数据进行处理。
[0047]
其中，完备性阈值的计算公式为：
[0048][0049]
式子中的dr为数据集的数据总数，ds为缺失数据个数。
[0050]
其中，有效性阈值的计算公式为：
[0051][0052]
式子中的dr为数据集的数据总数，dq为问题数据数。
[0053]
其中，冗余性阈值的计算公式为：
[0054][0055]
式子中的cr为数据集的记录总数，rr为冗余记录总数。
[0056]
其中，规范性阈值的计算公式为：
[0057][0058]
式子中的cr为数据集的记录总数，rq为问题记录数，c
pd
为数据表中数据项的总数，cs为缺少的数据项个数。
[0059]
步骤3.使用处理后的数据通过训练后的基于粒子群算法优化的lstm神经网络模型进行预测得到预测数据。若是设前期处理后的数据为时间序列数据为{x(tk)∈rm,k＝0,1,2,
…
}，从中选取参考数列zo(k)和比较数列zi(k)，首先需要定义无量纲化数据的处理方式为如下公式：
[0060][0061]
其中分母部分是序列zi的算术平均值。
[0062]
随后计算各影响因素的关联系数ξi(k)：
[0063][0064]
其中，δi(k)＝|zo(k)-z
′i(k)|，z
′i(k)为对zi(k)无量纲化后的值，ρ称为分辨系数，一般设置值为0.5。
[0065]
随后计算关联度ri：
[0066][0067]
根据选取的影响因素的关联度大小选取模型的输入变量，一般选取关联度数值大于0.6的影响因素作为输入变量。
[0068]
对处理后的数据进行归一化处理，归一化的公式为：
[0069][0070]
其中，d
*
为归一化后的数据，d为原始数据，为训练数据集的平均值，σ为训练集数据的标准差。
[0071]
接下来开始构建基于粒子群算法优化的lstm模型。lstm模型是特地用来处理长序列训练过程中的种种问题，特别是能够处理长序列训练过程的梯度消失和梯度爆炸问题。其主要原理是通过动态调节惯性权重ω来改进粒子群算法，改进后模型的速度更新公式、位置更新公式以及惯性权重ω分别为：
[0072][0073][0074][0075]
其中，v是当前粒子的速度，x是当前粒子的位置；pbest是个体粒子的最优位置，gbest是全局粒子的最优位置；ω是惯性权重，它的含义是指前一时刻粒子的速度对现在时刻粒子速度的影响水平；c1和c2是学习因子，分别用来调节个体最优位置pbest和全局最优位置gbest的步长；r1和r2是在(0,1)间生成的随机数；i是当前粒子标号；k为当前的迭代次数；d是粒子维数的标号；k
max
是最大迭代次数；ω
min
和ω
max
分别是惯性权重的最小值和最大值。根据以上公式建立完成神经网络模型。
[0076]
步骤4.若是假设使用构建的神经网络模型获取的预测数据为之后就可以根据预测数据构建基于预测残差的数据管道。获取残差序列的公式为：
[0077][0078]
其中，{x(tk)∈rm,k＝0,1,2,
…
}是时间数据序列，是预测数据序列。
[0079]
随后针对不同的监测时刻，分别计算残差序列的偏差中值和离差中值：
[0080][0081]
其中，med是中值算子，是用来计算序列的中值。
[0082]
随后，就可以根据两个中值确定残差数据管道，公式为：
[0083]
[ej(tk)-4.5θj(tk),ej(tk) 4.5θj(tk)](j＝1,2,
…
,m)；
[0084]
步骤5.根据刚刚计算的数据管道去得到综合监测指数。使用获得的残差数据管道计算测量数据的数据管道为：
[0085][0086]
之后可以得到综合监测指数tj(tk)为：
[0087][0088]
其中，之后进行判断，当tj(tk)＝1时，第j个传感器的节点异常报警。
[0089]
步骤6.根据综合监测指数建立状态监测模型。其中，状态监测模型包括传感器采样模型和滑动窗模型。构造传感器采样数据模型为：
[0090][0091]
构建滑动窗模型为：
[0092][0093]
其中，ta代表数据的采样起始时间点，tb表示采样的结束时间点。
[0094]
步骤7.根据状态监测模型对数据的异常变化监测。根据理论分析，制定合理的数据是否异常变化的判断规则为：
[0095]
规则1：若监测指数满足可判断数据段{x(tn),
…
,x(tk)}均处于正常变化范围；
[0096]
规则2：若监测指数满足则可以判断对应时间段内的数据{x(ta),
…
,x(tb)}处于正常变化范围；
[0097]
规则3：若是有且则第j个传感器节点数据大部分时间在管道壁上方运行，说明监测数据多数偏大，可以认为数据处于偏大型异常；相反，若是有且则说明数据大部分在管道壁下方运行，说明监测数据较多是偏小的，可以认为数据处于偏小型异常。到此为止，对在线数据的异常监测完毕。
[0098]
以上所述的，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。