一种基于全状态注意力和BiLSTM的机械剩余使用寿命预测方法与流程

一种基于全状态注意力和bilstm的机械剩余使用寿命预测方法
技术领域
1.本发明涉及机械设备诊断领域，尤其是涉及一种基于全状态注意力和 bilstm的机械剩余使用寿命预测方法。


背景技术：

2.故障预测和健康管理(prognostics and health management，phm)已经发展成为工业机械领域系统后勤保障、维护和自主健康管理的重要支撑技术和基础。phm技术已经成为一个涵盖基础材料、机械结构、能源、电子、自动测试、可靠性、信息等多领域的交叉学科和研究热门方向，具有重要的应用价值和现实意义。
3.phm技术在过去十余年得到了长足的发展,主要技术方法包括失效机理分析方法、数据驱动的方法、机理模型和数据混合驱动方法，基于失效机理分析的方法主要通过构建描述设备失效机理的数学模型，结合特定设备的经验知识和缺陷增长方程实现设备的剩余寿命预测。由于实际工程设备本身的复杂性、任务与运行环境的多样性，其健康状态演化规律通常难以物理机理建模或者获得失效机理模型的代价过高，导致失效机理方法及机理模型和数据混合驱动方法存在推广应用难的问题，因此，基于传感器数据的数据驱动phm方法逐渐获得重视并取得快速发展，成为phm领域的重要研究热点。然而这些方法在部署的时候还是需要计算机相关领域的人员来进行人工辅助操作，在实际工业场景中难以顺利部署并交付使用，因此，亟需一种新的技术方案解决以上问题。


技术实现要素：

4.针对以上技术问题，即传统方法不能很好地应用在机械剩余使用寿命预测中，现有的一些数据驱动的方法在进行预测的时候也有明显的限制，本发明提出了一种基于全状态注意力和bilstm的机械剩余使用寿命预测方法。
5.为了实现上述技术目的，达到上述的技术要求，本发明所采用的技术方案是：一种基于全状态注意力和bilstm的机械剩余使用寿命预测方法，包括以下步骤：
6.步骤1：根据传感器收集到的数据，从中选取状态有变化的传感器数据制成数据集，减少一些恒定传感器数据对机械剩余使用寿命的影响；
7.步骤2：使用指数平滑和z-score标准化的方法对步骤1制作的数据集进行预处理；
8.步骤3：构建基于全状态注意力和bilstm的网络模型；
9.步骤4：使用步骤2预处理后的数据集和步骤3中的网络模型进行训练，并保存最好的模型权重，以获得满足工业场景下能精准预测机械剩余使用寿命的模型；
10.步骤5：将步骤4中的模型权重和步骤1、2的数据预处理方式集成到一个工程上并通过接口部署到预测平台，以满足后续随时调用模型进行机械剩余使用寿命的预测；
11.步骤6：对于步骤5部署完成的预测平台，通过传入需要分析的数据，预测平台调用接口进行预测，并将预测结果保存，预测平台再通过接口调用已经保存的预测结果显示在
前端页面，完成对机械剩余使用寿命的预测。
12.作为优选的技术方案，步骤1中对通过传感器收集到的数据，通过计算传感器读数变化曲线和传感器读数直方图，以减少恒定传感器数据对机械剩余使用寿命预测的影响。
13.作为优选的技术方案，步骤2中的指数平滑法选用二次指数平滑法，通过对筛选后的传感器数据进行二次指数平滑法来消除数据中的噪声，所述二次指数平滑法给定平滑系数α，则二次指数平滑的计算公式为：
[0014][0015]
预测未来t期的值x
t t
的计算公式为：
[0016]
x
t t
＝a
t
b
t
t
ꢀꢀꢀ
(2)
[0017]
其中：
[0018][0019]
其中，x
t
是时间t的实际值，是第t周期的一次指数平滑值，是第t 周期的二次指数平滑值，是第t-1周期的二次指数平滑值，α是平滑系数，其取值范围为[0，1]。
[0020]
作为优选的技术方案，在二次指数平滑法处理后接着对数据使用z-score 标准化数据，根据数据特点设置时间窗大小从而构建时间序列数据，经过处理的数据符合标准正态分布，即均值为0，标准差为1，其转化函数为：
[0021][0022]
其中为原始数据的均值，σ为原始数据的标准差。
[0023]
作为优选的技术方案，步骤4中通过已构建的时间序列数据去训练基于全状态注意力和bilstm的网络，调整超参数和进行相关的对比试验，以获得精准高效的预测模型，lstm的具体公式的定义如下：
[0024]it
=σ(w
ix
x
t
w
ihht-1
bi)
ꢀꢀꢀ
(5)
[0025]ft
=σ(w
fx
x
t
w
fhht-1
f)
ꢀꢀꢀ
(6)
[0026]ot
=σ(w
ox
x
t
w
ohht-1
bo)
ꢀꢀꢀ
(7)
[0027]zt
=tan h(w
zx
x
t
w
zhht-1
bz)
ꢀꢀꢀ
(8)
[0028]ct
=f
·ct-1
i
·zꢀꢀꢀ
(9)
[0029]ht
=o
·
tan h(c
t
)
ꢀꢀꢀ
(10)
[0030]
bilstm有两个传播方向，这两个方向同时传输到输出单元，这样就能捕获过去和未来的信息，在每次t时，输入同时提供给前向和向后的lstm网络， bilstm输出的结果表示为：
[0031][0032]
其中，和分别表示bilstm的正向和反向结果。
[0033]
作为优选的技术方案，步骤3中的所述模型利用tensorflow框架完成整个模型的
创建，并利用tensorflow内置的可视化工具tensorboard对整个模型训练的细节进行观测，逐步确定模型参数的范围。
[0034]
作为优选的技术方案，步骤5中将步骤4的模型权重和步骤1、2的数据预处理方式采用flask框架进行封装，并通过flask框架提供一个可调用的接口，以实现预测平台的快捷调用。
[0035]
作为优选的技术方案，步骤4中采用评价指标评价模型权重，所述评价指标为评分函数和均方根误差，即score和rmse，其公式分别如下：
[0036][0037][0038]di
＝prerul
i-actruliꢀꢀꢀ
(14)
[0039]
其中di是相对于第i个测试样本的估计rul和实际rul之间的误差，q是测试样本的数量。
[0040]
作为优选的技术方案，步骤6中通过预测平台调用后台服务器中的模型去分析预测平台传入的数据，从而预测该数据所对应的机械剩余使用寿命，并将预测结果保存以及在预测平台显示。
[0041]
本发明的有益效果是：
[0042]
对从传感器中获取的数据进行处理，利用指数平滑和z-score标准化对数据集进行预处理，构建基于全状态注意力和bilstm的网络模型，进行训练，并根据训练好的网络模型对预测平台的输入数据进行预测，并将预测结果通过预测平台清晰准确地显示在前端页面；通过将专业的代码和步骤封装进系统，工人只需要上传机械的实时数据就可以知道该数据所对应的剩余使用寿命，相比较于其他剩余使用寿命预测算法，比如基于mlp的剩余使用寿命预测算法、基于cnn的剩余使用寿命预测算法、基于bilstm的剩余使用寿命预测算法、基于 cnn和bilstm双通道混合的剩余使用寿命预测算法，本发明的预测结果更准确。
附图说明
[0043]
图1是本发明预测方法流程图；
[0044]
图2是本发明所述的传感器读数曲线和传感器读数直方图示意图；
[0045]
图3是本发明所述的二次指数平滑效果示意图；
[0046]
图4是本发明所述的lstm细胞结构示意图；
[0047]
图5是本发明所述的bilstm神经网络结构示意图；
[0048]
图6是本发明所述的全状态注意力结构示意图；
[0049]
图7是本发明所述的网络模型训练流程示意图；
[0050]
图8是本发明所述的测试集预测效果示意图；
[0051]
图9是本发明所述的测试集上不同对比算法预测结果示意图；
[0052]
图10是本发明所述的预测平台传感器读数曲线图示意图；
[0053]
图11是本发明所述的预测平台传感器读数直方图示意图；
[0054]
图12是发明所述的机械传感器采集样例示意图。
具体实施方式
[0055]
下面结合附图对本发明进一步描述。
[0056]
请参照图1-12，一种基于全状态注意力和bilstm的机械剩余使用寿命预测方法，包括以下步骤：
[0057]
步骤1：根据传感器收集到的数据，从中选取状态有变化的传感器数据制成数据集，减少一些恒定传感器数据对机械剩余使用寿命的影响；
[0058]
步骤2：使用指数平滑和z-score标准化的方法对步骤1制作的数据集进行预处理；
[0059]
步骤3：构建基于全状态注意力和bilstm的网络模型；
[0060]
步骤4：使用步骤2预处理后的数据集和步骤3中的网络模型进行训练，并保存最好的模型权重，以获得满足工业场景下能精准预测机械剩余使用寿命的模型；
[0061]
步骤5：将步骤4中的模型权重和步骤1、2的数据预处理方式集成到一个工程上并通过接口部署到预测平台，以满足后续随时调用模型进行机械剩余使用寿命的预测；
[0062]
步骤6：对于步骤5部署完成的预测平台，通过传入需要分析的数据，预测平台调用接口进行预测，并将预测结果保存，预测平台再通过接口调用已经保存的预测结果显示在前端页面，完成对机械剩余使用寿命的预测。
[0063]
如图1-12所示，在其中一些实施方式中，步骤1中对通过传感器收集到的数据，通过计算传感器读数变化曲线和传感器读数直方图，以减少恒定传感器数据对机械剩余使用寿命预测的影响；实际工业场景下的检测机械状态的传感器的数量是不固定的，以涡轮风扇发动机公开数据为例，图1中的涡轮风扇发动机包括风扇1、低压压缩机2、高压压缩机3、燃烧室4、传感器n15、传感器 n26、低压涡轮7、高压涡轮8、喷嘴9，对于采集到的众多传感器的数据信息，一般状态有波动的数据才会对机械剩余使用寿命的预测有影响，所以通过计算传感器读数曲线和传感器读数直方图，来将无状态波动的传感器数据舍弃，这不仅不会影响到机械剩使用寿命的预测，同时也能降低输入训练网络的特征维度。
[0064]
如图3所示，在其中一些实施方式中，步骤2中的指数平滑法选用二次指数平滑法，通过对筛选后的传感器数据进行二次指数平滑法来消除数据中的噪声，所述二次指数平滑法给定平滑系数α，则二次指数平滑的计算公式为：
[0065][0066]
预测未来t期的值x
t t
的计算公式为：
[0067]
x
t t
＝a
t
b
t
t
ꢀꢀꢀ
(2)
[0068]
其中：
[0069][0070]
其中，x
t
是时间t的实际值，是第t周期的一次指数平滑值，是第t 周期的
二次指数平滑值，是第t-1周期的二次指数平滑值，α是平滑系数，其取值范围为[0，1]。
[0071]
指数平滑法对实际序列具有平滑作用，权系数α越小，即平滑系数越小，平滑作用越强，但对实际数据的变动反应较迟缓。在实际序列的线性变动部分，指数平滑值序列出现一定的滞后偏差的程度随着权系数α的增大而减少，但当时间序列的变动出现直线趋势时，用一次指数平滑法来进行预测仍将存在着明显的滞后偏差。因此，也需要进行修正。修正的方法也是在一次指数平滑的基础上再进行一次指数平滑，利用滞后偏差的规律找出曲线的发展方向和发展趋势，然后建立直线趋势预测模型，故称为二次指数平滑法。
[0072]
指数平滑法有几种不同形式：一次指数平滑法针对没有趋势和季节性的序列，二次指数平滑法针对有趋势但没有季节性的序列，三次指数平滑法针对有趋势也有季节性的序列。由于对实际工业场景下机械所采集到的传感器数据呈现一种下降趋势，故此处采用二次指数平滑法。
[0073]
在其中一些实施方式中，在二次指数平滑法处理后接着对数据使用z-score 标准化数据，z-score为零-均值规范化，也叫标准差标准化，这种方法给予原始数据的均值和标准差进行数据的标准化。经过处理的数据符合标准正态分布，即均值为0，标准差为1，更具鲁棒性，其转化函数为：
[0074][0075]
其中为原始数据的均值，σ为原始数据的标准差。
[0076]
如图1、图4和图5所示，在其中一些实施方式中，经过步骤2数据预处理的数据集可以直接进入网络训练，根据实际工业场景下采集的传感器数据，设计了一种基于全状态注意力和bilstm的网络模型，具体背景及相关操作如下：
[0077]
lstm即为长短期记忆网络，bilstm即为双向长短期记忆网络。采用bilstm 方法提取输入样本数据的长期依赖特征，bilstm由两个独立的lstm神经网络组成，具有前向传播和后向传播两个方向。lstm网络是一种独特的递归神经网络，它是由输入门结构和输出门结构组成的特殊网络结构，lstm每次通过门结构影响rnn的状态，这些门只限制了信息流的各个方向，门结构的激活函数为s型。
[0078]
lstm结构的核心是遗忘门和输入门，可以有效地节省长期内存。遗忘门使神经网络通过最后时刻的当前输入x
t
和输出h
t
放弃之前的无用信息，该网络通过导入门结构和记忆单元来克服训练过程中的梯度消失或梯度爆炸。输入门根据参数x
t
和h
t-1
确定要添加到状态c
t-1
中的信息，以生成新的状态c
t
。通过遗忘门和输入门结构，lstm可以有效地确定哪些信息被遗忘，哪些信息被保留。因此， lstm提取有用的信息，输出门根据最新状态c
t
和当前输入x
t
确定h
t
的输出。
[0079]
步骤4中通过已构建的时间序列数据去训练基于全状态注意力和bilstm的网络，调整超参数和进行相关的对比试验，以获得精准高效的预测模型，lstm 的具体公式的定义如下：
[0080]it
=σ(w
ix
x
t
w
ihht-1
bi)
ꢀꢀꢀ
(5)
[0081]ft
＝σ(w
fx
x
t
w
fhht-1
f)
ꢀꢀꢀ
(6)
[0082]ot
=σ(w
ox
x
t
w
ohht-1
bo)
ꢀꢀꢀ
(7)
[0083]zt
=tan h(w
zx
x
t
w
zh h
t-1
bz)
ꢀꢀꢀ
(8)
[0084]ct
=f
·ct-1
i
·zꢀꢀꢀ
(9)
[0085]ht
=o
·
tan h(c
t
)
ꢀꢀꢀ
(10)
[0086]
bilstm有两个传播方向，这两个方向同时传输到输出单元，这样就能捕获过去和未来的信息，在每次t时，输入同时提供给前向和向后的lstm网络， bilstm输出的结果表示为：
[0087][0088]
其中，和分别表示bilstm的正向和反向结果。
[0089]
如图6所示，在其中一些实施方式中，步骤3中采用全状态注意力机制，典型的注意机制识别了与预测相关的时间步长，并从这些时间步长中提取信息，这对多变量机械剩余使用寿命的预测造成了明显的局限性。在全状态注意力机制中，网络不像典型的注意机制那样选择相关的时间步长，而是学会在bilstm 输出的所有状态的隐藏层中选择相关的时间序列，这样剩余使用寿命的预测会更加稳定和准确。
[0090]
如图7所示，在其中一些实施方式中，步骤3中的所述模型利用tensorflow 框架完成整个模型的创建，并利用tensorflow内置的可视化工具tensorboard 对整个模型训练的细节进行观测，逐步确定模型参数的范围；将步骤2中制作好的数据集放入步骤3中构建的模型中，作为模型的输入，并进行100轮的模型训练，由于整个模型利用tensorflow框架完成整个模型的创建，可利用 tensorboard对整个模型训练的细节进行观测，逐步确定模型参数的范围。
[0091]
由于网络针对特定的数据集会有不同效果的偏差，所以要进行网格寻优，主要作用是特定网络针对特定的数据集取到最佳参数。通过以上步骤，已经确定了网络参数的最优值所在的范围，在该范围中逐步确定模型参数的最优值，这可以帮助针对特定的网络模型以及数据集，确定最优的参数值，从而产生最优效果。
[0092]
如图8所示，在其中一些实施方式中，利用测试集对已经训练好的模型进行测试，直观查看测试结果优劣，通过已经得到测试集的测试结果，即模型所生成的机械剩余使用寿命预测结果，利用数据公式与真实剩余使用寿命计算多个评价指标，步骤4中利用评价指标评价出最好的模型权重，所述评价指标为评分函数和均方根误差，即score和rmse，其公式分别如下：
[0093][0094][0095]di
＝prerul
i-actruliꢀꢀꢀ
(14)
[0096]
其中di是相对于第i个测试样本的估计rul和实际rul之间的误差，q是测试样本的数量。
[0097]
在其中一些实施方式中，步骤5中将步骤3生成模型和步骤1、2的数据预处理方式
采用flask框架进行封装，并通过flask框架提供一个可调用的接口，以实现预测平台的快捷调用；为了更好的将模型应用到实际工业环境中，需要对前面4个步骤中的数据预处理方法和模型进行封装，采用flask框架。flask 是python语言中轻量级的web框架。flask轻巧、简洁，通过定制第三方扩展来实现具体功能，比较适合分层比较少，逻辑不怎么复杂的web项目。针对实际的工业环境，需要较低的开发成本和项目轻量化的标准，flask是非常适合的。
[0098]
用pycharm创建项目的时候，选择flask，直接生成框架。首先引入flask 类，然后给这个类创建了一个实例，name代表这个模块的名字。因为这个模块是直接被运行的所以此时name的值是main。接着将数据预处理方法和效果最佳模型封装到函数中。然后用route()这个修饰器定义了一个路由，告诉flask如何访问该函数。最后用fun()函数使这个应用在服务器上运行起来。这样就可以生成一个可实时调用的接口，以实现预测平台的快捷调用。
[0099]
在其中一些实施方式中，步骤6中通过预测平台调用后台服务器中的模型去分析预测平台传入的数据，从而预测该数据所对应的机械剩余使用寿命，并将预测结果保存以及在预测平台显示；在实际工业场景中，工人只需要点击预测平台中的“预测”按钮，就可以将采集到的传感器数据所在文件夹地址传入预测平台。预测平台会自动调用步骤四中的函数，函数中封装的数据预处理方法和模型会依次处理并分析输入数据，最后将预测结果保存在本地文件夹中，并通过接口返回预测结果所在文件夹地址，预测平台会根据传入地址将预测结果取出并解析，然后在预测平台显示，便捷直观，易于工人操作。
[0100]
如图9所示，本发明采用基于全状态注意力和bilstm的网络模型，同时为了说明该模型的效果，采用了目前几种主流的方法作为对比算法。对比算法主要有基于mlp的剩余使用寿命预测算法、基于cnn的剩余使用寿命预测算法、基于bilstm的剩余使用寿命预测算法、基于cnn和bilstm双通道混合的剩余使用寿命预测算法，为了直观展示实验结果，选取部分测试集预测结果如图9 所示，明显看出本发明的预测结果更加稳定，在细分的时间段中也更接近于实际的寿命，预测结果更加准确。
[0101]
实施例
[0102]
一种基于全状态注意力和bilstm的机械剩余使用寿命预测方法，包括以下步骤：
[0103]
步骤1：在众多传感器数据中筛选可用数据：
[0104]
根据传感器收集到的数据，从中选取状态有变化的传感器数据制成数据集，减少一些恒定传感器数据对机械剩余使用寿命的影响；
[0105]
步骤2：数据预处理：
[0106]
基于传感器数据的特征，对筛选后的传感器数据做二次指数平滑和z-score 标准化操作，以获得标准规范的数据集；
[0107]
步骤3：构建模型：
[0108]
构建基于全状态注意力和bilstm的网络模型；
[0109]
步骤4：模型训练和测试：
[0110]
模型训练：将步骤2中的数据集放入步骤3中的两个模型中，作为模型的输入，进行100轮的模型训练，进行网格寻优，网络针对数据集取到最佳参数；
[0111]
模型测试：利用测试集对已经训练好的模型进行测试，并查看其评价指标，并保存
最好的模型权重。
[0112]
步骤5：模型封装和部署：
[0113]
将步骤4中的模型权重和步骤1、2的数据预处理方式集成到一个工程上并通过接口部署到预测平台，以满足后续随时调用模型进行机械剩余使用寿命的预测；
[0114]
步骤6：传入数据：
[0115]
对于步骤5部署完成的预测平台，通过传入需要分析的数据，预测平台调用接口进行预测，并将预测结果保存，预测平台再通过接口调用已经保存的预测结果显示在前端页面，完成对机械剩余使用寿命的预测。
[0116]
如图10和图11所示，打开预测平台，传入各项数据后，最终预测到机械剩余寿命为11小时。
[0117]
上述实施例仅仅是为清楚地说明本发明所作的描述，而并非对实施方式的限定，对于所属领域的技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无需也无法对所有的实施方式予以穷举，而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。