滚动轴承故障诊断中时序周期ResNet网络模型的构建方法与流程

滚动轴承故障诊断中时序周期resnet网络模型的构建方法
技术领域
1.本发明涉及以机器学习技术为基础的旋转机械故障诊断技术领域，具体涉及一种滚动轴承故障诊断中时序周期resnet网络模型的构建方法。


背景技术：

2.时间序列特指变量随时间先后采集的一组数据，这类数据直观反映某一变量随时间变化的状态和趋势，是众多数据不可缺少的特征之一。针对时间序列数据分类问题，研究发现时序数据特征规律对机械设备的故障诊断具有重要意义。
3.滚动轴承是机械设备重要部件之一，轴承的健康问题，直接影响机械设备的正常运行。随着现代工业的迅速发展，工业系统整体呈现复杂、智能和多样化，与此同时机械设备的各类零部件变得越来越复杂。因此，滚动轴承的健康和故障诊断十分重要。
4.在传统的时间序列轴承故障分类方法中，流程为收集原始振动信号并进行预处理，提取振动信号特征，将特征提取作为分类器的输入完成分类任务。传统的时间序列分类方法不具备应对滚动轴承复杂的运行环境，随着人工智能的迅速发展，基于深度学习的时间序列分类任务表现出较强的竞争力，迅速扩展到多个领域。常见的分类器有支持向量机，稀疏自编码器，但浅层网络结构难以解决复杂非线性信号的故障分类问题，分类准确度低。


技术实现要素：

5.针对传统的时间序列分类方法不具备应对滚动轴承复杂的运行环境以及浅层网络结构难以解决复杂非线性信号的故障分类问题、分类准确度低等技术问题，本发明提出一种滚动轴承故障诊断中时序周期resnet网络模型的构建方法，简化深度学习的运行过程，显著提高轴承数据集的故障诊断精度。
6.为解决上述技术问题，本发明采用以下技术方案：一种滚动轴承故障诊断中时序周期resnet网络模型的构建方法，包括以下步骤：
7.步骤一：获取多组不同状态的滚动轴承时序数据并进行预处理，构建时序数据集；
8.步骤二：将时序数据集划分为多个时序周期片段，并对每个时序周期片段进行分类；
9.步骤三：采用残差网络并融合注意力机制模块构建时序周期resnet网络模型；
10.步骤四：将步骤二中的多个时序周期片段划分为训练样本和测试样本，训练样本用于训练时序周期resnet网络模型；将测试样本输入到训练后的时序周期resnet网络模型中，通过softmax分类器得到滚动轴承故障诊断的分类结果。
11.对滚动轴承时序数据进行预处理的方法为：滚动轴承时序数据在获取过程中存在部分不规则变量，通过求取时序数据标准差去除滚动轴承时序数据中的部分不规则变量；预处理后的滚动轴承时序数据具有规则的时序周期。
12.将时序数据集划分为多个时序周期片段的方法为：依据预处理后的滚动轴承时序数据具有规则的时序周期，利用电机滚动轴承的转速获取每一个时序周期片段的原始振动
信号，并计算出每个时序周期片段的数据点个数r和总时序周期个数h，从而把时序数据集划分为多个时序周期片段，每个时序周期片段的周期规律相同，得到周期性数据矩阵为：
[0013][0014]
其中，r表示每一个时序周期片段的数据长度；h表示总时序周期片段的个数。
[0015]
对每个时序周期片段进行分类的方法为：通过对周期性数据矩阵添加标签完成对每个时序周期片段的分类，得到：
[0016][0017]
其中，μ＝[μ1,μ2,μ3,
…
,μs]表示每个时序周期片段的标签值。
[0018]
所述步骤四中，时序周期resnet网络模型采用残差网络提取每一类时序周期片段中滚动轴承时序数据特征，然后残差网络再将提取到的特征输出给注意力机制模块进行放大并过滤，从而对每一类时序周期片段中滚动轴承时序数据的特征达到进一步的提取。
[0019]
所述残差网络采用跳跃连接实现恒等映射，对于输入数据x
τ
，原期望输出结果为β(x
τ
)，若将x
τ
作为新期望输出结果，则学习目标为α(x
τ
)＝β(x
τ
)-x
τ
，令α(x
τ
)＝0，构成恒等映射β(x
τ
)＝x
τ
；若将原期望输出结果β(x
τ
)与输入数据x
τ
的差值作为新期望输出结果，则：
[0020]
β(x
τ
)＝α(x
τ
，{wh}) x
τ
[0021]
式中：x
τ
代表第τ层的输入数据；β(x
τ
)代表原期望输出结果；α(x
τ
,{wh})代表学习到的残差映射；残差网络包含两层卷积，则α＝w2σ(w1x
τ
)；w1、w2分别代表第1卷积层和第2卷积层的权重；τ表示输入数据x的个数；h表示第h层卷积；σ代表relu激活函数。残差网络采用跳跃连接实现恒等映射的思想，即期望输入等于期望输出，解决了深层网络由于网络层数加深出现的退化问题。残差网络在加入注意力机制模块之后，信息传递依然顺畅。
[0022]
所述残差网络采用反向传播算法，且残差网络在反向传播过程中的正向过程为：
[0023][0024]
ψ
l
＝σ(w
l
ξ
l-1
η
l
)
[0025]
式中：表示第l层的第i个元素的输出；εi表示(l-1)层输入的第i个元素的区域位置；表示(l-1)层的输出；w
il
表示l层中第i个元素的权重；表示l层中第i个元素的偏置值；l表示网络层数；ψ
l
表示第l层的输出；ξ
l-1
表示(l-1)层的特征矩阵；w
l
为第l层的权重系数矩阵；η
l
表示偏置值。
[0026]
残差网络在反向传播过程中的逆向传播过程为：
[0027][0028][0029]
式中：和分别表示重新计算更新后的每一层网络的权重值和偏差值；w和η表示正向传播过程计算出的每一层网络的权重值和偏差值；δ表示学习速率；和表示对正向传播过程计算出的每一层网络的权重值和偏差值求导计算，进行进一步的权重值和偏差值更新。
[0030]
所述注意力机制模块包括一个平均池化层和两个全连接层，注意力机制模块将输入的每个时序周期片段中滚动轴承时序数据的特征分别压缩为固定大小，平均池化层通过计算每个被压缩为固定大小的特征的所有值的平均值，将信息压缩到第κ个元素的通道中，生成第κ个元素的通道统计信息φ
κ
；所述通道统计信息通过对滚动轴承时序数据的特征收缩生成，得到：
[0031][0032]
式中：φ
κ
表示注意力机制模块的第κ个元素的通道统计信息；e
l
表示特征映射输入长度；x表示上层网络的输出，即残差网络第四个残差块的输出；t表示输入数据x长度。
[0033]
通过通道统计信息推导出通道权重，得到：
[0034][0035]
式中：表示注意力机制模块的第κ个元素的通道权重；σ表示relu激活函数；w1和w2分别是两个全连接层的权重参数。
[0036]
通过通道权重推导出注意力机制模块的输出：
[0037][0038]
式中：表示注意力模块的输出值；x
t
表示注意力机制模块的输入；t表示注意力机制模块输入数据x的总个数。
[0039]
本发明的有益效果为：
[0040]
1.本发明对滚动轴承振动信号不需要过多的预处理，避免复杂的统计学习，因此便于处理和提取数据特征，不需要复杂的计算过程。
[0041]
2.本发明完善时间序列分类任务，构建一种结合时序特征的深层神经网络模型，完成轴承时序数据集多状态分类任务；神经网络模型引入注意力机制，增强通道特征关联性。
[0042]
3.本发明解决由于深层神经网络退化而引起的检测精度下降的问题，显著提高滚动轴承故障诊断方法分类精确度，分类准确度高，提高模型实验结果。
附图说明
[0043]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0044]
图1为本发明的流程图；
[0045]
图2为本发明中残差网络对输入数据的处理流程；
[0046]
图3为本发明注意力机制模块的网络结构图；
[0047]
图4为本发明时序周期resnet网络模型的结构图。
具体实施方式
[0048]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0049]
如图1所示，本发明提供了一种滚动轴承故障诊断中时序周期resnet网络模型的构建方法，具体包括以下步骤：
[0050]
步骤一：获取多组不同状态的滚动轴承时序数据并进行预处理，构建时序数据集。
[0051]
具体为首先采集滚动轴承一维时序振动信号，获取多组不同状态的滚动轴承时序数据，构建原始时序数据集。实验台获取的滚动轴承时序数据属于连续型、多变量时间序列。
[0052]
然后对原始时序数据集中的滚动轴承时序数据进行预处理。滚动轴承时序数据在时间序列中存在多个特征点，包括：1)时序数据在采集时具有随时间推移变化的趋势；2)时序数据在不同时间点存在关联性；3)时序数据表现出时序周期性；4)时序数据获取过程中存在部分不规则变量(即不平衡分量)等。本实施例中，依据滚动轴承时序数据在采集过程中出现的不规则变量对其进行预处理，采用数据标准化的方式，即通过求取时序数据标准差去除滚动轴承时序数据中的部分不规则变量，使预处理后的滚动轴承时序数据具有规则的时序周期性特点，将预处理后具有规则时序周期的滚动轴承时序数据构建为新的时序数据集。
[0053]
步骤二：将新的时序数据集划分为多个时序周期片段。时序数据集是由λ组不同状态的时间序列组成，可定义为ξ＝[α1,α2,
…
,α
λ
]，则一个时序周期片段θ＝[α
δ
,α
δ 1
,
…
,α
δ l
]为时序数据集中整个时间序列的子集片段。依据预处理后的滚动轴承时序数据具有规则的时序周期，利用电机滚动轴承的转速获取每一个时序周期片段的原始振动信号，并计算出每个时序周期片段的数据点个数r和总时序周期个数h，从而把新的时序数据集划分为多个时序周期片段，每个时序周期片段的周期规律相同，从而得到每个时序周期片段的周期数据。而经过预处理的滚动轴承时序数据存在若干组不同状态变量，每组变量分别代表滚动轴承正常和不同类型故障的原始时间序列。利用新的时序数据集中每个时序周期片段的周期性特点，得到周期性数据矩阵：
[0054][0055]
其中：r表示每一个时序周期片段的数据长度；h表示总时序周期片段的个数。
[0056]
通过对周期性数据矩阵添加标签，从而对每个时序周期片段的分类，得到：
[0057][0058]
其中：μ＝[μ1,μ2,μ3,
…
,μs]表示每个时序周期片段的标签值。
[0059]
通过把新的时序数据集中的滚动轴承时序数据划分为具体的子集片段，以便于进行有监督的分类，完成数据类标签处理，实现滚动轴承的故障诊断与分类。
[0060]
步骤三：采用残差网络并融合注意力机制模块构建时序周期resnet网络模型，用以提取每个时序周期片段中的滚动轴承时序数据的特征进行故障诊断。时序周期resnet网络模型采用残差网络提取每一类时序周期片段中滚动轴承时序数据特征，然后残差网络再将提取到的特征输出给注意力机制模块进行放大并过滤，从而对每一类时序周期片段中滚动轴承时序数据的特征达到进一步的提取。
[0061]
时序周期resnet网络模型的结构包括输入层、隐含层、注意力模块和输出层。其中隐含层包括四个残差块，每个残差块包含四层卷积层和一层池化层，四层卷积的卷积核个数依次为64、128、256、512，卷积核大小为3，卷积核步长为2。采用残差网络提取滚动轴承时序数据的特征，以防止过拟合。注意力机制模块属于信息过滤处理结构，在众多信息中选择更多有用信息，忽略瑕疵信息，对输入的时间序列数据赋予不同注意力机制权重值，每个权重范围控制在0和1之间，从而对滚动轴承时序数据的特征达到进一步提取，完成时序分类任务。
[0062]
所述时序周期resnet网络模型采用跳跃连接的残差网络实现恒等映射，残差网络结构具有更深的层次，采用跳跃连接实现恒等映射，把输入数据作为输出直接传递给下层隐含层，作为下层隐含层的输入。残差网络是局部学习网络，通过跨越的连接方式使模型训练结果近乎为0，解决网络层数加深、分类准确率下降的问题。
[0063]
假设残差网络的输入数据为x
τ
，原期望输出结果为β(x
τ
)，若将x
τ
作为新期望输出结果，则学习目标为α(x
τ
)＝β(x
τ
)-x
τ
，令α(x
τ
)＝0，构成恒等映射β(x
τ
)＝x
τ
；若将原期望输出结果β(x
τ
)与输入数据x
τ
的差值作为新期望输出结果，则：
[0064]
β(x
τ
)＝α(x
τ
，{wh}) x
τ
[0065]
式中：x
τ
代表第τ层的输入数据；β(x
τ
)代表原期望输出结果；α(x
τ
,{wh})代表学习到的残差映射；残差网络包含两层卷积，则α＝w2σ(w1x
τ
)；w1、w2分别代表第1卷积层和第2卷积层的权重；τ表示输入数据x的个数；h表示第h层卷积；σ代表relu激活函数。
[0066]
残差网络采用跳跃连接实现恒等映射的思想，即期望输入等于期望输出，解决了深层网络由于网络层数加深出现的退化问题。残差网络在加入注意力机制模块之后，信息传递依然顺畅，不会出现退化问题。
[0067]
所述残差网络的内部结构如图2所示，残差网络由四层残差块组成，分别为conv2、conv3、conv4、conv5。conv表示卷积层，bn表示批量标准化，pooling表示池化层，relu表示激活函数，fc表示全连接层，表示网络层的输出。模块结构公式为：
[0068][0069][0070][0071]
式中：l表示第l卷积层；x
l
表示第l卷积层的输入；表示第l 1卷积层的输出；表示经过第l 1卷积层之后池化层的输出；yc表示残差网络输出值。
[0072]
残差网络反向传播由正向传播过程和逆向传播过程组成，在正向传播过程中信息依次经过输入层、隐含层最终传向输出层，并将特征存储在每一层的权重w和偏置b中。参数w和b由逆向传播进行更新。
[0073]
所述残差网络反向传播过程中的正向过程为：
[0074][0075]
ψ
l
＝σ(w
l
ξ
l-1
η
l
)
[0076]
式中：表示第l层的第i个元素的输出；εi表示(l-1)层输入的第i个元素的区域位置；表示(l-1)层的输出；w
il
表示l层中第i个元素的权重；表示l层中第i个元素的偏置值；l表示网络层数；ψ
l
表示第l层的输出；ξ
l-1
表示(l-1)层的特征矩阵；w
l
为第l层的权重系数矩阵；η
l
表示偏置值。输入信号经过残差网络各个层的处理之后，完成一次正向传播过程。
[0077]
残差网络反向传播过程中的逆向传播过程为：
[0078][0079][0080]
其中，式中：和分别表示重新计算更新后的每一层网络的权重值和偏差值；w和η表示正向传播过程计算出的每一层网络的权重值和偏差值；δ表示学习速率；和表示对正向传播过程计算出的每一层网络的权重值和偏差值求导计算，进行进一步的权重值和偏差值更新。
[0081]
注意力机制模块的网络结构如图3所示，注意力机制模块包括一个平均池化层和两个全连接层，且第一层为平均池化层，第二三层为两个全连接层，对注意力机制模块产生影响的参数有通道统计信息φ
κ
、通道数c和衰减因子r。残差网络的第四层残差块的输出为注意力机制模块的输入。注意力机制模块将输入的每个时序周期片段中滚动轴承时序数据
的特征分别压缩为固定的特征大小，平均池化层通过计算每个被压缩为固定大小的特征所有值的平均值，将信息压缩到第κ个元素的通道中，生成第κ个元素的通道统计信息，然后通过通道统计信息推导出通道权重，提取权重更高的特征比例，利用注意力机制特征通道权重数压缩特征信息映射。
[0082]
所述通道统计信息通过对滚动轴承时序数据的特征收缩生成，得到：
[0083][0084]
式中：φ
κ
表示注意力机制模块的第κ个元素的通道统计信息；e
l
表示特征映射输入长度；x表示上层网络的输出，即残差网络第四残差块的输出；t表示输入数据x长度。
[0085]
通过通道统计信息推导出通道权重，得到：
[0086][0087]
式中：表示注意力机制模块的第κ个元素的通道权重；σ表示relu激活函数；w1和w2分别是两个全连接层的权重参数。
[0088]
通过通道权重推导出注意力机制模块的输出：
[0089][0090]
式中：表示注意力模块的输出值；x
t
表示注意力机制模块的输入；t表示注意力机制模块输入数据x的总个数。
[0091]
时序周期resnet网络模型整体结构如图4所示。利用加入注意力机制模块的残差网络模型针对时间序列特征提取问题，放大时间序列的内部联系，从而对每个时序周期片段中滚动轴承时序数据特征达到进一步的提取。
[0092]
步骤四：将步骤二中的多个时序周期片段划分为训练样本和测试样本，训练样本用于训练时序周期resnet网络模型对滚动轴承时序数据的特征提取能力；将测试样本输入到训练后的时序周期resnet网络模型中，通过softmax分类器得到滚动轴承故障诊断的分类结果。
[0093]
最后，对时序周期resnet网络模型进行评估。首先选取模型评估参数，时序周期resne t网络模型采用优化器和损失函数调整运行参数，结果评估采用roc曲线。时序周期resnet网络模型参数优化器，使用adam优化器处理多分类问题；时序周期resnet网络模型参数损失函数的计算，是通过损失函数计算模型对训练样本预测值与真实值之间的偏差大小，对比模型得到的输出和训练样本对应真实输出的差值，目标化最小损失函数。交叉熵损失函数为：
[0094][0095]
其中，υ表示训练样本数量；χ表示残差网络传播过程预测结果的预测值；ω表示实际输出结果的真实值。在多分类任务中使用交叉熵损失函数具有明显优势。
[0096]
时序周期resnet网络模型评估指标，模型结果评估采用多分类roc曲线，计算roc曲线下方的面积(auc)，对比auc的大小评判模型性能。auc的计算通过采用混淆矩阵得到时序周期数据的标签正类和负类样本，对不同标签的不同诊断结果计算每个标签的假阳性率
和真阳性率：
[0097][0098][0099]
然后求每个标签的假阳性率和真阳性率的平均值，以每个标签的假阳性率和真阳性率的平均值为横、纵坐标(长和宽)进行相乘运算求得每个标签的面积，auc值即为所有标签面积的总和，最后通过对比auc值的大小突出时序周期resnet网络模型的优越性。
[0100]
对多组不同状态的滚动轴承时序数据进行实验分类分析，验证时序周期resnet网络模型对时序分类结果的准确性。本发明采用的滚动轴承故障诊断数据由美国凯斯西储大学轴承数据中心提供(https://engineering.case.edu/bearingdatacenter)，构建的时序数据集包含轴承实验台产生的多组振动信号。实验验证采用西储大学轴承数据skf 6025驱动端数据类型，采样频率为12khz，轴承两种转速分别为1797r/min和1730r/min。实验所用的振动信号是在轴承健康工况下从实验台电机驱动端采集，四种轴承数据类型分别为:(1)正常状况(normal)，(2)内圈故障(if)，(3)外圈故障(of)，(4)滚动体故障(bf)。这三种故障都是由直径0.178mm、0.356mm和0.534mm的电火花加工产生。时序数据集由四种负荷下的20种数据类型组成，一共有20种状态。对每种类型的数据选取300个样本，从中随机选择200个作为训练样本，100个为测试样本，时序数据集分布如表1所示：
[0101]
表1数据集设置
[0102][0103]
原始时序数据集通过matlab整合，建立时序周期resnet网络模型。将预处理后具有周期性的时序数据集在标签的基础上，用matlab处理为“.mat”文件，在python上作为模型输入导入“.mat”文件。使用python搭建时序周期resnet网络模型运行环境，设置keras、
tensorfow版本参数，使用relu激活函数、softmax分类器完成分类任务。
[0104]
为验证本发明所提出的时序周期resnet网络模型的有效性和优越性，使用相同的数据，采用以下6种方法对比模型的预测效果：
[0105]
方法1：支持向量机(svm)；
[0106]
方法2：堆叠式自动编码器(sae)；
[0107]
方法3：卷积神经网络(cnn)；
[0108]
方法4：残差网络(resnet)；
[0109]
方法5：注意力机制残差网络(a-resnet)；
[0110]
方法6：本发明提供的基于时序周期resnet网络模型的故障诊断方法。
[0111]
不同诊断方法的平均准确率实验结果如表2所示：
[0112]
表2不同方法实验对比结果
[0113][0114]
由表2可知，滚动轴承的时序数据集上不同分类算法的分类结果，在对比方法中支持向量机(svm)、堆叠式自动编码器(sae)、卷积神经网络(cnn)、残差网络(resnet)和注意力机制残差网络(a-resnet)对滚动轴承的检测精度都有依次提升，注意力机制残差网络的平均准确度达到90.42％，高于其他四种方法。但以提取特征为模型输入的svm方法准确率为67.48％，低于其他四种诊断方法，表明svm方法对轴承故障识别能力较低。本发明提出的时序周期resnet网络模型对滚动轴承20种不同类型原始振动数据的诊断准确率为99.85％，分类准确度比不加时序处理的注意力机制残差网络提高了9.43％，比残差网络模型提高了11.36％，与其他几类算法相比较具有显著优越性。
[0115]
对比方法中性能评估auc值如表3所示：
[0116]
表3不同方法auc对比结果
[0117][0118]
由表3可知，支持向量机(svm)、堆叠式自动编码器(sae)和卷积神经网络(cnn)的auc值在[0.7，0.85]之间，性能一般；残差网络(resnet)、注意力机制残差网络(a-resnet)和所提方法的auc值在[0.85，0.95]之间，性能较好。其中，所提方法的auc值最接近1，表现出更优越的性能。
[0119]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。