一种二叉树滤波器Transformer模型及其用于轴承故障诊断的方法

一种二叉树滤波器transformer模型及其用于轴承故障诊断的方法
技术领域
1.本发明属于深度学习技术领域以及机械故障诊断技术领域，具体涉及一种二叉树滤波器transformer模型及其用于轴承故障诊断的方法。


背景技术：

2.滚动轴承作为旋转机械最广泛使用的零部件之一，常常在高速、高负载条件下运行，一旦发生故障，便会带来难以预计的灾难。对轴承及时进行故障诊断、制定合适的维修策略，从而有效减小无效开支并提高维修效率，是轴承养护工作的至关重点。因此，如何对滚动轴承进行有效的故障诊断，具有重要的现实意义。
3.滚动轴承的故障类型及其严重程度，会反映在其振动信号上；因而目前已有一些研究工作利用振动信号来进行故障诊断，以此识别出轴承(主要是滚子、内圈和外圈)的故障状态。但随着机械设备的复杂程度日益增加，以及振动信号的非平稳性、非线性的特点，导致从振动信号中提取出具有代表性的关键特征信息变得较为困难。
4.随着机器深度学习技术的发展，利用深度学习模型提取特征信息成为当下一种较为有效的手段。而对于基于振动信号的故障诊断领域，当前还缺乏一种较为有效的深度学习模型。


技术实现要素：

5.针对现有技术中存在的不足，本发明提供了一种二叉树滤波器transformer模型及其用于轴承故障诊断的方法，用以解决滚动轴承故障的精确诊断问题。
6.本发明通过以下技术手段实现上述技术目的。
7.一种二叉树滤波器transformer模型，其特征在于：包括分词器、编码器和分类器，其中通过分词器提取振动信号，得到序列z1，之后序列z1依次经由编码器和分类器处理得到输出结果；
8.所述分词器中设有一个二叉树滤波器组：
[0009][0010]
其中h(n)为标准低通滤波器，截止频率ε≥0；j是虚数单位，h
l
(n)的频带范围是[0，1/4fs]，hh(n)的频带范围是[1/4fs，1/2fs]，fs为采样频率；
[0011]
对于输入的信号x(n)，所述分词器包括如下处理步骤：
[0012]
s1，利用所述二叉树滤波器组将信号x(n)分解出k层，其中k为log2(n)的取整；
[0013]
s2，对第k层的所有子信号取实部，之后计算均方根
[0014]
s3，根据获取片段信息s和位置信息k，并求出序列z1：
[0015][0016][0017]
ea＝embed(s,ws)
[0018]ek
＝embed(k,w
p
)
[0019]
其中d
model
为嵌入维数，y＝embed(x,w)表示根据x和w，拓展y的维度。
[0020]
进一步地，所述编码器包括n个(或称n层)transformer块，每一个transformer块中含有两个子模块，分别是多头自注意力子模块和前向网络子模块，对于序列z有：
[0021][0022]
其中，序列z
l
表示为第l层transformer块的输入，相应的第1层的输入即为序列z1，attention(
·
)表示多头自注意力子模块，z
l
′
为多头自注意力子模块的输出，同时也为ffn(
·
)的输入，ffn(
·
)表示前向网络子模块，同时z
l 1
作为第l层前向网络子模块的输出，也为第l 1层多头自注意力模块的输入，layernorm为取残差并归一化。
[0023]
进一步地，所述多头自注意力子模块具体由查询矩阵qs＝zw
jq
，键矩阵ks＝zw
jk
，值矩阵vs＝zw
jv
组成，相应公式为：
[0024][0025]
其中h为注意力头数，j∈[1，h]，w
jq
、w
jk
和w
jv
分别表示：施加于序列z的第j种线性映射以得到不同版本的查询矩阵、键矩阵和值矩阵，映射以得到不同版本的查询矩阵、键矩阵和值矩阵，dk＝d
model
/h，softmax(
·
)表示逻辑回归的泛化，concat(
·
)为对矩阵进行相连，headj为第j个a(q,k,v)，ws为j个w
jq
、w
jk
、w
jv
的串联。
[0026]
进一步地，所述前向网络子模块表示为：
[0027]
ffn(x)＝gelu(0,w1x b1)w2 b2[0028]
其中gelu(
·
)为激活函数，w1和w2表示进行两次线性变化的权重b1和b2表示进行两次线性变化的偏置。
[0029]
进一步地，所述分类器的表达式如下：
[0030][0031]
其中classifier(
·
)表示分类器函数，)表示分类器函数，w
c1
和w
c2
为权重，b
c1
和b
c2
为偏置,d
cate
表示样本中的种类，d
ff
为隐层维数。
[0032]
一种基于上述二叉树滤波器transformer模型的轴承故障诊断方法：制作数据集训练所述二叉树滤波器transformer模型，之后利用训练好的模型，根据滚动轴承加速度信号进行故障诊断。
[0033]
本发明的有益效果为：
[0034]
本发明提供了一种二叉树滤波器transformer模型及其轴承故障诊断应用，其中所用到的transformer模型是一种近年来被提出，用于解决自然语言识别处理问题的深度学习模型，而本发明中则对transformer模型中的分词器部分进行相应的修改调整，也即通过引入二叉树滤波器，使得改进后的transformer模型能够提取振动信号(相应原本的transformer模型只适用于自然语言提取)；进而使用本发明二叉树滤波器transformer模型，对于输入的振动信号，能够有效提取出多个频带，并按照频率从小到大排序，从而对不同频带下的信息有效表征，最终取得更好衡量故障信息的有益效果。此外，transformer模型能够很好地给予不同频带的权重，从而得到更精准的识别率，这是传统的卷积神经网络和循环神经网络无法实现的。
附图说明
[0035]
图1为本发明二叉树滤波器transformer模型结构图；
[0036]
图2为本发明轴承故障诊断流程图；
[0037]
图3为模型训练时每回合的误差；
[0038]
图4为模型训练时每回合的准确率；
[0039]
图5为最差分类结果；
[0040]
图6为最优分类结果；
[0041]
图7(a)为提取的各轴承故障类型1的特征趋势图；
[0042]
图7(b)为提取的各轴承故障类型2的特征趋势图；
[0043]
图7(c)为提取的各轴承故障类型3的特征趋势图；
[0044]
图7(d)为提取的各轴承故障类型4的特征趋势图；
[0045]
图7(e)为提取的各轴承故障类型5的特征趋势图；
[0046]
图7(f)为提取的各轴承故障类型6的特征趋势图；
[0047]
图7(g)为提取的各轴承故障类型7的特征趋势图；
[0048]
图7(h)为提取的各轴承故障类型8的特征趋势图；
[0049]
图7(i)为提取的各轴承故障类型9的特征趋势图；
[0050]
图7(j)为提取的各轴承故障类型10的特征趋势图。
具体实施方式
[0051]
下面详细描述本发明的实施例，所示实施例的示例在附图中示出，其中自始至终相通或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0052]
一、二叉树滤波器transformer模型
[0053]
如图1所示为本发明二叉树滤波器transformer模型，主要包括分词器、编码器和分类器这三大部分，其中分词器用于提取滚动轴承的振动信号。注：transformer模型为一种现有模型，其中文直译为“变形金刚模型”，但本领域中暂未有统一或约定俗成的中文译名，故本文中均直接采用其英文名称进行描述，也即“transformer模型”、“transformer块”等。
[0054]
1.分词器
[0055]
所述分词器中设有一个二叉树滤波器组：
[0056][0057]
其中h(n)为标准低通滤波器，其截止频率ε≥0；j是虚数单位(等同于i)；h
l
(n)为准解析低通滤波器，其频带范围是[0，1/4fs]，hh(n)为准解析高通滤波器，其频带范围是[1/4fs，1/2fs]，fs为采样频率。
[0058]
对于输入的信号x(n)，所述分词器包括如下处理步骤：
[0059]
1)利用上述二叉树滤波器组进行重复分解，最终分解出k层，k为log2(n)的取整。设第k层第i个子信号为设第k层第i个子信号为的中心频率f
ic
＝(i 2-1
)*2-k-1
*fs，的带宽δfk＝2-k-1
*fs，与其相邻的两个下一层子信号和之间存在：
[0060][0061]
2)先对第k层的所有子信号取实部，也就是对信号至取实部；之后计算k层所有子信号的均方根
[0062]
3)根据获取片段信息s和位置信息k，其中片段信息s在原本transformer模型中用于区分同一句子下的断句，由于在本发明中不涉及此情况，故为方便计算，使中用于区分同一句子下的断句，由于在本发明中不涉及此情况，故为方便计算，使而位置信息k用于记录所对应中心频率的大小顺序，此处k＝1,2，
…2k-1
。定义如下参数ea、ek：
[0063][0064]
ea＝embed(s,ws)
[0065]ek
＝embed(k,w
p
)
[0066]
其中d
model
为嵌入维数，表示具有维度d
model
×
1的实数矩阵，以此类推表示具有维度d
model
×
2的实数矩阵，表示具有维度d
model
×2k
的实数矩阵，ea＝embed(s,ws)表示根据s和ws，拓展ea的维度，同理ek＝embed(k,w
p
)表示根据k和w
p
拓展ek的维度。(参考文献j.devlin,m.-w.chang,k.lee,and k.toutanova,“bert:pre-training of deep bidirectional transformers for language understanding,”arxiv:1810.04805[cs],may 2019)
[0067]
之后将ea、ek三者相加，得到序列z1：
[0068][0069]
2.编码器
[0070]
将上一步分词器中得到的序列z1输入至编码器中。所述编码器包括n个(或称n层)
transformer块，每一个transformer块中含有两个子模块，分别是多头自注意力子模块和前向网络子模块，对于序列z有：
[0071][0072]
其中，序列z
l
表示为第l层transformer块的输入，相应的第1层的输入即为序列z1；
[0073]
attention(
·
)表示多头自注意力子模块；z
l
′
为多头自注意力子模块的输出，同时也为ffn(
·
)的输入，ffn(
·
)表示前向网络子模块，同时z
l 1
作为第l层前向网络子模块的输出，也为第l 1层多头自注意力模块的输入；layernorm为取残差并归一化。
[0074]
所述多头自注意力子模块具体由查询矩阵qs＝zw
jq
、键矩阵ks＝zw
jk
和值矩阵vs＝zw
jv
组成，相应公式如下：
[0075][0076]
其中h为注意力头数，j∈[1，h]，w
jq
、w
jk
和w
jv
分别表示：施加于序列z的第j种线性映射以得到不同版本的查询矩阵、键矩阵和值矩阵，映射以得到不同版本的查询矩阵、键矩阵和值矩阵，dk＝d
model
/h，softmax(
·
)表示逻辑回归的泛化，concat(
·
)为对矩阵进行相连，headj为第j个a(q,k,v)，ws为j个w
jq
、w
jk
、w
jv
的串联。
[0077]
所述前向网络子模块表示为：
[0078]
ffn(x)＝gelu(0,w1x b1)w2 b2[0079]
其中gelu(
·
)为激活函数，w1和w2表示进行两次线性变化的权重b1和b2表示进行两次线性变化的偏置。
[0080]
3.分类器
[0081]
将上一步编码器中得到的序列z
n 1
输入给分类器，从而得到最终输出所述分类器的表达式如下：
[0082][0083]
其中classifier(
·
)表示分类器函数，)表示分类器函数，w
c1
和w
c2
为权重，b
c1
和b
c2
为偏置,d
cate
表示样本中的种类，d
ff
为隐层维数。
[0084]
二、轴承故障诊断测试
[0085]
如图2所示为本发明基于二叉树滤波器transformer模型的轴承故障诊断测试的流程图，具体包括如下步骤：
[0086]
s1，采集滚动轴承加速度信号，将所述加速度信号分为训练样本和测试样本；
[0087]
s2，将训练样本输入到二叉树滤波器transformer模型中，从而对模型进行训练；
[0088]
s3，将测试样本输入到训练好的二叉树滤波器transformer模型，以此进行故障诊断测试。
[0089]
具体测试实例如下：
[0090]
以skf-6205滚动轴承为实验对象，进行多种故障类型的模拟测试。
[0091]
步骤1，利用振动传感器测量轴承的振动数据，通过数据采集卡将数据收集在pc机中进行处理。
[0092]
具体数据集描述如下：共有10种故障类型：正常(1)、轻微内圈故障(2)、中等内圈故障(3)、严重内圈故障(4)、轻微外圈故障(5)、中等外圈故障(6)、严重外圈故障(7)、轻微滚子故障(8)、中等滚子故障(9)、严重滚子故障(10)，括号中数字表示标签，相应的，最后模型输出结果即为上述标签1～10中的某一个数值。以采样频率为10khz的振动数据进行划分，每种故障类型下的数据有300组，长度为20000。此外，将这些全部的数据的80％作为训练数据集，20％作为测试数据集，每次训练和测试下的数据集是随机划分的，以保证模型的性能。
[0093]
步骤2，构建二叉树滤波器transformer模型，其中模型参数详见表1。
[0094]
表1：网络结构参数选择
[0095]
参数名称数值输入尺寸[32,1]批尺寸32最大训练回合数30学习率5e-6优化器adam标签平滑度0.1编码器个数n16嵌入维数d
model
64隐层维数d
ff
768注意力头数h12dropout概率0.1位置编码一维可学习
[0096]
将训练集输入所构建的二叉树滤波器transformer模型中进行训练，网络训练根据梯度下降算法和误差反向传播算法，并采用adam优化器，每个回合的误差和准确率分别如图3和图4所示。
[0097]
步骤3，将测试样本输入训练好的二叉树滤波器transformer模型，进行故障诊断测试，重复20次，最差和最优分类结果分别如图5和图6所示。
[0098]
此为，为衡量本发明的优越性，采用两个现有模型做对比测试，其中对比1：长短时记忆网络(lstm)；对比2：门控循环单元网络(gru)。分别将对比模型实施20次，以对比最终测试结果。结果如表2所示，由此可见本发明的准确率最高。
[0099]
表2：本发明方法与其它方法对比
[0100]
方法平均准确率本发明99.92％对比198.33％对比296.84％
[0101]
最后，本发明轴承测试方法中，所提取到的第1到10种轴承故障类型下的特征趋
势，分别如图7(a)至7(j)所示，由图可直观看出使用本发明所提取的特征简单易于表征，有利于技术人员后续的分析与处理。
[0102]
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0103]
本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变形均属于本发明的保护范围。