一种基于门控三塔的智能制造装备故障预测方法与流程

1.本发明涉及智能制造的预测性维护领域，针对利用智能制造装备运行时传感器采集的数值数据和运行日志的文本数据进行预测故障类别的问题，结合数值数据的通道特征、时间特征和日志数据的文本特征，提出了基于门控三塔transformer的智能制造装备故障预测方法。


背景技术：

2.近年来，国家不断出台鼓励性政策支持智能制造，智能制造已成为制造业的重要发展趋势。各地智能制造产业的兴起，涌现了一批智能制造企业与产业园区，相应的系统设备也不断规模化与复杂化，进而对智能制造装备的运维要求更高。在生产过程中智能制造装备可能会发生故障，若没有提前制定处理方法或维修策略则可能影响产品的质量和生产效率甚至造成巨大的经济损失。对此，引入预测性维护中的故障预测技术，根据智能制造装备的运行状态数据预测其未来可能的故障模式，并预先制定预测性维护计划。故障预测技术以智能制造装备运行时传感器采集的数值数据和运行日志的文本数据等作为输入，通过提取数据特征并进行分析，输出预测的故障类别。近年来，深度学习快速发展极大促进了数据特征提取和分析方法的发展，有望将其应用于故障预测技术。
3.目前，国内外学者在故障预测领域做出了很多有价值的研究成果。基于统计分析的故障预测技术(如灰色理论、独立元分析方法等)通过统计历史运行数据来分析预测智能制造装备未来的运行状态，但由于采用了维度线性的约束，其难以适应真实情况中复杂的非线性系统。基于信号处理的故障预测技术(如小波变换法、谱分析方法等)难以长时间跟踪智能制造装备的运行数据序列，容易导致预测性能下降。基于深度学习的故障预测技术(如卷积神经网络、循环神经网络等)能够有效地在历史运行数据中提取重要的特征信息来进行故障预测，适用于不确定的和复杂的智能制造装备系统。近期，源于自然语言处理领域的transformer模型风靡于深度学习领域，其多头注意力机制可被用于提取运行数据中多样性的关键特征信息。
4.现有的故障预测方法仍然存在许多不足：首先，很多方法仅利用了传感器获取的数值数据的时序特征，而没有充分利用通道特征，基于卷积提取通道特征的方法需要繁复地设计感受野且无法建立全局的通道关联关系；其次，提取时序特征时往往固定了时序尺度，没有利用局部的时序信息，通过堆叠卷积层的方法容易导致计算开销过大；此外，现有方法处理日志文本数据时往往需手工进行特征提取并进一步分析预测故障类别，缺少能够有效融合数值数据和文本数据特征的端到端训练方法。


技术实现要素：

5.本发明针对现有故障预测技术对传感器采集的数值数据和运行日志的文本数据特征提取和融合的不足，提出了一种基于门控三塔transformer的智能制造装备故障预测方法。首先，设计了滑窗掩膜注意力机制进行对多尺度时序特征进行提取并利用多尺度聚
合模块进行时序特征聚合，不仅能够在多个滑窗内应用掩膜注意力，减小模型的计算开销，而且能够增加模型对局部时序特征信息的提取及表达能力；然后，在提取文本特征后，采用跨塔注意力机制学习文本
‑
时序注意力权重，有效地实现端到端的智能制造装备故障预测。
6.本发明采用由多个编码器组成的transformer架构。首先，通道嵌入矩阵输入到通道塔编码器，得到数值数据的通道特征；然后，将时序嵌入矩阵输入到带有多尺度聚合模块的滑窗塔编码器，得到聚合时序特征，该特征包含多尺度的全局与局部时序信息；进一步，将文本表示输入至文本塔编码器得到文本特征并将文本特征和时序特征输入至跨塔注意力模块得到加权文本特征，使模型能倾向利用故障信息相关的文本特征进行预测；最后，本发明采用门控模块融合通道特征、聚合时序特征和加权文本特征进行预测故障类别，使得模型能够动态地自适应融合多台智能制造装备的三种特征，从而提升智能制造装备故障预测的准确率。
7.本发明首先获取一定天数内多台同类智能制造装备的由传感器采集的相关数值数据集运行日志文本数据集和装备状态数据集其中为第s台智能制造装备在第d天的k类数值数据(如填料温度、压力、流量等)，t为数据总天数，d为故障预测日期，n为智能制造装备总台数；为第s台智能制造装备在第d天的多条日志文本数据；为第s台智能制造装备在第d天第b状态的真实标记，若第s台智能制造装备的状态类别属于b则为1，否则为0，b为状态总数(如状态正常、装备某部件发生故障等)。并用表示第s台智能制造装备的所有数值数据，表示第s台智能制造装备第d天的所有文本数据。
8.本发明具体实现包括如下步骤：
9.s1.数据采集：获取一定天数内多台同类智能制造装备的由传感器采集的相关数值数据集运行日志文本数据集运行日志文本数据集和装备状态数据集
10.其中为第s台智能制造装备在第d天的k类数值数据，t为数据总天数，d为故障预测日期，n为智能制造装备总台数；
11.为第s台智能制造装备在第d天的多条日志文本数据；
12.为第s台智能制造装备在第d天第b状态的真实标记，若第s台智能制造装备的状态类别属于b则为1，否则为0，b为状态总数；并用表示第s台智能制造装备的所有数值数据，表示第s台智能制造装备第d天的所有文本数据；
13.s2.对数值数据及文本数据进行变换，得到通道嵌入矩阵、时序嵌入矩阵及句嵌入向量，具体包括以下子步骤：
14.s21.将第s台智能制造装备的转置数值数据输入至线性层，获得通道嵌入矩阵
15.s22.将第s台智能制造装备的原始数值数据输入至线性层，并经过位置编码获
得时序嵌入矩阵
16.s23.将第s台智能制造装备的文本数据输入至bert模型获得每条文本数据的句嵌入向量；
17.s24.对每天的句嵌入向量分别采用最小值、平均值、最大值池化操作获得文本表示
18.s3.将通道嵌入矩阵输入至通道塔编码器，得到数值数据的通道特征，通道塔编码器由l
c
个通道编码层构成，具体包括以下子步骤：
19.s31.对层通道编码层提取的通道特征进行归一化处理
20.s32.对步骤s31得到的归一化特征进行多头注意力层特征提取，该层采用残差结构，其计算公式为：
[0021][0022]
多头注意力层的具体操作包括以下子步骤：
[0023]
su1.通道特征和参数矩阵相乘得到第a个自注意力sa
a
(
·
)的输入嵌入矩阵映射的查询矩阵q
a
、键矩阵k
a
和值矩阵v
a
；
[0024]
su2.通过归一化指数softmax函数计算得到自注意力权重矩阵su2.通过归一化指数softmax函数计算得到自注意力权重矩阵su2.通过归一化指数softmax函数计算得到自注意力权重矩阵为映射矩阵内每个向量的维度大小；
[0025]
su3.自注意力权重矩阵s
a
和值矩阵v
a
相乘得到
[0026]
su4.对各注意力层得到的特征进行拼接，并乘参数矩阵得到msa层的输出特征
[0027]
s33.对步骤s32所得到的特征进行归一化处理
[0028]
s34.将归一化特征输入至多层感知机进行特征提取，其结果即为第层通道编码特征，其计算公式为：
[0029][0030]
s35.第层通道编码特征输入至第层通道编码层，重复步骤s31
‑
s34；
[0031]
s4.滑窗塔编码器对时序嵌入矩阵进行多层多尺度特征提取得到多尺度时序特征具体包括以下子步骤：
[0032]
s41.对层滑窗编码层层提取的时序特征进行归一化处理
[0033]
s42.对归一化后的特征采用滑窗掩膜注意力层提取特征，当为奇数时，执行以下操作：
[0034]
sn1.第个滑窗掩膜注意力层以时间单位大小的滑窗将时序特征进行非重叠均分且
[0035]
sn2.采用不大于时间单位大小的滑窗将边缘时序特征完整包括；
[0036]
sn3.在该层滑窗内进行掩膜自注意力计算，将多头注意力计算步骤中的自注意力权重矩阵s
a
上三角元素置0；
[0037]
sn4.使用固定滑窗进行掩膜自注意力计算，并采用残差结构计算本层的输出时序特征
[0038]
当为偶数时，执行以下操作：
[0039]
sn5.第个滑窗掩膜注意力层先将第个滑窗掩膜注意力层的所有滑窗以时间单位大小进行移动；
[0040]
sn6.采用不大于时间单位大小的滑窗将边缘时序特征完整包括；
[0041]
sn7.在该层滑窗内进行掩膜自注意力计算，将多头注意力计算步骤中的自注意力权重矩阵s
a
上三角元素置0；
[0042]
sn8.使用固定滑窗进行掩膜自注意力计算，并采用残差结构计算本层的输出时序特征
[0043]
s43.对步骤s42提取的时序特征进行归一化处理
[0044]
s44.对归一化后的时序特征采用多层感知机提取特征，s44.对归一化后的时序特征采用多层感知机提取特征，
[0045]
s45.滑窗编码层输出的多尺度时序特征l
t
进行多尺度聚合得到聚合时序特征并输出，该特征包含多尺度的全局与局部时序信息，计算公式为：
[0046][0047]
s5.将文本表示输入至文本塔编码器得到文本特征并将文本特征和时序特征输入至跨塔注意力模块得到加权文本特征,具体包括以下子步骤：
[0048]
s51.对层输出的文本特征进行归一化
[0049]
s52.通过多头注意力层对归一化后的文本特征提取特征，计算公式为：s52.通过多头注意力层对归一化后的文本特征提取特征，计算公式为：
[0050]
s53.对步骤s52计算得到的文本特征进行归一化
[0051]
s54.对归一化后的文本特征进行多层感知机特征提取，计算公式为：s54.对归一化后的文本特征进行多层感知机特征提取，计算公式为：
[0052]
s6.采用门控模块融合通道特征、聚合时序特征和加权文本特征计算输出预测故障类别概率向量，具体包括以下子步骤：
[0053]
s61.将全局时序特征输入至全连接层得到线性映射后的全局时序特征
[0054]
s62.将全局时序特征进行转置得到对齐的特征
[0055]
s63.利用矩阵相乘操作和softmax(
·
)函数得到文本
‑
时序注意力权重
计算公式为：
[0056][0057]
其中，fc(
·
)为全连接层；
[0058]
s64.输出采用文本
‑
时序注意力权重计算的加权文本特征：
[0059]
s65.根据三种特征加权融合，得到预测结果，具体包括以下子步骤：
[0060]
sw1.将通道特征聚合时序特征和加权文本特征输入到门控模块；
[0061]
sw2.门控层g通过自适应权重对三种特征进行加权融合得到门控特征
[0062]
sw3.将门控特征输入至全连接层fc得到第s台智能制造装备预测故障类别概率向量y
s
，计算公式为：
[0063][0064]
s7.根据预测故障类别概率向量计算交叉熵损失，该步骤只在训练过程中使用，用以引导模型能够准确预测智能制造装备故障类别。
[0065]
作为优选，步骤s42通过在多个不重叠相邻时序滑窗内进行掩膜注意力计算,实现高效的多尺度时序特征提取,并通过滑动窗口建立多个滑窗内时序信息交流机制。
[0066]
一种滑窗掩膜注意力层，通过在多个不重叠相邻时序滑窗内进行掩膜注意力计算实现高效的多尺度时序特征提取并通过滑动窗口建立多个滑窗内时序信息交流机制；同时，本发明设计了多尺度聚合模块作为聚合多尺度时序特征的功能模块。多尺度时序特征提取与多尺度聚合的计算公式为：
[0067][0068]
作为优选，步骤s5跨塔注意力模块，通过计算全局时序特征和文本特征的注意力权重实现模型对于文本
‑
时序相关性的端到端学习。
[0069]
作为优选，步骤s6采用门控模块融合通道特征、聚合时序特征和加权文本特征，使用多特征融合向量方法进行故障预测，提高模型对故障预测的准确率及模型的鲁棒性。
[0070]
本发明门控三塔transformer架构由通道塔编码器、带有多尺度聚合模块的滑窗塔编码器、带有跨塔注意力模块的文本塔编码器和门控层构成。通道塔编码器、滑窗塔编码器和文本塔编码器能够分别有效地提取数值数据的通道特征、聚合时序特征和文本数据的加权文本特征，门控层利用动态权重对三种特征进行加权融合，使得模型能够针对多台智能制造装备的数据进行特征自适应，从而提升预测智能制造装备故障类别的准确性。
附图说明
[0071]
图1门控三塔transformer架构图；
[0072]
图2通道特征与时序特征示意图；
[0073]
图3每日文本表示提取结构图；
[0074]
图4滑窗掩膜注意力层与多尺度聚合模块结构图；
[0075]
图5跨塔注意力模块结构图。
具体实施方式
[0076]
实施例1
[0077]
本发明提出基于门控三塔transformer的智能制造装备故障预测技术。如图1所示，整体架构由通道塔编码器、带有多尺度聚合模块的滑窗塔编码器、带有跨塔注意力模块的文本塔编码器和门控模块构成。首先，将通道嵌入矩阵输入到通道塔编码器，得到数值数据的通道特征；然后，将时序嵌入矩阵输入到带有多尺度聚合模块的滑窗塔编码器，得到聚合时序特征，该特征包含多尺度的全局与局部时序信息；进一步，将文本表示输入至文本塔编码器得到文本特征并将文本特征和时序特征输入至跨塔注意力模块得到加权文本特征，使模型能倾向利用故障信息相关的文本特征进行预测；接着，采用门控模块融合通道特征、聚合时序特征和加权文本特征计算输出预测故障类别概率向量；最后，根据预测故障类别概率向量计算交叉熵损失，该步骤只在训练过程中使用，用以引导模型能够准确预测智能制造装备故障类别。
[0078]
本发明首先获取一定天数内多台同类智能制造装备的由传感器采集的相关数值数据集运行日志文本数据集和装备状态数据集其中为第s台智能制造装备在第d天的k类数值数据(如填料温度、压力、流量等)，t为数据总天数，d为故障预测日期，n为智能制造装备总台数；为第s台智能制造装备在第d天的多条日志文本数据；为第s台智能制造装备在第d天第b状态的真实标记，若第s台智能制造装备的状态类别属于b则为1，否则为0，b为状态总数(如状态正常、装备某部件发生故障等)。并用表示第s台智能制造装备的所有数值数据，表示第s台智能制造装备第d天的所有文本数据。
[0079]
接下来结合附图具体阐述实施步骤。
[0080]
步骤(1).如图1所示，将第s台智能制造装备的转置数值数据输入至线性层，获得通道嵌入矩阵将第s台智能制造装备的原始数值数据输入至线性层，并经过位置编码获得时序嵌入矩阵输入至线性层，并经过位置编码获得时序嵌入矩阵如图2所示，通道嵌入矩阵和时序嵌入矩阵分别为数值数据在通道和时序内的嵌入表示。如图3所示，将第s台智能制造装备的日志文本数据输入至bert(bidirectional encoder representations from transformers)获得每条文本的句嵌入向量，并对每天的句嵌入向量分别采用最小值、平均值、最大值池化操作获得文本表示
[0081]
步骤(2).如图1所示将通道嵌入矩阵输入至通道塔编码器，通道塔编码器由l
c
个通道编码层构成，对通道嵌入矩阵进行多层特征提取得到通道特征
通道编码层由两个具有残差结构的子层构成，第一个子层由层归一化操作和多头注意力层组成，第二个子层由层归一化操作和多层感知机组成，第个通道编码层中的通道特征提取的计算公式为：
[0082][0083]
其中ln(
·
)为层归一化操作，mlp(
·
)为多层感知机，msa(
·
)为多头注意力，计算步骤为：
[0084][0085]
其中为参数矩阵，q
a
k
a
v
a
为第a个自注意力sa
a
(
·
)的输入嵌入矩阵映射的查询矩阵、键矩阵和值矩阵，s
a
为自注意力权重矩阵，为映射矩阵内每个向量的维度大小，softmax(
·
)为归一化指数函数，a为自注意力总数，[
·
,
…
,
·
]为拼接操作。
[0086]
通道塔编码器的输出为第l
c
个通道编码层输出的通道特征：
[0087]
步骤(3).如图1,所示将时序嵌入矩阵输入至带有多尺度聚合模块m
t
的滑窗塔编码器，滑窗塔编码器由个滑窗编码层构成，对时序嵌入矩阵进行多层多尺度特征提取得到多尺度时序特征利用多尺度聚合模块对多尺度时序特征进行多尺度聚合得到聚合时序特
[0088]
本发明提出了一种滑窗掩膜注意力层，通过在多个不重叠相邻时序滑窗内进行掩膜注意力计算实现高效的多尺度时序特征提取并通过滑动窗口建立多个滑窗内时序信息交流机制；同时，本发明设计了多尺度聚合模块作为聚合多尺度时序特征的功能模块。多尺度时序特征提取与多尺度聚合的计算公式为：
[0089][0090]
步骤(3.1).滑窗编码层由两个具有残差结构的子层构成，第一个子层由层归一化操作和滑窗掩膜注意力层组成，第二个子层由层归一化操作和多层感知机组成。如图4所示，当为奇数时，第个滑窗掩膜注意力层先以时间单位大小的滑窗将时序特征进行非重叠均分且然后用不大于时间单位大小的滑窗将边缘时序特征完整包括。当为偶数时，第个滑窗掩膜注意力层先将第个滑窗掩膜注意力层的所有滑窗
以时间单位大小进行移动，然后用不大于时间单位大小的滑窗将边缘时序特征完整包括。每个滑窗掩膜注意力层在该层滑窗内进行掩膜自注意力计算，将多头注意力计算步骤中的自注意力权重矩阵s
a
上三角元素置0即为掩膜自注意力计算步骤。当为奇数，第个和第个通道编码层中的通道特征提取的计算公式为：
[0091][0092]
其中,rw
‑
msa(
·
)为奇数滑窗掩膜注意力层使用固定滑窗进行掩膜自注意力计算，sw
‑
msa(
·
)为偶数滑窗掩膜注意力层使用移动后的滑窗进行掩膜自注意力计算。
[0093]
步骤(3.2).多尺度聚合模块m
t
由矩阵拼接操作构成，对第偶数个和l
t
个滑窗编码层输出的多尺度时序特征l
t
进行多尺度聚合得到聚合时序特征并输出，计算公式为：
[0094][0095]
步骤(4).将文本表示输入至带有跨塔注意力模块的文本塔编码器，文本塔编码器由个文本编码层构成，对文本表示进行多层特征提取得到文本特征
[0096]
步骤(4.1).文本编码层由两个具有残差结构的子层构成，第一个子层由层归一化操作和多头注意力层组成，第二个子层由层归一化操作和多层感知机组成,第个文本编码层中的文本特征提取的计算公式为：
[0097][0098]
其中
[0099]
步骤(4.2).如图5所示，跨塔注意力模块利用全局时序特征和文本特征计算文本
‑
时序注意力权重并对文本特征进行加权得到加权文本特征先将全局时序特征输入至全连接层得到线性映射后的全局时序特征将其转置得到以对齐时序。利用矩阵相乘操作和softmax(
·
)函数得到文本
‑
时序注意力权重计算公式为：
[0100][0101]
其中fc(
·
)为全连接层。
[0102]
跨塔注意力模块的输出为利用文本
‑
时序注意力权重计算的加权文本特征：
[0103]
一种跨塔注意力模块，通过计算全局时序特征和文本特征的注意力权重实现模型对于文本
‑
时序相关性的端到端学习。文本特征提取和文本特征加权计算公式为：
[0104][0105]
步骤(5).将通道特征聚合时序特征和加权文本特征输入到门控模块。门控层g通过自适应权重对三种特征进行加权融合得到门控特征计算公式为：
[0106][0107]
将门控特征输入至全连接层得到第s台智能制造装备预测故障类别概率向量计算公式为：
[0108][0109]
步骤(6).计算损失，并对门控三塔transformer进行优化。为了提高故障类别与真实装备状态的一致性，本发明采用交叉熵损失loss，计算公式为
[0110][0111]
其中y
s,b
为第s台智能制造装备属于第b状态的真实标记，为真实标记，若第s台智能制造装备的状态类别属于b则为1，否则为0，b为状态总数，n为智能制造装备总台数。