一种基于门控三塔的智能制造装备故障预测方法与流程

技术特征：
1.一种基于门控三塔的智能制造装备故障预测方法，其特征在于包括如下步骤：s1.数据采集：获取一定天数内多台同类智能制造装备的由传感器采集的相关数值数据集运行日志文本数据集和装备状态数据集其中为第s台智能制造装备在第d天的k类数值数据，t为数据总天数，d为故障预测日期，n为智能制造装备总台数；为第s台智能制造装备在第d天的多条日志文本数据；为第s台智能制造装备在第d天第b状态的真实标记，若第s台智能制造装备的状态类别属于b则为1，否则为0，b为状态总数；并用表示第s台智能制造装备的所有数值数据，备的所有数值数据，表示第s台智能制造装备第d天的所有文本数据；s2.对数值数据及文本数据进行变换，得到通道嵌入矩阵、时序嵌入矩阵及句嵌入向量，具体包括以下子步骤：s21.将第s台智能制造装备的转置数值数据输入至线性层，获得通道嵌入矩阵s22.将第s台智能制造装备的原始数值数据输入至线性层，并经过位置编码获得时序嵌入矩阵s23.将第s台智能制造装备的文本数据输入至bert模型获得每条文本数据的句嵌入向量；s24.对每天的句嵌入向量分别采用最小值、平均值、最大值池化操作获得文本表示s3.将通道嵌入矩阵输入至通道塔编码器，得到数值数据的通道特征，通道塔编码器由l
c
个通道编码层陶成，具体包括以下子步骤：s31.对层通道编码层提取的通道特征进行归一化处理s32.对步骤s31得到的归一化特征进行多头注意力层特征提取，该层采用残差结构，其计算公式为：多头注意力层的具体操作包括以下子步骤：su1.通道特征和参数矩阵相乘得到第a个自注意力sa
a
(
·
)的输入嵌入矩阵映射的查询矩阵q
a
、键矩阵k
a
和值矩阵v
a
；
su2.通过归一化指数softmax函数计算得到自注意力权重矩阵su2.通过归一化指数softmax函数计算得到自注意力权重矩阵为映射矩阵内每个向量的维度大小；su3.自注意力权重矩阵s
a
和值矩阵v
a
相乘得到su4.对各注意力层得到的特征进行拼接，并乘参数矩阵得到msa层的输出特征s33.对步骤s32所得到的特征进行归一化处理s34.将归一化特征输入至多层感知机进行特征提取，其结果即为第通道编码特征，其计算公式为：s35.第通道编码特征输入至第层通道编码层，重复步骤s31
‑
s34；s4.滑窗塔编码器对时序嵌入矩阵进行多层多尺度特征提取得到多尺度时序特征具体包括以下子步骤：s41.对层滑窗编码层层提取的时序特征进行归一化处理s42.对归一化后的特征采用滑窗掩膜注意力层提取特征，当奇数时，执行以下操作：sn1.第个滑窗掩膜注意力层以时间单位大小的滑窗将时序特征进行非重叠均分且sn2.采用不大于时间单位大小的滑窗将边缘时序特征完整包括；sn3.在该层滑窗内进行掩膜自注意力计算，将多头注意力计算步骤中的自注意力权重矩阵s
a
上三角元素置0；sn4.使用固定滑窗进行掩膜自注意力计算，并采用残差结构计算本层的输出时序特征sn4.使用固定滑窗进行掩膜自注意力计算，并采用残差结构计算本层的输出时序特征当偶数时，执行以下操作：sn5.第个滑窗掩膜注意力层先将第个滑窗掩膜注意力层的所有滑窗以时间单位大小进行移动；sn6.采用不大于时间单位大小的滑窗将边缘时序特征完整包括；sn7.在该层滑窗内进行掩膜自注意力计算，将多头注意力计算步骤中的自注意力权重
矩阵s
a
上三角元素置0；sn8.使用固定滑窗进行掩膜自注意力计算，并采用残差结构计算s44.对归一化后的时序特征采用多层感知机提取特征，s44.对归一化后的时序特征采用多层感知机提取特征，s45.滑窗编码层输出的多尺度时序特征l
t
‑
1，l
t
进行多尺度聚合得到聚合时序特征并输出，该特征包含多尺度的全局与局部时序信息，计算公式为：s5.将文本表示输入至文本塔编码器得到文本特征并将文本特征和时序特征输入至跨塔注意力模块得到加权文本特征，具体包括以下子步骤：s51.对层输出的文本特征进行归一化s52.通过多头注意力层对归一化后的文本特征提取特征，计算公式为：s53.对步骤s52计算得到的文本特征进行归一化s54.对归一化后的文本特征进行多层感知机特征提取，计算公式为：s6.采用门控模块融合通道特征、聚合时序特征和加权文本特征计算输出预测故障类别概率向量，具体包括以下子步骤：s61.将全局时序特征输入至全连接层得到线性映射后的全局时序特征s62.将全局时序特征进行转置得到对齐的特征s63.利用矩阵相乘操作和softmax(
·
)函数得到文本
‑
时序注意力权重计算公式为：其中，fc(
·
)为全连接层；
s64.输出采用文本
‑
时序注意力权重计算的加权文本特征：时序注意力权重计算的加权文本特征：s65.根据三种特征加权融合，得到预测结果，具体包括以下子步骤：sw1.将通道特征聚合时序特征和加权文本特征输入到门控模块；sw2.门控层g通过自适应权重对三种特征进行加权融合得到门控特征sw3.将门控特征输入至全连接层fc得到第s台智能制造装备预测故障类别概率向量y
s
，计算公式为：s7.根据预测故障类别概率向量计算交叉熵损失，该步骤只在训练过程中使用，用以引导模型能够准确预测智能制造装备故障类别。2.根据权利要求1所述的一种基于门控三塔的智能制造装备故障预测方法，其特征在于，步骤s42通过在多个不重叠相邻时序滑窗内进行掩膜注意力计算，实现高效的多尺度时序特征提取，并通过滑动窗口建立多个滑窗内时序信息交流机制。3.根据权利要求1所述的一种基于门控三塔的智能制造装备故障预测方法，其特征在于，步骤s5跨塔注意力模块，通过计算全局时序特征和文本特征的注意力权重实现模型对于文本
‑
时序相关性的端到端学习。4.根据权利要求1所述的一种基于门控三塔的智能制造装备故障预测方法，其特征在于，步骤s6采用门控模块融合通道特征、聚合时序特征和加权文本特征，使用多特征融合向量方法进行故障预测，提高模型对故障预测的准确率及模型的鲁棒性。

技术总结
本发明公开了一种基于门控三塔的智能制造装备故障预测方法，包括：S1通道塔编码器；S2带有多尺度聚合模块的滑窗塔编码器；S3带有跨塔注意力模块的文本塔编码器；S4门控模块。本发明首先将通道嵌入矩阵输入到通道塔编码器，得到通道特征；将时序嵌入矩阵输入到带有多尺度聚合模块的滑窗塔编码器，得到聚合时序特征；进一步，将文本表示输入至文本塔编码器得到文本特征并将文本特征和时序特征输入至跨塔注意力模块得到加权文本特征；最后通过门控模块融合通道特征、聚合时序特征和加权文本特征进行故障类别预测；通过计算交叉熵损失优化参数，使得模型能够动态地自适应融合多台智能制造装备的三种特征，从而提升故障预测的准确率。率。率。


技术研发人员：张新 陈嘉 陈涛 王东京 石云海
受保护的技术使用者：杭州电子科技大学
技术研发日：2021.07.22
技术公布日：2021/11/8