一种基于自监督交互学习的少标签工业设备故障诊断方法

本发明涉及工业设备故障诊断，是一种基于自监督交互学习的少标签工业设备故障诊断方法。

背景技术：

1、工业设备广泛应用于制造、能源、交通运输、航空航天等重要领域，其运行状态直接关系到生产效率、系统安全性和装备可靠性。电机、轴承、齿轮、泵组、转台等关键部件在长期运行过程中容易受到载荷波动、工况变化、装配误差、磨损老化以及外部扰动等因素影响，进而诱发结构松动、冲击损伤、电气异常、传动失效等故障。一旦上述故障未能被及时识别，可能导致设备性能退化、停机维护成本增加，甚至引发安全事故。因此，利用传感器采集的振动、电流、温度等运行信号对工业设备进行状态监测与故障诊断，已成为智能运维和预测性维护中的重要技术方向。

2、现有故障诊断方法主要包括基于信号处理的传统方法和基于深度学习的数据驱动方法。传统方法通常依赖时域统计特征、频域谱分析、短时傅里叶变换（short-timefourier transform，stft）、小波变换（wavelet transform）、经验模态分解（empiricalmode decomposition，emd）等手段提取故障特征，并结合支持向量机（support vectormachine，svm）、随机森林（random forest，rf）等分类器实现状态识别，该类方法具有一定可解释性，但其诊断性能高度依赖专家经验和人工特征设计质量。当设备处于复杂工况、强噪声干扰或多故障耦合状态时，人工特征难以充分表征故障状态之间的深层差异，导致诊断准确性和泛化能力受到限制。随着深度学习的发展，卷积神经网络（convolutionalneural network，cnn）、循环神经网络（recurrent neural network，rnn）、transformer 以及多尺度卷积网络等方法被用于自动学习故障特征，减少人工特征设计过程，并在标注数据充足时取得较好的诊断效果。

3、然而，现有深度学习故障诊断方法大多建立在监督学习（supervised learning）范式之上，需要大量带有明确故障类别标签的数据进行模型训练。在实际工业场景中，设备长期处于正常或轻微退化状态，典型故障样本发生频率较低；同时，故障标注通常需要依赖停机检查、维修记录或专家判读，标注成本高、周期长，难以获得大规模、高质量、类别均衡的标注样本。在标注样本稀缺条件下，深度神经网络容易出现过拟合、特征判别性不足和诊断性能下降等问题。为缓解上述问题，半监督学习（semi-supervised learning）、迁移学习（transfer learning）、数据增强（data augmentation）和自监督学习（self-supervisedlearning，ssl）等方法逐渐被引入故障诊断领域。其中，自监督学习能够通过构造无需人工标签的预训练任务，从大量无标签运行数据中学习通用特征表示，再利用少量标注样本完成下游诊断任务，因而具有较高的工程应用价值。

4、现有自监督故障诊断方法仍存在一定不足。部分方法依赖随机裁剪、掩码、翻转、幅值缩放、频域扰动等人为设计的数据增强策略构造正负样本对，但此类增强策略若设计不当，可能破坏工业信号本身的物理含义，使模型学习到与真实故障机理无关的扰动不变性，且模型性能对样本分布、增强策略较为敏感；基于重构的自监督方法虽然能够利用无标签数据进行特征学习，但其优化目标主要集中于恢复输入信号本身，模型可能更关注信号细节复原，而不一定能够充分学习与故障类别判别相关的深层语义特征。此外，工业故障信号通常同时包含时间域和频率域信息，时间域信号能够保留冲击幅值、波形突变和瞬态响应等信息，时频域表示能够揭示故障频率成分随时间变化的规律。现有部分方法虽引入时间域与时频域数据共同参与训练，但往往仅将其中一种表示作为辅助视图，未能通过特征融合方式充分挖掘时间域特征与时频域特征之间的相关关系和交互信息。

技术实现思路

1、本发明针对现有技术的问题，公开了一种基于自监督交互学习的少标签工业设备故障诊断方法。本发明旨在通过信号时域、时频域特征的相关性约束预训练任务，在无需数据标注的情况下初步实现判别性健康状况特征的提取，微调阶段迁移预训练所得模型参数，通过一种双向跨域注意力机制对时域、时频域特征进行自适应融合，从而在标注数据稀缺场景下实现高精度故障诊断。

2、本发明提供了以下技术方案：

3、一种基于自监督交互学习的少标签工业设备故障诊断方法，所述方法包括以下步骤：

4、步骤1：采集工业设备运行过程中以时间序列形式出现的状态监控信号，通过滑动窗口方式对数据进行划分与标准化操作，并基于短时傅里叶变换生成对应的时频域变换，组成时域—时频域输入对，用于后续无监督预训练与有监督微调；

5、步骤2：基于特征交互的自监督预训练，对信号的时域、时频域表示分别进行特征提取，并进行特征投影与预测，基于投影与预测后的特征构建基于特征相关性的预训练任务，在无需标签参与的情况下实现故障特征的初步提取；

6、步骤3：基于双向跨域注意力机制的有监督微调，将预训练阶段初步训练得到的双域特征提取器迁移至下游任务中，通过双向跨域注意力机制对双域特征进行交互，配合自适应池化策略进行特征融合；

7、步骤4：在获得双域融合诊断特征后，构建故障分类器对工业设备运行状态进行识别，将融合特征输入分类器，得到故障类别预测概率。

8、优选地，所述步骤1具体为：

9、对于cwru数据集轴承故障采集平台运行过程中的来自驱动端和风扇端的振动加速度计状态监控信号，采用滑动窗口方式进行样本切分，设窗口长度为，滑动步长为，第个时域样本通过下式表示：

10、

11、其中，表示采集得到的设备状态监控信号，表示输入通道数，表示连续信号长度，；

12、对切分后的时间域样本进行标准化操作，对时域样本进行短时傅里叶变换，获得对应的时频域通过下式表示：

13、

14、其中，表示窗函数，表示时间窗位置，表示频率索引，表示虚数单；

15、取幅值作为时频域输入，即，其中，表示频率维度，表示时间帧维度；

16、将时域样本和对应的时频域表示构成双域配对样本：

17、

18、获得无标签预训练数据集：

19、

20、少标签下游训练数据集：

21、

22、其中,表示故障类别标签，表示无标签样本数量，表示带标签样本数量。

23、优选地，训练时，从数据集中选取批量样本，形成时域输入和时频域输入，用于后续自监督预训练阶段和少标签微调阶段。

24、优选地，所述步骤2具体为：

25、步骤2.1：对于时域批量输入，通过时域初始特征映射模块提取浅层时域特征，描述为：

26、

27、其中，；对于时频域批量输入，通过时频域初始特征映射模块提取浅层时域特征，描述为：

28、

29、其中，，表示批量大小，表示输入通道数，表示映射后的特征通道数，表示映射后的时域特征维度，和分别表示映射后时频域特征的频率维度和时间帧维度；

30、初始特征映射模块的输出和分别作为时域分支和时频域分支中第一个多尺度特征提取单元的输入，对于第个多尺度特征提取单元，时域分支的输入特征为，输出特征为；时频域分支输入特征为，输出特征为，其中，表示多尺度特征提取模块的数量；

31、步骤2.2：为在时域编码特征和时频域编码特征之后分别设置投影头，投影过程表示为：

32、

33、其中，和分别表示时间域投影头和时频域投影头，，表示投影空间维度，投影头为含有非线性激活的线性层；

34、为实现时域与时频域之间的跨域预测，在投影头之后分别设置预测头，时域预测头根据时间域投影表示生成用于匹配时频域投影表示的预测特征，预测过程表示为：

35、

36、其中，和分别表示时间域投影头和时频域投影头，，预测头同样为含有非线性激活的线性层；

37、步骤2.3：构建双向跨域交互自监督预训练目标，为了在无标签条件下建立时间域特征与时频域特征之间的交互约束，分别计算预测表示与另一域投影表示之间的跨域相关矩阵，对于任意一组预测表示和目标投影表示，其跨域相关矩阵定义为：

38、

39、其中，，表示沿批量维度对每个特征维度计算的二范数，矩阵中第行第列元素表示为：

40、

41、其中，表示第个样本在预测表示第个维度上的特征值，表示第个样本在目标投影表示第个维度上的特征值；

42、根据跨域相关矩阵，构建相关性约束损失：

43、

44、其中，表示相关矩阵的对角元素，表示相关矩阵的非对角元素，示损失平衡系数，第一项用于增强相同特征维度在时间域与时频域之间的一致性，第二项用于抑制不同特征维度之间的冗余相关性；

45、时域预测表示与时频域投影表示建立相关性约束，时频域预测表示与时域投影表示建立相关性约束；

46、时域到时频域方向的损失为：

47、

48、时频域到时域方向的损失为：

49、

50、其中，表示停止梯度操作，用于在目标分支上阻断梯度反向传播，以提高预训练稳定性并避免表示退化；

51、自监督预训练任务总损失为：

52、

53、在无标签预训练数据集上，通过最小化优化双域自监督交互预训练模型，使时域特征编码网络和时频域特征编码网络学习跨域一致且非冗余的故障特征表示，预训练完成后，保留时域特征编码网络和时频域特征编码网络的参数，并将其迁移至后续少标签监督微调阶段；投影头和预测头仅用于自监督预训练阶段，在下游故障诊断阶段不参与分类预测。

54、优选地，所述步骤2.1还包括：

55、对于时域分支，第个多尺度特征提取模块采用多个不同感受野的一维卷积分支进行并行特征提取，得到时域多尺度特征：

56、

57、对于时频域则有：

58、

59、其中，和分别为时域、时频域多尺度特征提取模块中尺度为的卷积特征提取分支，表示卷积尺度集合，和分别表示时间域和时频域分支中的池化分支，表示沿通道维度进行特征拼接；

60、对时域多尺度特征和时频域多尺度特征均采用cbam注意力机制分别进行通道—空间注意力增强，对于时域多尺度特征，计算通道注意力权重，时域分支沿时间维度进行全局平均池化和全局最大池化，时频域分支沿频率维度和时间帧维度进行全局平均池化和全局最大池化：

61、

62、

63、根据通道注意力权重得到时域与时频域通道增强特征和，对和沿通道维度进行平均池化和最大池化，并经卷积映射生成空间注意力权重：

64、

65、

66、根据空间注意力权重得到时域增强特征与时频域增强特征，其中，表示 sigmoid 激活函数，表示共享多层感知机，，表示时域，时频域所用cbam注意力机制中的空间注意力卷积映射，表示逐元素乘法，注意力权重通过广播机制与输入特征维度匹配；

67、将第个多尺度特征提取单元的输入特征与注意力增强后的多尺度特征进行残差融合，得到该编码单元的输出，时域分支为：

68、

69、时频域分支为：

70、

71、其中，表示批量归一化操作，为修正线性单元激活函数，通过级联个多尺度特征提取模块，构成时间域特征编码网络和时频域特征编码网络；

72、初始特征映射模块与个多尺度特征提取模块构成时域特征编码网络和时频域特征编码网络，将时域、时频域的完整特征提取过程分别记为、，时域和时频域分别得到的特征记为和，对其分别进行全局平均池化，得固定维度的双域编码特征与，其中。

73、优选地，所述步骤3具体为：

74、步骤3.1：获取并重排双域特征，对于少标签训练样本，构建时间域输入和对应的时频域输入，并将二者分别输入预训练后的时间域特征编码网络和时频域特征编码网络，得到双域高层特征和，批量形式下，，表示批量大小，表示特征通道数，表示编码后的时间维度，和分别表示编码后的频率维度和时间帧维度；

75、在少标签监督微调阶段，为保留时间位置和时频位置上的局部故障信息，保留编码网络末端输出的高层特征图，并将其重排为和，其中，；

76、步骤3.2：构建双域跨域注意力特征交互与融合模块，分别对和进行线性映射，得到查询矩阵、键矩阵和值矩阵，采用多头注意力机制进行跨域交互，设注意力头数为，每个注意力头的特征维度为，其中，表示输入特征通道数；

77、对于第个注意力头，时域、时频域特征的查询、键和值表示为：

78、

79、其中，；，，，，，为第个注意力头对应的可学习线性映射参数；

80、构建双向跨域注意力交互机制，以时域特征作为查询、以时频域特征作为键和值，计算时频域信息对时域特征的互补关系，第个注意力头的跨域注意力权重为：

81、

82、第个注意力头对应的时域跨域增强特征为：

83、

84、将个注意力头的输出进行拼接并线性映射，得到经时频域信息增强后的时域交互特征：

85、

86、其中，表示时域方向的输出映射参数，；

87、对于时频域增强方向，以时频域特征作为查询，以时域特征作为键和值，第个注意力头的跨域注意力权重为：

88、

89、对应的时频域跨域增强特征为：

90、

91、将个注意力头的输出进行拼接并线性映射，得到经时域信息增强后的时频域交互特征：

92、

93、其中，表示时频域方向的输出映射参数，。

94、优选地，将交互后的特征转换为固定长度的用于最终诊断的特征，对时域交互特征和时频域交互特征分别进行加权池化，对于时域交互特征，其位置权重表示为：

95、

96、其中，和为时域加权池化中的可学习参数，；

97、根据权重对时域交互特征进行加权求和，得到时域诊断特征，其中；

98、对时频域交互特征计算位置权重：

99、

100、其中，和为时频域加权池化中的可学习参数，；

101、根据权重对时频域交互特征进行加权求和，得到时频域诊断特征，其中；

102、将时间域诊断特征和时频域诊断特征进行融合，得到双域融合诊断特征，。

103、优选地，在获得双域融合诊断特征后，构建故障分类器对工业设备运行状态进行识别，将融合特征输入分类器，得到故障类别预测概率：

104、

105、其中，和表示分类器中的可学习参数，，表示故障类别数量，表示第个样本属于第类故障状态的预测概率；

106、对于少量带标签样本，采用交叉熵损失函数进行监督微调：

107、

108、其中，表示第个样本真实标签在第类上的取值，通过最小化，对时域特征编码网络、时频域特征编码网络、双向跨域注意力交互模块、加权池化模块和分类器进行联合微调；

109、故障诊断结果由最大预测概率对应的类别确定：

110、

111、其中，表示第个样本的故障诊断类别，通过上述少标签故障诊断过程，本发明能够在少量标注样本条件下充分利用自监督预训练获得的双域特征表示，并通过双向跨域特征交互增强时域与时频域之间的互补关系，提高故障诊断的准确性和泛化能力。

112、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现一种基于自监督交互学习的少标签工业设备故障诊断方法。

113、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现一种基于自监督交互学习的少标签工业设备故障诊断方法。

114、本发明具有以下有益效果：

115、本发明基于背景技术中的问题，研究了一种面向少标签场景的自监督故障诊断方法。本发明所提方法能够利用无标签运行数据进行预训练，降低对人工标注样本的依赖；通过时域与时频域特征交互，获得具有判别性、互补性和稳定性的特征表示；同时避免模型性能过度依赖人工设计的数据增强策略，从而提高模型在少标签训练和工况变化条件下的诊断准确性与泛化能力。相较于基于监督学习的故障诊断方法与已有的基于自监督学习的故障诊断方法，本发明所提方法在标注样本稀缺场景下具有更好的诊断准确性和跨工况泛化性能。