基于相互局部对抗迁移学习的旋转机械故障诊断方法与流程

1.本发明涉及人工智能技术领域，特别涉及一种基于相互局部对抗迁移学习的旋转机械故障诊断方法。


背景技术：

2.传统智能故障诊断方法需要依靠足够的标记数据来训练诊断模型，但是在真实工业场景中，设备大多正常运行，故障数据难以获取。基于诊断知识可以在多个相关机器之间重用的思想，比如实验室轴承的诊断知识可能有助于识别工业场景中轴承的健康状态。因此，采用迁移学习这样一种方式可以将在数据量充足的源域数据中学到的诊断知识迁移到数据量不足的目标域数据中，很好的解决在真实工业场景下标记数据不足的问题。目前迁移学习故障诊断主要分为3类：
3.基于实例的方法：通过在源域中找到与目标域相似的数据，把这个数据的权值进行调整，使得新的数据与目标域的数据进行匹配，然后进行训练学习，得到适用于目标域的模型。这样的方法优点是方法简单，实现容易。缺点在于权重的选择与相似度的度量依赖经验，且源域与目标域的数据分布往往不同。该方法的弊端在于需要先验知识。
4.基于参数微调的方法：第一阶段使用标记的源数据构建预训练的诊断模型。在第二阶段，利用目标域中的少数标记数据进行调整预训练诊断模型的参数。得益于预训练的诊断模型，基于参数的方法可以节省处理大量数据时的大量计算资源。但是，这种基于微调的方法只能应用于监督的转移学习任务，因为对于微调预训练的模型，必须要有标记的目标样本。该方法的弊端在于需要目标域标签。


技术实现要素：

5.本发明的目的在于提供一种基于相互局部对抗迁移学习的旋转机械故障诊断方法，以解决现有的迁移学习故障诊断方法具迁移效果差，模型鲁棒性弱的问题。
6.为解决上述技术问题，本发明提供一种基于相互局部对抗迁移学习的旋转机械故障诊断方法，包括：
7.利用相互学习网络结构进行故障诊断，两个网络相互指导获得更为可靠的伪标签，使得目标域数据得以充分利用，从而提升模型效果及其鲁棒性；
8.以及提供多个局部对抗域分类器以取代全局对抗域分类器，每个局部对抗域分类器分别对齐每一个类别的源域和目标域特征，以得到经改善的相似特征。
9.可选的，在所述的基于相互局部对抗迁移学习的旋转机械故障诊断方法中，其中利用相互学习网络结构进行故障诊断包括：
10.提供相互学习网络结构，相互学习网络结构包括至少两个网络，该至少两个网络之间互为同伴网络；
11.每个网络在训练过程中采用有标记的源域故障数据的同时，参考同伴网络的学习经验提升泛化能力；
12.两个网络之间分享学习经验，以进行互相学习，根据互相学习结果进行故障诊断。
13.可选的，在所述的基于相互局部对抗迁移学习的旋转机械故障诊断方法中，还包括：
14.类别概率估计蕴含了网络提取到的数据本质规律，可以体现数据的内在本质特性；
15.单一的数据标签提供的信息只有样本是否属于某一类，不能够表示不同类别之间的联系，而网络输出的类别概率估计能够一定程度上恢复该信息，设计这样一个相互学习结构进行类别概率估计交互可以使网络之间传递学习到的数据分布特性，从而使得网络改善泛化性能；
16.基于网络改善泛化性能，采用相互学习的结构互换每个网络传递学习到的数据分布特性，相互指导和学习直至收敛。
17.可选的，在所述的基于相互局部对抗迁移学习的旋转机械故障诊断方法中，还包括：
18.采用wasserstein距离约束类别概率估计的分布差异达到最小，起到正则化的作用；
19.将其中一个网络的类别概率估计传递给另一个网络时，提供额外的类别先验约束，防止标签分类器过度拟合真值标签的0-1分布，有效降低过拟合发生概率。
20.可选的，在所述的基于相互局部对抗迁移学习的旋转机械故障诊断方法中，还包括：
21.代理分类器充当标签分类器和特征提取器之间的桥梁，确保代理分类器、标签分类器和特征提取器使用目标域中的感知信息；
22.代理分类器使两个标签分类器不必彼此对齐，避免让两个独立的网络彼此信服对方的预测结果，代理分类器在训练过程中将两个网络联通起来，起到一个交换两个网络学习到的信息的作用；以及
23.代理分类器的结构使得标签分类器和特征提取器之间执行以下动作：
24.指示对方如何获得伪标签，每一步的预测值必须与对方的代理分类器的预测值的分布差异最小，以避免传统相互学习结构用另一组的预测标签来指导每个组，但没有指示如何获得伪标签，因此并不强迫他们获得非常相似的特征表示，也就是说两个网络可能获取到不相似的特征表示，可能会相互影响效果变差。
25.可选的，在所述的基于相互局部对抗迁移学习的旋转机械故障诊断方法中，还包括：
26.基于一个目标域样本只与自己最相关的类别数据对齐，多个局部域判别器进行不同类别故障数据分布的细粒度对齐，减小负迁移的概率，从而避免判别结构在不同分布的错误对齐。
27.可选的，在所述的基于相互局部对抗迁移学习的旋转机械故障诊断方法中，还包括：
28.数据预处理模块对旋转机械设备上收集到的振动信号做数据预处理；
29.特征提取模块构建一个多层cnn卷积网络提取特征，通过设置不同的初始化参数提取不同尺度的特征；
30.域适应模块设计3个loss函数以构成最终的loss函数，3个loss函数包括源域标签数据分类softmax多分类loss
cls
、softmax二分类域判别器loss
dom
和相互学习结构的loss
ml
；
31.通过最小化最终的loss函数，训练得到源域与目标域的域不变特征，以改善迁移学习故障诊断效果；
32.其中loss
cls
为源域有标签数据的损失函数，基于损失函数有监督特性，保证整个模型的效果。
33.可选的，在所述的基于相互局部对抗迁移学习的旋转机械故障诊断方法中，还包括：
34.loss
dom
由k个softmax二分类域判别器组成，k为故障类别数，基于不同故障类型的特征不同，采用多个局部域分类器分别对齐每个类别的源域与目标域特征，以避免域对抗分类器从全局的角度对齐源域与目标域特征对齐出现偏差；
35.loss
ml
采用wasserstein距离衡量网络1的代理分类器对伪标签的预测与网络2的标签分类器对伪标签的预测的分布差异，采用wasserstein距离衡量网络2的代理分类器对伪标签的预测与网络2的标签分类器对伪标签的预测的分布差异，起到两个网络相互指导，相互学习的作用；
[0036][0037][0038][0039]
loss＝loss
cls
loss
dom
loss
ml
。
[0040]
可选的，在所述的基于相互局部对抗迁移学习的旋转机械故障诊断方法中，还包括同种数据集在不同工况下迁移：
[0041]
基于第一假设、第二假设和第三假设，将从源域数据学到的诊断知识迁移到数据量不足的工况下，以改善诊断效果；
[0042]
第一假设包括：不同工况下收集到的轴承或齿轮振动信号有差别；
[0043]
第二假设包括：旋转机械运行处于变工况条件下；
[0044]
第三假设包括：至少一种工况下收集到的数据量不足，其中一种工况下具有足够的标记数据作为源域数据；
[0045]
不同工况下收集到的轴承或齿轮振动信号有差别包括负载不同和/或转速不同。
[0046]
可选的，在所述的基于相互局部对抗迁移学习的旋转机械故障诊断方法中，还包括不同数据集之间迁移：
[0047]
真实工业场景中故障很少发生，收集到的数据很少，难以训练出一个效果好的模型。这时可以收集实验室模拟的轴承数据及轴承诊断知识，采用轴承数据及轴承诊断知识识别工程场景中轴承的健康状态，以用于工程场景中的轴承故障诊断。
[0048]
本发明的发明人经研究发现，在现有技术中的基于特征的方法主要包括：从源域和目标域中获取两者之间的域不变特征，主要有距离度量的方式和域对抗学习的方式，距离度量的方式如果两个域中的特征的距离度量越小，说明获取到了两者之间的域不变特
征，域对抗学习的方式，如果学到的特征不能够让域判别器判别，说明获取到了两者之间的域不变特征。
[0049]
但发明人洞察到，尽管目前基于特征的方法已经取得了很好的诊断效果，但是这种方式目标域数据中的标签信息并没有被充分利用，忽略了目标域数据中的标签信息，而仅仅使用源域的带标签数据训练会对迁移效果有一定影响。此外，现有的方法没有考虑到故障类别信息，在对齐特征时从全局的角度去对齐源域与目标域数据，会存在不同类别之间对齐偏差导致迁移效果不好的问题。因此，在本发明中，发明人结合了相互学习和局部对抗域适应的思想，设计了一种迁移学习故障诊断算法。
[0050]
在本发明提供的基于相互局部对抗迁移学习的旋转机械故障诊断方法中，设计了一种新型的相互学习的网络结构来进行故障诊断，与传统的单个网络结构相比，其大大提高了模型的鲁棒性，每个网络在训练过程中不仅采用有标记的源域故障数据，还参考同伴网络的学习经验来进一步提升泛化能力。在整个过程中，两个网络之间不断分享学习经验，实现互相学习共同进步，另外，本发明还设计了多个局部对抗域分类器取代全局对抗域分类器，分别对齐每一个类别的源域和目标域特征，可以得到更好的相似特征，以得到更好的相似特征。综上所述，本发明通过以上方案，实现了一种基于相互局部对抗迁移学习的故障诊断方法，旨在解决真实工业场景中数据量不足的场景下，通过所提方法仍能取得一个良好的诊断效果。
[0051]
本发明提供的基于相互局部对抗迁移学习的旋转机械故障诊断方法还具有以下优势：
[0052]
1、不需要先验知识，完全通过神经网络自动学习域不变特征。
[0053]
2、目标域是不需要标签的，该方法是不依赖于目标域标签的半监督算法，可以解决数据标记不足的问题。
[0054]
3、采用两个网络相互学习的结构，两个分类模型可以同步推断目标域的标签分布来相互指导。该方法在训练过程中考虑到了目标域的标签信息也可以被利用，通过生成伪标签的方式同时利用源域目标域数据来训练分类器，要比同类方案中仅采用源域有标签数据训练得到的分类器更为鲁棒，解决了现有迁移学习故障诊断算法中目标域数据没有被充分利用的问题。
[0055]
4、设计了多个局部对抗域分类器取代全局对抗域分类器，分别对齐每一个类别的源域和目标域特征，可以得到更好的相似特征，解决了源域域目标域相似特征对齐效果不好的问题。
[0056]
5、为在故障标记数据不足或者完全无标记的故障数据这样的场景，提供了一种诊断效果良好的故障诊断算法。
[0057]
6、相比较传统的单个网络结构的故障诊断算法，该方案由于两个网络相互指导，相互合作可以获得一个更为鲁棒的模型。
[0058]
7、相比较一些迁移故障诊断算法从整体的角度来对齐源域与目标域特征，本发明针对故障的每一个类别分别来进行特征的对齐，大大的减小了负迁移的概率，从而提高了迁移效果。
附图说明
[0059]
图1是本发明一实施例中的基于相互局部对抗迁移学习的旋转机械故障诊断方法示意图；
[0060]
图2是本发明另一实施例中的基于相互局部对抗迁移学习的旋转机械故障诊断方法示意图。
具体实施方式
[0061]
下面结合具体实施方式参考附图进一步阐述本发明。
[0062]
应当指出，各附图中的各组件可能为了图解说明而被夸大地示出，而不一定是比例正确的。在各附图中，给相同或功能相同的组件配备了相同的附图标记。
[0063]
在本发明中，除非特别指出，“布置在
…
上”、“布置在
…
上方”以及“布置在
…
之上”并未排除二者之间存在中间物的情况。此外，“布置在
…
上或上方”仅仅表示两个部件之间的相对位置关系，而在一定情况下、如在颠倒产品方向后，也可以转换为“布置在
…
下或下方”，反之亦然。
[0064]
在本发明中，各实施例仅仅旨在说明本发明的方案，而不应被理解为限制性的。
[0065]
在本发明中，除非特别指出，量词“一个”、“一”并未排除多个元素的场景。
[0066]
在此还应当指出，在本发明的实施例中，为清楚、简单起见，可能示出了仅仅一部分部件或组件，但是本领域的普通技术人员能够理解，在本发明的教导下，可根据具体场景需要添加所需的部件或组件。另外，除非另行说明，本发明的不同实施例中的特征可以相互组合。例如，可以用第二实施例中的某特征替换第一实施例中相对应或功能相同或相似的特征，所得到的实施例同样落入本技术的公开范围或记载范围。
[0067]
在此还应当指出，在本发明的范围内，“相同”、“相等”、“等于”等措辞并不意味着二者数值绝对相等，而是允许一定的合理误差，也就是说，所述措辞也涵盖了“基本上相同”、“基本上相等”、“基本上等于”。以此类推，在本发明中，表方向的术语“垂直于”、“平行于”等等同样涵盖了“基本上垂直于”、“基本上平行于”的含义。
[0068]
另外，本发明的各方法的步骤的编号并未限定所述方法步骤的执行顺序。除非特别指出，各方法步骤可以以不同顺序执行。
[0069]
以下结合附图和具体实施例对本发明提出的基于相互局部对抗迁移学习的旋转机械故障诊断方法作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
[0070]
本发明的目的在于提供一种基于相互局部对抗迁移学习的旋转机械故障诊断方法，以解决现有的迁移学习故障诊断方法具迁移效果差，模型鲁棒性弱的问题。
[0071]
为实现上述目的，本发明提供了一种基于相互局部对抗迁移学习的旋转机械故障诊断方法，包括：利用相互学习网络结构进行故障诊断，两个网络相互指导获得更为可靠的伪标签，使得目标域数据得以充分利用，从而提升模型效果及其鲁棒性；以及提供多个局部对抗域分类器以取代全局对抗域分类器，每个局部对抗域分类器分别对齐每一个类别的源域和目标域特征，以得到经改善的相似特征。
[0072]
针对现有技术存在的问题，发明人巧妙的构思该方案能够同时克服多个技术问
题，实现意想不到的技术效果，具体如图1所示：本发明提供的一种基于相互局部对抗迁移学习的旋转机械故障诊断方法，包括：利用相互学习网络结构进行故障诊断，两个网络相互指导获得更为可靠的伪标签，使得目标域数据得以充分利用，从而提升模型效果及其鲁棒性；以及提供多个局部对抗域分类器以取代全局对抗域分类器，每个局部对抗域分类器分别对齐每一个类别的源域和目标域特征，以得到经改善的相似特征。例如：
[0073]
在本发明的一个实施例中，通过基于距离度量的域适应方式需要预先定义距离函数来学习源域与目标域的相似特征，如何选取合适的距离函数需要根据具体的任务来决定。采用对抗域适应的方式可以自动的学习源域与目标域的相似特征。现有的一些采用对抗域适应的方法是通过源域与目标域看成两个整体从全局的角度来对齐特征，没有考虑故障的类别，而本发明采用局部对抗域适应的方式考虑了故障的类别，只有源域和目标域相同类别的故障，才会去对齐特征，避免了不同类别故障之间的特征对齐；
[0074]
现有的方法大多采用特征对齐的方式，忽略了目标域的标签信息，因为目标域是没有标签的。本发明采用相互学习的这样一种结构，通过为目标域数据预测一个可靠的伪标签，从而利用到目标域的标签信息，在两个网络相互学习，相互指导的过程中，逐步提高伪标签的可信度，从而充分利用源域和目标域数据来训练模型；
[0075]
在本发明的一个实施例中，采用wasserstein距离来最小化其中一个网络的标签分类器对目标域数据预测的伪标签与另一个网络的代理分类器目标域数据预测的伪标签两者之间的分布差异，来指导两个网络相互学习，wasserstein距离相比kl散度、js散度的优越性在于，即便两个分布没有重叠，wasserstein距离仍然能够反映它们的远近。而js散度在此情况下是常量2log2，kl散度可能无意义，避免了网络优化过程中的梯度消失问题。
[0076]
因此，本发明的改进点主要在于：
[0077]
首先：设计了相互学习的网络结构来进行故障诊断，与传统的单个网络结构相比，大大提高了模型的鲁棒性。每个网络在训练过程中不仅采用有标记的源域故障数据，还参考同伴网络的学习经验来进一步提升泛化能力。在整个过程中，两个网络之间不断分享学习经验，实现互相学习共同进步；
[0078]
其次：设计了多个局部对抗域分类器取代全局对抗域分类器，分别对齐每一个类别的源域和目标域特征，可以得到更好的相似特征。
[0079]
具体的，相互学习结构起作用的原因在于：类别概率估计蕴含了网络挖掘到的数据本质规律，可以体现数据的内在本质特性。单一的真值标签提供的信息仅包含样本是否属于某一类，但缺少不同类别之间的联系，而网络输出的类别概率估计则能够在一定程度上恢复该信息，因此网络之间进行类别概率估计交互可以传递学习到的数据分布特性，从而帮助网络改善泛化性能。所以本发明采用这样一种相互学习的结构互换每个网络传递学习到的数据分布特性，相互指导，相互学习，直到收敛。
[0080]
在本发明的一个实施例中，采用wasserstein距离来约束类别概率分布差异达到最小起到正则化作用。本发明将其中一个网络的类别概率传递给另一个网络时，本质上也是提供额外的类别先验约束，防止标签分类器过度拟合真值标签的0-1分布，有效降低过拟合发生概率。
[0081]
在本发明的一个实施例中，代理分类器充当标签分类器和特征提取器之间的桥梁，确保它们使用目标域中的感知信息。代理分类器的另一个优点是，它们使标签分类器不
必彼此对齐。传统相互学习结构用另一组的预测标签来指导每个组，但没有告诉他们如何获得这些伪标签，因此并不强迫他们获得非常相似的特征表示，也就是说两个网络可能获取到不相似的特征表示，可能会相互影响效果变差。代理分类器的结构告诉了对方要如何获得这些伪标签，每一步的预测值必须与对方的代理分类器的预测值的分布差异最小。
[0082]
在本发明的一个实施例中，多个局部域判别器是进行不同类别故障数据分布的细粒度对齐，减小了负迁移的概率，因为对于一个目标域样本，它只与自己最相关的类别数据对齐，从而避免了判别结构在不同分布的错误对齐。
[0083]
在本发明的一个实施例中，本发明主要包括3个模块，如图2所示，数据预处理模块、特征提取模块和域适应模块。数据预处理模块对旋转机械设备上收集到的振动信号做数据预处理；特征提取模块构建一个多层cnn卷积网络提取特征，通过设置不同的初始化参数提取不同尺度的特征；域适应模块设计了3个loss函数来构成最终的loss函数，分别是源域标签数据分类softmax多分类loss
cls
，softmax二分类域判别器loss
dom
和相互学习结构的loss
ml
。通过最小化最终的loss函数，训练可以得到源域与目标域的域不变特征，实现一个好的迁移学习故障诊断效果；其中loss
cls
为源域有标签数据的损失函数，因为这个损失函数是有监督的，可以保证整个模型是有效果的。
[0084]
在本发明的一个实施例中，loss
dom
由k个softmax二分类域判别器组成，k为故障类别数，相比较传统的域对抗分类器是从全局的角度来对齐源域与目标域特征，考虑到不同故障类型的特征是不一样的，本发明采用多个局部域分类器来分别对齐每个类别的源域与目标域特征。
[0085]
在本发明的一个实施例中，loss
ml
是采用wasserstein距离来衡量网络1的代理分类器对伪标签的预测与网络2的标签分类器对伪标签的预测的分布差异，同理也采用wasserstein距离来衡量网络2的代理分类器对伪标签的预测与网络2的标签分类器对伪标签的预测的分布差异。
[0086][0087][0088][0089]
loss＝loss
cls
loss
dom
loss
ml
[0090]
在本发明的一个实施例中，进行同种数据集不同工况下迁移，不同工况下收集到的轴承或齿轮振动信号是有差别的，比如不同的负载，不同转速，考虑到旋转机械运行多处于变工况条件下，而有些工况下收集到的数据量可能不够，假如有其中一种工况下足够的标记数据，就可以把它作为源域数据，通过该方法将从源域数据学到的诊断知识迁移到数据量不足的工况下，也能取得一个好的诊断效果。
[0091]
换言之，基于第一假设、第二假设和第三假设，将从源域数据学到的诊断知识迁移到数据量不足的工况下，以改善诊断效果；第一假设包括：不同工况下收集到的轴承或齿轮振动信号有差别；第二假设包括：旋转机械运行处于变工况条件下；第三假设包括：至少一种工况下收集到的数据量不足，其中一种工况下具有足够的标记数据作为源域数据；不同
工况下收集到的轴承或齿轮振动信号有差别包括负载不同和/或转速不同。
[0092]
在本发明的一个实施例中，进行不同数据集之间迁移，真实工业场景中故障很少发生，收集到的数据很少难以训练一个效果好的模型。这时可以采用实验室模拟收集到的轴承数据，来自实验室轴承的诊断知识可能有助于识别工程场景中轴承的健康状态，可以使用该方案用于工程场景中的轴承故障诊断。
[0093]
综上所述，本发明提出了一种基于相互局部对抗迁移学习的故障诊断方法，旨在解决真实工业场景中数据量不足的场景下，通过所提方法仍能取得一个良好的诊断效果。本方案主要结合了相互学习和局部对抗域适应的思想，设计了一种迁移学习故障诊断算法。其优点包括：
[0094]
1、不需要先验知识，完全通过神经网络自动学习域不变特征。
[0095]
2、目标域是不需要标签的，该方法是不依赖于目标域标签的半监督算法，可以解决数据标记不足的问题。
[0096]
3、采用两个网络相互学习的结构，两个分类模型可以同步推断目标域的标签分布来相互指导。该方法在训练过程中考虑到了目标域的标签信息也可以被利用，通过生成伪标签的方式同时利用源域目标域数据来训练分类器，要比同类方案中仅采用源域有标签数据训练得到的分类器更为鲁棒，解决了现有迁移学习故障诊断算法中目标域数据没有被充分利用的问题。
[0097]
4、设计了多个局部对抗域分类器取代全局对抗域分类器，分别对齐每一个类别的源域和目标域特征，可以得到更好的相似特征，解决了源域与目标域相似特征对齐效果不好的问题。
[0098]
5、为在故障标记数据不足或者完全无标记的故障数据这样的场景，提供了一种诊断效果良好的故障诊断算法。
[0099]
6、相比较传统的单个网络结构的故障诊断算法，本发明的方案由于两个网络相互指导，相互合作可以获得一个更为鲁棒的模型。
[0100]
7、相比较一些迁移故障诊断算法从整体的角度来对齐源域与目标域特征，本发明针对故障的每一个类别分别来进行特征的对齐，大大的减小了负迁移的概率，从而提高了迁移效果。
[0101]
本发明提供了一种基于相互局部对抗迁移学习的旋转机械故障诊断方法，包括：考虑到目标域数据中隐含的标签信息没有被充分利用，设计了一种相互学习的网络结构来学习可靠的伪标签，进而使得没有标签的目标域数据得以充分利用，从而提高模型性能。相比于单个网络结构来比该模型的鲁棒性更好。考虑到忽略故障的类别信息直接从全局的角度来对齐源域与目标域数据可能会出现对齐偏差的问题，提供多个局部对抗域分类器取代全局对抗域分类器，每个局部对抗域分类器分别对齐每一个类别的源域和目标域特征，以得到更好的相似特征。
[0102]
综上，上述实施例对基于相互局部对抗迁移学习的旋转机械故障诊断方法的不同构型进行了详细说明，当然，本发明包括但不局限于上述实施中所列举的构型，任何在上述实施例提供的构型基础上进行变换的内容，均属于本发明所保护的范围。本领域技术人员可以根据上述实施例的内容举一反三。
[0103]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他
实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0104]
上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。