一种判别式的广义零样本学习故障诊断方法与流程

1.本发明属于机器学习算法技术领域，具体涉及工业过程故障分类，特别是涉及一种判别式的广义零样本学习故障诊断方法。


背景技术：

2.对于监督学习想要对特定故障进行高准确率的分类，那么在训练阶段就要该类别故障大量带标签的样本，并且监督学习只能对已见故障(参与模型训练的类别，即有样本的)进行分类，但在实际情况中事物的类别非常多，并且每天都可能产生新的类别，例如新上市的汽车。因此监督学习在分类任务中有很多局限性：1)收集大量带标签的样本耗时耗力；2)训练模型十分耗时；3)如果出现一种类别不同于已见类故障，那么就要重新收集其带标签的样本并重新训练模型实现对其分类。
3.为了解决监督学习不能对未见类故障(未参与模型训练的类别，即零样本的)进行分类的问题，现有文献提出了基于属性迁移的零样本学习方法。未见类故障的样本是很少甚至没有，然而少量的样本不能够在监督学习中取得较高的准确率，所以零样本学习没有使用未见类故障的样本。零样本学习的前提假设是参与模型建立的是已见类故障，在实际测试中只有未见类故障，然而在实际情况中已见类故障是常见的，未见类故障是不常见的，所以零样本学习不符合实际使用场景。


技术实现要素：

4.为了克服现有技术的不足，本发明的目的是提供一种判别式的广义零样本学习故障诊断方法，提供了更为高效，高准确率的故障分类技术方案。
5.一种判别式的广义零样本学习故障诊断方法，利用已见类故障样本和故障语义描述信息训练模型，在测试阶段实现对已见类故障和未见类故障进行分离，完成分离后判别为已见类故障的样本用监督学习的方法来完成分类，判别为未见类故障的样本用零样本学习的方法完成分类；其中判别器的设计步骤如下：
6.1)数据采集
7.已见类故障数据集为：其中表示特征空间的第i个样本；y
i
∈y
s
，代表第i个样本对应的故障类别，y
s
代表已见类故障标签的集合，y
u
代表已见类故障标签的集合，其中表示第i个样本对应的语义空间的语义描述，其中已见类故障语义描述的集合是a
s
，未见类故障语义描述的集合是a
u
，其中n
s
代表已见类故障样本的数量，和分别代表n维和m维实数空间；对采集的数据先进行小波降噪再进行数据归一化；
8.2)训练条件生成模型
9.用已见类故障数据集s来训练条件变分自编码器得到生成器g(h,a)，h和a为生成器的输入，h向量的各个元素服从均值为0，方差为1的标准正态分布，记h～n(0,i)，保证样本生成的多样性，a为故障类别的语义描述信息，生成器的输出为
10.3)生成伪样本
11.用训练好的生成器g(h,a)通过a故障类别的不同来生成伪已见类故障数据集合其中输入到生成器的故障语义描述a∈a
s
，生成伪未见类故障数据集合其中输入到生成器的故障语义描述
12.4)训练二分类器
13.得到和后再和真实的已见类故障样本集x
s
一起训练一个二分类器，其中x
s
和为已见类，为未见类，生成是为了平衡的样本数量，训练好的判别器用于在测试阶段已见类故障和未见类故障的判别。
14.步骤2)中a为故障类别的语义描述信息，描述为：温度异常，压强异常，湿度正常，流速正常，描述为向量时异常为“1”，正常为“0”，则a＝[1,1,0,0]，此时的语义描述就是“0”，“1”的二值描述；若二值描述不能描述等级差异的故障，用0
‑
9这10个等级来描述对应等级的异常程度，其中“0”表示正常，1
‑
9表示异常程度逐渐递增，这时的语义描述就是连续值描述。
[0015]
步骤2)中将故障类别的语义描述信息a作为约束条件来训练条件变分自编码器，其中条件变分自编码器包括：全连接层和激活层。
[0016]
步骤3)用生成模型将已见类故障和未见类故障在语义描述空间中的差异来反映到已见类故障和未见类故障在特征空间中的差异。
[0017]
本发明的有益效果：
[0018]
监督学习只能对已见类故障进行分类，零样本学习只能对未见类故障进行分类，但是在线样本事先无法得知它属于已见或未见故障类，使得这两种分类方法都不能满足实际应用场景。本发明提出的广义零样本学习故障诊断方法能够同时对已见类故障和未见类故障进行分类，相比于监督学习和零样学习本发明提出的方法更加符合实际场景。本发明具有可解释性强、鲁棒性好、易实现等优点。
附图说明
[0019]
图1是本发明实现广义零样本学习的基本框架。
具体实施方式
[0020]
原理介绍
[0021]
在线发生的故障既有可能是已见类故障也有可能是未见类故障，能够处理这种问题的方法称为广义零样本学习故障诊断方法。
[0022]
为了实现广义零样本学习的分类目标，需要解决的关键问题是：如何在没有未见类故障样本的情况下实现同时对已见类故障和未见类故障的分类。
[0023]
为了解决该关键问题需要引入辅助信息，并且辅助信息不能够来自样本，因为未见类故障由于各种原因是没有或很少有具体的样本信息，或者有样本但不能直接用到该系统中，但未见类故障已经被人所发现。事实上故障类别是可以通过语义描述来反映该类别，例如可以用“转速异常”，“温度异常”，“流速异常”等属性来描述一个具体的故障类别，语义描述信息不需要特定的故障样本信息也能够获得。因此通过语义描述来描述已见类故障和
未见类故障是可行的。
[0024]
引入辅助信息后通过已见类故障样本和语义描述信息来实现同时对已见类故障和未见类故障的分类。有了语义描述信息后可以通过生成模型来生成伪未见类故障样本将广义零样本学习转化为监督学习，我们称这种方法为生成式广义零样本学习，但该方法生成的伪未见类故障样本在训练模型前不能够和真实的未见类故障样本进行比较，即不能够保障生成的伪未见类故障样本和真实的未见类故障样本相似，因为未见类故障样本不参与模型建立，所以该方法的解释性弱，结果随机性强，并且出现一种新的未见类故障时需要重新训练模型。另一种方法是在分类前先对故障进行已见类故障和未见类故障的判别，如果判别样本是已见类故障，那么用监督学习的方法来实现对已见类故障的分类，如果判别样本是未见类故障，那么用零样本学习的方法来实现对未见类故障的分类，这样就将广义零样本学习的问题转化为了监督学习和零样本学习的问题通过在分类前先进行已见类故障和未见类故障的判别，而监督学习和零样本学习来实现分类有很多现有的方法，我们称这种方法为判别式广义零样本学习，相较于生成式广义零样本学习，该方法的解释性更强，但是经过判别器再进行分类后误差会累积。本发明用的是判别式广义零样本学习。
[0025]
问题描述：s＝{(x,a,y)|x∈x
s
,a∈a
s
,y∈y
s
}和u＝{(x,a,y)|x∈x
u
,a∈a
u
,y∈y
u
}分别是已见类故障和未见类故障的集合，其中x是采集自传感器的样本数据，a是故障的语义描述，y是故障对应的标签。x
s
是已见类故障样本的集合，a
s
是已见类故障的语义描述信息的集合，y
s
是已见类故障标签的集合；x
u
，a
u
和y
u
分别是未见类故障的样本数据集合，未见类故障的语义描述信息集合和未见类故障的标签集合。s参与模型的训练，x
u
不参与模型的训练，在测试阶段如果样本x属于类别y
u
，那么就称为零样本学习，如果测试阶段样本x属于类别y
all
,其中y
all
＝y
s
∪y
u
，即测试样本既有已见类故障又有未见类故障，那么就称为广义零样本学习。
[0026]
以下结合附图和实施例进行进一步的阐述。
[0027]
如图1所示，具体步骤如下：
[0028]
(1)数据介绍
[0029]
假设已见类数据集为：其中表示特征空间的第i个样本；y
i
∈y
s
，代表第i个样本对应的类别，y
s
代表已见类标签的集合；表示第i个样本对应的语义空间的语义描述，其中已见类语义描述的集合是a
s
。n
s
代表已见类样本的数量。和分别代表n维和m维实数空间。对于未见类类别y
u
，
[0030]
(2)训练条件生成模型
[0031]
用已见类数据集s来训练条件生成模型得到生成器g(h,a)，h和a为生成器的输入，h向量的各个元素服从均值为0，方差为1的标准正态分布，记h～n(0,i)，保证样本生成的多样性，a为类别的语义描述信息；生成器的输出为x。
[0032]
(3)生成伪样本
[0033]
用训练好的生成器g(h,a)通过a类别的不同来生成伪已见类数据集合其中输入到生成器的语义描述a∈a
s
。生成伪未见类数据集合其中输入到生成器的语义描述
[0034]
(4)训练二分类器
[0035]
得到和后再和真实的已见类样本集x
s
一起训练一个二分类器，其中x
s
和为已见类，为未见类，生成是为了平衡的样本数量。训练好的二分类器用于已见类和未见类的判别。
[0036]
进一步的，步骤2中我们用条件变分自编码器(cvae)作为我们的条件生成模型，其中cvae由编码器和解码器组成，编码器输出的样本均值(μ
x
)和方差(σ
x
)经过重参数化技巧变为隐藏向量h，其中h＝μ
x
σ
x
*ε，ε变量采样自标准正太分布h再输入到解码器后得到重构样本为重构误差，为最小化优化方程，kl是kullback
‑
leibler散度，kl散度的目的是让隐藏向量h服从标准正太分布，使变分推断过程学到更多更有价值的信息。
[0037][0038][0039]
进一步的，步骤3中我们用训练好的生成器g(h,a)，我们让a∈a
s
，使得令使得
[0040]
进一步的，步骤4中我们用来线性支持向量机(lsvm)来实现对已见类和未见类的分类。分离超平面对应的方程为w
*
·
x b
*
＝0，其中法向量w
*
和截距b
*
决定超平面，其对应的分类决策函数和符号函数(sign)如下所示。
[0041]
f(x)＝sign(w
*
·
x b
*
)
[0042][0043]
应用实施例
[0044]
1、实验数据集
[0045]
本发明使用田纳西
‑
伊斯曼基准过程(tep)作为算法验证的数据集，tep是一个在工业上得到充分研究的故障分类数据集，tep提供21种故障，每种故障有52个特征。每个故障有两部分组成，一个部分是有480个数据点，并且全部是故障；另一个部分有960个数据点，其中前160个数据点是正常的工况，在160个数据点后引入故障。我们选取20个属性对故障进行描述见表2，由于后6个故障的描述过少，所以我们选取了前15个故障来进行我们的实验见表1，故障语义描述见表3，其中行代表表1的15种故障类别，列代表表2的20种属性的语义描述，我们使用二值描述来描述故障，我们按照对这15种故障进行已见类/未见类故障不同的划分将实验分成5组见表4，来验证方法的有效性和鲁棒性。本发明的实验部分使用960个数据点的部分的后800个数据作为训练集(12*800)，480部分作为测试集(15*480)，其中已见类故障12个，未见类故障3个。
[0046]
表1数据集故障介绍
[0047][0048]
表2故障语义描述的20类属性介绍
[0049][0050]
[0051]
表3故障的属性描述，20列分别对应着表2的属性，其中“1”代表有该属性，“0”代表没有该属性
[0052][0053][0054]
表4故障已见类和未见类的不同划分
[0055][0056]
2、判别器测试实验
[0057]
比较了本方法与孤立森林和单类支持向量机在5种数据集划分下的判别性能主要有两个指标表现：
[0058]
整体准确率(a)：由于已见类故障和未见类故障的样本数量是不一致的，测试阶段已见类故障样本数量是未见类故障样本数量的3倍，所以要计算判别器的整体准确率。判别器的整体分类准确率首先要大于50％，否则就是低于随机选择的准确率。整体准确率的表达式如下所示，其中n
correct
为分类正确的样本数，n
all
为参与分类的总样本数。
[0059][0060]
调和平均数(h)：平均准确率远高于50％也不能证明判别器的性能足够好，因为已见类故障样本多于未见类故障样本，将所有样本分类给已见类故障也能达到很高的整体准确率。所以一个好的判别器应该能够平衡已见类(d
s
)和未见类(d
u
)的准确率，如果已见类和
未见类的准确率都很高那将获得较高的调和平均数，如果有一个准确率低，那么将不能获得较高的调和平均数。调和平均数的表达式如下，其中d
s
是判别器对已见类故障的分类准确率，d
u
是判别器对未见类故障的分类准确率。
[0061][0062]
表5判别器对已见类和未见类分类的准确率
[0063][0064]
如表5所示，孤立森林和单类支持向量机分别对已见类故障和未见类故障有较高的分类准确率，我们提出的判别器则很难看出它的性能优于孤立森林和单类支持向量机，如上所述，评价一个判别器的好坏要根据判别器的整体准确率和调和平均数，即整体准确率要高于50％，调和平均数要尽可能高。
[0065]
表6判别器的整体准确率和判别器对已见类故障和未见类故障准确率的调和平均数
[0066][0067]
由表6可以看出，单类支持向量机的整体准确率在50％左右，显然不是一个好的判别器，而孤立森林的整体准确率虽然都高于50％，但是不能很好平衡已见类和未见类的准确率，我们提出的判别器不仅整体准确率都高于50％，同时也能够获得较高的调和平均数，因此我们提出的方法更适合作为区分已见类故障和未见类故障的判别器。
[0068]
3.广义零样本学习故障分类结果
[0069]
上面已经对判别器的性能做出了比较，在这一部分我们将判别器判别为已见类故障的样本用随机森林算法进行监督分类，判别器判别为未见类故障的样本用朴素贝叶斯对其进行属性预测，再用最近邻搜索找出其对应的未见类故障。其中a
u
为经过判别器后用朴素贝叶斯对判别为未见类故障样本后进行分类的平均准确率，a
s
为经过判别器后用随机森林对判别器判别为已见类故障样本进行分类后的平均准确率。h为a
u
和a
s
调和平均数，其表
达式如下所示。
[0070][0071]
表7广义零样本学习的分类准确率
[0072][0073]
由表7可以看出，我们的方法具有较强的鲁棒性，在5组不同的已见类/未见类故障划分下都能取得高于随机的准确率(1/15)，并且能够很好地平衡a
u
和a
s
从而取得较高的调和平均数。
[0074]
我们将广义零样本问题转化为了对已见类故障进行监督学习和对未见类故障进行零样本学习通过在具体故障分类前先进行已见类故障和未见类故障的判别，我们通过已见类故障样本和故障语义描述实现了对已见类故障和未见类故障的区分，并且相比于孤立森林和单类支持向量机，我们提出的判别器拥有更好的性能。判别式广义零样本学习的优点是监督学习和零样本学习的方法都是现有的，我们只需要学习一个判别器即可实现广义零样本学习，但是其缺点是经过判别器再进行分类后误差会累积。
[0075]
上述描述中的实施方案可以进一步组合或者替换，且实施方案仅仅是对本发明的优选实施例进行描述，并非对本发明的构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域普通技术人员对本发明的技术方案做出的各种变化和改进，均属于本发明的保护范围。本发明的保护范围由所附权利要求及其任何等同物给出。