一种基于时频分布和深度学习的故障诊断方法及装置与流程

1.本公开涉及故障诊断技术领域，尤其涉及一种基于时频分布和深度学习的故障诊断方法及装置。


背景技术：

2.机械设备各项零部件在生产环境中会因为持续的振动和冲击造成磨损，从而导致设备故障、影响生产，危及操作人员人身安全，因此对机械设备及时进行故障诊断具有重要的现实意义。然而由于机械设备运行环境和齿轮箱内部结构复杂，同时由于信号传递路径及外界噪声干扰，可采集到的信号往往是机械设备综合信息的反映，极大增加了关键信息获取的难度。振动信号具有测量方便和精度较高的优势，在机械设备故障诊断中广泛应用；声音信号具有感受直观和非接触式的优势，经验丰富的专家可以通过声音直接判断设备运行状态。但由于两种信号数据量大且含有大量噪声，不能直接作为故障诊断的特征。
3.目前故障诊断主要是通过信号处理方法(包括时域分析、频域分析等)和传统机器学习分类等方式实现。信号处理方法需要复杂且专业的信号处理知识，同时信号中还混杂着冗余信号和其他干扰信号，影响对设备故障的识别；传统机器学习分类主要是通过对振动、声音等信号进行特征提取、特征选择并根据选择到的特征进行故障诊断，通过此类方法进行的故障诊断，结果的准确性往往依赖于人工特征提取和特征的选择。
4.综上当前机械设备的故障诊断方法对于人工经验和专业知识依赖较大，在故障诊断时容易受到人工因素的影响，以及容易发生故障诊断不及时的问题。


技术实现要素：

5.本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
6.为此，本公开的第一个目的在于提出一种基于时频分布和深度学习的故障诊断方法，以提高设备故障诊断的客观性和及时性。
7.本公开的第二个目的在于提出一种基于时频分布和深度学习的故障诊断装置。
8.本公开的第三个目的在于提出一种电子设备。
9.本公开的第四个目的在于提出一种存储有计算机指令的非瞬时计算机可读存储介质。
10.为达上述目的，本公开第一方面实施例提出了一种基于时频分布和深度学习的故障诊断方法，包括：
11.获取设备不同运行状态对应的各种工况下设备运行过程中的多种时域信号，并获得所述多种时域信号在各种工况下的设备状态标签，所述设备状态标签包括设备正常和设备故障；
12.将各种时域信号分别转化成时频谱图，将多种时频谱图进行拼接获得目标时频谱图，基于各种工况下的目标时频谱图和所述设备状态标签获得设备不同运行状态对应的第一训练集；
13.分别利用设备不同运行状态对应的所述第一训练集训练第一神经网络得到对应的设备状态模型；
14.实时获取待测设备运行过程中的多种时域信号，基于实时获取的多种时域信号获得对应的目标时频谱图，根据待测设备当前的运行状态，将所述对应的目标时频谱图输入所述对应的设备状态模型判断所述待测设备是否发生故障。
15.在本公开的一个实施例中，获得所述多种时域信号在各种工况下的故障类型标签，基于各种工况下的目标时频谱图和所述故障类型标签获得设备不同运行状态对应的第二训练集；分别利用设备不同运行状态对应的所述第二训练集训练第二神经网络得到对应的故障类型模型；若所述待测设备发生故障，则将所述对应的目标时频谱图输入对应的所述故障类型模型判断所述待测设备的故障类型。
16.在本公开的一个实施例中，所述多种时域信号包括设备各个部件的振动信号和声音信号。
17.在本公开的一个实施例中，所述将各种时域信号分别转化成时频谱图，包括：采用小波变换、短时傅里叶变换、希尔伯特黄变换中的一种时频分析方法将各种时域信号分别转化成时频谱图。
18.为达上述目的，本公开第二方面实施例提出了一种基于时频分布和深度学习的故障诊断装置，包括：
19.数据获得模块，用于获取设备不同运行状态下的各种工况下设备运行过程中的多种时域信号，并获得所述多种时域信号在各种工况下的设备状态标签，所述设备状态标签包括设备正常和设备故障；
20.训练集生成模块，用于将各种时域信号分别转化成时频谱图，将多种时频谱图进行拼接获得目标时频谱图，基于各种工况下的目标时频谱图和所述设备状态标签获得设备不同运行状态对应的第一训练集；
21.建模模块，用于分别利用设备不同运行状态对应的所述第一训练集训练第一神经网络得到对应的设备状态模型；
22.诊断模块，用于实时获取待测设备运行过程中的多种时域信号，基于实时获取的多种时域信号获得对应的目标时频谱图，根据待测设备当前的运行状态，将所述对应的目标时频谱图输入所述对应的设备状态模型判断所述待测设备是否发生故障。
23.在本公开的一个实施例中，所述数据获得模块，还用于获得所述多种时域信号在各种工况下的故障类型标签；所述训练集生成模块，还用于基于各种工况下的目标时频谱图和所述故障类型标签获得设备不同运行状态对应的第二训练集；所述建模模块，还用于分别利用设备不同运行状态对应的所述第二训练集训练第二神经网络得到对应的故障类型模型；所述诊断模块，还用于若所述待测设备发生故障，则将所述对应的目标时频谱图输入所述对应的故障类型模型判断所述待测设备的故障类型。
24.在本公开的一个实施例中，所述数据获得模块，在用于获取各种工况下设备运行过程中的多种时域信号时，具体用于：所述多种时域信号包括振动信号和声音信号，获取各种工况下设备运行过程中各个部件的振动信号和声音信号。
25.在本公开的一个实施例中，所述训练集生成模块，在用于将各种时域信号分别转化成时频谱图时，具体用于：采用小波变换、短时傅里叶变换、希尔伯特黄变换中的一种时
频分析方法将各种时域信号分别转化成时频谱图。
26.为达上述目的，本公开第三方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开第一方面实施例的基于时频分布和深度学习的故障诊断方法。
27.为达上述目的，本公开第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开的第一方面实施例提出的基于时频分布和深度学习的故障诊断方法。
28.在本公开一个或多个实施例中，获取设备不同运行状态下的各种工况下设备运行过程中的多种时域信号，并获得多种时域信号在各种工况下的设备状态标签，设备状态标签包括设备正常和设备故障；将各种时域信号分别转化成时频谱图，将多种时频谱图进行拼接获得目标时频谱图，基于各种工况下的目标时频谱图和设备状态标签获得设备不同运行状态对应的第一训练集；分别利用设备不同运行状态对应的第一训练集训练第一神经网络得到对应的设备状态模型；实时获取待测设备运行过程中的多种时域信号，基于实时获取的多种时域信号获得对应的目标时频谱图，根据待测设备当前的运行状态，将对应的目标时频谱图输入对应的设备状态模型判断待测设备是否发生故障。在这种情况下，将时域信号分别转化成时频谱图，利用拼接后得到的目标时频谱图和设备状态标签获得第一训练集，然后利用第一训练集训练第一神经网络得到设备不同运行状态对应的设备状态模型，该设备状态模型能够充分挖掘目标时频谱图的特征，建立目标时频谱图和设备状态间的关系，从而在实时诊断时较为真实客观准确地反映设备的状态，降低了对人工的依赖性，提高了设备故障诊断的客观性和及时性。
29.本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
30.为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
31.图1为本公开实施例所提供的一种基于时频分布和深度学习的故障诊断方法的流程示意图；
32.图2为本公开实施例所提供的基于时频分布和深度学习的故障诊断方法的原理示意图；
33.图3为本公开实施例提供的基于小波变换的时频分析方法的原理示意图；
34.图4为本公开实施例提供的残差网络的结构示意图；
35.图5为本公开实施例提供的网络结构中的瓶颈残差模块的结构示意图；
36.图6为本公开实施例所提供的一种基于时频分布和深度学习的故障诊断装置的框图；
37.图7是用来实现本公开实施例的基于时频分布和深度学习的故障诊断方法的电子设备的框图。
具体实施方式
38.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开实施例的一些方面相一致的装置和方法的例子。
39.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
40.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。还应当理解，本公开中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
41.下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
42.本公开提供了一种基于时频分布和深度学习的故障诊断方法及装置，主要目的在于提高设备故障诊断的客观性和及时性。
43.在第一个实施例中，图1为本公开实施例所提供的一种基于时频分布和深度学习的故障诊断方法的流程示意图。图2为本公开实施例所提供的基于时频分布和深度学习的故障诊断方法的原理示意图。如图1所示，该基于时频分布和深度学习的故障诊断方法包括以下步骤：
44.步骤s11，获取设备不同运行状态对应的各种工况下设备运行过程中的多种时域信号，并获得多种时域信号在各种工况下的设备状态标签，设备状态标签包括设备正常和设备故障。
45.易于理解地，步骤s11中的多种时域信号为设备运行过程中设备各个部件产生的各种类型的信号。例如多种时域信号可以包括振动信号和声音信号等。
46.在步骤s11中，可以通过传感器采集多种时域信号。在一些实施例中，可以利用振动传感器采集设备运行过程中各部件的信号获得振动信号，可以利用声音传感器采集设备运行过程中各部件的信号获得声音信号。
47.在一些实施例中，设备不同运行状态包括半载、满载等运行状态。
48.在一些实施例中，时域信号可以为时域图，具体地，将传感器采集的信号数据按固
定时长分块，并将其绘制得到时域图，固定时长例如为t0毫秒。
49.在一些实施例中，可以将采集的多种时域信号例如振动信号和声音信号进行时间对准后，存入时序数据库中。多种时域信号例如振动信号和声音信号均属于一维时域信号。
50.在一些实施例中，步骤s11中的多种时域信号在各种工况下的设备状态标签可以通过标注获得。其中在对采集的各种时域信号分别进行标注时，可以标注设备状态，设备状态例如为设备正常或设备故障，还可以标注故障类型，标注故障类型例如包括故障等级、故障部位、故障原因等各类故障。
51.在一些实施例中，对采集的各种时域信号分别标注故障类型可以获得多种时域信号在各种工况下的故障类型标签。
52.在一些实施例中，可以由运维人员根据设备运行状况对采集的各种时域信号进行标注。
53.在一些实施例中，根据设备运行状况，运维人员可以以时间为单位对采集的各种时域信号进行标注。
54.在一些实施例中，基于采集的多种时域信号、对应的设备状态标签和对应的故障类型标签可以获得训练数据集。
55.步骤s12，将各种时域信号分别转化成时频谱图，将多种时频谱图进行拼接获得目标时频谱图，基于各种工况下的目标时频谱图和设备状态标签获得设备不同运行状态对应的第一训练集。
56.在步骤s12中，将各种时域信号分别转化成时频谱图，包括：采用小波变换、短时傅里叶变换、希尔伯特黄变换等时频分析方法中的一种将各种时域信号分别转化成时频谱图。其中时频谱图也可以称为二维时频谱图。在这种情况下，通过时频分析方法，将信号的时间、频率及能量(幅值)信息以时频谱图的形式进行呈现，实现非平稳信号局部特性的精确描述，将构建的时频谱图存入数据库中，用于后续训练。
57.基于小波变换的时频分析方法，不同于傅里叶变换，小波变换使用有限长会衰减的小波基替换无限长的三角函数基，常用于处理突变信号或具有孤立奇异性的函数。小波变换系数的表达式如下：
[0058][0059]
式中，wt
x
(a,τ)为小波变换系数，a为尺度因子，τ为平移量，t为时间序列，x(t)为输入信号(即采集的时域信号)。
[0060]
尺度因子a用于控制小波函数的伸缩，对应于频率(反比)，平移量τ控制小波函数的平移，对应于时间。
[0061]
小波变化过程包括：
[0062]
(1)：确定尺度序列的范围为(2fc,inf)，使得小波尺度图的频率范围为(0,fs/2)。尺度序列为：
[0063][0064]
其中，fs为采样频率，fc为小波中心频率，scale为尺度序列的长度，inf表示无穷大，取足够大的尺度即可。
[0065]
(2)：固定一个尺度因子，将它与信号的初始段进行比较，通过计算公式计算小波系数，小波系数反映了当前尺度下的小波与所对应新号段的相似程度。
[0066]
(3)：改变平移量，使小波沿时间轴位移，重复(2)、(3)直至完成一次分析。
[0067]
(4)：采用下一个尺度因子，重复(2)、(3)直至完成第二次分析。
[0068]
(5)：循环执行(5)，直至完成所有尺度的分析。
[0069]
(6)：根据f＝fc
×
fs/a，将尺度因子的序列转换为实际频率序列f，结合时间序列t，绘制时频谱图。
[0070]
在步骤s12中，将多种时频谱图进行拼接获得目标时频谱图，包括：将多种时域信号分别转化得到的时频谱图利用图像拼接技术获得目标时频谱图。在这种情况下，相比于各种时频谱图，目标时频谱图增加了通道数。
[0071]
图3为本公开实施例提供的基于小波变换的时频分析方法的原理示意图。图3示出了以时间序列t为横坐标的输入信号x(t)、尺度因子a为1时小波函数尺度因子a为2时小波函数的波形图。
[0072]
在步骤s12中，基于各种工况下的目标时频谱图和设备状态标签获得第一训练集。具体地，针对各种工况，基于每种工况下获得目标时频谱图的多种时域信号，从训练数据集获得该多种时域信号对应的设备状态标签，基于目标时频谱图和设备状态标签生成第一训练集。
[0073]
在一些实施例中，步骤s12中还可以基于各种工况下的目标时频谱图和故障类型标签获得设备不同运行状态对应的第二训练集。
[0074]
步骤s13，分别利用设备不同运行状态对应的第一训练集训练第一神经网络得到对应的设备状态模型。
[0075]
在步骤s13中，第一神经网络的输入为目标时频谱图，输出为设备状态。训练后的设备状态模型可以用于判断设备处于正常还是故障。
[0076]
在一些实施例中，步骤s13中，还可以分别利用设备不同运行状态对应的第二训练集训练第二神经网络得到对应的故障类型模型。第二神经网络的输入为目标时频谱图，输出为故障类型。训练后的故障类型模型可以用于判断设备故障类型。
[0077]
在步骤s13中，神经网络(例如第一神经网络或第二神经网络)根据设备的运行状态(半载、满载等)分组训练，能够更好地提高设备不同运行状态对应的模型的准确性。
[0078]
在一些实施例中，第一神经网络或第二神经网络可以为深度学习算法。深度学习算法可以采用残差网络模型(resnet网络)、vgg网络等可用于图像分类的深度学习模型。
[0079]
在一些实施例中，第一神经网络或第二神经网络可以为基于resnet的改进网络模型。基于resnet的改进网络模型的可以对输入数据进行图像特征的提取和传递，经过全连接层后进行分类，得到设备状态或故障类型。
[0080]
图4为本公开实施例提供的残差网络的结构示意图。图5为本公开实施例提供的网络结构中的瓶颈残差模块的结构示意图。
[0081]
如图4所示，基于resnet的改进网络模型的第一层是预处理层。预处理层首先对输入的图像(即目标时频谱图)进行处理，将目标时频谱图送入第一个卷积层，卷积核大小为7
×
7、共64个卷积核、步长为2，然后送入核为3
×
3、步长为2的最大池化层。
[0082]
如图4和图5所示，基于resnet的改进网络模型的第二层为3个瓶颈残差模块，其中
瓶颈残差模块结构如图5所示。在各瓶颈残差模块中先通过卷积核为1
×
1的卷积层对输入瓶颈残差模块的图像(input)进行降维；然后通过卷积核为3
×
3的卷积层对图像进行卷积；再通过卷积核为1
×
1的卷积层恢复维度输出该瓶颈残差模块处理后的图像(output)，其中每个卷积层后面都跟着bn层和relu层。在第二层中各瓶颈残差模块的3个卷积层的参数分别为1
×1×
64、3
×3×
64和1
×1×
256。
[0083]
如图4所示，基于resnet的改进网络模型的第三至第五层分别经过4个、6个和3个瓶颈残差模块，每个瓶颈残差模块有3个卷积层，结构类比第二层。在第三层中各瓶颈残差模块的3个卷积层的参数分别为1
×1×
128、3
×3×
128和1
×1×
512。在第四层中各瓶颈残差模块的3个卷积层的参数分别为1
×1×
256、3
×3×
256和1
×1×
1024。在第五层中各瓶颈残差模块的3个卷积层的参数分别为1
×1×
512、3
×3×
512和1
×1×
2048。
[0084]
如图4所示，基于resnet的改进网络模型的第六层为输出层，该输出层包括依次连接的平均池化层、全连接层和softmax层，进而得到图像分属不同类别的概率，实现对图像的分类，输出设备状态或故障类型。
[0085]
步骤s14，实时获取待测设备运行过程中的多种时域信号，基于实时获取的多种时域信号获得对应的目标时频谱图，根据待测设备当前的运行状态，将对应的目标时频谱图输入对应的设备状态模型判断待测设备是否发生故障。
[0086]
在步骤s14中，获取待测设备的多种时域信号的种类数量和种类与步骤s11中的采集的各种工况下设备运行过程中的多种时域信号的种类数量和种类一致。
[0087]
在步骤s14中，实时获取的待测设备运行过程中的多种时域信号有可以称为待测信号。基于实时获取的多种时域信号获得对应的目标时频谱图，具体包括：将待测信号按照步骤s12中时频分析方法进行转化获得各种时域信号对应的时频谱图，利用步骤s12的拼接技术将各种时域信号对应的时频谱图进行拼接获得对应的目标时频谱图。
[0088]
在步骤s14中，根据待测设备当前的运行状态(半载、满载等)选用相应的模型。由此能够更好地提高诊断的准确性。
[0089]
在一些实施例中，步骤s14中设备状态模型输出设备正常或设备故障，若输出设备正常，则设备健康，若设备故障则设备不健康，即设备发送故障。
[0090]
在一些实施例中，若待测设备发生故障，则将对应的目标时频谱图输入对应的故障类型模型(也称故障分类模型)判断待测设备的故障类型。
[0091]
在一些实施例中，步骤s11至步骤s13经由图2的原理示意图获得设备状态模型和故障分类模型，步骤s14经由图2的原理示意图进行待测设备故障检测。
[0092]
其中，步骤s11中的采集的各种工况下设备运行过程中的多种时域信号或步骤s14中实时获取待测设备的多种时域信号的种类数量可以用n表示，n为大于1的自然数，如图2所示，信号1、
…
、信号n代表实时采集的n种时域信号。
[0093]
如图2所示，信号1、
…
、信号n分别利用时频分析方法得到时频谱图1、
…
、时频谱图n，各时频谱图为r、g、b三通道图像，将各时频谱图进行拼接后得到通道数为3n的目标时频谱图。
[0094]
在步骤s13时以目标时频谱图作为第一神经网络或第二神经网络的输入，利用第一训练集和第二训练集训练得到设备状态模型和故障分类模型，在步骤s14时，目标时频谱图先进入设备状态模型判断待测设备是否发生故障，若待测设备发生故障，则将目标时频
谱图输入故障分类模型判断待测设备的故障类型。
[0095]
在本公开实施例的基于时频分布和深度学习的故障诊断方法中，获取设备不同运行状态下的各种工况下设备运行过程中的多种时域信号，并获得多种时域信号在各种工况下的设备状态标签，设备状态标签包括设备正常和设备故障；将各种时域信号分别转化成时频谱图，将多种时频谱图进行拼接获得目标时频谱图，基于各种工况下的目标时频谱图和设备状态标签获得设备不同运行状态对应的第一训练集；分别利用设备不同运行状态对应的第一训练集训练第一神经网络得到对应的设备状态模型；实时获取待测设备运行过程中的多种时域信号，基于实时获取的多种时域信号获得对应的目标时频谱图，根据待测设备当前的运行状态，将对应的目标时频谱图输入对应的设备状态模型判断待测设备是否发生故障。在这种情况下，将一维时域信号分别转化成时频谱图，利用拼接后得到的目标时频谱图和设备状态标签获得设备不同运行状态对应的第一训练集，然后利用第一训练集训练第一神经网络得到设备状态模型，采用深度学习算法，从多个尺度对时频谱图进行特征提取，综合考虑时频谱图的各项数据特征，全局与局部相结合，该设备状态模型能够充分挖掘目标时频谱图的特征，建立目标时频谱图和设备状态间的关系，实时诊断时对待测信号进行时频分析后得到时频谱图，按照同样方法拼接，然后采用两阶段的诊断方法，根据不同工况选用不同模型，即利用设备状态模型判断设备是否有故障，若设备正常则结束诊断，若设备故障，则根据设备的运行状态(半载、满载等)利用对应的故障类型模型，判断故障类型，从而在实时诊断时较为真实客观准确地反映设备的状态，降低了对人工的依赖性，提高了设备故障诊断的客观性和及时性，本公开的方法通过图像特征实现基于信号数据的故障诊断，客观准确高效地反映设备的健康状况，科学有效地推动故障诊断能力的提升。另外，在多种时域信号为振动信号、声音信号等信号时，本公开的方法深度挖掘信号的特征，对振动信号、声音信号相关数据进行时频分析，较为真实客观准确地反映设备的状态，采用深度学习的方法，区分故障的类别，由此有效协助运维人员及时对设备故障进行诊断，科学有效地推动安全工作发展，本公开的方法也是一种更加科学便捷的基于振动、声音等信号的设备故障诊断方法。
[0096]
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
[0097]
请参见图6，图6为本公开实施例所提供的一种基于时频分布和深度学习的故障诊断装置的框图。该基于时频分布和深度学习的故障诊断装置10包括数据获得模块11、训练集生成模块12、建模模块13和诊断模块14，其中：
[0098]
数据获得模块11，用于获取设备不同运行状态下的各种工况下设备运行过程中的多种时域信号，并获得多种时域信号在各种工况下的设备状态标签，设备状态标签包括设备正常和设备故障；
[0099]
训练集生成模块12，用于将各种时域信号分别转化成时频谱图，将多种时频谱图进行拼接获得目标时频谱图，基于各种工况下的目标时频谱图和设备状态标签获得设备不同运行状态对应的第一训练集；
[0100]
建模模块13，用于分别利用设备不同运行状态对应的第一训练集训练第一神经网络得到对应的设备状态模型；
[0101]
诊断模块14，用于实时获取待测设备运行过程中的多种时域信号，基于实时获取
的多种时域信号获得对应的目标时频谱图，根据待测设备当前的运行状态，将对应的目标时频谱图输入对应的设备状态模型判断待测设备是否发生故障。
[0102]
可选地，数据获得模块11，还用于获得多种时域信号在各种工况下的故障类型标签；训练集生成模块12，还用于基于各种工况下的目标时频谱图和故障类型标签获得设备不同运行状态对应的第二训练集；建模模块13，还用于分别利用设备不同运行状态对应的第二训练集训练第二神经网络得到对应的故障类型模型；诊断模块14，还用于若待测设备发生故障，则将对应的目标时频谱图输入对应的故障类型模型判断待测设备的故障类型。
[0103]
可选地，数据获得模块11，在用于获取各种工况下设备运行过程中的多种时域信号时，具体用于：多种时域信号包括振动信号和声音信号，获取各种工况下设备运行过程中各个部件的振动信号和声音信号。
[0104]
可选地，训练集生成模块12，在用于将各种时域信号分别转化成时频谱图时，具体用于：采用小波变换、短时傅里叶变换、希尔伯特黄变换中的一种时频分析方法将各种时域信号分别转化成时频谱图。
[0105]
需要说明的是，前述对基于时频分布和深度学习的故障诊断方法实施例的解释说明也适用于该实施例的基于时频分布和深度学习的故障诊断装置，此处不在赘述。
[0106]
在本公开实施例的基于时频分布和深度学习的故障诊断装置中，数据获得模块获取设备不同运行状态下的各种工况下设备运行过程中的多种时域信号，并获得多种时域信号在各种工况下的设备状态标签，设备状态标签包括设备正常和设备故障；训练集生成模块将各种时域信号分别转化成时频谱图，将多种时频谱图进行拼接获得目标时频谱图，基于各种工况下的目标时频谱图和设备状态标签获得设备不同运行状态对应的第一训练集；建模模块分别利用设备不同运行状态对应的第一训练集训练第一神经网络得到对应的设备状态模型；诊断模块实时获取待测设备运行过程中的多种时域信号，基于实时获取的多种时域信号获得对应的目标时频谱图，根据待测设备当前的运行状态，将对应的目标时频谱图输入对应的设备状态模型判断待测设备是否发生故障。在这种情况下，将一维时域信号分别转化成时频谱图，利用拼接后得到的目标时频谱图和设备状态标签获得第一训练集，然后利用第一训练集训练第一神经网络得到设备不同运行状态对应的设备状态模型，采用深度学习算法，从多个尺度对时频谱图进行特征提取，综合考虑时频谱图的各项数据特征，全局与局部相结合，该设备状态模型能够充分挖掘目标时频谱图的特征，建立目标时频谱图和设备状态间的关系，实时诊断时对待测信号进行时频分析后得到时频谱图，按照同样方法拼接，然后采用两阶段的诊断方法，根据不同工况选用不同模型，即利用设备状态模型判断设备是否有故障，若设备正常则结束诊断，若设备故障，则根据设备的运行状态(半载、满载等)利用对应的故障类型模型，判断故障类型，从而在实时诊断时较为真实客观准确地反映设备的状态，降低了对人工的依赖性，提高了设备故障诊断的客观性和及时性，本公开的装置通过图像特征实现基于信号数据的故障诊断，客观准确高效地反映设备的健康状况，科学有效地推动故障诊断能力的提升。另外，在多种时域信号为振动信号、声音信号等信号时，本公开的装置深度挖掘信号的特征，对振动信号、声音信号相关数据进行时频分析，较为真实客观准确地反映设备的状态，采用深度学习的方法，区分故障的类别，由此有效协助运维人员及时对设备故障进行诊断，科学有效地推动安全工作发展。
[0107]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种
计算机程序产品。
[0108]
图7是用来实现本公开实施例的基于时频分布和深度学习的故障诊断方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴电子设备和其它类似的计算装置。本公开所示的部件、部件的连接和关系、以及部件的功能仅仅作为示例，并且不意在限制本公开中描述的和/或者要求的本公开的实现。
[0109]
如图7所示，电子设备20包括计算单元21，其可以根据存储在只读存储器(rom)22中的计算机程序或者从存储单元28加载到随机访问存储器(ram)23中的计算机程序，来执行各种适当的动作和处理。在ram 23中，还可存储电子设备20操作所需的各种程序和数据。计算单元21、rom 22以及ram23通过总线24彼此相连。输入/输出(i/o)接口25也连接至总线24。
[0110]
电子设备20中的多个部件连接至i/o接口25，包括：输入单元26，例如键盘、鼠标等；输出单元27，例如各种类型的显示器、扬声器等；存储单元28，例如磁盘、光盘等，存储单元28与计算单元21通信连接；以及通信单元29，例如网卡、调制解调器、无线通信收发机等。通信单元29允许电子设备20通过诸如因特网的计算机网络和/或各种电信网络与其他电子设备交换信息/数据。
[0111]
计算单元21可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元21的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元21执行上述所描述的各个方法和处理，例如执行基于时频分布和深度学习的故障诊断方法。例如，在一些实施例中，基于时频分布和深度学习的故障诊断方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元28。在一些实施例中，计算机程序的部分或者全部可以经由rom 22和/或通信单元29而被载入和/或安装到电子设备20上。当计算机程序加载到ram 23并由计算单元21执行时，可以执行上述描述的基于时频分布和深度学习的故障诊断方法的一个或多个步骤。备选地，在其他实施例中，计算单元21可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于时频分布和深度学习的故障诊断方法。
[0112]
本公开中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑电子设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0113]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的
功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0114]
在本公开中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或电子设备使用或与指令执行系统、装置或电子设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或电子设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存电子设备、磁储存电子设备、或上述内容的任何合适组合。
[0115]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0116]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、互联网和区块链网络。
[0117]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务("virtual private server"，或简称"vps")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0118]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本公开在此不进行限制。
[0119]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。