工业设备中的部件的故障确定方法及相关设备与流程

1.本技术涉及数据处理技术领域，尤其涉及一种工业设备中的部件的故障确定方法及相关设备。


背景技术：

2.随着现代科学技术的不断进步和科学水平的不断提升，工业生产中的工业设备普遍朝着大型化、复杂化、多功能化和智能化方向发展。一旦工业设备出现故障，会严重制约企业的生产效率、降低产品质量、影响企业的市场竞争力。及时、准确地监测工业设备的健康状态是企业安全生产，避免发生生产事故的重要保障技术之一。工业设备中的单个部件的故障会引起整个工业设备的故障，示例性的，滚珠轴承是工业设备中使用最广泛也是最容易损坏的部件，在含有滚动轴承的工业设备的故障中，大多数是由滚珠轴承故障引起的。
3.现有技术中，工业设备中的部件的故障诊断方法可分为基于模型的故障诊断方法和数据驱动的故障诊断方法。然而，上述故障诊断中的数据通常来源单一，单一传感器提供的信息有限，难以准确评估工业设备的健康状态。也忽略了不同来源的数据彼此之间的潜在联系，没有关注不同来源的数据的特征之间的交互性。只通过来源单一的数据进行工业设备中的部件故障检测，导致检测准确性相对低。


技术实现要素：

4.有鉴于此，本技术的目的在于提出一种工业设备中的部件的故障确定方法及相关设备，以克服现有技术中全部或部分不足。
5.基于上述目的，本技术提供了一种工业设备中的部件的故障确定方法，包括：获取所述部件的图像数据和时序数据；将所述图像数据和所述时序数据输入至预先构建的故障检测模型，通过所述故障检测模型对所述图像数据进行特征提取，得到第一特征，以及通过所述故障检测模型对所述时序数据进行特征提取，得到第二特征；将所述第一特征和所述第二特征进行特征融合，得到特征融合向量；对所述特征融合向量进行分类，并经由所述故障检测模型输出所述特征融合向量对应的缺陷类别的概率；基于所述缺陷类别的概率，确定所述部件的故障类型。
6.可选地，所述通过所述故障检测模型对所述图像数据进行特征提取，得到第一特征包括：通过以下公式确定所述第一特征：，，其中，表示所述第一特征，表示所述图像数据的第个特征，表示特征拼接操作，表示最大池化操作，表示经过激活函数处理后的图像数
据的初步特征。
7.可选地，所述通过所述故障检测模型对所述时序数据进行特征提取，得到第二特征，包括：通过以下公式确定所述第二特征：，，其中，表示所述第二特征，表示所述时序数据经过最大池化操作后得到的初步特征，表示一维卷积操作，表示激活函数，表示输入的拼接后的时序数据。
8.可选地，所述将所述第一特征和所述第二特征进行特征融合，得到特征融合向量，包括：通过以下公式确定所述特征融合向量：，其中，为所述特征融合向量，为所述第二特征通过通道空间的注意力机制处理后得到的第三特征，表示特征元素相叠加，表示二维卷积操作，表示激活函数，表示所述第一特征。
9.可选地，所述对所述特征融合向量进行分类，并经由所述故障检测模型输出所述特征融合向量对应的缺陷类别的概率，包括：通过以下公式确定所述缺陷类别的概率：，其中，为所述部件所属缺陷类别的概率，表示一维反卷积操作，为编码器激活函数，为解码器激活函数，表示一维卷积操作，为经过相似度处理后的特征融合向量。
10.可选地，在将所述时序数据输入至预先构建的故障检测模型之前，所述方法包括：对所述时序数据进行归一化处理。
11.可选地，用于对所述故障检测模型进行训练的损失函数通过下式确定：，其中，为正则化系数，表示第个权重，表示所述图像数据或所述时序数据的总数量，所述图像数据的总数量与所述时序数据的总数量相同，表示所述图像数据或所述时序数据的实际类别，表示模型预测所述图像数据或所述时序数据为类别的概率，为故障类型的数量，为权重总数，为经过相似度处理后的特征融合向量，为所述部件所属缺陷类别的概率，为所述特征融合向量，为所述第二特征，为相似度参数，为所述损失函数。
12.基于同一发明构思，本技术还提供了一种工业设备中的部件的故障确定装置，包括：获取模块，被配置为获取所述部件的图像数据和时序数据；输出模块，被配置为将所述图像数据和所述时序数据输入至预先构建的故障检测模型，通过所述故障检测模型对所述图像数据进行特征提取，得到第一特征，以及通过所述故障检测模型对所述时序数据据进行特征提取，得到第二特征；将所述第一特征和所述第二特征进行特征融合，得到特征融合向量；对所述特征融合向量进行分类，并经由所述故障检测模型输出所述特征融合向量对应的缺陷类别的概率；第一确定模块，被配置为基于所述缺陷类别的概率，确定所述部件的故障类型。
13.基于同一发明构思，本技术还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上所述的方法。
14.基于同一发明构思，本技术还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如上所述的方法。
15.从上面所述可以看出，本技术提供的工业设备中的部件的故障确定方法及相关设备，所述方法包括获取所述部件的图像数据和时序数据。将所述图像数据和所述时序数据输入至预先构建的故障检测模型，通过所述故障检测模型对所述图像数据进行特征提取，得到第一特征，以及通过所述故障检测模型对所述时序数据进行特征提取，得到第二特征；将所述第一特征和所述第二特征进行特征融合，得到特征融合向量；对所述特征融合向量进行分类，并经由所述故障检测模型输出所述特征融合向量对应的缺陷类别的概率，将多源异构数据输入至故障检测模型，能够较为准确的对多源异构数据进行特征提取，再将提取后的多个特征进行特征融合，使得不同特征之间的交互性增强，能够准确的确定部件的缺陷类别的概率。基于所述缺陷类别的概率，确定所述部件的故障类型，基于相对准确的缺陷类别的概率，可以相对准确的确定部件的故障类型。
附图说明
16.为了更清楚地说明本技术或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本技术实施例的工业设备中的部件的故障确定方法的流程示意图；图2为本技术实施例的工业设备中的部件的故障确定装置的结构示意图；图3为本技术实施例电子设备硬件结构示意图。
具体实施方式
18.为使本技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本技术进一步详细说明。
19.需要说明的是，除非另外定义，本技术实施例使用的技术术语或者科学术语应当为本技术所属领域内具有一般技能的人士所理解的通常意义。本技术实施例中使用的“第
一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
20.如背景技术部分所述，随着现代科学技术的不断进步和科学水平的不断提升，工业生产中的工业设备普遍朝着大型化、复杂化、多功能化和智能化方向发展。一旦工业设备出现故障，会严重制约企业的生产效率、降低产品质量、影响企业的市场竞争力。及时、准确地监测工业设备的健康状态是企业安全生产，避免发生生产事故的重要保障技术之一。工业设备中的单个部件的故障会引起整个工业设备的故障，示例性的，滚珠轴承是工业设备中使用最广泛也是最容易损坏的部件，在含有滚动轴承的工业设备的故障中，大多数是由滚珠轴承故障引起的。
21.现有技术中，工业设备中的部件的故障诊断方法可分为基于模型的故障诊断方法和数据驱动的故障诊断方法。基于模型的故障诊断方法以故障机理为基础，以物理模型为手段，需要丰富的专家知识，大大限制其在故障诊断方法方面的应用。数据驱动的故障诊断方法无需先验知识，仅依靠部件的采样数据监测故障，为部件的智能诊断提供了强大的技术支撑。然而，上述故障诊断中的数据通常来源单一，单一传感器提供的信息有限，难以准确评估工业设备的健康状态。也忽略了不同来源的数据彼此之间的潜在联系，没有关注不同来源的数据的特征之间的交互性。只通过来源单一的数据进行工业设备中的部件故障检测，导致检测准确性相对低。
22.有鉴于此，本技术实施例提出了一种工业设备中的部件的故障确定方法，参考图1，包括以下步骤：步骤101，获取所述部件的图像数据和时序数据。
23.在该步骤中，工业设备中的部件在生产过程中会随着时间产生相关数据，通过上述数据可以判断部件是否发生故障，示例性的，上述部件可以为滚珠轴承。时序数据至少包括振动信号，因为，部件在出现故障的情况下，例如，部件的故障可以为部件有缺口，开裂，剥落等故障，会产生不同的振动信号。时序数据可以根据待检测部件的特性进行灵活调整，示例性的，在针对于滚珠轴承进行故障检测时，时序数据除了包括振动信号外，还可以包括电流信号，滚珠轴承在工业设备中通常与感应电机相连通，在滚珠轴承发生故障的情况下，也会导致工业设备中与部件相通的感应电机产生不同的电信号，由此，可以根据与滚珠轴承有关联的振动信号和电流信号进行故障判断。但是，上述时序数据只体现了单个部件在生产过程中随着时间产生相关数据，能提供的数据有限，并没有针对工业设备的整体工作数据进行部件的故障检测。由于可能存在部件的时序数据检测出故障，但在整体工业设备中部件仍能正常工作的情况，一旦检测出部件出现时序故障就进行工业设备的停产，也会使得企业的生产效率大打折扣，因此，在整体工业设备中确定部件与其他部件的协作关系，以确定该部件是否发生故障也是十分必要的。在工业设备进行生产时，通常会通过监测中心监测工业设备的生产，以保证生产的顺利进行。因此，可以在监测中心获取与部件相关联的截图数据，即图像数据，图像数据包含了时序数据内在的相对空间位置特征，蕴含了信号
的空间邻域特征，能在一定程度上反映信号振幅与变化趋势，对于故障识别有着重要的意义。
24.步骤102，将所述图像数据和所述时序数据输入至预先构建的故障检测模型，通过所述故障检测模型对所述图像数据进行特征提取，得到第一特征，以及通过所述故障检测模型对所述时序数据进行特征提取，得到第二特征；将所述第一特征和所述第二特征进行特征融合，得到特征融合向量；对所述特征融合向量进行分类，并经由所述故障检测模型输出所述特征融合向量对应的缺陷类别的概率。
25.在该步骤中，由于本技术针对于多源异构数据进行部件的故障检测，因此，预先构建的故障检测模型包括两个特征提取层，分别对输入至故障检测模型的图像数据和时序数据进行特征提取，得到图像数据对应的第一特征以及时序数据对应的第二特征，其中，多源异构数据包括图像数据和时序数据。由于图像数据和时序数据体现的数据内容并不相同，上述两个特征提取层分别通过图像数据和时序数据训练得到的，由此，有针对性的对图像数据进行特征提取，更能准确提取图像数据的特征。将第一特征和第二特征进行融合，使得不同特征之间的交互性增强，关注特征彼此之间的潜在联系。对特征融合后得到的特征融合向量进行分类，由此可以得出特征融合向量对应的缺陷类别的概率，并由故障检测模型输出上述缺陷类别的概率，特征融合向量不仅仅来源于一种图像数据的特征，而是来源于多源异构数据的特征融合，进而在对特征融合后得到的特征融合向量进行分类的时候，可以较为准确的检测出部件的缺陷类别的概率。将多源异构数据输入至故障检测模型，能够较为准确的对多源异构数据进行特征提取，再将提取后的多个特征进行特征融合，使得不同特征之间的交互性增强，能够准确的确定部件的缺陷类别的概率。
26.需要说明的是，训练故障检测模型的训练数据包括设备未出现故障的数据以及设备出现故障的数据，其中，设备出现故障的数据需对上述故障进行相应标记。训练数据可以来源于多个相同工业设备中的相同部件的相关数据，示例性的，在部件为滚珠轴承的情况下，与滚珠轴承相关的数据可以来源于工业设备中的多个模块，上述多个模块可以为电动机模块、扭矩测量轴模块、滚动轴承测试模块、飞轮模块和负载电机模块等，通过将不同损伤类型的滚珠轴承安装在上述模块中，生成实验数据。所有滚珠轴承的型号都相同，可以为6203型号滚珠轴承。
27.步骤103，基于所述缺陷类别的概率，确定所述部件的故障类型。
28.在该步骤中，响应于确定缺陷类别的概率大于预设概率，可以确定部件的故障类型，其中，预设概率可以根据工作经验确定。一旦缺陷类别的概率大于预设概率，即可认为部件出现了上述故障类型，否则认为部件未出现上述故障类型。基于相对准确的缺陷类别的概率，可以相对准确的确定部件的故障类型。
29.通过上述方案，获取所述部件的图像数据和时序数据。将所述图像数据和所述时序数据输入至预先构建的故障检测模型，通过所述故障检测模型对所述图像数据进行特征提取，得到第一特征，以及通过所述故障检测模型对所述时序数据进行特征提取，得到第二特征；将所述第一特征和所述第二特征进行特征融合，得到特征融合向量；对所述特征融合向量进行分类，并经由所述故障检测模型输出所述特征融合向量对应的缺陷类别的概率，将多源异构数据输入至故障检测模型，能够较为准确的对多源异构数据进行特征提取，再将提取后的多个特征进行特征融合，使得不同特征之间的交互性增强，能够准确的确定部
件的缺陷类别的概率。基于所述缺陷类别的概率，确定所述部件的故障类型，基于相对准确的缺陷类别的概率，可以相对准确的确定部件的故障类型。
30.在一些实施例中，所述通过所述故障检测模型对所述图像数据进行特征提取，得到第一特征包括：通过以下公式确定所述第一特征：，，其中，表示所述第一特征，表示所述图像数据的第个特征，表示特征拼接操作，表示最大池化操作，表示经过激活函数处理后的图像数据的初步特征。
31.在本实施例中，通过以下公式确定经过激活函数处理后的图像数据的初步特征：，其中，表示图像数据中的第个图像数据，表示二维卷积网络，表示激活函数。示例性的，对图像数据进行特征提取的二维卷积网络层的第一个卷积层采用8个的卷积核，步长为3；第二个卷积层采用16个的卷积核，步长为3；第三个卷积层采用32个的卷积核，步长为1；第四个池化层为最大池化层，采用的卷积核，步长为1。故障检测模型中的上述二维卷积网络层后依次连接通道-空间注意力模块和一个采用32个，步长为1卷积核的卷积层，以实现对图像数据中的特征的拼接，进而得到第一特征。将对图像数据的处理转化为对公式的求解，达到了将第一特征数值化的目的，进而可以准确的确定第一特征。
32.在一些实施例中，所述通过所述故障检测模型对所述时序数据进行特征提取，得到第二特征，包括：通过以下公式确定所述第二特征：，，其中，表示所述第二特征，表示所述时序数据经过最大池化操作后得到的初步特征，表示一维卷积操作，表示激活函数，表示输入的拼接后的时序数据。
33.在本实施例中，通过以下公式确定输入的拼接后的时序数据：，其中，表示时序数据中的第个时序数据。示例性的，对时序数据进行特征提取的一维卷积网络层的第一个卷积层采用16个的卷积核，步长为3；第二个卷积层采用32个的卷积核，步长为1；第
三个池化层采用的卷积层，步长为3；第四个自适应平均池化层的输出大小设置为133，进而得到第二特征。将对时序数据的处理转化为对公式的求解，达到了将第二特征数值化的目的，进而可以准确的确定第二特征。
34.需要说明的是，由于图像数据的数据量相对大，所以采用先对图像数据中的图像数据进行特征提取，再将提取后的多个特征进行拼接，进而得到第一特征，使得确定第一特征的速度相对加快。由于时序数据相对于图像数据结构相对简单、数据量相对少，因此，可以先将时序数据中的每个数据进行拼接，再进行特征提取，使得确定第二特征的速度相对加快。由于图像数据和时序数据都是与部件有关的数据，图像数据和时序数据存在关联，图像数据反应部件在工业设备中的局部工作数据，时序数据体现部件在工业设备中的整体工作数据，因此，图像数据与时序数据存在对应关系，进而提取到第一特征和第二特征后，还需对上述两个特征进行匹配。得到最优匹配结果后，再利用仿射变换/透视变换等优化手段优化第一特征和第二特征之间的对应关系，从而求得最优变换参数，最终利用最优变换参数，将第一特征和第二特征变形为具有同样的空间布局的特征，从而为后续实现特征融合奠定基础。
35.在一些实施例中，所述将所述第一特征和所述第二特征进行特征融合，得到特征融合向量，包括：通过以下公式确定所述特征融合向量：，其中，为所述特征融合向量，为所述第二特征通过通道空间的注意力机制处理后得到的第三特征，表示特征元素相叠加，表示二维卷积操作，表示激活函数，表示所述第一特征。
36.在本实施例中，通过以下公式确定第三特征：，其中，表示确定第三特征中的中间过程的特征，表示元素相乘，表示对确定第三特征中的中间过程的特征利用空间注意力权重进行处理。通过以下公式计算确定第三特征中的中间过程的特征：，其中，表示对第二特征进行通道注意力权重处理。本实施例引入通道空间注意力机制，通过捕捉第二特征的不同的注意力信息来提高故障检测模型的表达能力。本实施例中的特征融合网络层包括相似度计算模块、交叉注意力模块和卷积自编码器-解码器模块，其中，相似度计算模块，用于计算时序数据特征和图像数据特征之间的欧式距离，通过损失函数反向传播参数实现；交叉注意力模块，用于计算第一特征和第二特征之间的相关性；卷积自编码器-解码器模块，用来自适应融合第一特征和第二特征。
37.需要说明的是，上述通道空间注意力机制所采用的方法为：查询矩阵来自第二特征，键矩阵，值矩阵来自第一特征，以第二特征为查询对象，侧重第二特征，从第一特征中提取与第二特征相关的信息，进而使得第二特征通过通道空间的注意力机制处理
后得到的第三特征。根据侧重特征的不同，上述通道空间注意力机制所采用的方法还可以为：查询矩阵来自第一特征，键矩阵，值矩阵来自第二特征，侧重点为第一特征，从第二特征中提取与第一特征相关的信息。侧重特征可以根据部件的实际工作特点确定，当部件通常情况下根据时序数据就可以判断其发生故障的情况下，侧重特征在时序数据所对应的特征；当部件通常情况下根据与其他部件的协作关系判断其发生故障的情况下，侧重特征在获取的图像数据所对应的特征。上述两种侧重特征不同的通道空间注意力机制可以通过以下公式确定：，，，其中，当，时，表示以第一特征为查询特征，得到融合特征，当，时，表示以第二特征为查询特征,得到融合特征，上述两种查询特征可以根据实际工作特点进行选择，，，别表示，，的线性映射，表示第个子空间的注意力，，，分别为第个子空间下，，对应的权重，为子空间数量，为个子空间注意力权重拼接后的权重。
38.通过公式将第一特征与第二特征进行融合，既关注到了第一特征与第二特征之间的关联，使得第一特征与第二特征的交互性强，进而得到相对精准的特征融合向量，又实现了数据压缩的目的。
39.在一些实施例中，所述对所述特征融合向量进行分类，并经由所述故障检测模型输出所述特征融合向量对应的缺陷类别的概率，包括：通过以下公式确定所述缺陷类别的概率：，其中，为所述部件所属缺陷类别的概率，表示一维反卷积操作，为编码器激活函数，为解码器激活函数，表示一维卷积操作，为经过相似度处理后的特征融合向量。
40.在本实施例中，为了减少无关特征的干扰，保留特征的全部侧重信息，可以将特征融合向量进行相似度处理，将特征融合向量中有明显差异的特征向量进行剔除，得到更为精炼的特征融合向量，进而加快了对特征融合向量的分类速度。上述相似度处理步骤通过将特征融合向量送入卷积自编码器(convolutional auto encoder，cae)中实现，将经过相似度处理后的特征融合向量输入到全连接层和softmax分类器中得到故障诊断结果，使得针对于部件的故障检测效率提高。
41.需要说明的是，对特征融合向量进行分类的公式中包括编码器激活函数和解码器激活函数，示例性的，上述编码器激活函数所位于的编码器模块包括2个卷积层，第一个卷积层采用16个的卷积核，步长为3，第二个卷积层采用8个的卷积核，步长为3；上述
解码器激活函数所位于的解码器模块包括2个反卷积层，第一个反卷积层采用16个的卷积核，步长为3，第二个反卷积层采用32个的卷积核，步长为3。
42.在一些实施例中，在将所述时序数据输入至预先构建的故障检测模型之前，所述方法包括：对所述时序数据进行归一化处理。在本实施例中，为了提高故障检测模型的收敛速度，消除时序数据与图像数据的量纲不同，需要对时序数据进行归一化处理。上述归一化处理消除了图像数据和时序数据经过特征提取后不同特征间的单位差异和尺度差异的影响，使得每维特征可以同等看待，同时加快了故障检测模型的收敛速度。可以通过以下公式对时序数据进行归一化处理：，其中，为经过归一化处理后的时序数据，为时序数据中的数据的均值，为时序数据中的数据最小值，为时序数据中的数据最大值。
43.在一些实施例中，用于对所述故障检测模型进行训练的损失函数通过下式确定：，其中，为正则化系数，表示第个权重，表示所述图像数据或所述时序数据的总数量，所述图像数据的总数量与所述时序数据的总数量相同，表示所述图像数据或所述时序数据的实际类别，表示模型预测所述图像数据或所述时序数据为类别的概率，为故障类型的数量，为权重总数，为经过相似度处理后的特征融合向量，为所述部件所属缺陷类别的概率，为所述特征融合向量，为所述第二特征，为相似度参数，为所述损失函数。
44.在本实施例中，本实施例中的故障检测模型的损失函数为多个子损失函数的和，其中，多个子损失函数的损失包括由分类的交叉熵所引起的损失、由第一特征和第二特征的相似度关系所引起的损失以及由权重的分布所引起的损失。损失函数反应了故障检测模型每次迭代的前向计算结果与真实值的差距,从而指导下一步的训练向正确的方向进行，因此，故障检测模型的损失函数十分重要，本实施例考虑到了多种情况下的子损失函数，进而得到子损失函数之和，即本实施例中的损失函数，可以较为高效的提高故障检测模型的性能。
45.需要说明的是，本技术实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本技术实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
46.需要说明的是，上述对本技术的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
47.基于同一发明构思，与上述任意实施例方法相对应的，本技术还提供了一种工业
设备中的部件的故障确定装置。
48.参考图2，所述工业设备中的部件的故障确定装置，包括：获取模块10，被配置为获取所述部件的图像数据和时序数据。
49.输出模块20，被配置为将所述图像数据和所述时序数据输入至预先构建的故障检测模型，通过所述故障检测模型对所述图像数据进行特征提取，得到第一特征，以及通过所述故障检测模型对所述时序数据进行特征提取，得到第二特征；将所述第一特征和所述第二特征进行特征融合，得到特征融合向量；对所述特征融合向量进行分类，并经由所述故障检测模型输出所述特征融合向量对应的缺陷类别的概率。
50.第一确定模块30，被配置为基于所述缺陷类别的概率，确定所述部件的故障类型。
51.通过上述装置，获取所述部件的图像数据和时序数据。将所述图像数据和所述时序数据输入至预先构建的故障检测模型，通过所述故障检测模型对所述图像数据进行特征提取，得到第一特征，以及通过所述故障检测模型对所述时序数据进行特征提取，得到第二特征；将所述第一特征和所述第二特征进行特征融合，得到特征融合向量；对所述特征融合向量进行分类，并经由所述故障检测模型输出所述特征融合向量对应的缺陷类别的概率，将多源异构数据输入至故障检测模型，能够较为准确的对多源异构数据进行特征提取，再将提取后的多个特征进行特征融合，使得不同特征之间的交互性增强，能够准确的确定部件的缺陷类别的概率。基于所述缺陷类别的概率，确定所述部件的故障类型，基于相对准确的缺陷类别的概率，可以相对准确的确定部件的故障类型。
52.在一些实施例中，所述输出模块20，还被配置为通过以下公式确定所述第一特征：，，其中，表示所述第一特征，表示所述图像数据的第个特征，表示特征拼接操作，表示最大池化操作，表示经过激活函数处理后的图像数据的初步特征。
53.在一些实施例中，所述输出模块20，还被配置为通过以下公式确定所述第二特征：，，其中，表示所述第二特征，表示所述时序数据经过最大池化操作后得到的初步特征，表示一维卷积操作，表示激活函数，表示输入的拼接后的时序数据。
54.在一些实施例中，所述输出模块20，还被配置为通过以下公式确定所述特征融合向量：，其中，
为所述特征融合向量，为所述第二特征通过通道空间的注意力机制处理后得到的第三特征，表示特征元素相叠加，表示二维卷积操作，表示激活函数，表示所述第一特征。
55.在一些实施例中，所述输出模块20，还被配置为通过以下公式确定所述缺陷类别的概率：，其中，为所述部件所属缺陷类别的概率，表示一维反卷积操作，为编码器激活函数，为解码器激活函数，表示一维卷积操作，为经过相似度处理后的特征融合向量。
56.在一些实施例中，还包括归一化处理模块，所述归一化处理模块还被配置为在将所述时序数据输入至预先构建的故障检测模型之前，对所述时序数据进行归一化处理。
57.在一些实施例中，还包括第二确定模块，所述第二确定模块还被配置为用于对所述故障检测模型进行训练的损失函数通过下式确定：，其中，为正则化系数，表示第个权重，表示所述图像数据或所述时序数据的总数量，所述图像数据的总数量与所述时序数据的总数量相同，表示所述图像数据或所述时序数据的实际类别，表示模型预测所述图像数据或所述时序数据为类别的概率，为故障类型的数量，为权重总数，为经过相似度处理后的特征融合向量，为所述部件所属缺陷类别的概率，为所述特征融合向量，为所述第二特征，为相似度参数，为所述损失函数。
58.为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本技术时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
59.上述实施例的装置用于实现前述任一实施例中相应的工业设备中的部件的故障确定方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
60.基于同一发明构思，与上述任意实施例方法相对应的，本技术还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的工业设备中的部件的故障确定方法。
61.图3示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图， 该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
62.处理器1010可以采用通用的cpu（central processing unit，中央处理器）、微处理器、应用专用集成电路（application specific integrated circuit，asic）、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
63.存储器1020可以采用rom（read only memory，只读存储器）、ram（random access memory，随机存取存储器）、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
64.输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入/输出模块可以作为组件配置在设备中（图中未示出），也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
65.通信接口1040用于连接通信模块（图中未示出），以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式（例如usb、网线等）实现通信，也可以通过无线方式（例如移动网络、wifi、蓝牙等）实现通信。
66.总线1050包括一通路，在设备的各个组件（例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040）之间传输信息。
67.需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
68.上述实施例的电子设备用于实现前述任一实施例中相应的工业设备中的部件的故障确定方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
69.基于同一发明构思，与上述任意实施例方法相对应的，本技术还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的工业设备中的部件的故障确定方法。
70.本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（pram）、静态随机存取存储器（sram）、动态随机存取存储器（dram）、其他类型的随机存取存储器（ram）、只读存储器（rom）、电可擦除可编程只读存储器（eeprom）、快闪记忆体或其他内存技术、只读光盘只读存储器（cd-rom）、数字多功能光盘（dvd）或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
71.上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的工业设备中的部件的故障确定方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
72.所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本技术的范围（包括权利要求）被限于这些例子；在本技术的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本技术实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
73.另外，为简化说明和讨论，并且为了不会使本技术实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路（ic）芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本技术实施例难以理解，并且这也考虑了以下
事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本技术实施例的平台的（即，这些细节应当完全处于本领域技术人员的理解范围内）。在阐述了具体细节（例如，电路）以描述本技术的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本技术实施例。因此，这些描述应被认为是说明性的而不是限制性的。
74.尽管已经结合了本技术的具体实施例对本技术进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构（例如，动态ram（dram））可以使用所讨论的实施例。
75.本技术实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本技术实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本技术的保护范围之内。