一种基于工业机械故障诊断知识图谱的知识推理方法与流程

1.本发明属于机械故障诊断技术领域，涉及基于知识图谱的知识推理技术领域，尤其是一种基于工业机械故障诊断知识图谱的知识推理方法。


背景技术：

2.知识图谱旨在描述客观世界的概念、实体、事件及其间的关系，它本质上是一种语义网络，将客观经验沉淀在巨大的网络中。知识图谱将互联网的信息表达成更接近人类认知世界的形式，提供了一种更好地组织、管理和理解互联网海量信息的能力。知识图谱的核心内容与知识库是相近的，只是在表现形式上稍微略有不同。当涉及到结构信息时，知识图谱可以看作是一个图；当涉及到形式语义时，它可以作为解释和推断事实的知识库。知识图谱的出现改变了传统的知识获取模式，将知识工程“自上而下”方式转变为挖掘数据、抽取知识的“自下而上”方式。经过长期的理论创新与实践探索，知识图谱已经具备体系化的构建与推理方法。
3.知识图谱从大量数据资源中抽取、组织和管理知识，但是，知识图谱之间大多数关系都是残缺的，实体间的关系缺失非常严重。因此，知识推理技术应运而生，此技术可以从给定的知识图谱推导出新的实体跟实体之间的关系，进一步完成知识发现，以此可以完成对数据的深度分析和推理。实现知识推理的核心便是知识表示，虽然知识图谱三元组的知识表示形式受到了人们的广泛认可，但是其在计算效率、数据稀疏性等方面却面临着诸多问题。近年来，以深度学习为代表的学习技术取得了重要的进展，可以将实体的语义信息表示为稠密低维的实值向量，进而在低维空间中高效计算实体、关系及其之间的复杂语义关联，对知识库的构建、推理、融合以及应用均具有重要的意义。
4.基于此背景下，工程人员需要根据新时代大数据环境下的知识组织原则，从全新的视角去探索既符合网络信息资源发展变化又能适应用户需求的知识互联方法，从更深层次上揭示人类认知的整体性关联性。因此，工业界与学术界开始积极地将知识图谱技术引入到故障诊断领域中。借助知识图谱技术，工程人员很容易定位、解决工业设备工作中发生各种各样的故障，并且能够模拟专家系统，实现对故障的自动化分析诊断。因此，建立实时敏捷、灵活且可扩展、智能自适应的动态故障诊断知识图谱尤为重要。


技术实现要素：

5.本发明的目的在于克服现有技术的缺陷，提供一种基于工业机械故障诊断知识图谱的知识推理方法。该方法建立基于工业机械的故障诊断知识图谱，并针对工业机械故障诊断知识图谱进行新的基于图神经网络的知识推理；此方法在异构图注意力网络模型的基础上，创新性地保留了知识图谱三元组的知识结构和知识图谱作为图数据结构拥有的图结构信息，能够以端到端的学习方式学习工业机械故障诊断知识图谱中的实体嵌入表示，从而可以完成故障知识实体分类和故障知识链接预测两个下游任务。
6.为解决上述技术问题，本发明采用以下技术方案。
7.本发明的一种基于工业机械故障诊断知识图谱的知识推理方法，包括以下步骤：
8.步骤1、数据清洗阶段：采集并清洗某工业机械的故障工况数据；创建结构化的故障知识三元组；
9.步骤2、数据处理阶段：根据结构化的故障知识三元组创建故障实体与故障关系的词嵌入表示以及异构工业机械故障诊断知识图谱；
10.步骤3、图谱展示阶段：基于python和py2neo库将构建的工业机械故障诊断知识图谱通过neo4j图数据库进行可视化展示；
11.步骤4、模型构建与训练阶段：构建知识图谱异构图注意力网络模型；训练模型以获取工业机械故障诊断知识图谱中实体的嵌入表示；
12.步骤5、任务验证阶段：完成故障知识实体分类任务和故障知识链接预测任务，以此实现工业机械故障诊断知识图谱的知识推理。
13.进一步的，所述步骤1数据清洗阶段包括：
14.步骤1.1、清洗故障工况数据：以正则表达式抽取故障工况数据里的故障实体以及故障知识三元组数据，并且去除多余的标点符号以及辅助说明信息；
15.步骤1.2、创建结构化的故障知识三元组：根据故障实体间的对应关系筛选故障知识三元组，具体形式为：(头实体，关系，尾实体)，简记为：(h,r,t)。
16.3.根据权利要求1所述的一种基于工业机械故障诊断知识图谱的知识推理方法，其特征在于，所述步骤2数据处理阶段，具体包括：
17.步骤2.1、创建故障实体与故障关系的词嵌入表示：将清洗完的故障工况数据按照单个汉字形成一个列表并以unicode编码方式从小到大排序，对每一个故障实体与故障关系按照汉字列表与汉字数量进行编码，编码向量作为其词嵌入表示；
18.步骤2.2、创建异构工业机械故障诊断知识图谱：基于图神经网络框架dgl中的图数据结构存储异构工业机械故障诊断知识图谱。
19.进一步的，所述步骤3图谱展示阶段，具体包括：
20.步骤3.1、构建工业机械故障诊断知识图谱：基于python和py2neo库将故障知识三元组构建为工业机械故障诊断知识图谱；
21.步骤3.2、知识图谱可视化：通过neo4j图数据库进行可视化展示，并且能够通过python脚本实现各种工业故障数据的增删查找的图搜索算法。
22.进一步的，在步骤4模型构建与训练阶段，所述的基于异构图注意力网络han提出知识图谱异构图注意力网络kghan模型，具体包括：
23.步骤4.1、构建知识图谱异构图注意力网络模型：基于异构图注意力网络han提出知识图谱异构图注意力网络kghan模型；它在异构图注意力网络模型的基础上，保留了知识图谱三元组的知识结构和知识图谱作为图数据结构拥有的图结构信息，能够以端到端的学习方式学习工业机械故障诊断知识图谱中的实体嵌入表示；其kghan模型采用如下设计：
24.(1)知识信息融合层：为了保留知识图谱原本的知识三元组结构，融合知识图谱翻译模型transd的嵌入向量表示；
25.transd模型通过优化transe翻译模型来学习知识图谱中每个实体和关系的嵌入向量表示，它使用两个向量来表示每个实体和关系，第一个向量表示实体或关系的意义，另一个向量称为投影向量用于构造映射矩阵；将头实体和尾实体的映射矩阵定义为：
[0026][0027][0028]
其中，是头、尾实体的映射矩阵，r
i(0)
是经过初始化的关系嵌入向量，是经过初始化的头、尾实体嵌入向量，m是关系嵌入向量的维度，n是头、尾实体嵌入向量的维度，是单位矩阵，m
×
n是单位矩阵的形状；
[0029]
之后，通过映射矩阵将实体的嵌入向量映射到对应的关系嵌入向量空间中，映射到关系空间的头实体和尾实体的嵌入向量公式定义为：
[0030][0031][0032]
其中，是更新后的头、尾实体嵌入向量；
[0033]
为了评价头实体和尾实体的嵌入向量的相关性，定义向量距离误差为si；更新后的三元组的信誉评分公式f
ri
定义如下：
[0034][0035]
其中，是一个向量二范数的平方运算；
[0036]
为了优化训练过程，在知识图谱嵌入层中对正确的三元组进行随机替换头、尾实体以实现负样本采样，错误的三元组定义为向量距离误差为si′
；训练损失函数l采用margin损失函数，其公式定义为：
[0037][0038]
其中，γ是正确的三元组得分和错误的三元组得分的裕度，max(x,y)是取x或者y中的最大值运算；
[0039]
最后，将训练后的实体和关系的嵌入向量添加到节点的词嵌入表示中作为输入；融合后的节点的词嵌入表示定义为：
[0040][0041]
其中，是融合知识信息后的词嵌入表示，是步骤2.1中所述的词嵌入表示，是第i个节点嵌入表示，即头实体嵌入向量和尾实体嵌入向量的集合，||是向量拼接运算；
[0042]
(2)图结构信息融合层：为了保留知识图谱作为图数据结构拥有的图的结构信息，融合图中节点的度；
[0043]
在kghan模型中使用每个实体的度向量作为实体和关系的嵌入表示的附加信号，即：加入实体中心性编码，根据实体的入度和出度为每个实体分配两个实值嵌入向量；由于
实体中心性编码应用于每个实体，只需将其添加到实体的词嵌入表示中作为输入；融合后的实体的嵌入表示定义为：
[0044][0045]
其中，xi是第i个实体融合了图的结构信息后的嵌入表示，是融合知识信息后的嵌入表示，||是向量拼接运算，是该实体的入度向量，是该实体的出度向量；
[0046]
(3)异构图注意力网络层：该层同时包含了节点级注意力和语义级注意力，节点级注意力主要学习实体及其临近实体间的权重，语义级注意力用于学习基于不同元路径的权重；得益于这种层次性的注意力，可以同时考虑邻居实体和元路径的重要性；
[0047]
a)节点级注意力：
[0048]
知识图谱是典型的异构图，其可以表示为g＝(v,e)，由一个实体集合v和关系集合e组成；知识图谱还与实体类型映射函数φ:v
→
a和关系类型映射函数e
→
b相关联；a和b表示预定义实体类型和关系类型的集合，其中||a|| ||b||≥2；在异构图中，两个不同类型的实体可以通过不同的语义路径进行关联，这条语义路径被称为元路径，其可以被定义为其中a1,a2,
…
,a
l 1
是一条元路径上的实体，r1,r2,
…
,r
l
是一条元路径上的关系；
[0049]
在此引入节点级注意力聚合每个实体的元路径邻居信息，借此学习到基于元路径的邻居实体对于知识图谱中每个实体的重要性，并将这些邻居的表示聚合起来形成实体的嵌入表示；对于每种类型的实体设计特定类型的变换矩阵将不同类型实体的嵌入表示投影到相同的嵌入空间中；投影公式定义为：
[0050][0051]
其中，x
′i是投影后的实体嵌入表示，是第i个实体所属类型的变换矩阵，xi是融合了知识信息和图的结构信息后的实体的嵌入表示；
[0052]
之后，利用自注意力机制学习各种实体之间的权重；给定通过元路径φ连接的实体对(i,j)，那么可以用权重系数表示j对i的重要性，其公式定义为：
[0053][0054]
其中，attn
node
是计算节点级注意力的深层神经网络，xi′
、x
′j是投影后的实体嵌入表示，φ是实体j到实体i的元路径；
[0055]
如此，基于元路径的实体对(i,j)中，实体j对实体i的注意力系数公式定义为：
[0056][0057]
其中，σ是激活函数，采用leakyrelu非线性函数，为第i个实体的邻居实体集合，exp(x)表示为数学运算e
x
，||为向量拼接运算，是映射向量的转置；
[0058]
然后，基于元路径的实体i的嵌入表示可以由其邻居实体的嵌入表示的投影和相
应的注意力系数聚合，其公式定义为：
[0059][0060]
其中，是实体i相应于元路径φ学习到的嵌入表示，σ是非线性函数；
[0061]
将多头注意力运用到节点级注意力中，使得训练过程更加稳定；并将学习到的嵌入连接为特定语义的嵌入表示；其公式定义为：
[0062][0063]
因此，给定一个知识图谱的元路径集合{φ0,φ1,
…
,φ
p-1
}，通过节点级注意力可以得到p组特定的实体语义嵌入，表示为
[0064]
b)语义级注意力
[0065]
引入一种新的语义层次注意力，自动学习不同元路径的重要性，并将它们融合到特定的任务中；以从节点级注意力中学习到的p组特定实体语义嵌入为输入，可以学习到每个元路径的权重，其公式定义为：
[0066][0067]
其中，是元路径的权重，attn
sem
是计算语义级注意力的深层神经网络；
[0068]
为了了解每个元路径的重要性，首先通过一个非线性函数变换特定语义的嵌入；然后，利用一个语义级注意力向量q与元路径特定语义节点嵌入的非线性变换做内积，来测量特定元路径特定语义实体的嵌入的重要性；之后，平均优化所有特定语义节点嵌入的重要性；每个元路径的重要性定义为：
[0069][0070]
其中，是元路径φi的重要性，λ是所有元路径的集合，q为语义级注意力向量，w为权重矩阵，b为偏置；
[0071]
在获得每一个元路径的重要性后，通过softmax函数对其进行归一化；元路径φi的权重表示为其公式定义为：
[0072][0073]
将学习到的权值作为系数，并将这些语义特定的嵌入进行融合，得到最终的嵌入z，其公式定义为：
[0074]
[0075]
步骤4.2、训练知识图谱异构图注意力网络模型：训练模型以获取工业机械知识图谱实体的词嵌入表示；
[0076]
对于半监督实体分类，采用最小化有类标签节点的预测类标签分布与真实类标签的交叉熵函数作为损失函数，其公式定义为：
[0077][0078]
其中，c是分类器的参数，y
l
是有标签的节点索引集，y
l
和z
l
是有标签节点的标签和嵌入；对于链接预测，训练损失函数l采用margin损失函数，其公式定义为：
[0079][0080]
步骤4.2、训练知识图谱异构图注意力网络模型：训练模型以获取工业机械故障诊断知识图谱中实体的嵌入表示。
[0081]
进一步的，所述步骤5任务验证阶段，具体包括：
[0082]
步骤5.1、故障知识实体分类任务：将实体的嵌入表示以降维算法tsne降至二维，以实体的词嵌入表示在二维平面上的分布实现故障实体的分类；
[0083]
步骤5.2、故障知识链接预测任务：将实体的嵌入表示以hits@10评分验证故障知识链接预测准确性。
[0084]
与现有技术相比，本发明具有以下优点和有益效果：
[0085]
1.本发明在异构图注意力网络模型的基础上，创新性地保留了知识图谱三元组的知识结构和知识图谱作为图数据结构拥有的图结构信息，能够以端到端的学习方式学习工业机械故障诊断知识图谱中的实体嵌入表示。本发明采用知识图谱异构图注意力网络模型(kghan)训练故障知识数据，能够极大地提高故障知识实体分类和故障知识链接预测的准确率。
[0086]
2.本发明可以从给定的知识图谱推导出新的实体跟实体之间的关系，进一步完成知识发现，以此可以完成对数据的深度分析和推理。本发明通过知识图谱异构图注意力网络模型而得到的实体和关系的嵌入表示形式在知识图谱的计算、补全、推理等方面起到重要的作用。
[0087]
3.本发明的故障知识实体分类任务能够实现知识图谱的半自动化构建，可以辅助工程人员更快更好地构建工业故障诊断知识图谱；本发明的故障知识链接预测任务能够辅助工程人员诊断工业故障，向工程人员推荐故障可能的原因和故障的解决办法。
附图说明
[0088]
图1为本发明的一种实施例的方法流程图。
[0089]
图2为本发明的一种实施例的知识图谱异构图注意力网络模型结构图。
[0090]
图3为本发明的一种实施例的故障知识实体分类展示图。其中，图3a为数据集fdi-ncm的故障知识实体分类展示图，图3b为数据集fdi-exc的故障知识实体分类展示图。
具体实施方式
[0091]
本发明的一种基于工业机械故障诊断知识图谱的知识推理方法，在建立工业机械
故障诊断知识图谱的基础上利用知识图谱异构图注意力网络进行知识推理，从而解决工业机械故障诊断知识图谱的故障知识实体分类任务和故障知识链接预测任务。本发明利用知识图谱异构图注意力网络模型训练某工业机械的故障工况数据，以此进行知识推理。本发明同时考虑知识图谱的知识结构和图结构，能极大地提高故障知识实体分类和故障知识链接预测的准确率。本发明方法包括：采集并清洗某工业机械的故障工况数据；创建结构化的故障知识三元组；根据结构化的故障知识三元组创建故障实体与故障关系的词嵌入表示以及异构工业机械故障诊断知识图谱；将构建的工业机械故障诊断知识图谱通过neo4j图数据库进行可视化展示；构建知识图谱异构图注意力网络模型；训练模型以获取工业机械故障诊断知识图谱中实体的嵌入表示；完成故障知识实体分类任务和故障知识链接预测任务，以此实现工业机械故障诊断知识图谱的知识推理。
[0092]
下面结合附图对本发明作进一步详细描述。
[0093]
图1为本发明的一种实施例的方法流程图。如图1所示，该实施例方法包括以下步骤：
[0094]
步骤1为数据清洗阶段，其中包括：采集并清洗某工业机械的故障工况数据；创建结构化的故障知识三元组。
[0095]
步骤2为数据处理阶段，其中包括：根据结构化的故障知识三元组创建故障实体与故障关系的词嵌入表示以及异构工业机械故障诊断知识图谱。
[0096]
步骤3为图谱展示阶段，其中包括：将构建的工业机械故障诊断知识图谱通过neo4j图数据库进行可视化展示。
[0097]
步骤4为模型构建与训练阶段，其中包括：构建知识图谱异构图注意力网络模型；训练模型以获取工业机械故障诊断知识图谱中实体的嵌入表示。
[0098]
步骤5为任务验证阶段，其中包括：完成故障知识实体分类任务和故障知识链接预测任务，以此实现工业机械故障诊断知识图谱的知识推理。
[0099]
所述步骤1数据清洗阶段，包括：
[0100]
步骤1.1、清洗故障工况数据：以正则表达式抽取故障工况数据里的故障实体以及故障知识三元组数据，并且去除多余的标点符号以及辅助说明信息。
[0101]
步骤1.2、创建结构化的故障知识三元组：根据故障实体间的对应关系筛选故障知识三元组，具体形式为：(头实体，关系，尾实体)，简记为：(h,r,t)。
[0102]
所述步骤2数据处理阶段，包括：
[0103]
步骤2.1、创建故障实体与故障关系的词嵌入表示：将清洗完的故障工况数据按照单个汉字形成一个列表并以unicode编码方式从小到大排序，对每一个故障实体与故障关系按照汉字列表与汉字数量进行编码，编码向量作为其词嵌入表示。
[0104]
步骤2.2、创建异构工业机械故障诊断知识图谱：基于图神经网络框架dgl中的图数据结构存储异构工业机械故障诊断知识图谱。
[0105]
所述步骤3图谱展示阶段，包括：
[0106]
步骤3.1、构建工业机械故障诊断知识图谱：基于python和py2neo库将故障知识三元组构建为工业机械故障诊断知识图谱。
[0107]
步骤3.2、知识图谱可视化：通过neo4j图数据库进行可视化展示，并且能够通过python脚本实现各种工业故障数据的增删查找的图搜索算法。
[0108]
在步骤4模型构建与训练阶段，所述的基于异构图注意力网络han提出知识图谱异构图注意力网络kghan模型，具体包括：
[0109]
步骤4.1、构建知识图谱异构图注意力网络模型：基于异构图注意力网络(han)提出了知识图谱异构图注意力网络(kghan)模型，它在异构图注意力网络模型的基础上，创新地保留了知识图谱三元组的知识结构和知识图谱作为图数据结构拥有的图结构信息，能够以端到端的学习方式学习工业机械故障诊断知识图谱中的实体嵌入表示。
[0110]
图2为本发明的一种实施例的知识图谱异构图注意力网络模型结构图。其中，kghan模型采用如下设计，包括知识信息融合层、图结构信息融合层和异构图注意力网络层，具体为：
[0111]
(1)知识信息融合层：该层的结构图如图2的知识信息融合层模块所示，为了保留知识图谱原本的知识三元组结构，融合知识图谱翻译模型transd的嵌入向量表示。步骤2.1所述的实体和关系的词嵌入表示是根据其one-hot词编码向量表示的。然而，使用one-hot词编码向量表示一个知识三元组时，会导致向量维度太大，无法捕捉相似度。因此，本发明融合知识图谱翻译模型transd的嵌入向量以改善该问题。
[0112]
transd模型是通过优化transe翻译模型来学习知识图谱中每个实体和关系的嵌入向量表示，它使用两个向量来表示每个实体和关系，第一个向量表示实体或关系的意义，另一个向量(称为投影向量)将用于构造映射矩阵。头实体和尾实体的映射矩阵定义为：
[0113][0114][0115]
其中，是头、尾实体的映射矩阵，r
i(0)
是经过初始化的关系嵌入向量，是经过初始化的头、尾实体嵌入向量，m是关系嵌入向量的维度，n是头、尾实体嵌入向量的维度，是单位矩阵，m
×
n是单位矩阵的形状。
[0116]
之后，通过映射矩阵将实体的嵌入向量映射到对应的关系嵌入向量空间中，映射到关系空间的头实体和尾实体的嵌入向量公式定义为：
[0117][0118][0119]
其中，是更新后的头、尾实体嵌入向量。
[0120]
为了评价头实体和尾实体的嵌入向量的相关性，定义向量距离误差为si。更新后的三元组的信誉评分公式f
ri
定义如下：
[0121][0122]
其中，是一个向量二范数的平方运算。
[0123]
为了优化训练过程，在知识信息融合层中对正确的三元组进行
随机替换头、尾实体以实现负样本采样，错误的三元组定义为向量距离误差为si′
。训练损失函数l采用margin损失函数，其公式定义为：
[0124][0125]
其中，γ是正确的三元组得分和错误的三元组得分的裕度，max(x,y)是取x或者y中的最大值运算。
[0126]
最后，本发明将训练后的实体和关系的嵌入向量添加到节点的词嵌入表示中作为输入。融合后的节点的词嵌入表示定义为：
[0127][0128]
其中，是融合知识信息后的词嵌入表示，是步骤2.1中所述的词嵌入表示，是第i个节点嵌入表示(头实体嵌入向量和尾实体嵌入向量的集合)，||是向量拼接运算。
[0129]
(2)图结构信息融合层：该层的结构图如图2的图结构信息融合层模块所示，为了保留知识图谱作为图数据结构拥有的图的结构信息，融合图中节点的度。步骤2.1所述的实体与实体之间的注意力相关性是根据其语义相关性来计算的。然而，节点中心性(衡量节点在图中的重要程度)通常是理解图的一个重要信号，这些信息在当前的注意力计算中被忽略了。
[0130]
本发明在kghan模型中使用每个实体的度向量作为实体和关系的嵌入表示的附加信号。具体地说，本发明加入了实体中心性编码，根据实体的入度和出度为每个实体分配两个实值嵌入向量。由于实体中心性编码应用于每个实体，本发明只需将其添加到实体的词嵌入表示中作为输入。融合后的实体的嵌入表示定义为：
[0131][0132]
其中，xi是第i个实体融合了图的结构信息后的嵌入表示，是融合知识信息后的嵌入表示，||是向量拼接运算，是该实体的入度向量，是该实体的出度向量。
[0133]
(3)异构图注意力网络层：该层的结构图如图2的异构图注意力网络层模块所示，该层同时包含了节点级注意力和语义级注意力，节点级注意力主要学习实体及其临近实体间的权重，语义级注意力是来学习基于不同元路径的权重。得益于这种层次性的注意力，可以同时考虑邻居实体和元路径的重要性。
[0134]
a)节点级注意力
[0135]
知识图谱是典型的异构图，其可以表示为g＝(v,e)，由一个实体集合v和关系集合e组成。知识图谱还与实体类型映射函数φ:v
→
a和关系类型映射函数e
→
b相关联。a和b表示预定义实体类型和关系类型的集合，其中||a|| ||b||≥2。在异构图中，两个不同类型的实体可以通过不同的语义路径进行关联，这条语义路径被称为元路径，其可以被定义为其中a1,a2,
…
,a
l 1
是一条元路径上的实体，r1,r2,
…
,r
l
是一条元路径上的关系。
[0136]
本发明引入节点级注意力聚合每个实体的元路径邻居信息，借此学习到基于元路
径的邻居实体对于知识图谱中每个实体的重要性，并将这些邻居的表示聚合起来形成实体的嵌入表示。由于知识图谱节点的异构特性，不同类型的实体具有不同的嵌入空间。因此，对于每种类型的实体设计特定类型的变换矩阵将不同类型实体的嵌入表示投影到相同的嵌入空间中。投影公式定义为：
[0137][0138]
其中，x
′i是投影后的实体嵌入表示，是第i个实体所属类型的变换矩阵，xi是融合了知识信息和图的结构信息后的实体的嵌入表示。
[0139]
之后，利用自注意力机制来学习各种实体之间的权重。给定通过元路径φ连接的实体对(i,j)，那么可以用权重系数表示j对i的重要性，其公式定义为：
[0140][0141]
其中，attn
node
是计算节点级注意力的深层神经网络，x
′i、x
′j是投影后的实体嵌入表示，φ是实体j到实体i的元路径。
[0142]
如此，基于元路径的实体对(i,j)中，实体j对实体i的注意力系数公式定义为：
[0143][0144]
其中，σ是激活函数，本发明采用leakyrelu非线性函数，为第i个实体的邻居实体集合，exp(x)表示为数学运算e
x
，||为向量拼接运算，是映射向量的转置。
[0145]
然后，基于元路径的实体i的嵌入表示可以由其邻居实体的嵌入表示的投影和相应的注意力系数聚合，其公式定义为：
[0146][0147]
其中，是实体i相应于元路径φ学习到的嵌入表示，σ是非线性函数。
[0148]
由于异构图具有无标度特性，因此图数据的方差很大。为了解决此问题，本发明将多头注意力运用到节点级注意力中，使得训练过程更加稳定。多头注意力的含义是指分别对每个实体调用k次相互独立的节点级注意力运算(可进行平均优化)，并将学习到的嵌入连接为特定语义的嵌入表示。其公式定义为：
[0149][0150]
因此，给定一个知识图谱的元路径集合{φ0,φ1,
…
,φ
p-1
}，通过节点级注意力可以得到p组特定的实体语义嵌入，表示为
[0151]
b)语义级注意力
[0152]
为了学习到更全面的节点嵌入，需要融合各个元路径蕴含的特定语义。本发明引
入了一种新的语义层次注意力，自动学习不同元路径的重要性，并将它们融合到特定的任务中。以从节点级注意力中学习到的p组特定实体语义嵌入为输入，可以学习到每个元路径的权重，其公式定义为：
[0153][0154]
其中，是元路径的权重，attn
sem
是计算语义级注意力的深层神经网络。
[0155]
为了了解每个元路径的重要性，首先通过一个非线性函数变换特定语义的嵌入。然后，利用一个语义级注意力向量q与元路径特定语义节点嵌入的非线性变换做内积，来测量特定元路径特定语义实体的嵌入的重要性。进一步，平均优化所有特定语义节点嵌入的重要性。每个元路径的重要性定义为：
[0156][0157]
其中，是元路径φi的重要性，λ是所有元路径的集合，q为语义级注意力向量，w为权重矩阵，b为偏置。
[0158]
在获得每一个元路径的重要性后，通过softmax函数对其进行归一化。元路径φi的权重表示为其公式定义为：
[0159][0160]
将学习到的权值作为系数，并将这些语义特定的嵌入进行融合，得到最终的嵌入z，其公式定义为：
[0161][0162]
步骤4.2、训练知识图谱异构图注意力网络模型：训练模型以获取工业机械知识图谱实体的词嵌入表示。
[0163]
对于半监督实体分类，采用最小化有类标签节点的预测类标签分布与真实类标签的交叉熵函数作为损失函数，其公式定义为：
[0164][0165]
其中，c是分类器的参数，y
l
是有标签的节点索引集，y
l
和z
l
是有标签节点的标签和嵌入。
[0166]
对于链接预测，训练损失函数l采用margin损失函数，其公式定义为：
[0167][0168]
所述步骤5任务验证阶段，包括：
[0169]
步骤5.1、故障知识实体分类任务：将实体的嵌入表示以降维算法tsne降至二维，
以实体的词嵌入表示在二维平面上的分布实现故障实体的分类。
[0170]
步骤5.2、故障知识链接预测任务：将实体的嵌入表示以hits@10评分验证故障知识链接预测准确性。
[0171]
如上所述，本发明提出了一种基于工业机械故障诊断知识图谱的知识推理方法，可以用来实现工业机械故障诊断知识图谱的知识推理，能够极大地提高故障知识实体分类和故障知识链接预测的准确率。
[0172]
本发明在异构图注意力网络模型的基础上，创新性地保留了知识图谱三元组的知识结构和知识图谱作为图数据结构拥有的图结构信息，能够以端到端的学习方式学习工业机械故障诊断知识图谱中的实体嵌入表示。本发明采用知识图谱异构图注意力网络模型(kghan)训练故障知识数据，能够极大地提高故障知识实体分类和故障知识链接预测的准确率。
[0173]
本发明可以从给定的知识图谱推导出新的实体跟实体之间的关系，进一步完成知识发现，以此可以完成对数据的深度分析和推理。本发明通过知识图谱异构图注意力网络模型而得到的实体和关系的嵌入表示形式在知识图谱的计算、补全、推理等方面起到重要的作用。
[0174]
本发明的故障知识实体分类任务能够实现知识图谱的半自动化构建，可以辅助工程人员更快更好地构建工业故障诊断知识图谱；本发明的故障知识链接预测任务能够辅助工程人员诊断工业故障，向工程人员推荐故障可能的原因和故障的解决办法。
[0175]
本发明在国产某型号数控机床和国产某型号挖掘机的故障工况数据上进行了验证，本发明处理了国产某型号数控机床的故障工况数据，并形成可训练得数据集，命名为fdi-ncm；处理了国产某型号挖掘机的故障工况数据，并形成可训练得数据集，命名为fdi-exc。本发明采用了1层知识图谱异构图注意力网络。
[0176]
本发明故障知识实体分类任务验证结果如表1所示：
[0177]
表1 故障知识实体分类任务准确率指标
[0178][0179]
本发明故障知识实体分类任务的验证结果图如图3a和图3b所示，结合上表1和结果图可以看出知识图谱异构图注意力网络模型能很好的预测出故障知识实体类别，相比于其他模型能够极大地提高故障知识实体分类。同时，本发明的故障知识实体分类任务能够实现知识图谱的半自动化构建，可以辅助工程人员更快更好的构建工业故障诊断知识图谱。
[0180]
本发明故障知识链接预测任务验证结果如表2所示：
[0181]
表2 故障知识链接预测任务hits@n指标
[0182][0183]
由上表2可以看出，知识图谱异构图注意力网络模型能很好地预测出故障知识链接路径。同时，本发明的故障知识链接预测任务能够辅助工程人员诊断工业故障，向工程人员推荐故障可能的原因和故障的解决办法。