一种用于端到端场景的工业故障知识图谱建立方法与流程

1.本发明涉及基于人工智能的故障自动化诊断领域，尤其涉及一种用于端到端场景的工业故障知识图谱建立方法。


背景技术：

2.随着人工智能技术的发展，工业领域的运维和故障诊断工作逐渐从传统的手动操作向智能化和自动化方向发展。依据过往运维过程中积累的故障工单，抽取其中的经验和知识，可以为智能故障诊断和运维工作提供数据支撑。由此，很多工业设备的运维和故障诊断问题可以转化为知识抽取等自然语言处理问题。目前，工业领域积累了大量的故障描述数据，其中包含了丰富的历史经验和专家知识，但是在工业设备智能故障诊断方面还未得到充分的应用。因此，研究工业领域的设备维修工单中经验和知识的抽取方法，并将抽取得到的知识和经验以结构化形式存储，对工业设备智能故障诊断的发展具有重要意义。
3.作为领域知识和经验的结构化存储形式，领域知识图谱具有广阔的应用前景。作为智能运维的数据基础和支撑，工业故障知识图谱在故障定位、原因分析等自动化诊断和运维场景中起着至关重要的作用。研究构建工业故障知识图谱的相关技术，可以将杂乱的工单数据转化为结构化、可视化的知识链条，在后续的运维应用场景中可以快速的辅助故障自动化或半自动化解决，从而提高运维人员的工作效率，并为未来更复杂、要求更高的故障排除工作奠定基础。
4.但在实际应用中，高质量、大规模的知识图谱构建难度极大，全自动化构建的方法尚未成熟，且所构建的知识图谱质量较差；而全人工构建的方法虽然能够保证质量，但是效率低下，往往需要花费巨大的人力和时间成本。
5.因此，如何在较短的时间内建立出一个质量较高、规模足以支持后续运行推理算法的工业故障知识图谱，以便于在实际应用中能够兼顾质量、规模和构建效率，成为需要研究的问题。


技术实现要素：

6.本发明的实施例提供一种用于端到端场景的工业故障知识图谱建立方法，能够在较短的时间内建立出一个质量较高、规模足以支持后续运行推理算法的工业故障知识图谱。
7.为达到上述目的，本发明的实施例采用如下技术方案：
8.s1、采集工业设备故障过程的描述文本，并输入ut-crf实体命名识别模型，在执行实体命名识别任务后，所述ut-crf实体命名识别模型输出实体抽取结果；
9.s2、从所述实体抽取结果中，提取训练集并训练rcnn实体分类模型；
10.s3、将所述实体抽取结果输入训练后的rcnn实体分类模型，并执行实体分类任务，所述rcnn实体分类模型输出带有实体类别标签的实体文本数据；
11.s4、利用所述带有实体类别标签的实体文本数据，构建工业故障知识图谱。
12.本发明实施例提供的用于端到端场景的工业故障知识图谱建立方法，通过采用ut-crf/rcnn模型，实现工业故障知识图谱的端到端构建过程。该方法能够在短时间内实现大规模、高质量工业故障知识图谱的构建，从而减少人工构建的成本，提升构建效率。同时，该方法具有良好的迁移性，在应对不同情境和场景时，只需要对网络的超参数进行微调，同样可以达到较高的构建准确率。进一步的，所构建的知识图谱将助力故障诊断、故障定位、原因分析，以及后续的故障自动化或半自动化解决，从而促进智能故障诊断的发展。
附图说明
13.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
14.图1为本发明实施例提供的总体方案流程示意图；
15.图2为本发明实施例提供的ut-crf模型结构示意图；
16.图3为本发明实施例提供的rcnn模型结构示意图；
17.图4为本发明实施例提供的知识图谱生成规则示意图。
具体实施方式
18.为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
19.目前的研究方向，主要是需要在较短的时间内建立出一个质量较高、规模足以支持后续运行推理算法的工业故障知识图谱，以便于在实际应用中能够兼顾质量、规模和构建效率。因此，如何在准确率和效率之间寻求一个平衡点，使用半自动化的构建思路，在较短的时间内建立出一个质量较高、规模足以支持后续运行推理算法的工业故障知识图谱，是工业智能故障诊断方向的一个巨大挑战。
20.本实施例的设计目的在于，优化端到端的工业故障知识图谱建立方式。
21.大致的设计思路是：采用ut-crf/rcnn(通用深度自注意力网络编码器-线性链条件随机场/循环卷积网络)组合模型实现工业故障知识图谱的端到端建立。其中，获取工业设备故障过程文本描述数据，对部分工单进行词性标注并作为训练语料送入实体命名识别模型，进行参数优化以获取最优模型；将实体命名识别结果中的少部分进行类别标注，送入实体分类模型，进行参数优化以训练模型；将未标注的原始语料送入实体命名识别模型，执行实体抽取任务，所得结果送入实体分类模型，执行实体分类任务，得到带标签的实体文本；基于规则生成rdf三元组，存入图数据库，为后续故障诊断任务提供数据支持。通过使用深度学习方法，可以实现工业故障知识图谱的端到端的建立，有效提升构建效率和准确率，为故障诊断任务提供高质量知识图谱资源。
22.本发明实施例提供一种用于端到端场景的工业故障知识图谱建立方法，包括：
23.s1、采集工业设备故障过程的描述文本，并输入ut-crf实体命名识别模型，在执行实体命名识别任务后，所述ut-crf实体命名识别模型输出实体抽取结果。
24.其中，所采集来的工业设备故障过程的描述文本，是一种未经过标注的原始文本数据。将未经过标注的原始文本数据送入模型，经过此向量嵌入、位置嵌入、时间步嵌入和多头注意力机制运算等步骤后，通过条件随机场解码，得到实体命名识别的结果。
25.本实施例中基于ut-crf模型的实体命名识别任务可以划分为两个部分。第一部分是训练ut-crf模型。手工标注部分工业设备故障过程描述文本，作为训练集送入模型，训练ut-crf实体命名识别模型；第二部分是使用优化完成的ut-crf模型执行实体命名识别任务。将未标注的语料送入模型，得到实体抽取结果。具体的，可以收集工业故障诊断领域积累的描述故障排除与运维过程的文本数据，送入训练完成的实体命名识别模型，输出实体抽取结果。
26.s2、从所述实体抽取结果中，提取训练集并训练rcnn实体分类模型。
27.其中，可以分配少量实体抽取结果，手工标注标签作为训练集，输入rcnn网络，优化参数。针对当前实体样本的特点对超参数进行微调，使模型在当前任务上表现达到最优。具体的，使用优化完成的rcnn模型执行实体分类任务，将语料中抽取出的实体送入模型，得到带有实体类别标签的实体文本数据，用于知识图谱的构建。使用训练完成的模型对剩余无标签的实体数据进行分类，得到带标签的实体文本。
28.s3、将所述实体抽取结果输入训练后的rcnn实体分类模型，并执行实体分类任务，所述rcnn实体分类模型输出带有实体类别标签的实体文本数据。
29.其中，可以将rcnn实体分类模型的输入层与ut-crf模型的输出层进行对接，实现实体抽取到实体分类的链式操作，得到带有标签的实体文本。
30.s4、利用所述带有实体类别标签的实体文本数据，构建工业故障知识图谱。
31.本实施例中，采用ut-crf/rcnn(通用深度自注意力网络编码器-线性链条件随机场/循环卷积网络)组合模型实现工业故障知识图谱的端到端建立。训练并使用ut-crf模型执行实体命名识别任务，训练并使用rcnn模型执行实体分类任务。对两个不同的深度学习模型使用交替优化参数的训练策略，编写接口将训练完成的模型进行拼接，实现从文本数据到知识图谱的端到端建立。
32.进一步的，还包括：
33.在s1之前，建立所述ut-crf实体命名识别模型。获取所述ut-crf实体命名识别模
型对的训练集数据，并通过所述训练集数据训练所建立的ut-crf实体命名识别模型。
34.其中，可以随机初始化模型参数，依据ictclas(汉语词法分析系统)汉语词性标注集中规定的标注规范，手工标注一部分故障工单文本，作为训练集送入模型，经过多轮迭代训练，损失函数趋于收敛，停止训练。所述ut-crf实体命名识别模型中包括：词向量嵌入层、位置嵌入层、时间步嵌入层、多头注意力层、转换函数层和条件随机场输出层。所述训练集数据中包括：经过词性成分标注的描述故障现象文本，和经过词性成分标注的故障维修过程的文本。其中，“经过词性成分标注的描述故障现象的文本”可以理解为：将描述故障现象的文本按照ictclas汉语词性标注集中规定的标准汉语标注方法进行标注。“经过词性成分标注的故障维修过程的文本”可以理解为：将描述故障维修过程的文本按照ictclas汉语词性标注集中规定的标准汉语标注方法进行标注。具体来说，就是将文本中的各个不同成分标注上相应的记号。
35.具体的，所述ut-crf实体命名识别模型由通用深度自注意力网络的编码器和线性链条件随机场解码器构成其中，编码器指的是将文本输入通用深度自注意力网络，得到表示文本的特征向量，因此称之为“通用深度自注意力网络的编码器”；解码器指的是将文本的特征向量输入线性链条件随机场，还原为带有标签的文本，因此称之为“线性链条件随机场解码器”。将描述故障现象和故障维修过程的文本进行词性成分标注后送入模型，初始化模型参数，通过迭代循环不断优化模型参数，得到训练好的模型；
36.本实施例中，在s1中，所执行的实体命名识别任务包括：
37.将工业设备故障过程的描述文本输入所述ut-crf实体命名识别模型，并依次经过词向量嵌入层、位置嵌入层和时间步嵌入层的处理，得到词向量s；其中，通过三重嵌入层的叠加处理，将词向量、位置和时间步三种嵌入模式进行叠加，有助于模型理解每个词的位置以及序列中不同词之间的距离。其中，三重嵌入层的作用是进行词向量嵌入，词向量嵌入是指将字符转换为向量的形式表示，位置嵌入是指将字符在文本序列中的位置用向量的形式表示，时间步嵌入是指将当前网络迭代训练的次数用向量的形式表示，叠加指的是将三个向量执行加法操作。
38.之后可以将词向量s输入多头注意力层；转换函数层接收所述多头注意力层的输出并进行分离卷积运算；条件随机场输出层中，将所述转换函数层的输出由线性链条件随机场进行解码，所述条件随机场输出层的输出包括：从语句中抽取的实体文本。
39.具体的，在所述多头注意力层中采用多头注意力机制，由各个自注意力运算单元的运算结果拼接而成：msa(s)＝concat(sa1,...,san)w，其中concat为拼接函数，w为多头注意力权重，而q＝sw
query
、k＝sw
key
、v＝sw
value
，s表示序列中所有词的词向量拼接而成的矩阵，q表示对应了s的查询矩阵，k表示键矩阵，v表示值矩阵，w
query
表示查询权重矩阵，w
key
表示键权重矩阵，w
value
表示值权重矩阵。自注意力运算单元表示为其中，d表示词嵌入的维度。
40.进一步的，本实施例中，还包括：在s2之前，建立rcnn实体分类模型，其中，所述rcnn实体分类模型中包括：词向量嵌入层、双向循环神经网络、卷积神经网络和输出层。
41.具体的，在所述双向循环神经网络的运行过程中，包括：
42.通过所述双向循环神经网络捕获所述实体抽取结果中的实体文本序列的上下文信息；将所述上下文信息中的左右侧语境的编码，与当前词的词向量进行拼接操作，得到当前词的编码；将所述当前词的编码输入所述卷积神经网络进行卷积处理，之后通过输出层输出实体文本数据。从而可以使当前词包含上下文语境，从而有效消除歧义。将当前词的编码送入卷积神经网络，执行卷积，最大池化等操作后计算出实体属于各个实体类别的概率，完成实体分类。例如：
43.所述上下文信息中的左右侧语境的编码包括：
44.l(ci)＝f(w
left
l(c
i-1
) w
left-embed
e(c
i-1
))
45.r(ci)＝f(w
right
l(c
i 1
) w
right-embed
e(c
i 1
))
46.其中，实体文本序列的每个字符表示为ci，词向量为e(ci)，l(ci)表示ci的左侧语境，r(ci)表示ci的右侧语境，i表示字符在实体文本序列中的位置，w
left
为左侧语境权重矩阵，w
right
为右侧语境权重矩阵，w
left-embed
是将当前词的语义与下一个词的左侧语境结合起来的权重矩阵，w
right-embed
是将当前词的语义与上一个词的右侧语境结合起来的权重矩阵；所得到的当前词的编码
47.wi＝[l(ci)；e(ci)；r(ci)]。
[0048]
进一步的，在s4中，包括：根据所述带有实体类别标签的实体文本数据，构建关联关系；之后将所述带有实体类别标签的实体文本数据和所构建的关联关系，以rdf三元组的形式，存入逗号分隔值文件，并导入neo4j图形数据库服务器。其中，可以将带有标签的实体基于设计好的规则构建关联关系，具体的知识图谱生成规则如图4所示。实体与实体之间的关系以rdf三元组的形式存入逗号分隔值文件并导入neo4j图形数据库服务器，完成工业故障知识图谱的建立，使用数据库语言对知识图谱进行进一步修改和完善。
[0049]
具体举例来说，在本实施例中的实际应用中，也可以划分为3个阶段，其中包括：第一阶段，实体命名识别；第二阶段，实体分类；第三阶段，建立工业故障知识图谱。例如：
[0050]
第一阶段，1构建ut-crf模型；2训练ut-crf模型；3基于ut-crf模型执行实体命名识别任务；
[0051]
具体的，所述1构建ut-crf模型，包括：
[0052]
该模型主要由词向量嵌入层、位置和时间步嵌入层、多头注意力层、转换函数层和条件随机场输出层组成。
[0053]
(i)嵌入层：嵌入层将词向量、位置和时间步三种嵌入模式进行叠加，有助于模型理解每个词的位置以及序列中不同词之间的距离。
[0054]
(ii)多头注意力层：多头注意力层是ut-crf模型的核心部分。经过(i)中嵌入层的编码，每个词都被表示为词向量s，每个序列则可以用序列中所有词的词向量拼接而成的矩阵s表示。为每个序列矩阵生成一个查询矩阵q，一个键矩阵k和一个值矩阵v，这三个矩阵是通过序列矩阵与随机初始化的查询权重矩阵w
query
、键权重矩阵w
key
和值权重矩阵w
value
相乘得到的，具体运算如下：
[0055]
q＝sw
query
[0056]
k＝sw
key
[0057]
v＝sw
value
[0058]
多头注意力机制由多个自注意力运算单元的运算结果拼接而成。自注意力单元在
编码某个词时，将所有词的值向量进行加权求和，权重是通过对该词的键向量与被编码词查询向量做点积并通过softmax层得到的。自注意力单元的运算机制如下：
[0059][0060]
其中d表示词嵌入的维度。
[0061]
多头注意力机制的运算如下：
[0062]
msa(s)＝concat(sa1,...,san)w
[0063]
其中concat为拼接函数，将多个自注意力运算单元的结果进行拼接操作，w为多头注意力权重。
[0064]
(iii)转换函数层和条件随机场输出层：转换函数层接收多头注意力层的输出并对其经行分离卷积运算，所得结果由线性链条件随机场进行解码，输出为从每条语句中抽取的实体文本。
[0065]
具体的，所述2训练ut-crf模型，包括：
[0066]
随机初始化模型参数，依据ictclas(汉语词法分析系统)汉语词性标注集中规定的标注规范，手工标注一部分故障工单文本，作为训练集送入模型，经过多轮迭代训练，损失函数趋于收敛，停止训练。
[0067]
具体的，所述3基于ut-crf模型执行实体命名识别任务，包括：
[0068]
收集工业故障诊断领域积累的描述故障排除与运维过程的文本数据，送入训练完成的实体命名识别模型，输出实体抽取结果。
[0069]
第二阶段，实体分类阶段：4构建rcnn模型；5训练rcnn模型；6基于rcnn模型执行实体分类任务。
[0070]
具体的，所述4构建rcnn模型，包括：
[0071]
rcnn实体分类模型主要由词向量嵌入层、双向循环神经网络、卷积神经网络和输出层组成。
[0072]
双向循环神经网络用于捕获实体文本序列的上下文信息。实体文本序列中的每个字符表示为ci，其词向量为e(ci)。用l(ci)表示ci的左侧语境，r(ci)表示ci的右侧语境，l(ci)和r(ci)的计算方式如下：
[0073]
l(ci)＝f(w
left
l(c
i-1
) w
left-embed
e(c
i-1
))
[0074]
r(ci)＝f(w
right
l(c
i 1
) w
right-embed
e(c
i 1
))
[0075]
其中为w
left
为左侧语境权重矩阵，w
right
为右侧语境权重矩阵，w
left-embed
是将当前词的语义与下一个词的左侧语境结合起来的权重矩阵，w
right-embed
是将当前词的语义与上一个词的右侧语境结合起来的权重矩阵。
[0076]
将左右侧语境的编码与当前词的词向量进行拼接操作，作为当前词的编码wi：
[0077]
wi＝[l(ci)；e(ci)；r(ci)]
[0078]
通过上述操作，可以使当前词包含上下文语境，从而有效消除歧义。将当前词的编码送入卷积神经网络，执行卷积，最大池化等操作后过softmax层得到实体属于某一个实体类别的概率，完成实体分类。
[0079]
具体的，所述5训练rcnn模型，包括：
[0080]
分配少量实体抽取结果，手工标注标签作为训练集，输入rcnn网络，优化参数。针对当前实体样本的特点对超参数进行微调，使模型在当前任务上表现达到最优。
[0081]
具体的，所述6基于rcnn模型执行实体分类任务，包括：
[0082]
将rcnn实体分类模型的输入层与ut-crf模型的输出层进行对接，实现实体抽取到实体分类的链式操作，得到带有标签的实体文本。
[0083]
第三阶段，工业故障知识图谱建立阶段：7基于6中得到的实体分类结果构建工业故障知识图谱。
[0084]
具体的，所述7基于6中得到的实体分类结果构建工业故障知识图谱，包括：
[0085]
将带有标签的实体基于设计好的规则构建关联关系，具体的知识图谱生成规则见附图4。实体与实体之间的关系以rdf三元组的形式存入逗号分隔值文件并导入neo4j图形数据库服务器，完成工业故障知识图谱的建立，使用数据库语言对知识图谱进行进一步修改和完善。
[0086]
本实施例提出的一种端到端的工业故障知识图谱建立方法，采用ut-crf/rcnn(通用深度自注意力网络编码器-线性链条件随机场/循环卷积网络)组合模型，实现工业故障知识图谱的端到端构建过程。该方法能够在短时间内实现大规模、高质量工业故障知识图谱的构建，从而减少人工构建的成本，提升构建效率。同时，该方法具有良好的迁移性，在应对不同情境和场景时，只需要对网络的超参数进行微调，同样可以达到较高的构建准确率。进一步的，所构建的知识图谱将助力故障诊断、故障定位、原因分析，以及后续的故障自动化或半自动化解决，从而促进智能故障诊断的发展。
[0087]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。