一种基于语义特征抓取电网调度事件检测的方法和装置与流程

1.本发明涉及一种基于语义特征抓取电网调度事件检测的方法和装置，属于语义识别技术领域。


背景技术：

2.随着双碳、新型电力系统建设要求的逐步深入和研究，电网调度各类信息化、智能化系统的建设也突发猛进，但在其建设过程中，电网调度的各类留痕文档的体量和类型也逐步的增多，需要更多的自动化、智能化手段帮助电网调度管理产生工作中事件、实体的提取，从而提升工作人员的工作效能。
3.在目前人工智能的发展历程中，事件抽取是自然语言处理的重要任务之一，而事件检测(ed)是事件抽取的关键步骤之一，利用深度学习识别事件触发词，并进一步实现事件分类，旨在以纯文本中的特定类型识别特定类型的事件实例。
4.迄今为止，已经提出了许多方法[1-2]并获得了较好的性能。其中传统媒体中基于文档的事件监测方法主要通过文本的相似性和聚类来检测事件，yang[3-4]等人提出了基于文档方法事件检测的基本步骤，包括文本预处理，数据表示，数据组织或聚类，这些步骤至今也是许多事件检测方法基本组成部分。salton[5]在其论文方法中使用tfidf根据语料库对文档中重要的词语进行加权，该方法也广泛地被后来的事件检测方法使用。为了改善术语向量和词袋模型的不足kumaran[6]等人提出了一种融合了命名实体的vsm文本向量模型，用来加权重要的词特征，弥补tfidf的不足。
[0005]
但是，现有的事件提取方法发现从纯文本中捕获足够的语义信息，发现它有挑战性，因为单词可能在不同的句子中具有不同的含义。
[0006]
比如“句子1：a省火电站总体装机容量为xxxkw”和“句子2：供电员工站立时的行为举止规范要求”两个句子中“站”这个单词，在不同的句子场景下代表不同的含义；另外在句子1中“装机容量”在电网业务场景中，这是一个完整的词汇，在常用分词工具中会将“装机容量”分割为“装机”和“容量”两个单词，不能正确完整的进行信息提取。所以，通过传统的单词嵌入，很难充分利用这些提示词进行有效信息提取。


技术实现要素：

[0007]
本发明的目的在于克服现有技术中的不足，提供一种基于语义特征抓取电网调度事件检测的方法和装置，能够在以纯文本中的特定类型识别特定类型的事件实例。能够更深层次的通过自动化、智能化手段帮助电网调度管理产生工作中事件、实体的提取，从而提升工作人员的工作效能。
[0008]
为达到上述目的，本发明是采用下述技术方案实现的：
[0009]
第一方面，本发明提供了一种基于语义特征抓取电网调度事件检测的方法，包括：
[0010]
获取带有领域词汇和普通词汇的文本信息；
[0011]
对所述文本信息进行训练处理，获得领域词汇表征信息和普通词汇表征信息；
[0012]
训练所述领域词汇表征信息和普通词汇表征信息，获得基础数据文本信息；
[0013]
对所述基础数据文本信息中的词汇进行处理，获取处理后文本信息；其中，所述处理内容包括对词汇进行标注、对词汇间的依赖关系进行分析、计算各类词汇距离头的距离；
[0014]
将所述处理后的文本信息中涉及中文的信息进行算法验证，并通过混合表征算法进行训练；
[0015]
将所述涉及中文的信息进行词汇划分，对词汇进行初步分类；
[0016]
将所述初步分类的词汇信息输入预先构建的卷积神经网络，获取最终检测结果。
[0017]
进一步的，对所述文本信息进行训练处理，获得领域词汇表征信息和普通词汇表征信息，包括：
[0018]
根据token-level神经网络从领域词汇和普通词汇获取特征；
[0019]
令t＝t1，t2，...，tn其中ti是句子中的token数，并令xi是ti的嵌入和ti的相对位置到tc的串联，引入窗口大小为s的卷积层，以捕获组成语义，公式如下：
[0020]hij
＝tanh(wi·
x
j：j
s-1 bi)
ꢀꢀꢀ
(1)
[0021][0022]
公式(1)显示卷积过程，其中wi是卷积层的滤波器，xi：i j是嵌入层从xj到hj s-1的串联，bi是偏置；
[0023]
公式(2)通过使用动态多池来提供句子的不同部分的重要信号，其中关联tc左侧的汇集结果，关联tc右侧的汇集结果；通过连接和获取领域词汇的表征fbword；通过在普通词汇级序列上使用相同的过程，获得普通词汇的表征fnword。
[0024]
进一步的，对所述基础数据文本信息中的词汇进行处理，获取处理后文本信息，包括：
[0025]
通过pos对词汇进行词性标注，其中，pos是单词的词性；
[0026]
通过dr对词汇间的依赖关系进行分析；
[0027]
通过dis算法计算各类词汇距离head的距离。
[0028]
进一步的，将所述处理后的文本信息中涉及中文的信息进行算法验证，并通过混合表征算法进行训练，公式如下：
[0029]
αti＝s(wtif
′
char utif
′
word vtif
′
f bti)
ꢀꢀꢀ
(3)
[0030]
αtc＝s(wtcf
′
char utcf
′
word vtcf
′
f btc)
ꢀꢀꢀ
(4)
[0031]
其中，s是sigmoid函数，w∈rd'
×
d'w∈rd'
×
d'，u∈rd'
×
d'rd'
×
d'和v∈rd'
×
d'v∈rd'd'是权重矩阵，b是偏置；
[0032]
构建一个82维矢量f'f，获得特征和单词作为新的表示的串联：f'h＝[f'f；'nword]；
[0033]
根据引入触发核生成器和事件类型分类器的栅格，获得作为输入的最终矢量，公式如下：
[0034]
fti＝αtif
′
char (1-αti)f
′hꢀꢀꢀ
(5)
[0035]
ftc＝αtcf
′
char (1-αtc)f
′hꢀꢀꢀ
(6)
[0036]
其中fti是触发识别的混合特征，ftc是事件类型分类器的混合功能,αti和(1-αti)分别代表了触发识别中fchar'和f'h的重要性,αtc在事件类型分类器中扮演类似的作
用。
[0037]
进一步的，将所述初步分类的词汇信息输入预先构建的卷积神经网络，获取最终检测结果，包括：
[0038]
获得嵌入和相对位置xi的串联，将xi串联到上文中定义的特征向量，随后将词汇级别特征作为卷积层的输入，以捕获组成语义并获得特征图；
[0039]
根据句子中的卷积核的数量，特征映射输出cj分为i部分，通过动态多池，一个过滤器的最终输出由p
ji
＝max(c
ji
)给出，以获得每个特征映射的p
ji
，并且所有p
ji
连接到形成的最终结果。
[0040]
进一步的，还包括：将所述特征向量和词汇特征连接到一个矢量fword中，获取字符级向量fchar，为触发识别和触发类型分类层产生两个混合表示。
[0041]
第二方面，本发明提供一种基于语义特征抓取电网调度事件检测的装置，包括：
[0042]
获取单元，用于获取带有领域词汇和普通词汇的文本信息；
[0043]
第一训练单元，用于对所述文本信息进行训练处理，获得领域词汇表征信息和普通词汇表征信息；
[0044]
第二训练单元，用于训练所述领域词汇表征信息和普通词汇表征信息，获得基础数据文本信息；
[0045]
处理单元，用于对所述基础数据文本信息中的词汇进行处理，获取处理后文本信息；其中，所述处理内容包括对词汇进行标注、对词汇间的依赖关系进行分析、计算各类词汇距离头的距离；
[0046]
混合表征训练单元；用于将所述处理后的文本信息中涉及中文的信息进行算法验证，并通过混合表征算法进行训练；
[0047]
分类单元，用于将所述涉及中文的信息进行词汇划分，对词汇进行初步分类；
[0048]
检测结果获取单元，用于将所述初步分类的词汇信息输入预先构建的卷积神经网络，获取最终检测结果。
[0049]
第三方面，本发明提供一种基于语义特征抓取电网调度事件检测的装置，包括处理器及存储介质；
[0050]
所述存储介质用于存储指令；
[0051]
所述处理器用于根据所述指令进行操作以执行根据上述任一项所述方法的步骤。
[0052]
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。
[0053]
与现有技术相比，本发明所达到的有益效果：
[0054]
本发明采用一种混合表示方法，用于从单词，字符和依赖关系中学习信息。通过使用token-level神经网络学习两个单独的字符级和字级表示；并从依赖性解析器获取依赖性信息，通过读热编码生成其表示，通过技术方法研究，以及相关试验确定，能够在以纯文本中的特定类型识别特定类型的事件实例，能够更深层次的通过自动化、智能化手段帮助电网调度管理产生工作中事件、实体的提取，从而提升工作人员的工作效能。
附图说明
[0055]
图1是本发明实施例提供的一种基于语义特征抓取电网调度事件检测的方法和装
置的结构示意图。
[0056]
图2是本发明实施例提供的一种基于语义特征抓取电网调度事件检测的方法和装置的剖切面结构示意图。
[0057]
图中：
具体实施方式
[0058]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0059]
实施例1
[0060]
本实施例介绍一种基于语义特征抓取电网调度事件检测的方法和装置，包括：
[0061]
获取带有领域词汇和普通词汇的文本信息；
[0062]
对所述文本信息进行训练处理，获得领域词汇表征信息和普通词汇表征信息；
[0063]
训练所述领域词汇表征信息和普通词汇表征信息，获得基础数据文本信息；
[0064]
对所述基础数据文本信息中的词汇进行处理，获取处理后文本信息；其中，所述处理内容包括对词汇进行标注、对词汇间的依赖关系进行分析、计算各类词汇距离头的距离；
[0065]
将所述处理后的文本信息中涉及中文的信息进行算法验证，并通过混合表征算法进行训练；
[0066]
将所述涉及中文的信息进行词汇划分，对词汇进行初步分类；
[0067]
将所述初步分类的词汇信息输入预先构建的卷积神经网络，获取最终检测结果。
[0068]
本实施例提供的基于语义特征抓取电网调度事件检测的方法和装置，其应用过程具体涉及如下步骤：
[0069]
本文提出的模型共分为两个阶段，并通过动态多池卷积神经网络处理混合表示；其中第一阶段为触发识别，通过使用token-level神经网络利用触发器的字符组成结构以捕获包含有关角色的潜在触发语义。第二阶段用于确定事件的特定类型，其称为触发类型分类。我们使用来自依赖性解析器的依赖性信息提取，以在这两个阶段中通过token-level神经网络生成特征表示；最终将其与单词特征表示组合并获取混合表示。
[0070]
电网调度语义事件检测方法的体系结构由四个部分组成，包括输入序列的表示、基于依赖解析器的特征表示、混合表示法、动态多轮询卷积神经网络，其如图2所示：
[0071]
第一，触发识别-输入序列的表征，本文使用两级嵌入，即领域词汇嵌入和普通词汇级别嵌入。为了进一步提高性能，本文使用预先训练的权重来初始化嵌入。并根据两个token-level神经网络用于从领域词汇和普通词汇获取特征。网络架构类似于npns。令t＝t1，t2，...，tn其中ti是句子中的token数，并令xi是ti的嵌入(领域词汇或普通单词)和ti的相对位置到tc的串联，引入窗口大小为s的卷积层，以捕获组成语义，其隐含层标识如下：
[0072]hij
＝tanh(wi·
x
j：j
s-1 bi)
ꢀꢀꢀ
(1)
[0073][0074]
等式(1)显示卷积过程，其中wi是卷积层的滤波器，xi：i j是嵌入层从xj到hj s-1的串联，bi是偏置。
[0075]
等式(2)通过使用动态多池来提供句子的不同部分的重要信号，其中关联tc左
侧的汇集结果，关联tc右侧的汇集结果；通过连接和获取领域词汇的表征fbword。通过在普通词汇级序列上使用相同的过程，我们还可以获得普通词汇的表征fnword。方法包括：
[0076]
1)输入带有领域词汇和普通词汇的文本信息进行训练；
[0077]
2)通过公式(1)和公式(2)进行训练处理，获得领域词汇表征信息和普通词汇表征信息。
[0078]
3)训练成熟可用的领域词汇表征信息和普通词汇表征信息，作为依赖性分析器算法基础数据信息存储到电网信息语料库；
[0079]
第二，触发识别-基于依赖分析的特征表征，依赖性解析器是基于依赖关系的依存句法分析的重要部分。句法依赖关系可用于获得深度语义信息。通过直接将它们结合到嵌入中，在神经网络模型中使用句法依赖项。在这项工作中，我们使用三个不同的特征抽象层来表示三个功能：
[0080]
pos：词性标注。
[0081]
dr：依赖关系分析。
[0082]
dis：与head的距离
[0083]
pos是单词的词性，它在自然语言中发挥着重要作用，例如命名实体的识别，语法分析和事件提取。名词或代名词可以作为句子中的主题，但不能相互转化。这是因为语法组件对语音组件有限制。因此，pos适用于抽象特征，以表达文本语义信息的不同特征。本文将pos作为一种特征来加强基于单词的特性。中文中的常用词性大概有52个，本文将使用52维的独热向量来代表句子pos的部分。这意味着句子中的每个单词的pos可以表示为52维特征向量。52维矢量的每个维度代表了pos的一部分。表示一个单词的位置，如果其中一个值为1，并且剩余的52维值为0。
[0084]
依赖关系表达了句子组件之间的语义关系。对于事件检测任务，触发词通常是谓语(即动词)。一般在电网调度语料库中，触发词为动词对象的角色占19％。因此，本文认为可以使用依赖关系来改善触发器检测。在依赖关系的特征层上，矢量维度为23(22个关系类型和一个'其他'类型)。我们发现，22种依赖关系经常使用句法依赖项，并且为了降低特征表示的复杂性，我们将其他依赖关系分类为“其他”类型。
[0085]
距离头的距离是依赖路径的长度。具体地说，如果一个单词和头部直接相关，本文定义头的距离是1.如果路径包括一个中间依赖性，则头部的距离是2.例如，在图1的句子中，二次回路误动作引发重瓦斯告警的依赖路径如下：
[0086]
二次回路误动作
‑→
引发
‑→
重瓦斯告警
[0087]
其中“二次回路误动作”是这句话中的头，引发在头部和“重瓦斯告警”之间创造了中间依赖。
[0088]
方法包括：
[0089]
1)如图1，输入文本信息；
[0090]
2)基于“输入序列表征”步骤，获取文本信息中词汇，包括领域词汇和普通词汇；
[0091]
3)通过pos对词汇进行词性标注；
[0092]
4)通过dr对词汇间的依赖关系进行分析；
[0093]
5)通过dis算法计算各类词汇距离head的距离；
[0094]
6)前两步的词汇、词性分析、依赖关系、距离等信息作为“混合表征学习”步骤的信息输入。
[0095]
第三，混合表征学习，对于中文事件检测，只使用领域词汇表示或普通词汇级表示无法获得足够的信息。例如，如果理解字符级表示中的“引发”，它是一个由'引'和'发'组成的触发器。在单词级表示中，单词级序列可以提供更明确的信息，以将“引”的语义区分开。
[0096]
在嵌入层之后，可以获得单词级别特征表示fbword，一个字符级表示fchar和一个特征表示f
′
f。本文通过学习两个门来模拟触发识别和事件类型分类器的信息流，公式如下：
[0097]
αti＝s(wtif
′
char utif
′
word vtif
′
f bti)
ꢀꢀꢀ
(3)
[0098]
αtc＝s(wtcf
′
char utcf
′
word vtcf
′
f btc)
ꢀꢀꢀ
(4)
[0099]
s是sigmoid函数，w∈rd'
×
d'w∈rd'
×
d'，u∈rd'
×
d'rd'
×
d'和v∈rd'
×
d'v∈rd'd'是权重矩阵，b是偏置
[0100]
基于图2中的三个特征图层，可获得了三个特征表示。通过连接这三个特征表示来构建一个82维矢量f'f。最后，可获得特征和单词作为新的表示的串联：f'h＝[f'f；'nword]
[0101]
根据引入触发扣核生成器和事件类型分类器的栅格，我们可以获得作为输入的最终矢量。
[0102]
fti＝αtif
′
char (1-αti)f
′hꢀꢀꢀ
(5)
[0103]
ftc＝αtcf
′
char (1-αtc)f
′hꢀꢀꢀ
(6)
[0104]
其中fti是触发识别的混合特征，ftc是事件类型分类器的混合功能。αti和(1-αti)分别代表了触发识别中fchar'和f'h的重要性。αtc在事件类型分类器中扮演类似的作用。
[0105]
方法包括：
[0106]
1)将前两步涉及中文信息的处理结果在该步骤进行数据输入；
[0107]
2)对第一步划分的词汇信息进行算法验证，避免将词汇级信息分解成字符级信息；
[0108]
3)通过公式(3)、公式(4)、公式(5)、公式(6)实现混合表征算法训练；
[0109]
4)将中文相关信息进行更加合理的词汇划分；
[0110]
5)通过事件类型分类器对词汇进行初步分类，作为下一步“动态多池化卷积神经网络”的数据信息输入。
[0111]
第四，动态多池化卷积神经网络，传统的卷积神经网络仅使用一个池层，实现最大操作。这意味着传统的卷积神经网络仅捕获句子的表示中最重要的信息。在事件检测中，一个句子可能包含两个或多个事件，并且参数可以使用不同的触发来获取不同的角色。但是，传统的卷积神经网络智慧捕获整个句子的最有用信息，并将同一个句子中的其他信息丢失。为了解决上述问题，有团队通过动态的多池卷积神经网络(dmcnn)在不丢失最大池的情况下获得更有价值的信息。
[0112]
在本文研究中，将使用类似的神经网络，如图3描述了其触发检测的架构。
[0113]
首先，获得嵌入和相对位置xi的串联，将xi串联到上文中定义的特征向量，随后将词汇级别特征作为卷积层的输入，以捕获组成语义并获得特征图。具体地，卷积操作通过利用卷积核来扫描h个单词的窗口来产生新功能。让xi：i j是指单词xi，xi 1，...，xi j的串
联。卷积核应用于句子中的h个单词的窗口x1：h，x2：h 1，...，x
nh 1
：n至生成一个特征映射ci，其中索引从1到nh 1.一个卷积核产生一个位置的一个特征ii：c
ij
＝σ(wj·
xi：i h-1 b)其中σ是非线性(一般情况使用tanh)，j的范围为1到m，m是卷积核的数量。
[0114]
之后，根据句子中的卷积核的数量，特征映射输出cj分为i部分。例如，如果一个句子有一个卷积核，那么句子将被分成两个部分，当这句话有两个卷积核时，这两个触发器将句子分为三个部分。通过动态多池，一个过滤器的最终输出由p
ji
＝max(c
ji
)给出，以获得每个特征映射的p
ji
，并且所有p
ji
连接到形成的最终结果。
[0115]
最后将上面的特征向量和词汇特征连接到一个矢量fword中。我们采用类似的方法来获取字符级向量fchar，为触发识别和触发类型分类层产生两个混合表示。
[0116]
最后，算法的训练和分类，在训练过程中，本文将事件检测视为多级分类问题。从上文描述的架构中学到的混合表示fn是卷积神经网络的输入。输入是分词后的句子。并加入dropout防止过度拟合。
[0117]
可以通过实验进一步研究并利用深度学习识别事件触发词，并进一步实现事件分类，旨在以纯文本中的特定类型识别特定类型的事件实例。
[0118]
最终以事件识别分类为目标，通过输入序列的表征、基于依赖分析的特征表征、混合表征学习和动态多池化卷积神经网络四大部分构建出电网调度语义事件检测方法的体系结构。更深层次的通过自动化、智能化手段帮助电网调度管理产生工作中事件、实体的提取，从而提升工作人员的工作效能。
[0119]
实施例2
[0120]
本实施例提供一种基于语义特征抓取电网调度事件检测的装置，包括：
[0121]
获取单元，用于获取带有领域词汇和普通词汇的文本信息；
[0122]
第一训练单元，用于对所述文本信息进行训练处理，获得领域词汇表征信息和普通词汇表征信息；
[0123]
第二训练单元，用于训练所述领域词汇表征信息和普通词汇表征信息，获得基础数据文本信息；
[0124]
处理单元，用于对所述基础数据文本信息中的词汇进行处理，获取处理后文本信息；其中，所述处理内容包括对词汇进行标注、对词汇间的依赖关系进行分析、计算各类词汇距离头的距离；
[0125]
混合表征训练单元；用于将所述处理后的文本信息中涉及中文的信息进行算法验证，并通过混合表征算法进行训练；
[0126]
分类单元，用于将所述涉及中文的信息进行词汇划分，对词汇进行初步分类；
[0127]
检测结果获取单元，用于将所述初步分类的词汇信息输入预先构建的卷积神经网络，获取最终检测结果。
[0128]
实施例3
[0129]
本实施例提供一种基于语义特征抓取电网调度事件检测的装置，包括处理器及存储介质；
[0130]
所述存储介质用于存储指令；
[0131]
所述处理器用于根据所述指令进行操作以执行根据下述任一项所述方法的步骤：
[0132]
获取带有领域词汇和普通词汇的文本信息；
[0133]
对所述文本信息进行训练处理，获得领域词汇表征信息和普通词汇表征信息；
[0134]
训练所述领域词汇表征信息和普通词汇表征信息，获得基础数据文本信息；
[0135]
对所述基础数据文本信息中的词汇进行处理，获取处理后文本信息；其中，所述处理内容包括对词汇进行标注、对词汇间的依赖关系进行分析、计算各类词汇距离头的距离；
[0136]
将所述处理后的文本信息中涉及中文的信息进行算法验证，并通过混合表征算法进行训练；
[0137]
将所述涉及中文的信息进行词汇划分，对词汇进行初步分类；
[0138]
将所述初步分类的词汇信息输入预先构建的卷积神经网络，获取最终检测结果。
[0139]
实施例4
[0140]
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现下述任一项所述方法的步骤：
[0141]
获取带有领域词汇和普通词汇的文本信息；
[0142]
对所述文本信息进行训练处理，获得领域词汇表征信息和普通词汇表征信息；
[0143]
训练所述领域词汇表征信息和普通词汇表征信息，获得基础数据文本信息；
[0144]
对所述基础数据文本信息中的词汇进行处理，获取处理后文本信息；其中，所述处理内容包括对词汇进行标注、对词汇间的依赖关系进行分析、计算各类词汇距离头的距离；
[0145]
将所述处理后的文本信息中涉及中文的信息进行算法验证，并通过混合表征算法进行训练；
[0146]
将所述涉及中文的信息进行词汇划分，对词汇进行初步分类；
[0147]
将所述初步分类的词汇信息输入预先构建的卷积神经网络，获取最终检测结果。
[0148]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。