一种基于多层图注意力网络的事件检测方法及装置与流程

1.本技术涉及自然语言处理领域，特别是一种基于多层图注意力网络的事件检测方法及装置。


背景技术：

2.知识图谱(knowledge graph)以结构化的形式描述客观世界中概念、实体及其关系，将互联网的信息表达成更接近人类认知世界的形式，提供了一种更好地组织、管理和理解互联网海量信息的能力。知识图谱于2012年由谷歌提出并成功应用于搜索引擎，知识图谱属于人工智能重要研究领域——知识工程的研究范畴，是利用知识工程建立大规模知识资源的一个杀手锏应用。典型的例子是谷歌收购freebase(一个免费的知识数据库)后在2012年推出的知识图谱，facebook(社交网络服务网站)的图谱搜索，microsoft satori(微软)以及商业、金融、生命科学等领域特定的知识库。
3.知识图谱中的事件知识隐含在互联网资源中，包括已有的结构化的语义知识、数据库的结构化信息、半结构化的信息资源以及非结构化资源，不同性质的资源有不同的知识获取方法。事件的识别和抽取研究的是如何从描述事件信息的文本中识别并抽取出事件信息并以结构化的形式呈现出来，包括其发生的时间、地点、参与角色以及与之相关的动作或者状态的改变。
4.传统的事件检测方法忽略了句子中词与词之间包含的句法特征，仅利用了句子级别的特征，事件检测容易因为单词存在歧义从而导致触发词的识别效率和分类精度低。而近年来，利用句法信息来改善事件检测的方法被证明十分有效。例如，论文《融合句法信息的无触发词事件检测方法》提出了利用句法信息，同时结合注意力机制(attention)，实现了连接句子中的分散的事件信息来提高事件检测的准确性；论文《融合依存信息和卷积神经网络的越南语新闻事件检测》利用融合依存句法信息的卷积编码非连续词之间的特征，再融合两部分特征作为事件编码，进而实现事件检测。


技术实现要素：

5.鉴于所述问题，提出了本技术以便提供克服所述问题或者至少部分地解决所述问题的一种基于多层图注意力网络的事件检测方法，包括步骤：
6.一种基于多层图注意力网络的事件检测方法，包括步骤：
7.获取事件文本信息中的上下文单词，并确定与所述上下文单词对应的句法信息邻接矩阵和拼接向量；
8.将所述邻接矩阵和所述拼接向量作为人工神经网络的输入，获取输出向量；
9.依据所述拼接向量与所述输出向量聚合生成聚合信息；
10.依据所述聚合信息确定所述上下文单词的触发词类别。
11.进一步地，所述获取事件文本信息中的上下文单词，并确定与所述上下文单词对应的句法信息邻接矩阵和拼接向量的步骤，包括：
12.依据所述上下文单词确定与所述上下文单词对应的句法信息；
13.依据所述句法信息生成所述句法信息邻接矩阵；
14.依据所述上下文单词的词嵌入向量生成所述拼接向量。
15.进一步地，所述依据所述上下文单词确定与所述上下文单词对应的句法信息的步骤，包括：
16.通过句法依存对所述事件文本信息进行分析，并依据所述事件文本信息的分析结果生成所述上下文单词对应的句法信息。
17.进一步地，所述将所述邻接矩阵和所述拼接向量作为人工神经网络的输入，获取输出向量的步骤，包括：
18.将同一批次的所述邻接矩阵生成一个张量；
19.将所述张量和所述拼接向量输入到人工神经网络进行计算，并依据所述人工神经网络计算的结果生成所述输出向量。
20.进一步地，所述依据所述聚合信息确定所述上下文单词的触发词类别的步骤，包括：
21.依据所述聚合信息确定所述上下文单词的触发词，并依据分类器模块对所述触发词进行分类。
22.一种基于多层图注意力网络的事件检测装置，包括：
23.获取模块，用于获取事件文本信息中的上下文单词，并确定与所述上下文单词对应的句法信息邻接矩阵和拼接向量；
24.计算模块，用于将所述邻接矩阵和所述拼接向量作为人工神经网络的输入，获取输出向量；
25.聚合模块，用于依据所述拼接向量与所述输出向量聚合生成聚合信息；
26.分类模块，用于依据所述聚合信息确定所述上下文单词的触发词类别。
27.进一步地，所述获取模块，包括：
28.表达子模块，用于依据所述上下文单词确定与所述上下文单词对应的句法信息；
29.生成子模块，用于依据所述句法信息生成所述句法信息邻接矩阵；
30.拼接子模块，用于依据所述上下文单词的词嵌入向量生成所述拼接向量。
31.进一步地，所述表达子模块，包括：
32.依存分析子模块，用于通过句法依存对所述事件文本信息进行分析，并依据所述事件文本信息的分析结果生成所述上下文单词对应的句法信息。
33.进一步地，所述计算模块，包括：
34.数组转换子模块，用于将同一批次的所述邻接矩阵生成一个张量；
35.人工神经网络计算子模块，用于将所述张量和所述拼接向量输入到人工神经网络进行计算，并依据所述人工神经网络计算的结果生成所述输出向量。
36.进一步地，所述分类模块，包括：
37.触发词处理子模块，用于依据所述聚合信息确定所述上下文单词的触发词，并依据分类器模块对所述触发词进行分类。
38.本技术具有以下优点：
39.在本技术的实施例中，通过获取事件文本信息中的上下文单词，并确定与所述上
下文单词对应的句法信息邻接矩阵和拼接向量；将所述邻接矩阵和所述拼接向量作为人工神经网络的输入，获取输出向量；依据所述拼接向量与所述输出向量聚合生成聚合信息；依据所述聚合信息确定所述上下文单词的触发词类别。本技术通过同时结合上下文单词的句法信息和上下文信息，可以有效解决使用句法分析工具容易出现信息丢失和错误传播的问题；并且通过在图注意力网络层中结合跳跃连接模块，可以保留更多的原始特征，避免因为一些短距离的句法信息过度传播从而导致最终触发词的分类不理想的情况出现，有效提高触发词分类的精度、召回率以及f1值。
附图说明
40.为了更清楚地说明本技术的技术方案，下面将对本技术的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
41.图1是本技术一实施例提供的一种基于多层图注意力网络的事件检测方法的步骤流程图；
42.图2是本技术一实施例提供的句法依存树的示意图；
43.图3是本技术一实施例提供的邻接矩阵的示意图；
44.图4是本技术一实施例提供的一种图注意力网络的示意图；
45.图5是本技术一实施例提供的一种基于多层图注意力网络的事件检测方法的流程示意图；
46.图6是本技术一实施例提供的一种基于多层图注意力网络的事件检测装置的结构框图。
具体实施方式
47.为使本技术的所述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本技术作进一步详细的说明。显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
48.参照图1，示出了本技术一实施例提供的一种基于多层图注意力网络的事件检测方法；
49.所述方法包括：
50.s110、获取事件文本信息中的上下文单词，并确定与所述上下文单词对应的句法信息邻接矩阵和拼接向量；
51.s120、将所述邻接矩阵和所述拼接向量作为人工神经网络的输入，获取输出向量；
52.s130、依据所述拼接向量与所述输出向量聚合生成聚合信息；
53.s140、依据所述聚合信息确定所述上下文单词的触发词类别。
54.在本技术的实施例中，通过获取事件文本信息中的上下文单词，并确定与所述上下文单词对应的句法信息邻接矩阵和拼接向量；将所述邻接矩阵和所述拼接向量作为人工神经网络的输入，获取输出向量；依据所述拼接向量与所述输出向量聚合生成聚合信息；依
据所述聚合信息确定所述上下文单词的触发词类别。本技术通过同时结合上下文单词的句法信息和上下文信息，可以有效解决使用句法分析工具容易出现信息丢失和错误传播的问题；并且通过在图注意力网络层中结合跳跃连接模块，可以保留更多的原始特征，避免因为一些短距离的句法信息过度传播从而导致最终触发词的分类不理想的情况出现，有效提高触发词分类的精度、召回率以及f1值。
55.下面，将对本示例性实施例中基于多层图注意力网络的事件检测方法作进一步地说明。
56.如所述步骤s110所述，获取事件文本信息中的上下文单词，并确定与所述上下文单词对应的句法信息邻接矩阵和拼接向量。
57.在本技术一实施例中，可以结合下列描述进一步说明步骤s110所述“获取事件文本信息中的上下文单词，并确定与所述上下文单词对应的句法信息邻接矩阵和拼接向量”的具体过程。
58.如下列步骤所述，依据所述上下文单词确定与所述上下文单词对应的句法信息；
59.在本技术一实施例中，可以结合下列描述进一步说明所述“依据所述上下文单词确定与所述上下文单词对应的句法信息”的具体过程。
60.如下列步骤所述，通过句法依存对所述事件文本信息进行分析，并依据所述事件文本信息的分析结果生成所述上下文单词对应的句法信息。
61.需要说明的是，所述句法依存为通过分析语言单位内成分之间的依存关系揭示其句法结构，句法依存分析识别句子中的“主谓宾”以及“定状补”这些语法成分，并强调分析单词之间的关系。句法依存分析中句子的核心是谓语动词，然后再围绕谓语找出其他成分，最后将句子分析成一颗句法依存树。句法依存树可以描述出各个单词之间的依存关系。
62.在一具体实现中，获取事件文本信息，对事件文本信息进行识别，利用stanford core nlp(standfordnatural language processing，斯坦福自然语言处理工具)进行句法依存分析，对事件文本中的每个句子进行分析，识别句子中的事件触发词，并强调分析事件触发词与事件参数，和/或，事件参数与事件参数之间的依存关系，形成一颗句法依存树。
63.其中，事件触发词是指一个事件中最能代表事件发生的词，是事件概念在词和短语层面的投射，是事件识别的基础和凭借，同时也是决定事件类别的重要特征，一般是动词或名词；事件参数指描述事件发生的时间、地点和人物等信息。
64.参照图2，示出了本技术一实施例提供的句法依存树的示意图。如图所示，句子“我去北京天安门看太阳升起”，在构建的句法依存树中，可以看到句子的核心谓词为“去”，是句法依存树的根部，“去”的主语是“我”，“去”的宾语是“北京天安门”，另一个动词“看”的宾语是“太阳”，句法依存树可以描述出上下文单词之间的依存关系。
65.如下列步骤所述，依据所述句法信息生成所述句法信息邻接矩阵；
66.需要说明的是，所述邻接矩阵是表示顶点之间相邻关系的矩阵。设g＝(v，e)是一个图，其中v＝{v1,v2,
…
,v
n
}，v是顶点，e是边，用一个一维数组存放图中所有顶点数据，用一个二维数组存放顶点间关系(边或弧)的数据，这个二维数组称为邻接矩阵。邻接矩阵又分为有向图邻接矩阵和无向图邻接矩阵。g的邻接矩阵是一个具有下列性质的n阶方阵：对无向图而言，邻接矩阵一定是对称的，而且主对角线一定为零，副对角线不一定为0，有向图则不一定如此。在无向图中，任一顶点i的度为第i列(或第i行)所有非零元素的个数，在有
向图中顶点i的出度为第i行所有非零元素的个数，而入度为第i列所有非零元素的个数，采用有向图的邻接矩阵存储两个事件参数之间的句法依存关系。
67.作为一种示例，每个句子依据通过句法依存分析形成句法依存树，再依据句法依存树生成对应的邻接矩阵。
68.在一具体实现中，参照图3，示出了本技术一实施例提供的邻接矩阵的示意图，图3所示的邻接矩阵对应图2所示的句法依存树。图2中的触发词为“去”，“北京”以及“天安门”为并列的宾语，因而在对应的邻接矩阵中，“去”所在行与“北京”“天安门”所在列值的交叉位置处，值均为1。每个单词作为一个节点，“我”“去”“北京”“天安门”“看”“太阳”“升起”为七个单词，所以为7x7的方阵。两个单词间存在句法弧则矩阵对应位置为1，否则为0。采用有向图的邻接矩阵进行存储文本的句法依存关系，若词语之间存在依存关系，则对应的邻接矩阵元素值为1，不存在依存关系的词语之间，对应的邻接矩阵元素为0。通过所述邻接矩阵可以表示所述上下文单词之间的依存关系。
69.如下列步骤所述，依据所述上下文单词的词嵌入向量生成所述拼接向量。
70.需要说明的是，需要将句子中的词级信息转换成实值向量作为人工神经网络的输入。设x＝{x1，x2，x3，
…
，xn}是一个长度为n的句子，其中xi是句子中的第i个词。在自然语言处理任务中，词的语义信息与其在句中的位置有关，词性和实体类型信息对触发词的识别和语义的理解有提升的作用。本技术将上下文单词的词义向量、实体向量、词性向量和位置向量拼接成的拼接向量作为人工神经网络的输入。
71.在一具体实现中，将所述上下文单词的词义向量、实体向量、词性向量和位置向量共4种不同的词嵌入向量拼接成第一拼接向量，再将第一拼接向量输入到bi
‑
lstm神经网络层生成第二拼接向量，第二拼接向量作为多层图注意力网络的输入向量之一，所述拼接向量可以获取上下文单词间的语义信息。
72.如所述步骤s120所述，将所述邻接矩阵和所述拼接向量作为人工神经网络的输入，获取输出向量。
73.需要说明的是，所述人工神经网络为多层图注意力网络(graph attention networks)。由于传统的图卷积网络存在种种局限，导致不能很好地处理有向图、无法适用于inductive任务(inductive任务是指：训练阶段与测试阶段需要处理的图结构是不同的)以及不能处理动态图，而图注意力网络可以很好地解决图卷积网络的缺陷，对于每一个节点都可以使用注意力机制计算节点j对于节点i的相似系数，如此一来就可以不用完全依靠图结构，也可以适用于inductive任务。在图注意力网络下，即使我们在预测过程中改变图的结构，对于图注意力网络的影响也不大，只需要调整参数，重新计算即可。图注意力网络的运算方式是逐顶点的运算，每一次运算都需要循环遍历图上的所有顶点来完成。逐顶点运算意味着，摆脱了原始图结构中拉普拉斯矩阵(laplacian matrix)的束缚，使得有向图问题迎刃而解。
74.在本技术一实施例中，可以结合下列描述进一步说明步骤s120所述“将所述邻接矩阵和所述拼接向量作为人工神经网络的输入，获取输出向量”的具体过程。
75.如下列步骤所述，将同一批次的所述邻接矩阵生成一个张量；
76.在一具体实现中，事件文本信息中同一时刻识别的句子为一个批次，将同一个批
次的句子的所述邻接矩阵形成一个张量，邻接矩阵集合表示为形成张量表示为a∈r
n*n*k
，其中，k＝|t
v
|，n是节点个数。
77.如下列步骤所述，将所述张量和所述拼接向量输入到人工神经网络进行计算，并依据所述人工神经网络计算的结果生成所述输出向量。
78.作为一种示例，参照图4，示出了本技术一实施例提供的一种图注意力网络的示意图，分为计算注意力系数和加权求和两个步骤。将所述张量和第二拼接向量作为图注意力层的输入，表示为其中n为节点个数，f为节点特征的个数；输出为其中f
′
表示新的节点特征向量维度。计算节点i与周围邻居节点j∈ni的注意力系数，如图4左侧所示，计算公式表示如下：
[0079][0080]
其中，a是一个r
f
′
×
r
f
′
→
r的映射，w∈r
f
′×
f
是权重矩阵。
[0081]
所述图注意力网络对于每一个节点都可以使用注意力机制计算节点i与邻居节点j的相似系数权重，如此一来就可以不用完全依靠图结构。
[0082]
通过softmax将注意力系数进行归一化操作，计算公式表示如下：
[0083][0084]
其中，||表示向量拼接，e
ij
和α
ij
都叫做
″
注意力系数
″
，α
ij
是在e
ij
基础上进行归一化后的。
[0085]
所有节点的注意力系数归一化后，对邻居节点的特征进行加权求和，生成输出向量，计算公式表示如下：
[0086]
[0087]
其中，w为与特征相乘的权重矩阵，σ为非线性激活函数，j∈n
i
中遍历的j表示所有与i相邻的节点。
[0088]
如图4右侧所示，为三层图注意力网络，多层注意力机制对不同的特征分配不同的注意力权重。对于多层图注意力网络，计算公式如下：
[0089][0090]
若将多层图注意力网络应用到输出层，则计算公式表示如下：
[0091][0092]
如所述步骤s130所述，依据所述拼接向量与所述输出向量聚合生成聚合信息。
[0093]
作为一种示例，在每一层的图注意力网络中，通过跳跃连接模块(skip
‑
connection)来实现句法信息的聚合，将所述拼接向量通过跳跃连接模块跳过每一层的图注意力网络，并与所述输出向量进行聚合操作。通过跳跃连接模块可以防止短距离的句法信息的过度传播，可以保留更多的原始句法信息，避免出现最终的触发词分类效果不佳的情况。
[0094]
如所述步骤s140所述，依据所述聚合信息确定所述上下文单词的触发词类别。
[0095]
在本技术一实施例中，可以结合下列描述进一步说明步骤s140所述“依据所述聚合信息确定所述上下文单词的触发词类别”的具体过程。
[0096]
如下列步骤所述，依据所述聚合信息确定所述上下文单词的触发词，并依据分类器模块对所述触发词进行分类。
[0097]
作为一种示例，依据所述聚合信息确定所述上下文单词的触发词，通过分类器模块的预设条件，对所述触发词进行分类，并依据所述触发词的分类类别，确定事件句对应的事件类型。所述事件类型为预先定义好的不同种类。
[0098]
具体地，分类器模块的预设条件为聚合不同模块的信息，经过一个全连接层，再通过softmax函数(softmax函数将多个神经元的输出，映射到(0，1)区间内，可以看成概率来理解，从而进行多分类)选择每个上下文单词对应的类别概率中最大的那个类别作为当前触发词预测的标签。
[0099]
下面对本技术实施例提出的一种基于多层图注意力网络的事件检测方法进行实验论证：
[0100]
实验环境：pytorch
‑
1.8.0(开源的python机器学习库)，nvidia geforce rtx 3060(显卡芯片)，windows 10(计算机操作系统)，inter i7
‑
11700k，内存16g，硬盘1t。
[0101]
实验数据如表1所示：
[0102]
表1实验对比结果
[0103][0104]
实验结果：实验以精度(precision，p)，召回率(recall，r)，f1值(f1
‑
score)作为观察变量，p、r、f1的定义式如下所示：
[0105][0106][0107][0108]
为了保证实验的准确度，本实验中数据集的划分与其他事件检测方法的数据集的划分保持一致，实验结果证明通过本实施例提出的事件检测方法相较于传统只利用句子级别特征的事件检测方法，f1
‑
score要高出8％左右；与基于图神经网络的方法相比，本实施例提出的事件方法在f1
‑
score和recall上也取得了最高值。
[0109]
参照图5，示出了一种基于多层图注意力网络的事件检测方法的流程示意图；
[0110]
在一具体实现中，在获取事件文本信息后，通过句法分析技术对所述事件文本信息进行分析并生成句法依存树，再依据所述句法依存树生成所述上下文单词对应的邻接矩阵，并将同一批次句子的所述邻接矩阵生成一个张量；将所述上下文单词的共4种不同的词嵌入向量拼接成第一拼接向量，并将第一拼接向量输入到bi
‑
lstm神经网络层生成第二拼接向量，将所述邻接矩阵和所述第二拼接向量输入多层图注意力网络中生成输出向量，来对不同深度的句法信息做聚合操作；将所述拼接向量再通过跳跃连接模块跳过多层图注意
力网络来做聚合操作；将所述输出向量与所述拼接向量进行聚合，通过分类器模块对所述上下文单词进行触发词的分类，确定事件句对应的事件类型。
[0111]
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0112]
参照图6，示出了本技术一实施例提供的一种基于多层图注意力网络的事件检测装置；
[0113]
具体包括：
[0114]
获取模块610，用于获取事件文本信息中的上下文单词，并确定与所述上下文单词对应的句法信息邻接矩阵和拼接向量；
[0115]
计算模块620，用于将所述邻接矩阵和所述拼接向量作为人工神经网络的输入，获取输出向量；
[0116]
聚合模块630，用于依据所述拼接向量与所述输出向量聚合生成聚合信息；
[0117]
分类模块640，用于依据所述聚合信息确定所述上下文单词的触发词类别。
[0118]
在本技术一实施例中，所述获取模块610，包括：
[0119]
表达子模块，用于依据所述上下文单词确定与所述上下文单词对应的句法信息；
[0120]
生成子模块，用于依据所述句法信息生成所述句法信息邻接矩阵；
[0121]
拼接子模块，用于依据所述上下文单词的词嵌入向量生成所述拼接向量。
[0122]
在本技术一实施例中，所述表达子模块，包括：
[0123]
依存分析子模块，用于通过句法依存对所述事件文本信息进行分析，并依据所述事件文本信息的分析结果生成所述上下文单词对应的句法信息。
[0124]
在本技术一实施例中，所述计算模块620，包括：
[0125]
数组转换子模块，用于将同一批次的所述邻接矩阵生成一个张量；
[0126]
人工神经网络计算子模块，用于将所述张量和所述拼接向量输入到人工神经网络进行计算，并依据所述人工神经网络计算的结果生成所述输出向量。
[0127]
在本技术一实施例中，所述分类模块640，包括：
[0128]
触发词处理子模块，用于依据所述聚合信息确定所述上下文单词的触发词，并依据分类器模块对所述触发词进行分类。
[0129]
尽管已描述了本技术实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术实施例范围的所有变更和修改。
[0130]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0131]
以上对本技术所提供的一种基于多层图注意力网络的事件检测方法及装置，进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例
的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。