一种句法信息注意力引导的图卷积网络关系抽取方法

1.本发明涉及深度学习、知识图谱、关系抽取等领域，特别给出了一种句法信息注意力引导的图卷积网络关系抽取方法。


背景技术：

2.知识图谱是一种揭示实体之间关系的语义网络，能够对现实世界的事物及其相互关系进行形式化地描述，现已被用来泛指各种大规模的知识库。知识图谱的基本组成单位是(实体，关系，实体)三元组，以及实体及其相关属性值对，实体间通过关系相互联结，构成网状的知识结构，被广泛应用于智能搜索、智能问答、个性化推荐等方面。关系抽取是知识图谱构建过程中的一项基础性任务，其主要目的是抽取实体之间的语义关系，即将命名实体识别识别出的实体，找出实体之间的语义联系识别出关系。例如：“比尔盖茨是微软公司的创始人”包含了两个实体分别为比尔盖茨和微软公司，这两个实体之间的关系为创始人。
3.近年来，具有强大编码器(如cnn,rnn和gcn)的神经网络关系抽取方法无需专门设计系统和人为构造特征，在捕获上下文信息方面具有优势，从而使关系抽取系统能够更好地理解文本并识别给定文本中实体之间的关系。lstm-rnn(association for computational linguistics，2016)采用了一种端到端的神经网络模型，用于抽取实体和实体间的关系,该方法同时考虑了句子的词序信息和依存句法树的子结构信息，这两部分信息都是利用双向序列lstm-rnn建模，将两个模型堆叠起来，使得关系抽取的过程中可以利用实体相关的信息。brcnn(association for computational linguistics，2016)使用两个lstm分别编码最短依存路径的单词信息和依赖信息，学习最短依存路径的全局信息，使用一个卷积层将两部分连接起来，学习单词之间的局部信息，并采用双向结构分别学习sdp的前向和后向的句子表示信息，增强了对实体关系方向分类的能力。c-gcn(association for computational linguistics，2018)提出了基于图卷积网络的关系抽取模型，使其能够在任意依赖结构上有效融合信息，并且提出了新的以路径为中心的剪枝技术，帮助模型在不破坏关键信息的情况下最大程度地去除无关信息，提高了模型的鲁棒性。aggcn(association for computational linguistics，2019)针对之前基于规则的剪枝策略可能会删除整个树中的一些重要信息，提出了一种新的注意力引导图卷积网络，并且将多头注意力机制和密集连接引入了gcn模型，将硬剪枝转换为软剪枝。
4.以上通过句法信息进行关系抽取，旨在通过更好的语义信息来改进关系抽取，分析与给定实体相关的上下文信息。但是一方面目前基于依赖关系的模型没有考虑到依赖关系的类型对于关系抽取任务的重要程度，忽略了其包含的重要的语法信息。另一方面，一些模型针对句法依赖树提出了基于规则的剪枝策略来进行关系抽取，这些剪枝策略会在某种程度上造成信息的损失，无法达到保留重要信息和剔除无关信息的平衡。


技术实现要素：

5.本发明针对现有关系抽取方法忽略语法信息和信息损失的问题，提出了一种句法
信息注意力引导的图卷积网络关系抽取方法，本方法在使用图卷积神经网络进行句法依存树的不同上下文单词的特征表示过程中融合了依赖关系类型信息，并利用注意力机制来区分句法依赖树中的不同依赖边对于关系抽取任务的重要性。为了解决技术问题，本发明提供如下的技术方案：
6.一种句法信息注意力引导的图卷积网络关系抽取方法，包括以下步骤：
7.1)基于bert预训练模型的字向量表示：
8.bert是一种新型语言模型，它通过联合调节所有层中的双向transformer来预训练深度双向表示，利用bert的bertmodel类构造bert结构，然后将输入的自然语言文本序列输入到bert特征表示层中，对文本中的每个单词进行编码得到单词的向量表示：
9.x＝(x1，x2，x3…
xn)
ꢀꢀꢀ
(1)
10.2)bilstm上下文编码：
11.由于输入的词向量不包括词序的上下文信息以及图卷积网络高度依赖于正确的解析树结构来从句子中提取的关键信息，但是现有的解析算法在许多情况下构建的树结构并不是完全正确的。针对该问题，本发明首先将输入的单词向量输入到一个双向长短期记忆网络中，生成上下文表示，然后在模型中作为图卷积网络的输入计算如下：
12.i
t
＝σ(w
ix
x
t
w
ihht-1
bi)
ꢀꢀꢀ
(2)
13.f
t
＝σ(w
fx
x
t
w
fhht-1
bf)
ꢀꢀꢀꢀ
(3)
14.o
t
＝σ(w
ox
x
t
w
ohht-1 bo)
ꢀꢀꢀꢀꢀ
(4)
[0015][0016][0017][0018]
其中，w、b分别表示连接两层的权重矩阵和偏置向量，σ是sigmoid激活函数，为点乘运算，x
t
为输入向量，i
t
，f
t
和o
t
分别为t时刻的输入门、遗忘门和输出门，表示t时刻的状态，h
t
则为t时刻隐藏层的输出；
[0019]
对输入序列分别采用顺序和逆序的方式计算后得到两种不同的隐藏层表示和然后通过向量拼接的方式得到最终的隐藏层表示，也就是图卷积层的输入表示，公式如下：
[0020][0021]
3)融合句法依赖类型信息的图卷积网络词节点特征表示：
[0022]
本发明将依赖关系类别引入到图注意力网络中，利用具有大量有用信息的依赖关系类型，通过注意力机制，根据依赖关系计算不同依赖边的权重，让模型能够区分不同的依赖边的重要性；
[0023]
3.1)构建句法依存树：
[0024]
对于输入的句子，通过stanford parser工具对句子进行句法依存分析，生成句子对应的句法依存树；
[0025]
3.2)构建依赖类型矩阵：
[0026]
首先根据构建的句法依存树，采用一个邻接矩阵a＝(a
ij
)
n*n
来表示依存树，其中a
ij
表示单词xi和单词xj是否存在依赖边，若存在则a
ij
＝1，若不存在则a
ij
＝0，然后根据邻接
矩阵a，构建依赖类型矩阵t＝(t
i，j
)
n*n
，其中t
i，j
表示单词xi和单词xj之间的依赖关系类型，将矩阵t中的每个关系类型t
i，j
映射到对应的向量表示
[0027]
3.3)依赖边权重计算：
[0028]
在图卷积网络gcn第l层，单词xi和单词xj之间的依赖边的权重计算如下：
[0029][0030]
其中，
·
表示内积运算符，和是单词xi和单词xj的中间向量，它们的计算如下：
[0031][0032][0033]
其中，表示向量拼接操作；
[0034]
3.4)图卷积网络节点特征表示：
[0035]
将得到的作为单词xi和单词xj之间的依赖边的权重，通过图卷积操作得到每个单词xi输出表示，计算如下：
[0036][0037]
其中，σ，w
(l)
，b
(l)
与标准gcn相同，表示融合了依赖类型信息的单词xj的表示，计算方式如下：
[0038][0039]
其中，的作用就是将依赖类型向量变成与相同维度的向量；
[0040]
4)关系抽取：
[0041]
4.1)最大池化层降维：
[0042]
在进行关系抽取前，首先将句子x＝(x1，x2，
…
，x
n-1
，xn)通过bert进行词嵌入得到每个词的向量表示xi，并将其输入到gcn中，经过l层的图卷积操作之后得到句子x对应的特征向量表示然后将整句句子的表示以及两个实体的表示和送入一个最大池化层进行降维，计算如下：
[0043][0044][0045][0046]
4.2)关系预测：
[0047]
将得到的句子表示h
x
和两个实体的表示h
e1
，h
e2
通过一个可训练得到的矩阵wr进行如下处理；最后，通过一个softmax分类器从关系集合y中预测句子中实体e1和e2的关系类别，计算如下：
[0048][0049][0050]
4.3)最小化损失函数：
[0051]
本发明利用带l2正则项的负对数似然函数作为损失函数：
[0052][0053]
其中，m代表样本的个数，t是关系类别的one-hot向量，是softmax的输出类别概率向量，λ是正则化参数，θ是关系抽取模型的训练参数。
[0054]
本发明的有益效果如下：
[0055]
本发明针对句法依存树中的如何准确高效地利用有用的句法信息，同时剔除无关信息，提出了一种融合句法信息的方法，用于注意力图卷积网络进行关系抽取。在此方法中，将基于图卷积网络的注意力机制应用于从现成的依赖解析器获得的依存树中的不同上下文单词，来区分不同单词依赖的重要性，考虑到单词之间的依赖类型也包含重要的信息，本文在关系抽取模型建模中包含了依赖类型信息。
附图说明
[0056]
图1是本发明文本实例及其句法依存树；
[0057]
图2是本发明图卷积网络关系抽取框架。
具体实施方式
[0058]
以图1句子为例，并结合图2对本发明作进一步说明。
[0059]
一种句法信息注意力引导的图卷积网络关系抽取方法，包括以下步骤：
[0060]
1)基于bert预训练语言模型的字向量表示：
[0061]
将文本序列“james decided to join the lakers”输入到bert预训练层中，得到每个字符的向量表示：x＝(x1，x2，
……
x6)，如图1所示；
[0062]
2)bilstm上下文编码：
[0063]
根据图2，bilstm接收来自bert预训练语言模型输出的文本序列，输入到两个bilstm单元中，并随机初始化隐藏状态；向量x输入到两个双向的lstm单元，通过公式(2)-公示(7)计算得到每个字符对应的正向反向隐藏层输出h
i前
和h
i后
，将每个字符的正向反向隐藏层输出h
i前
，h
i后
，再通过公式(8)进行拼接为最终的隐藏层表示也就是图卷积层的输入表示；
[0064]
3)融合句法依赖类型信息的图卷积网络词节点特征表示：
[0065]
3.1)构建句法依存树：
[0066]
对于输入的句子，通过stanford parser工具进行句法依存分析，生成句法依存树。
[0067]
3.2)构建依赖类型矩阵：
[0068]
根据得到的句法依存树，构建一个依赖类型矩阵t＝(t
i,，j
)
n*n
，其中t
i,j
表示单词xi和单词xj之间的依赖关系类型，图1中。。。。(例如：nsubj)；然后将矩阵t中的每个关系类型t
i,j
映射到对应的向量表示
[0069]
3.3)依赖边权重计算：
[0070]
在gcn的第l层，通过公式(9)计算得到到单词xi和单词xj之间的依赖边的权重通过公式(10)和(11)得到单词xi和单词xj的中间向量和
[0071]
3.4)图卷积网络节点特征表示：
[0072]
将3.3得到的作为单词xi和单词xj之间的依赖边的权重，经过图卷积网络层，通过公式(12)得到每个单词xi的输出表示
[0073]
4)关系抽取：
[0074]
4.1)最大池化层降维：
[0075]
将经过l层图卷积操作之后得到的句子x对应的特征向量表示以及两个实体的表示和送入一个最大池化层进行降维，通过公式(14)-公示(16)得到降维后的句子表示h
x
和两个实体的表示h
e1
，h
e2
；
[0076]
4.2)关系预测：
[0077]
最后根据公式(17)，通过一个可训练得到的矩阵wr进行处理，然后通过一个softmax分类器，根据公式(18)从关系集合y中预测句子中实体e1和e2的关系类别r＝“member-collection”；
[0078]
4.3)最小化损失函数：
[0079]
由公式(19)损失函数，在训练过程中，模型将会不断更新，通过随机梯度下降法最小化损失函数的值，直至收敛；
[0080]
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。