一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种实体关系抽取方法、系统、设备及可读存储介质

2023-01-14 17:22:25 来源:中国专利 TAG:

技术特征:
1.一种实体关系抽取方法,其特征在于,包括:将待进行实体关系抽取的句子输入训练好的实体关系抽取模型中,利用所述实体关系抽取模型中的word2vec网络提取句子的特征输入向量;将所述句子的特征输入向量输入到所述实体关系抽取模型中的pcnn特征提取网络中提取句子的局部特征向量;将所述句子的局部特征向量输入到所述实体关系抽取模型中的bigru神经网络中进行双向学习得到句子的目标特征向量;将所述句子的目标特征向量输入所述实体关系抽取模型中的多分支注意力机制计算句子的目标特征向量权重值;使用所述实体关系抽取模型中的softmax函数根据所述句子的目标特征向量权重值对句子的实体关系进行分类,得到句子中每个词被选作实体关系的概率。2.根据权利要求1所述的实体关系抽取方法,其特征在于,所述利用所述实体关系抽取模型中的word2vec网络提取句子的特征输入向量包括:获取待进行实体关系抽取的句子的输入文本序列s={w1,w2,...,w
l
},其中,w
i
表示句子中第i个单词的编码,l表示句子的长度;将所述输入文本序列输入到word2vec网络中,输出维度为d
p
的词向量,并根据所述词向量得到句子中第一实体到句子中每个词距离的文本序列m={p1,p2,......,p
m
}和句子中第二实体到句子中每个词距离的文本序列n={p1,p2,......,p
n
};将所述文本序列m和文本序列n分别输入到word2vec网络中,输出两个维度为d
t
的词向量;将维度为d
p
的词向量和两个维度为d
t
的词向量拼接得到维度为d
p
2d
t
的特征输入向量。3.根据权利要求1所述的实体关系抽取方法,其特征在于,所述将所述句子的局部特征向量输入到所述实体关系抽取模型中的bigru神经网络中进行双向学习得到句子的目标特征向量的计算公式为:z
t
=σ(w
z
*[h
t-1
,x
t
]),r
t
=σ(w
r
*[h
t-1
,x
t
]),]),]),]),]),其中,r
t
是复位门,z
t
是更新门,x
t
是输入数据,w
z
、w
r
、w分别是重置门、更新门、候选隐藏状态的权重矩阵,σ是一个sigmoid函数,为候选隐藏状态的输出,h
t
是当前时刻的输出,h
t-1
是上一时刻的输出,为后向学习得到的特征向量,为前向学习得到的特征向量,为目标特征向量。4.根据权利要求3所述的实体关系抽取方法,其特征在于,所述将所述句子的目标特征
向量输入所述实体关系抽取模型中的多分支注意力机制计算句子的目标特征向量权重值包括:计算句子的目标特征输入向量在t时刻的权重,其计算公式为:其中,β
i
为初始化特征参数,为目标特征向量,z
t
为句子的目标特征向量在t时刻的权重;对句子的目标特征向量1至t时刻的权重求和得到句子的目标特征向量权重值,其计算公式为:其中,j={1,2,3,......,t},z为句子的目标特征向量权重值。5.根据权利要求4所述的实体关系抽取方法,其特征在于,所述句子中每个词被选作实体关系的概率的计算公式为:其中,p(k)为句子中第k个词被选作实体关系的概率。6.根据权利要求1所述的实体关系抽取方法,其特征在于,所述实体关系抽取模型的训练过程为:采集包含不同实体与关系的句子作为训练样本,将训练样本输入word2vec网络中得到样本的特征输入向量;将所述样本的特征输入向量输入到pcnn特征提取网络中提取样本的局部特征向量;将所述样本的局部特征向量输入到bigru神经网络中进行双向学习得到样本的目标特征向量;将所述样本的目标特征向量输入多分支注意力机制中计算样本的目标特征向量权重值;使用softmax函数根据所述样本的目标特征向量权重值对样本的实体关系进行分类,得到样本中每个词被选作实体关系的概率;不断调整模型参数直到损失函数收敛,得到训练好的实体关系抽取模型。7.根据权利要求6所述的实体关系抽取方法,其特征在于,所述实体关系抽取模型的损失函数为:l=bceloss(p(k),p(k')),其中,p(k)为样本中第k个词作为实体关系的真实概率,p(k')为样本中第k个词作为实体关系的预测概率。8.一种实体关系抽取系统,其特征在于,包括:输入模块,用于将待进行实体关系抽取的句子输入至训练好的实体关系抽取模型中的word2vec网络得到句子的特征输入向量;特征提取模块,用于利用实体关系抽取模型中的pcnn特征提取网络提取所述特征输入向量的局部特征向量;
双向学习模块,用于利用实体关系抽取模型中的bigru网络使所述局部特征向量进行前向后向学习得到目标特征向量;注意力分配模块,用于利用实体关系抽取模型中的多分支注意力机制计算目标特征向量权重值;分类模块,用于利用实体关系抽取模型中的softmax函数对句子的实体关系进行分类,计算句子中每个词被选作实体关系的概率。9.一种实体关系抽取设备,其特征在于,包括:存储器:用于存储计算机程序;处理器:用于执行所述计算机程序时实现权利要求1-7任一项所述的实体关系抽取方法的步骤。10.一种计算机可读存储介质,其特征在于,所述计算机存储介质上存储有计算机程序,所述计算机程序被处理执行时实现权利要求1-7任一项所述的实体关系抽取方法的步骤。

技术总结
本发明涉及一种实体关系抽取方法、系统、设备及可读存储介质,包括:将待进行实体关系抽取的句子输入至word2vec网络中得到句子的特征输入向量,将所述特征输入向量输入至BiGRU网络中进行前向后向学习得到目标特征向量,利用多分支注意力机制计算目标特征向量权重值,采用softmax函数根据所述目标特征向量权重值计算句子中每个词被选作实体关系的概率,本发明提供的实体关系抽取方法将可以更好地处理实体特征表达,使句子特征信息在传递过程中保留句子前后的依赖信息,减少句子特征值在传递过程中的退化问题,更好地解决长期依赖和反向特征依赖传递问题,更好地识别实体与关系。系。系。


技术研发人员:钱雪忠 江旭
受保护的技术使用者:江南大学
技术研发日:2022.08.25
技术公布日:2023/1/13
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献