基于图卷积网络与多特征融合的事件分类方法与装置与流程

1.本发明涉及自然语言处理技术领域，尤其涉及一种基于图卷积网络与多特征融合的事件分类方法与装置。


背景技术：

2.目前自然语言处理的预训练模型bert的出现极大的促进了自然语言任务的快速发展，被广泛应用到各个自然语言处理的任务中，例如：智能问答，文本分类，语言翻译等等，但是由于bert模型是在大规模语料上进行训练的，在下游任务中例如文本分类中存在两个问题：1、针对样本数量较少的情况下，往往对专门领域效果的分类不佳。
3.2、目前大多直接利用bert预训练模型通过一个线性分类器来做文本分类的算法都是在数据集较为干净且类别分布较为均衡上进行的，但是真实的工业数据往往无法满足这种数据分布，因此这种利用bert预训练模型通过一个线性分类器来做文本分类的算法往往效果不够好。


技术实现要素：

4.有鉴于此，本发明提供一种基于图卷积网络与多特征融合的事件分类方法与装置，提升分类精度。
5.第一方面，基于图卷积网络与多特征融合的事件分类方法，所述事件分类包括：利用自然语言预训练模型bert对事件训练样本进行向量抽取，得到事件训练样本的表示向量；并利用预设的依存句法分析算法抽取事件训练样本的句子依存关系图，以及将所述事件训练样本的句子依存关系图送入图卷积网络抽取特征；根据所述事件训练样本的表示向量以及抽取的特征，对稠密连接网络进行训练；利用自然语言预训练模型bert对待分类事件样本进行向量抽取，得到待分类事件样本的表示向量，利用预设的依存句法分析算法抽取待分类事件样本的句子依存关系图，并将所述待分类事件样本的句子依存关系图送入训练好的图卷积网络抽取特征；根据所述待分类事件样本的表示向量以及抽取的特征，利用训练好的稠密连接网络进行分类得到分类结果。
6.进一步地，所述利用自然语言预训练模型bert对事件训练样本进行向量抽取，得到事件训练样本的表示向量的步骤包括：使用下述公式1对事件训练样本进行向量抽取，得到事件训练样本的表示向量：公式1其中bert代表自然语言预训练模型，代表文本，代表抽取后的表示向量。
7.进一步地，所述利用预设的依存句法分析算法抽取事件训练样本的句子依存关系图的步骤具体根据如下公式2以及公式3进行操作：
公式2公式3其中，代表每个表示事件，代表根据依存句法分析算法对句子生成依存图，graph代表根据依存关系图抽取每个词语的特征向量生成句子特征图。
8.进一步地，所述根据所述事件训练样本的表示向量以及抽取的特征，对稠密连接网络进行训练的步骤具体包括：根据如下公式5将所述事件训练样本的表示向量以及抽取的特征进行融合，得到加权后的特征：公式5其中，代表的权重，代表的权重，为通过图卷积网络抽取的特征；通过预设的自注意力算法融合加权后的特征和事件分类描述的向量特征组，得到融合后的特征；将融合后的特征送入稠密连接网络进行训练。
9.第二方面，本发明还提供一种基于图卷积网络与多特征融合的事件分类装置，所述事件分类装置包括：训练样本处理模块，用于利用自然语言预训练模型bert对事件训练样本进行向量抽取，得到事件训练样本的表示向量；利用预设的依存句法分析算法抽取事件训练样本的句子依存关系图，并将所述事件训练样本的句子依存关系图送入图卷积网络抽取特征；网络训练模块，用于根据所述事件训练样本的表示向量以及抽取的特征，对稠密连接网络进行训练；事件分类模块，用于利用自然语言预训练模型bert对待分类事件样本进行向量抽取，得到待分类事件样本的表示向量，利用预设的依存句法分析算法抽取待分类事件样本的句子依存关系图，并将所述待分类事件样本的句子依存关系图送入训练好的图卷积网络抽取特征；根据所述待分类事件样本的表示向量以及抽取的特征，利用训练好的稠密连接网络进行分类得到分类结果。
10.进一步地，所述训练样本处理模块包括：自然语言处理子模块，用于使用下述公式1对事件训练样本进行向量抽取，得到事件训练样本的表示向量：公式1其中bert代表自然语言预训练模型，代表文本，代表抽取后的表示向量。
11.进一步地，所述训练样本处理模块还包括：句法分析子模块，用于抽取事件训练样本的句子依存关系图的步骤具体根据如下公式2
以及公式3进行操作：公式2公式3其中，代表每个表示事件，代表根据依存句法分析算法对句子生成依存图，graph代表根据依存关系图抽取每个词语的特征向量生成句子特征图。
12.进一步地，所述训练样本处理模块还包括：特征融合子模块，用于根据如下公式5将所述事件训练样本的表示向量以及抽取的特征进行融合，得到加权后的特征：公式5其中，代表的权重，代表的权重，为通过图卷积网络抽取的特征；通过预设的自注意力算法融合加权后的特征和事件分类描述的向量特征组，得到融合后的特征，以便将融合后的特征送入稠密连接网络进行训练。
13.第三方面，本发明还提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述程序被处理器执行时实现所述方法的步骤。
14.第四方面，本发明还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现所述方法的步骤。
15.本发明基于图卷积网络与多特征融合的事件分类方法与装置，使用bert模型强大的语义表述能力对文本抽取固定长度的表示特征，同时利用依存句法分析生成词语依存图，利用图卷积网络捕捉词语之间的结构关系，并将分类描述本身的特征信息与事件向量特征通过多头自注意力机制进行融合最后将融合特征采用稠密连接网络进行分类，提高分类精度。
附图说明
16.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
17.图1为根据本发明示例性第一实施例的基于图卷积网络与多特征融合的事件分类方法的流程图。
18.图2为根据本发明示例性第二实施例的基于图卷积网络与多特征融合的事件分类方法中训练过程的流程图。
19.图3为根据本发明示例性第二实施例的基于图卷积网络与多特征融合的事件分类方法中预测过程的流程图。
20.图4为根据本发明示例性第三实施例的基于图卷积网络与多特征融合的事件分类装置的结构框图。
具体实施方式
21.下面结合附图对本发明实施例进行详细描述。
22.需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合；并且，基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
23.需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
24.图1为根据本发明示例性第一实施例的基于图卷积网络与多特征融合的事件分类方法的流程图，如图1所示，本发明一种事件分类，包括：步骤101：利用自然语言预训练模型bert对事件训练样本进行向量抽取，得到事件训练样本的表示向量；并利用预设的依存句法分析算法抽取事件训练样本的句子依存关系图，以及将所述事件训练样本的句子依存关系图送入图卷积网络抽取特征。
25.步骤102：根据所述事件训练样本的表示向量以及抽取的特征，对稠密连接网络进行训练。
26.步骤103：利用自然语言预训练模型bert对待分类事件样本进行向量抽取，得到待分类事件样本的表示向量，利用预设的依存句法分析算法抽取待分类事件样本的句子依存关系图，并将所述待分类事件样本的句子依存关系图送入训练好的图卷积网络抽取特征；根据所述待分类事件样本的表示向量以及抽取的特征，利用训练好的稠密连接网络进行分类得到分类结果。
27.如图2以及图3所示，基于图卷积网络与多特征融合的事件分类方法中训练过程以及预测过程的流程有多种优选方式，具体地：所述利用自然语言预训练模型bert对事件训练样本进行向量抽取，得到事件训练样本的表示向量的步骤包括：使用下述公式1对事件训练样本进行向量抽取，得到事件训练样本的表示向量：公式1其中bert代表自然语言预训练模型，代表文本，代表抽取后的表示向量。
28.所述利用预设的依存句法分析算法抽取事件训练样本的句子依存关系图的步骤具体根据如下公式2以及公式3进行操作：公式2公式3其中，代表每个表示事件，代表根据依存句法分析算法对句子生成依存图，graph代表根据依存关系图抽取每个词语的特征向量生成句子特征图。
29.具体地，通过以下公式4将特征关系图送入图卷积网络：公式4其中代表symmetric adjacency matrix，权重w0为输入层到隐层的权值矩阵，权重w
(1)
为隐层到输出层的权值矩阵，relu与soft max为非线性激活函数；所述根据所述事件训练样本的表示向量以及抽取的特征，对稠密连接网络进行训练的步骤具体包括：根据如下公式5将所述事件训练样本的表示向量以及抽取的特征进行融合，得到加权后的特征：公式5其中，代表的权重，代表的权重，为通过图卷积网络抽取的特征；通过预设的自注意力算法融合加权后的特征和事件分类标签描述的向量特征组（即所有类别标签的文字描述通过bert提取的特征向量组成的向量特征组），得到融合后的特征；通过以下公式6进行操作：公式6q、k、v为融合后的特征向量，wq为q向量的权重，wk为k向量的权重，wv为v向量的权重，为激活函数；将融合后的特征送入稠密连接网络进行训练，通过以下公式7以及公式8进行操作：公式7其中ati为公式6计算得到的特征向量，w
at
为向量ati的权重参数；公式8其中ati为公式6计算得到的特征向量，w
at
为向量ati的权重参数；di为公式7计算得到的特征向量，wd为向量di的权重参数；本实施例针对上述的由于样本数量较少，以及样本类别不均衡采用bert预训练模型结合依存句法分析，图神经网络以及多特征融合算法对上述两个问提进行改进，使用bert模型强大的语义表述能力对文本抽取固定长度的表示特征，同时利用依存句法分析生成词语依存图，利用图卷积网络捕捉词语之间的结构关系，并将分类描述本身的特征信息与事件向量特征通过多头自注意力机制进行融合最后将融合特征采用稠密连接网络进行分类。
30.图4为根据本发明示例性第三实施例的基于图卷积网络与多特征融合的事件分类装置的结构框图。图1-图3所示实施例可以适用于本实施例，具体如图4所示，事件分类装置包括：训练样本处理模块401，用于利用自然语言预训练模型bert对事件训练样本进行向量抽取，得到事件训练样本的表示向量；利用预设的依存句法分析算法抽取事件训练样
本的句子依存关系图，并将所述事件训练样本的句子依存关系图送入图卷积网络抽取特征；网络训练模块402，用于根据所述事件训练样本的表示向量以及抽取的特征，对稠密连接网络进行训练；事件分类模块403，用于利用自然语言预训练模型bert对待分类事件样本进行向量抽取，得到待分类事件样本的表示向量，利用预设的依存句法分析算法抽取待分类事件样本的句子依存关系图，并将所述待分类事件样本的句子依存关系图送入训练好的图卷积网络抽取特征；根据所述待分类事件样本的表示向量以及抽取的特征，利用训练好的稠密连接网络进行分类得到分类结果。
31.进一步地，所述训练样本处理模块401包括：自然语言处理子模块（图4中未示出），用于使用下述公式1对事件训练样本进行向量抽取，得到事件训练样本的表示向量：公式1其中bert代表自然语言预训练模型，xi代表文本，vi代表抽取后的表示向量。
32.进一步地，所述训练样本处理模块还包括：句法分析子模块（图4中未示出），用于抽取事件训练样本的句子依存关系图的步骤具体根据如下公式2以及公式3进行操作：公式2公式3其中，代表每个表示事件，代表根据依存句法分析算法对句子生成依存图，graph代表根据依存关系图抽取每个词语的特征向量生成句子特征图。
33.进一步地，所述训练样本处理模块401还包括：特征融合子模块（图4中未示出），用于根据如下公式5将所述事件训练样本的表示向量以及抽取的特征进行融合，得到加权后的特征：公式5其中，代表的权重，代表的权重，为通过图卷积网络抽取的特征；通过预设的自注意力算法融合加权后的特征和事件分类描述的向量特征组，得到融合后的特征，以便将融合后的特征送入稠密连接网络进行训练。
34.本实施例使用了自然语言预训练模型bert抽取事件训练样本以及事件描述的向量，通过依存句法分析算法对事件训练样本进行词之间的依存关系进行分析生成依存分析图，将生成的依存图和边信息送入图卷积网络进行训练提取特征，将提取的特征和事件通过bert抽取的向量按照权重进行融合最后将这个特征与事件所有分类描述抽取的所有向量通过多头自注意力机制进行再次融合，最后将融合后的特征通过稠密连接网络进行分类。
35.本发明还提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，所
述程序被处理器执行时实现所述方法的步骤。
36.本发明还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现所述方法的步骤。
37.该介质以及计算机设备具有上述基于图卷积网络与多特征融合的事件分类方法相应的技术效果。
38.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。