1.本发明属于自然语言处理领域，具体涉及一种关系三元组联合提取方法及自动问答系统构建方法。
背景技术：
：：2.融合人类知识是人工智能研究的重点方向之一。受人类解决问题的启发，可通过实现知识的表示与推理，从而使得智能系统可以解决复杂任务。所以知识表示对于人工智能的重要性不言而喻。而在众多知识表示方式中，知识图谱(knowledgegraph)以其极强的表达能力和建模灵活性，引起了学术界和产业界的极大关注。目前，由于大数据和深度学习的快速发展，知识图谱成为推动互联网和人工智能发展的核心驱动力之一。3.知识图谱的关键部分，大部分是由两个实体通过语义关系连接而成的关系事实。其中，事实被形式化的表达为(主体，关系，客体)，即(subject,relation,object)或(s,r,o)，称为关系三元组。因此，如何快速准确地进行关系三元组的提取，不仅是构建大规模知识图的关键步骤，也是信息提取(informationextraction，ie)中的一项重要任务。4.基于pipeline的关系三元组提取方法不仅存在错误传播的问题，而且忽略了两个子任务之间的关系，导致无法从实体和关系的相互依赖中获益，而且还存在复杂度较高的缺陷。因此，为了解决基于pipeline提取方法存在的问题，近年来，研究人员提出了端到端的关系三元组联合提取方法。关系三元组联合提取任务被定义为从非结构文本中检测所有实体并同时识别它们之间的语义关系。5.近年来关系三元组联合提取方法主要分为两种：基于传统方法和基于深度学习的方法：6.基于传统方法的关系三元组联合提取方法，主要包括基于特征工程和基于核函数的方法。基于特征工程方法主要通过提取词汇、实体属性、重叠、依存句法以及句法树等特征向量，训练分类器实现关系三元组抽取；而基于核函数的方法重点是设计有效的核函数来计算关系表示之间的相似度，并使用支持核函数的分类器进行关系抽取。但是，基于传统方法的关系三元组联合提取方法，其主要基于人工构造和设计特征向量及核函数；但是正是由于需要大量的人工工作实现特征提取和核函数设计，从而不适合用于大规模语料的关系三元组的抽取；而且，特征的提取依赖于自然语言处理工具，抽取的特征不精准，容易造成错误传播的问题，同时对于语料缺乏的小语种，由于不存在有效的自然语言处理工具，并不能直接使用基于特征工程的方法。因此，传统的联合提取方法提取性能较差，且需要大量的人工以及领域专家知识，具有较差的泛化能力和可扩展性，限制了实际应用的发展。7.基于深度学习的方法，最常见的是将文本的词嵌入向量输入到编码器提取语义信息，得到表示能力较强的特征向量，然后通过解码器对特征向量解码进行实体识别和关系分类，从而实现端到端的关系三元组联合提取。目前，随着联合提取模型的提取精度的提升，不再只限于简单的关系三元组问题，而是更加关注复杂的重叠关系三元组问题，即一个句子中不同的关系三元组有相同的主体和客体，甚至两者都相同但存在不同的关系；目前针对重叠三元组问题，研究方法主要包括基于tagging、seq-2-seq和tablefilling等。但是，这类方法忽略了两个提取阶段之间的相互作用以及提取的主体和关系之间的联系；换句话说，第一提取阶段提取的主体只与少量关系相关。技术实现要素：8.本发明的目的之一在于提供一种可靠性高，准确性好且实施简单方便的关系三元组联合提取方法。9.本发明的目的之二在于提供一种包括了所述关系三元组联合提取方法的自动问答系统构建方法。10.本发明提供的这种关系三元组联合提取方法，包括如下步骤：11.s1.获取训练数据集，并根据训练数据集中的句子生成输入特征向量；12.s2.将步骤s1获取的输入特征向量输入到编码器中，生成上下文语义信息特征向量；13.s3.将步骤s2得到的上下文语义信息特征向量进行解码，从而识别得到句子中所有可能的主体及对应的主体特征向量；14.s4.将步骤s2得到的上下文语义信息特征向量和步骤s3得到的主体特征向量输入到关系注意力模块，从而得到两个分支的注意力特征向量；15.s5.将步骤s4得到的两个分支的注意力特征向量相加，然后通过激活函数得到激活向量，并进行乘法处理，得到加权后的注意力特征向量；16.s6.对步骤s5得到的加权后的注意力特征向量再次进行解码，识别得到每个关系维度的客体；17.s7.对步骤s3得到的主体与步骤s6得到的客体进行关系匹配，从而得到最终的关系三元组。18.步骤s1所述的获取训练数据集，并根据训练数据集中的句子生成输入特征向量，具体为获取训练数据集，将训练数据集中的句子通过词嵌入方法生成固定长度为512的输入特征向量；所述的输入特征向量包括词嵌入和位置嵌入。19.步骤s2所述的将步骤s1获取的输入特征向量输入到编码器中，生成上下文语义信息特征向量，具体为将步骤s1获取的输入特征向量输入到bert双向编码器中，从而提取到上下文语义信息特征向量。20.采用如下算式作为编码器的编码操作公式：21.hi＝t(hi-1)22.式中hi为输入语句在第i层的上下文表示，且为隐状态向量；t()为transformer块的操作函数；h0为编码器的输出，且h0＝wi，wi为步骤s1获取的输入特征向量，且wi＝wt wp，wt为词嵌入，wp为位置嵌入。23.步骤s3所述的将步骤s2得到的上下文语义信息特征向量进行解码，从而识别得到句子中所有可能的主体及对应的主体特征向量，具体包括如下步骤：24.采用级联的头尾标注解码器对上下文语义信息特征向量进行解码，从而识别得到句子中所有可能的主体及对应的主体特征向量；解码器为经过稠密层的二分类任务，分别得到维度为token长度的主体头部向量和维度为token长度的主体尾部向量；主体头部向量中对应于某个主体的开始的位置分类为1，剩余的位置均分类为0；主体尾部向量中对应于某个主体的结束的位置分类为1，剩余的位置均分类为0；识别主体的匹配机制定义为将主体的头部与最接近的尾部进行结合；主体特征向量包括主体头部向量和主体尾部向量。25.步骤s4所述的将步骤s2得到的上下文语义信息特征向量和步骤s3得到的主体特征向量输入到关系注意力模块，从而得到两个分支的注意力特征向量，具体包括如下步骤：26.将步骤s2得到的上下文语义信息特征向量和步骤s3得到的主体特征向量输入到主体关系注意力模块sra中；主体关系注意力模块sra首先将上下文语义信息特征向量fc和主体特征向量fs中的主体头部向量、主体尾部向量分别进行通道级别的连接操作，然后再进行像素级别的平均操作，最后与原始的上下文语义信息特征向量fc进行像素级别的相加，从而得到融合特征；再将融合特征经过dense层，在关系通道上的整个空间特征进行两个分支的全局特征和局部特征的提取，获取在关系通道上的两个注意力特征向量；其中，一个分支的特征提取操作包括依次串接的全局最大池化操作、reshape操作和两个一维卷积操作；另一个分支的特征提取操作包括依次串接的全局平均池化操作、reshape操作和两个一维卷积操作；dense层和卷积层的激活函数均为sigmoid函数。27.步骤s5所述的将步骤s4得到的两个分支的注意力特征向量相加，然后通过激活函数得到激活向量，并进行乘法处理，得到加权后的注意力特征向量，具体为将步骤s4得到的两个分支的注意力特征向量进行像素级别的相加，然后通过sigmoid激活函数处理得到激活向量，最后与融合特征相乘，从而得到加权后的注意力特征向量。28.步骤s6所述的对步骤s5得到的加权后的注意力特征向量再次进行解码，识别得到每个关系维度的客体，具体包括如下步骤：29.采用基于头尾标注的解码器对步骤s5得到的加权后的注意力特征向量进行解码，识别出每个关系维度的客体；所述的基于头尾标注的解码器，为一个经过稠密层的二分类任务，分别得到维度为token长度的客体头部向量和维度为token长度的客体尾部向量；客体头部向量中对应于某个客体的开始的位置分类为1，剩余的位置均分类为0；客体尾部向量中对应于某个客体的结束的位置分类为1，剩余的位置均分类为0；识别客体的匹配机制定义为将客体的头部与最接近的尾部进行结合；客体特征向量包括客体头部向量和客体尾部向量。30.步骤s7所述的对步骤s3得到的主体与步骤s6得到的客体进行关系匹配，从而得到最终的关系三元组，具体包括如下步骤：31.损失函数采用二分类交叉熵损失，采用如下算式作为总的损失函数l：[0032][0033]式中α和β为设定的权重系数；为得到主体头部向量时的分类损失，为得到主体尾部向量时的分类损失，为得到客体头部向量时的分类损失，为得到客体尾部向量时的分类损失。[0034]本发明还公开了一种包括所述关系三元组联合提取方法的自动问答系统构建方法，具体包括如下步骤：[0035]a.获取待进行关系三元组抽取的文本数据；[0036]b.采用上述的关系三元组联合提取方法，提取步骤a获取的文本数据中的关系三元组；[0037]c.根据步骤b得到的关系三元组，构建对应的知识图谱；[0038]d.根据步骤c得到的知识图谱，采用基于规则匹配方法，基于得到的知识图谱构建自动问答系统。[0039]本发明提供的这种关系三元组联合提取方法及自动问答系统构建方法，通过采用bert编码器对非结构文本进行编码得到上下文语义特征信息，然后对上下文语义特征解码进行主体提取，最后将上下文语义特征和提取的主体特征进行融合，并采用基于主体关系注意力机制自主学习主体和关系维度之间的依赖关系，从而对特定关系的客体进行更加精确的提取，通过匹配得到最终结果；本发明方法能够全面提取关系三元组，而且可靠性高，准确性好且实施简单方便。附图说明[0040]图1为本发明的提取方法的方法流程示意图。[0041]图2为本发明的提取方法的头尾标注策略示意图。[0042]图3为本发明的加权后的注意力特征向量的计算过程示意图。[0043]图4为本发明的自动问答系统构建方法的方法流程示意图。具体实施方式[0044]如图1所示为本发明的提取方法的方法流程示意图：本发明提供的这种关系三元组联合提取方法，包括如下步骤：[0045]s1.获取训练数据集，并根据训练数据集中的句子生成输入特征向量；具体为获取训练数据集，将训练数据集中的句子通过词嵌入方法生成固定长度为512的输入特征向量；所述的输入特征向量包括词嵌入和位置嵌入；[0046]s2.将步骤s1获取的输入特征向量输入到编码器中，生成上下文语义信息特征向量；具体为将步骤s1获取的输入特征向量输入到bert双向编码器中，从而提取到上下文语义信息特征向量；[0047]具体实施时，采用如下算式作为编码器的编码操作公式：[0048]hi＝t(hi-1)[0049]式中hi为输入语句在第i层的上下文表示，且为隐状态向量；t()为transformer块的操作函数；h0为编码器的输出，且h0＝wi，wi为步骤s1获取的输入特征向量，且wi＝wt wp，wt为由wordpiece方法得到的词嵌入，它可以在单词的有效性和字符的灵活性之间达成妥协；wp为位置嵌入，通过先初始化绝对位置编码，再放到一个预训练模型获得；位置嵌入通过将单词的位置信息添加到输入向量中，使编码器能够区分单词的不同位置；否则，无论句子结构多么混乱，编码器都将提供类似的结果；i的取值为1～n，n为transformer块的数量；[0050]s3.将步骤s2得到的上下文语义信息特征向量进行解码，从而识别得到句子中所有可能的主体及对应的主体特征向量；具体包括如下步骤：[0051]采用级联的头尾标注解码器对上下文语义信息特征向量进行解码，从而识别得到句子中所有可能的主体及对应的主体特征向量；解码器为经过稠密层的二分类任务，分别得到维度为token长度的主体头部向量和维度为token长度的主体尾部向量；主体头部向量中对应于某个主体的开始的位置分类为1，剩余的位置均分类为0；主体尾部向量中对应于某个主体的结束的位置分类为1，剩余的位置均分类为0；识别主体的匹配机制定义为将主体的头部与最接近的尾部进行结合；主体特征向量包括主体头部向量和主体尾部向量；[0052]对应的标注策略如图2所示；图2(a)为主体提取的标注示例；图2(b)为关系维度客体提取的标注示例；[0053]s4.将步骤s2得到的上下文语义信息特征向量和步骤s3得到的主体特征向量输入到关系注意力模块，从而得到两个分支的注意力特征向量；具体包括如下步骤：[0054]将步骤s2得到的上下文语义信息特征向量和步骤s3得到的主体特征向量输入到主体关系注意力模块sra中；主体关系注意力模块sra首先将上下文语义信息特征向量fc和主体特征向量fs中的主体头部向量、主体尾部向量分别进行通道级别的连接操作，然后再进行像素级别的平均操作，最后与上下文语义信息特征向量fc进行像素级别的相加，从而得到融合特征；再将融合特征经过dense层，在关系通道上的整个空间特征进行两个分支的全局特征和局部特征的提取，获取在关系通道上的两个注意力特征向量；其中，一个分支的特征提取操作包括依次串接的全局最大池化操作、reshape操作和两个一维卷积操作；另一个分支的特征提取操作包括依次串接的全局平均池化操作、reshape操作和两个一维卷积操作；dense层和卷积层的激活函数均为sigmoid函数；[0055]s5.将步骤s4得到的两个分支的注意力特征向量相加，然后通过激活函数得到激活向量，并进行乘法处理，得到加权后的注意力特征向量；具体为将步骤s4得到的两个分支的注意力特征向量进行像素级别的相加，然后通过sigmoid激活函数处理得到激活向量，最后与融合特征相乘，从而得到加权后的注意力特征向量；[0056]上述过程的公式化表达为：[0057][0058]f＝fi*s(con1d(r(gvp(do))) con1d(r(gmp(do))))[0059]式中fi为融合特征；fc为上下文语义信息特征向量；为主体特征向量fs中的主体头部向量；为主体特征向量fs中的尾体头部向量；c()为连接操作函数；avg()为像素级别的平均操作函数；do为dense层的输出；gmp()为全局最大池化操作函数；gvp()为全局平均池化操作函数；r()为reshape操作函数；con1d()为两个一维卷积操作函数；s()为sigmoid激活函数；f为加权后的注意力特征向量；具体流程如图3所示；[0060]s6.对步骤s5得到的加权后的注意力特征向量再次进行解码，识别得到每个关系维度的客体；具体包括如下步骤：[0061]采用基于头尾标注的解码器对步骤s5得到的加权后的注意力特征向量进行解码，识别出每个关系维度的客体；所述的基于头尾标注的解码器，为一个经过稠密层的二分类任务，分别得到维度为token长度的客体头部向量和维度为token长度的客体尾部向量；客体头部向量中对应于某个客体的开始的位置分类为1，剩余的位置均分类为0；客体尾部向量中对应于某个客体的结束的位置分类为1，剩余的位置均分类为0；识别客体的匹配机制定义为将客体的头部与最接近的尾部进行结合；客体特征向量包括客体头部向量和客体尾部向量；[0062]s7.对步骤s3得到的主体与步骤s6得到的客体进行关系匹配，从而得到最终的关系三元组；具体包括如下步骤：[0063]损失函数采用二分类交叉熵损失，采用如下算式作为总的损失函数l：[0064][0065]式中α和β为设定的权重系数；为得到主体头部向量时的分类损失，为得到主体尾部向量时的分类损失，为得到客体头部向量时的分类损失，为得到客体尾部向量时的分类损失。[0066]最后，采用经典评价指标精度(prec.)，回归(rec.)和f1-score来衡量关系三元组提取结果；计算公式为：[0067][0068][0069][0070]式中nprecdict为模型预测的关系三元组的总数量；ncorrect为模型预测正确的关系三元组的总数量；ngold为训练数据集中的groundtruth的三元组的数量；[0071]以下结合一个实施例，对本发明方法的效果进行进一步说明：[0072]对比时，在两个公开数据集nyt和webnlg上分别采集了5000和703个样本数据，每个样本为1句非结构文本数据，并以手工标定多个关系三元组作为对应的groundtruth。[0073]将本发明方法与多个现有方法进行对比，以提取精度、召回率和f1分数作为评价标准，具体实验数据如表1和表2所示：[0074]表1nty数据集上对比实验结果示意表[0075]对比方法准确率(％)召回率(％)f1分数(％)noveltagging62.431.742.0copyr-mul61.056.658.7graphrel2p63.960.061.9copymtl-mul75.768.772.0copyrrl77.967.272.1casrel89.789.589.6本发明方法92.391.591.9[0076]表2webnlg数据集上对比实验结果示意表[0077]对比方法准确率(％)召回率(％)f1分数(％)noveltagging52.519.328.3copyr-mul37.736.437.1graphrel2p44.741.142.9copymtl-mul58.054.956.4copyrrl63.359.961.6casrel93.490.191.8本发明方法93.992.093.0[0078]从表1和表2中可以看出，在其他条件相同的情况下，本发明方法不管在准确率、召回率还是f1分数都能提升关系三元组的提取精度。[0079]如图4所示为本发明的自动问答系统构建方法的方法流程示意图：本发明提供的这种包括所述关系三元组联合提取方法的自动问答系统构建方法，具体包括如下步骤：[0080]a.获取待进行关系三元组抽取的文本数据；[0081]b.采用上述的关系三元组联合提取方法，提取步骤a获取的文本数据中的关系三元组；[0082]c.根据步骤b得到的关系三元组，构建对应的知识图谱；[0083]d.根据步骤c得到的知识图谱，采用基于规则匹配方法，基于得到的知识图谱构建自动问答系统。[0084]本发明提供的这种自动问答系统构建方法，其所构建的自动问答系统可以用于现有的自动问答场合，比如网络购物平台的自动咨询系统(比如咨询发货时间，咨询退费退款政策等)，银行网点(运营商营业厅等)的自动咨询系统(比如咨询业务流程、自动取号等)。当前第1页12当前第1页12
背景技术：
：：2.融合人类知识是人工智能研究的重点方向之一。受人类解决问题的启发，可通过实现知识的表示与推理，从而使得智能系统可以解决复杂任务。所以知识表示对于人工智能的重要性不言而喻。而在众多知识表示方式中，知识图谱(knowledgegraph)以其极强的表达能力和建模灵活性，引起了学术界和产业界的极大关注。目前，由于大数据和深度学习的快速发展，知识图谱成为推动互联网和人工智能发展的核心驱动力之一。3.知识图谱的关键部分，大部分是由两个实体通过语义关系连接而成的关系事实。其中，事实被形式化的表达为(主体，关系，客体)，即(subject,relation,object)或(s,r,o)，称为关系三元组。因此，如何快速准确地进行关系三元组的提取，不仅是构建大规模知识图的关键步骤，也是信息提取(informationextraction，ie)中的一项重要任务。4.基于pipeline的关系三元组提取方法不仅存在错误传播的问题，而且忽略了两个子任务之间的关系，导致无法从实体和关系的相互依赖中获益，而且还存在复杂度较高的缺陷。因此，为了解决基于pipeline提取方法存在的问题，近年来，研究人员提出了端到端的关系三元组联合提取方法。关系三元组联合提取任务被定义为从非结构文本中检测所有实体并同时识别它们之间的语义关系。5.近年来关系三元组联合提取方法主要分为两种：基于传统方法和基于深度学习的方法：6.基于传统方法的关系三元组联合提取方法，主要包括基于特征工程和基于核函数的方法。基于特征工程方法主要通过提取词汇、实体属性、重叠、依存句法以及句法树等特征向量，训练分类器实现关系三元组抽取；而基于核函数的方法重点是设计有效的核函数来计算关系表示之间的相似度，并使用支持核函数的分类器进行关系抽取。但是，基于传统方法的关系三元组联合提取方法，其主要基于人工构造和设计特征向量及核函数；但是正是由于需要大量的人工工作实现特征提取和核函数设计，从而不适合用于大规模语料的关系三元组的抽取；而且，特征的提取依赖于自然语言处理工具，抽取的特征不精准，容易造成错误传播的问题，同时对于语料缺乏的小语种，由于不存在有效的自然语言处理工具，并不能直接使用基于特征工程的方法。因此，传统的联合提取方法提取性能较差，且需要大量的人工以及领域专家知识，具有较差的泛化能力和可扩展性，限制了实际应用的发展。7.基于深度学习的方法，最常见的是将文本的词嵌入向量输入到编码器提取语义信息，得到表示能力较强的特征向量，然后通过解码器对特征向量解码进行实体识别和关系分类，从而实现端到端的关系三元组联合提取。目前，随着联合提取模型的提取精度的提升，不再只限于简单的关系三元组问题，而是更加关注复杂的重叠关系三元组问题，即一个句子中不同的关系三元组有相同的主体和客体，甚至两者都相同但存在不同的关系；目前针对重叠三元组问题，研究方法主要包括基于tagging、seq-2-seq和tablefilling等。但是，这类方法忽略了两个提取阶段之间的相互作用以及提取的主体和关系之间的联系；换句话说，第一提取阶段提取的主体只与少量关系相关。技术实现要素：8.本发明的目的之一在于提供一种可靠性高，准确性好且实施简单方便的关系三元组联合提取方法。9.本发明的目的之二在于提供一种包括了所述关系三元组联合提取方法的自动问答系统构建方法。10.本发明提供的这种关系三元组联合提取方法，包括如下步骤：11.s1.获取训练数据集，并根据训练数据集中的句子生成输入特征向量；12.s2.将步骤s1获取的输入特征向量输入到编码器中，生成上下文语义信息特征向量；13.s3.将步骤s2得到的上下文语义信息特征向量进行解码，从而识别得到句子中所有可能的主体及对应的主体特征向量；14.s4.将步骤s2得到的上下文语义信息特征向量和步骤s3得到的主体特征向量输入到关系注意力模块，从而得到两个分支的注意力特征向量；15.s5.将步骤s4得到的两个分支的注意力特征向量相加，然后通过激活函数得到激活向量，并进行乘法处理，得到加权后的注意力特征向量；16.s6.对步骤s5得到的加权后的注意力特征向量再次进行解码，识别得到每个关系维度的客体；17.s7.对步骤s3得到的主体与步骤s6得到的客体进行关系匹配，从而得到最终的关系三元组。18.步骤s1所述的获取训练数据集，并根据训练数据集中的句子生成输入特征向量，具体为获取训练数据集，将训练数据集中的句子通过词嵌入方法生成固定长度为512的输入特征向量；所述的输入特征向量包括词嵌入和位置嵌入。19.步骤s2所述的将步骤s1获取的输入特征向量输入到编码器中，生成上下文语义信息特征向量，具体为将步骤s1获取的输入特征向量输入到bert双向编码器中，从而提取到上下文语义信息特征向量。20.采用如下算式作为编码器的编码操作公式：21.hi＝t(hi-1)22.式中hi为输入语句在第i层的上下文表示，且为隐状态向量；t()为transformer块的操作函数；h0为编码器的输出，且h0＝wi，wi为步骤s1获取的输入特征向量，且wi＝wt wp，wt为词嵌入，wp为位置嵌入。23.步骤s3所述的将步骤s2得到的上下文语义信息特征向量进行解码，从而识别得到句子中所有可能的主体及对应的主体特征向量，具体包括如下步骤：24.采用级联的头尾标注解码器对上下文语义信息特征向量进行解码，从而识别得到句子中所有可能的主体及对应的主体特征向量；解码器为经过稠密层的二分类任务，分别得到维度为token长度的主体头部向量和维度为token长度的主体尾部向量；主体头部向量中对应于某个主体的开始的位置分类为1，剩余的位置均分类为0；主体尾部向量中对应于某个主体的结束的位置分类为1，剩余的位置均分类为0；识别主体的匹配机制定义为将主体的头部与最接近的尾部进行结合；主体特征向量包括主体头部向量和主体尾部向量。25.步骤s4所述的将步骤s2得到的上下文语义信息特征向量和步骤s3得到的主体特征向量输入到关系注意力模块，从而得到两个分支的注意力特征向量，具体包括如下步骤：26.将步骤s2得到的上下文语义信息特征向量和步骤s3得到的主体特征向量输入到主体关系注意力模块sra中；主体关系注意力模块sra首先将上下文语义信息特征向量fc和主体特征向量fs中的主体头部向量、主体尾部向量分别进行通道级别的连接操作，然后再进行像素级别的平均操作，最后与原始的上下文语义信息特征向量fc进行像素级别的相加，从而得到融合特征；再将融合特征经过dense层，在关系通道上的整个空间特征进行两个分支的全局特征和局部特征的提取，获取在关系通道上的两个注意力特征向量；其中，一个分支的特征提取操作包括依次串接的全局最大池化操作、reshape操作和两个一维卷积操作；另一个分支的特征提取操作包括依次串接的全局平均池化操作、reshape操作和两个一维卷积操作；dense层和卷积层的激活函数均为sigmoid函数。27.步骤s5所述的将步骤s4得到的两个分支的注意力特征向量相加，然后通过激活函数得到激活向量，并进行乘法处理，得到加权后的注意力特征向量，具体为将步骤s4得到的两个分支的注意力特征向量进行像素级别的相加，然后通过sigmoid激活函数处理得到激活向量，最后与融合特征相乘，从而得到加权后的注意力特征向量。28.步骤s6所述的对步骤s5得到的加权后的注意力特征向量再次进行解码，识别得到每个关系维度的客体，具体包括如下步骤：29.采用基于头尾标注的解码器对步骤s5得到的加权后的注意力特征向量进行解码，识别出每个关系维度的客体；所述的基于头尾标注的解码器，为一个经过稠密层的二分类任务，分别得到维度为token长度的客体头部向量和维度为token长度的客体尾部向量；客体头部向量中对应于某个客体的开始的位置分类为1，剩余的位置均分类为0；客体尾部向量中对应于某个客体的结束的位置分类为1，剩余的位置均分类为0；识别客体的匹配机制定义为将客体的头部与最接近的尾部进行结合；客体特征向量包括客体头部向量和客体尾部向量。30.步骤s7所述的对步骤s3得到的主体与步骤s6得到的客体进行关系匹配，从而得到最终的关系三元组，具体包括如下步骤：31.损失函数采用二分类交叉熵损失，采用如下算式作为总的损失函数l：[0032][0033]式中α和β为设定的权重系数；为得到主体头部向量时的分类损失，为得到主体尾部向量时的分类损失，为得到客体头部向量时的分类损失，为得到客体尾部向量时的分类损失。[0034]本发明还公开了一种包括所述关系三元组联合提取方法的自动问答系统构建方法，具体包括如下步骤：[0035]a.获取待进行关系三元组抽取的文本数据；[0036]b.采用上述的关系三元组联合提取方法，提取步骤a获取的文本数据中的关系三元组；[0037]c.根据步骤b得到的关系三元组，构建对应的知识图谱；[0038]d.根据步骤c得到的知识图谱，采用基于规则匹配方法，基于得到的知识图谱构建自动问答系统。[0039]本发明提供的这种关系三元组联合提取方法及自动问答系统构建方法，通过采用bert编码器对非结构文本进行编码得到上下文语义特征信息，然后对上下文语义特征解码进行主体提取，最后将上下文语义特征和提取的主体特征进行融合，并采用基于主体关系注意力机制自主学习主体和关系维度之间的依赖关系，从而对特定关系的客体进行更加精确的提取，通过匹配得到最终结果；本发明方法能够全面提取关系三元组，而且可靠性高，准确性好且实施简单方便。附图说明[0040]图1为本发明的提取方法的方法流程示意图。[0041]图2为本发明的提取方法的头尾标注策略示意图。[0042]图3为本发明的加权后的注意力特征向量的计算过程示意图。[0043]图4为本发明的自动问答系统构建方法的方法流程示意图。具体实施方式[0044]如图1所示为本发明的提取方法的方法流程示意图：本发明提供的这种关系三元组联合提取方法，包括如下步骤：[0045]s1.获取训练数据集，并根据训练数据集中的句子生成输入特征向量；具体为获取训练数据集，将训练数据集中的句子通过词嵌入方法生成固定长度为512的输入特征向量；所述的输入特征向量包括词嵌入和位置嵌入；[0046]s2.将步骤s1获取的输入特征向量输入到编码器中，生成上下文语义信息特征向量；具体为将步骤s1获取的输入特征向量输入到bert双向编码器中，从而提取到上下文语义信息特征向量；[0047]具体实施时，采用如下算式作为编码器的编码操作公式：[0048]hi＝t(hi-1)[0049]式中hi为输入语句在第i层的上下文表示，且为隐状态向量；t()为transformer块的操作函数；h0为编码器的输出，且h0＝wi，wi为步骤s1获取的输入特征向量，且wi＝wt wp，wt为由wordpiece方法得到的词嵌入，它可以在单词的有效性和字符的灵活性之间达成妥协；wp为位置嵌入，通过先初始化绝对位置编码，再放到一个预训练模型获得；位置嵌入通过将单词的位置信息添加到输入向量中，使编码器能够区分单词的不同位置；否则，无论句子结构多么混乱，编码器都将提供类似的结果；i的取值为1～n，n为transformer块的数量；[0050]s3.将步骤s2得到的上下文语义信息特征向量进行解码，从而识别得到句子中所有可能的主体及对应的主体特征向量；具体包括如下步骤：[0051]采用级联的头尾标注解码器对上下文语义信息特征向量进行解码，从而识别得到句子中所有可能的主体及对应的主体特征向量；解码器为经过稠密层的二分类任务，分别得到维度为token长度的主体头部向量和维度为token长度的主体尾部向量；主体头部向量中对应于某个主体的开始的位置分类为1，剩余的位置均分类为0；主体尾部向量中对应于某个主体的结束的位置分类为1，剩余的位置均分类为0；识别主体的匹配机制定义为将主体的头部与最接近的尾部进行结合；主体特征向量包括主体头部向量和主体尾部向量；[0052]对应的标注策略如图2所示；图2(a)为主体提取的标注示例；图2(b)为关系维度客体提取的标注示例；[0053]s4.将步骤s2得到的上下文语义信息特征向量和步骤s3得到的主体特征向量输入到关系注意力模块，从而得到两个分支的注意力特征向量；具体包括如下步骤：[0054]将步骤s2得到的上下文语义信息特征向量和步骤s3得到的主体特征向量输入到主体关系注意力模块sra中；主体关系注意力模块sra首先将上下文语义信息特征向量fc和主体特征向量fs中的主体头部向量、主体尾部向量分别进行通道级别的连接操作，然后再进行像素级别的平均操作，最后与上下文语义信息特征向量fc进行像素级别的相加，从而得到融合特征；再将融合特征经过dense层，在关系通道上的整个空间特征进行两个分支的全局特征和局部特征的提取，获取在关系通道上的两个注意力特征向量；其中，一个分支的特征提取操作包括依次串接的全局最大池化操作、reshape操作和两个一维卷积操作；另一个分支的特征提取操作包括依次串接的全局平均池化操作、reshape操作和两个一维卷积操作；dense层和卷积层的激活函数均为sigmoid函数；[0055]s5.将步骤s4得到的两个分支的注意力特征向量相加，然后通过激活函数得到激活向量，并进行乘法处理，得到加权后的注意力特征向量；具体为将步骤s4得到的两个分支的注意力特征向量进行像素级别的相加，然后通过sigmoid激活函数处理得到激活向量，最后与融合特征相乘，从而得到加权后的注意力特征向量；[0056]上述过程的公式化表达为：[0057][0058]f＝fi*s(con1d(r(gvp(do))) con1d(r(gmp(do))))[0059]式中fi为融合特征；fc为上下文语义信息特征向量；为主体特征向量fs中的主体头部向量；为主体特征向量fs中的尾体头部向量；c()为连接操作函数；avg()为像素级别的平均操作函数；do为dense层的输出；gmp()为全局最大池化操作函数；gvp()为全局平均池化操作函数；r()为reshape操作函数；con1d()为两个一维卷积操作函数；s()为sigmoid激活函数；f为加权后的注意力特征向量；具体流程如图3所示；[0060]s6.对步骤s5得到的加权后的注意力特征向量再次进行解码，识别得到每个关系维度的客体；具体包括如下步骤：[0061]采用基于头尾标注的解码器对步骤s5得到的加权后的注意力特征向量进行解码，识别出每个关系维度的客体；所述的基于头尾标注的解码器，为一个经过稠密层的二分类任务，分别得到维度为token长度的客体头部向量和维度为token长度的客体尾部向量；客体头部向量中对应于某个客体的开始的位置分类为1，剩余的位置均分类为0；客体尾部向量中对应于某个客体的结束的位置分类为1，剩余的位置均分类为0；识别客体的匹配机制定义为将客体的头部与最接近的尾部进行结合；客体特征向量包括客体头部向量和客体尾部向量；[0062]s7.对步骤s3得到的主体与步骤s6得到的客体进行关系匹配，从而得到最终的关系三元组；具体包括如下步骤：[0063]损失函数采用二分类交叉熵损失，采用如下算式作为总的损失函数l：[0064][0065]式中α和β为设定的权重系数；为得到主体头部向量时的分类损失，为得到主体尾部向量时的分类损失，为得到客体头部向量时的分类损失，为得到客体尾部向量时的分类损失。[0066]最后，采用经典评价指标精度(prec.)，回归(rec.)和f1-score来衡量关系三元组提取结果；计算公式为：[0067][0068][0069][0070]式中nprecdict为模型预测的关系三元组的总数量；ncorrect为模型预测正确的关系三元组的总数量；ngold为训练数据集中的groundtruth的三元组的数量；[0071]以下结合一个实施例，对本发明方法的效果进行进一步说明：[0072]对比时，在两个公开数据集nyt和webnlg上分别采集了5000和703个样本数据，每个样本为1句非结构文本数据，并以手工标定多个关系三元组作为对应的groundtruth。[0073]将本发明方法与多个现有方法进行对比，以提取精度、召回率和f1分数作为评价标准，具体实验数据如表1和表2所示：[0074]表1nty数据集上对比实验结果示意表[0075]对比方法准确率(％)召回率(％)f1分数(％)noveltagging62.431.742.0copyr-mul61.056.658.7graphrel2p63.960.061.9copymtl-mul75.768.772.0copyrrl77.967.272.1casrel89.789.589.6本发明方法92.391.591.9[0076]表2webnlg数据集上对比实验结果示意表[0077]对比方法准确率(％)召回率(％)f1分数(％)noveltagging52.519.328.3copyr-mul37.736.437.1graphrel2p44.741.142.9copymtl-mul58.054.956.4copyrrl63.359.961.6casrel93.490.191.8本发明方法93.992.093.0[0078]从表1和表2中可以看出，在其他条件相同的情况下，本发明方法不管在准确率、召回率还是f1分数都能提升关系三元组的提取精度。[0079]如图4所示为本发明的自动问答系统构建方法的方法流程示意图：本发明提供的这种包括所述关系三元组联合提取方法的自动问答系统构建方法，具体包括如下步骤：[0080]a.获取待进行关系三元组抽取的文本数据；[0081]b.采用上述的关系三元组联合提取方法，提取步骤a获取的文本数据中的关系三元组；[0082]c.根据步骤b得到的关系三元组，构建对应的知识图谱；[0083]d.根据步骤c得到的知识图谱，采用基于规则匹配方法，基于得到的知识图谱构建自动问答系统。[0084]本发明提供的这种自动问答系统构建方法，其所构建的自动问答系统可以用于现有的自动问答场合，比如网络购物平台的自动咨询系统(比如咨询发货时间，咨询退费退款政策等)，银行网点(运营商营业厅等)的自动咨询系统(比如咨询业务流程、自动取号等)。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
