智能问答方法、装置、设备及计算机可读存储介质与流程

1.本技术涉及人工智能技术领域，尤其涉及一种智能问答方法、装置、设备及计算机可读存储介质。


背景技术：

2.目前，在利用神经网络实现自然语言处理中的智能问答任务时，通常的方法是通过给定的背景文本、问题和备选答案生成输入序列，使用预训练语言模型对输入序列中各个词汇之间的关系进行理解，进而基于理解的内容进行预测，来得到备选答案为正确答案的概率。然而，目前基于对文本中若干个词汇之间关系的理解来进行推理的方法，在面对智能问答任务中较为复杂的逻辑推理任务时所提供的信息量不足，从而降低了智能问答方法的准确性。


技术实现要素：

3.本技术实施例提供一种智能问答方法、装置、设备及计算机可读存储介质，能够提高智能问答的准确性。
4.本技术实施例的技术方案是这样实现的：
5.本技术实施例提供一种智能问答方法，包括：
6.对预设背景知识、目标问题与预设备选答案集合中的当前备选答案进行文本语篇划分，得到语篇集合以及每个语篇之间的连接关系；
7.对所述预设背景知识、所述目标问题与所述当前备选答案进行词汇级特征处理，得到词汇特征序列；所述词汇特征序列包含所述预设背景知识、所述目标问题与所述当前备选答案中每个词汇对应的词汇特征；
8.将所述语篇集合中的每个语篇作为节点，根据所述连接关系连接每个节点，生成语篇逻辑关系图；
9.根据所述每个节点在所述词汇特征序列中对应的词汇特征得到每个节点的节点特征；并根据所述语篇逻辑关系图，在所述每个节点与相邻节点之间进行节点特征传递，得到所述每个节点对应的推理特征；
10.结合所述推理特征与所述词汇特征序列，确定所述目标问题对应的目标预测答案。
11.本技术实施例提供一种智能问答装置，包括：
12.语篇划分模块，用于对预设背景知识与目标问题与预设备选答案集合中的当前备选答案进行文本语篇划分，得到语篇集合以及每个语篇之间的连接关系；
13.词汇特征处理模块，用于对所述预设背景知识、所述目标问题与所述当前备选答案进行词汇级特征处理，得到词汇特征序列；所述词汇特征序列包含所述预设背景知识、所述目标问题与所述当前备选答案中每个词汇对应的词汇特征；
14.图生成模块，用于将所述语篇集合中的每个语篇作为节点，根据所述连接关系连
接每个节点，生成语篇逻辑关系图；
15.特征传递模块，用于根据所述每个节点在所述词汇特征序列中对应的词汇特征得到每个节点的节点特征；并根据所述语篇逻辑关系图，在所述每个节点与相邻节点之间进行节点特征传递，得到所述每个节点对应的推理特征；
16.预测模块，用于结合所述推理特征与所述词汇特征序列，确定所述目标问题对应的目标预测答案。
17.上述装置中，所述特征传递模块，还用于根据所述每个节点对应的至少一个词汇，从所述词汇特征序列中确定出所述至少一个词汇对应的词汇特征子序列；所述至少一个词汇为所述每个节点对应的语篇中包含的词汇；将所述词汇特征子序列中包含的词汇特征相加，得到所述每个节点对应的节点特征；根据所述语篇逻辑关系图与预设传递距离，确定所述每个节点对应的相邻节点集合；结合预设连接权重矩阵，将所述每个节点对应的节点特征与所述相邻节点集合中每个相邻节点对应的相邻节点特征进行卷积与激活处理，以实现所述每个节点与相邻节点之间的节点特征传递，得到所述推理特征；所述预设连接权重矩阵表征所述连接关系中不同类型对应的权重；所述连接类型表征语篇之间分隔符的类型。
18.上述装置中，所述特征传递模块，还用于利用图卷积网络中的卷积层，根据所述预设连接权重矩阵与所述卷积层中的节点权重矩阵，对所述节点特征与每个相邻节点特征进行线性加权求和，得到中间推理特征；在所述图卷积网络的全连接层中，根据所述全连接层中的激活矩阵，对所述中间推理特征与所述节点特征进行激活处理，得到所述推理特征。
19.上述装置中，所述智能问答装置还包括训练模块，所述训练模块，用于所述利用图卷积网络中的卷积层，根据所述预设连接权重矩阵与所述卷积层中的节点权重矩阵，对所述节点特征与每个相邻节点特征进行线性加权求和，得到中间推理特征之前，获取训练样本集；所述训练样本集中的每个训练样本包含正确答案标注样本；使用所述训练样本集，对初始图卷积网络进行迭代训练，得到每次训练的训练预测答案；所述初始图卷积网络包含初始节点权重矩阵与初始激活矩阵；根据训练预测答案与正确答案标注样本，得到训练误差，根据所述训练误差对所述初始节点权重矩阵与所述初始激活矩阵进行迭代更新，直至训练结束，得到所述节点权重矩阵与所述激活矩阵对应的图卷积网络。
20.上述装置中，所述预测模块，还用于根据所述每个节点对应的词汇特征子序列，在所述词汇特征子序列中的每个词汇特征上对应叠加所述推理特征，得到增强词汇特征序列；基于所述增强词汇特征序列进行推理预测，得到所述当前备选答案为正确答案的概率；并基于所述预设备选答案集合中每个备选答案对应的概率，确定所述目标问题对应的目标预测答案。
21.上述装置中，所述语篇划分模块，还用于从所述当前备选答案、所述预设背景知识与所述目标问题各自对应的文本内容中，分别识别出属于预设分隔字符表的目标分隔字符；所述预设分隔字符表包含至少一种预设分隔符类型的分隔字符；在所述当前备选答案、所述预设背景知识与所述目标问题各自对应的文本内容中，将所述目标分隔字符两侧的文本内容部分分别作为一个语篇，得到与所述当前备选答案、所述预设背景知识与所述目标问题对应的所述语篇集合；根据所述目标分隔字符对应的预设分隔符类型，得到每个语篇之间不同类型的连接关系。
22.上述装置中，所述词汇特征处理模块，还用于使用预设连接符，连接所述预设背景
知识、所述目标问题与所述当前备选答案各自对应的文本内容，得到输入文本；并对所述输入文本进行分词处理，得到输入序列；使用预训练语言模型，对所述输入序列进行多级注意力机制加权处理，得到所述词汇特征序列；所述预训练语言模型用于对输入的词汇序列进行词汇级特征向量提取与注意力处理。
23.本技术实施例提供一种电子设备，包括：
24.存储器，用于存储可执行指令；
25.处理器，用于执行所述存储器中存储的可执行指令时，实现本技术实施例提供的智能问答方法。
26.本技术实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本技术实施例提供的智能问答方法。
27.本技术实施例具有以下有益效果：
28.通过构建语篇逻辑关系图并经过图神经网络进行卷积传播来得到增强文本特征，可以使得增强文本特征中包含不同语篇之间复杂的逻辑关系，这样，答案推理预测模型在对增强文本特征进行内容理解时，能够更好地学习到不同语篇之间地逻辑关系，从而提高推理预测的准确性，进而提高了智能问答的准确性。
附图说明
29.图1是本技术实施例提供的智能问答系统架构的一个可选的结构示意图；
30.图2是本技术实施例提供的智能问答装置的一个可选的结构示意图；
31.图3是本技术实施例提供的智能问答方法的一个可选的流程示意图；
32.图4是本技术实施例提供的语篇逻辑关系图的一个可选的效果示意图；
33.图5是本技术实施例提供的智能问答方法的一个可选的流程示意图；
34.图6是本技术实施例提供的智能问答方法的一个可选的流程示意图；
35.图7是本技术实施例提供的实际应用场景下的智能问答方法的流程示意图。
具体实施方式
36.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，所描述的实施例不应视为对本技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
37.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
38.如果申请文件中出现“第一/第二”的类似描述则增加以下的说明，在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
39.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
40.对本技术实施例进行进一步详细说明之前，对本技术实施例中涉及的名词和术语进行说明，本技术实施例中涉及的名词和术语适用于如下的解释。
41.1)人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
42.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
43.2)自然语言处理(nature language processing,nlp)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
44.3)机器学习(machine learning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
45.4)问答系统(question answering system，简称qa):一般给定背景知识文本p，可能是若干句话或者若干段落，以及一个问题q，计算机需要根据c和q来得到对应的正确答案a。在本发明中，a需要计算机从若干个备选答案中选择得到。
46.5)逻辑推理(logical reasoning):需要计算机理解背景知识文本中的复杂逻辑，而且通常是句子级别的逻辑关系，例如如果a句成立，那么下面那句话是错误的；或者下面那句话是a句所需要依赖的等等。这类推理需要计算机理解句子之间的逻辑关系，而不仅仅是词汇之间的简单关系。
47.6)语篇(discourse)：一个完整的句子可能包括多个子句，而这些子句之间可能有不同的关系，如因果、并列、递进、对比等等。这类子句便被成为语篇。例如，“他今天不能来上班了，因为他生病请了病假”，这里“他生病请了病假”和“他今天不能来上班了”便是存在着因果关系的两个语篇。
48.7)预训练语言模型(pre
‑
train language model):通过大规模语料以及无监督任务训练得到的一个多层复杂模型，对于语言有较好的理解能力。一般将其看作一个黑盒，将输入的文本转化为新的特征表示，并将该特征作为最终任务模型的输入从而在各类nlp任务上达到更好的效果。
49.随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如
常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
50.本技术实施例提供的方案涉及人工智能的自然语言处理技术，包括知识图谱相关的表示学习技术、自然语言处理领域的机器翻译技术及实体分类技术等，具体通过如下实施例进行说明:
51.目前，相关技术在解决复杂逻辑推理问答任务时，往往还是按照解决简单问答任务的方法，直接使用预训练语言模型，如bert或roberta模型，按照处理传统简单问答任务，如使用斯坦福问答数据库(the stanford question an swering dataset,squad)，进行模型预测得到预测答案。对于一个给定的背景文本p和问题q，以及一个备选答案a，相关技术所采用的方法是将p、q、a三者通过特定分割符连接起来，作为单个输入序列输入到预训练语言模型，将预训练语言模型最终输出的特征输入到一个全连接网络(fully connected neu ral network)，得到当前备选答案a是给定的p和q正确答案的概率。相关技术对于不同的备选答案分别使用上述方法，将概率最高的备选答案a作为正确答案。
52.然而，简单问答任务相比于逻辑推理问答任务，一般只需要对若个个词汇有一定理解便可以得到答案，因此相关技术在使用上述单输入序列并结合注意力(attention)机制来完成简单问答任务也可以得到不错的效果。但是逻辑推理不仅仅需要对于若干个词汇之间关系的理解，更需要对于不同语篇(discour se)之间复杂的逻辑关系进行理解才能有效地得到答案，因此相关技术在逻辑推理问答任务上的表现效果不佳，准确性较低。
53.本技术实施例提供一种智能问答方法、装置、设备和计算机可读存储介质，能够提高智能问答的准确性，下面说明本技术实施例提供的电子设备的示例性应用，本技术实施例提供的电子设备可以实施为笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端，也可以实施为服务器。下面，将说明电子设备实施为或服务器时示例性应用。
54.参见图1，图1是本技术实施例提供的智能问答系统100的一个可选的架构示意图，为实现支撑一个智能问答应用，终端400通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。
55.终端400用于在提供智能问答的客户端界面410显示智能问答交互接口，通过智能问答交互接口接收用户提出的目标问题，将目标问题通过网络300发送至服务器200。
56.服务器200用于根据目标问题，在数据库500中的预设知识数据库中匹配出目标问题相关的预设背景文本与预设备选答案集合；对预设背景知识、目标问题与预设备选答案集合中的当前备选答案进行文本语篇划分，得到语篇集合以及每个语篇之间的连接关系；对预设背景知识、目标问题与当前备选答案进行词汇级特征处理，得到词汇特征序列；词汇特征序列包含预设背景知识、目标问题与当前备选答案中每个词汇对应的词汇特征；将每个语篇作为节点，根据连接关系连接每个节点，生成语篇逻辑关系图；根据每个节点在词汇特征序列中对应的词汇特征得到每个节点的节点特征；并根据语篇逻辑关系图，在每个节点与相邻节点之间进行节点特征传递，得到每个节点对应的推理特征；结合推理特征与词汇特征序列，确定目标问题对应的目标预测答案；服务器进而将目标预测答案通过网络300
发送给终端400，由终端400上的智能问答的客户端界面410将目标问题对应的预测答案呈现给用户。
57.在一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本发明实施例中不做限制。
58.参见图2，图2是本技术实施例提供的服务器200的结构示意图，图2所示的服务器200包括：至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。服务器200中的各个组件通过总线系统440耦合在一起。可理解，总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统440。
59.处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(dsp，digital signal processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
60.用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
61.存储器450可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。
62.存储器450包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(rom，read only me mory)，易失性存储器可以是随机存取存储器(ram，random access memor y)。本技术实施例描述的存储器450旨在包括任意适合类型的存储器。
63.在一些实施例中，存储器450能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
64.操作系统451，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
65.网络通信模块452，用于经由一个或多个(有线或无线)网络接口420到达其他计算设备，示例性的网络接口420包括：蓝牙、无线相容性认证(wifi)、和通用串行总线(usb，universal serial bus)等；
66.呈现模块453，用于经由一个或多个与用户接口430相关联的输出装置431(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
67.输入处理模块454，用于对一个或多个来自一个或多个输入装置432之一的一个或
多个用户输入或互动进行检测以及翻译所检测的输入或互动。
68.在一些实施例中，本技术实施例提供的装置可以采用软件方式实现，图2示出了存储在存储器450中的智能问答装置455，其可以是程序和插件等形式的软件，包括以下软件模块：语篇划分模块4551、词汇特征处理模块4552、图生成模块4553、特征传递模块4554和预测模块4555，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。
69.将在下文中说明各个模块的功能。
70.在另一些实施例中，本技术实施例提供的装置可以采用硬件方式实现，作为示例，本技术实施例提供的装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本技术实施例提供的。。方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(asic，application specific inte grated circuit)、dsp、可编程逻辑器件(pld，programmable logic device)、复杂可编程逻辑器件(cpld，complex programmable logic device)、现场可编程门阵列(fpga，field
‑
programmable gate array)或其他电子元件。
71.将结合本技术实施例提供的服务器的示例性应用和实施，说明本技术实施例提供的智能问答方法。
72.参见图3，图3是本技术实施例提供的智能问答方法的一个可选的流程示意图，将结合图3示出的步骤进行说明。
73.s101、对预设背景知识、目标问题与预设备选答案集合中的当前备选答案进行文本语篇划分，得到语篇集合以及每个语篇之间的连接关系。
74.本技术实施例提供的智能问答方法可以应用于基于人工智能的自然语言处理的在线问答系统中，以解决由用户提出的复杂的逻辑推理问题，如职业考试题、常识推理题等等。
75.本技术实施例中，智能问答装置可以接收用户发起的提问作为目标问题，并根据预设知识数据库得到目标问题对应的预设背景知识以及预设备选答案集合。智能问答装置可以将预设背景知识p、目标问题q以及预设备选答案集合a
c
作为逻辑推理文本集合(p,q,a
c
)，其中，预设备选答案集合a
c
中可以包含m个预设备选答案，a
c
＝{a1,a2,
…
,a
m
}，m为大于或等于1的正整数。
76.本技术实施例中，智能问答装置可以对逻辑推理文本集合进行语篇划分，得到逻辑推理文本集合对应的语篇集合，以在后续的处理过程中，可以根据语篇级别的特征向量进行智能问答任务的推理预测。
77.在一些实施例中，智能问答可以使用预设分隔字符表，通过识别当前备选答案、预设背景知识与目标问题中的预设分隔字符，对当前备选答案、预设背景知识与目标问题进行语篇划分。在一些实施例中，智能问答也可以神经网络模型例如语篇分析器(discourse parser)对当前备选答案、预设背景知识与目标问题进行语篇划分。具体的根据实际情况进行选择，本技术实施例不作限定。
78.s102、对预设背景知识、目标问题与当前备选答案进行词汇级特征处理，得到词汇特征序列；词汇特征序列包含预设背景知识、目标问题与当前备选答案中每个词汇对应的词汇特征。
79.本技术实施例中，智能问答装置对预设背景知识、目标问题与当前备选答案各自对应的文本内容进行词汇级特征向量处理，得到预设背景知识、目标问题与当前备选答案中每个词汇的特征表达作为词汇特征序列，以在词汇特征序列的基础上进行进一步的语义理解与逻辑推理。
80.本技术实施例中，智能问答装置可以对预设背景知识、目标问题与当前备选答案各自对应的文本内容分别进行分词处理，得到包含预设背景知识、目标问题与当前备选答案中各个词汇的词汇集合，智能问答装置进而通过特征提取或特征学习网络从词汇集合的每个词汇中提取特征，并对特征进行理解学习，得到每个词汇的词汇特征向量。
81.在一些实施例中，智能问答装置可以利用预训练语言模型，对词汇集合中的每个词汇进行语义理解与注意力机制处理，进而输出词汇特征序列。
82.在一些实施例中，智能问答装置也可以通过预训练的词向量表如glove，以查表的方式得到预设背景知识、目标问题与当前备选答案中每个词汇对应的词汇特征，作为词汇特征序列。或者，智能问答装置也可以通过端到端的递归神经网络(recurrent neural network，rnn)或者transformer得到词汇特征序列，具体的根据实际情况进行选择，本技术实施例不作限定。
83.这里，s102可以是跟s101并列的过程，也可以在s101之前或之后执行，本技术实施例对s101与s102之间的执行次序不作限定。
84.s103、将每个语篇作为节点，根据连接关系连接每个节点，生成语篇逻辑关系图。
85.本技术实施例中，智能问答装置根据语篇划分时，分隔每个相邻语篇之间的预设分隔字符，得到每个相邻语篇之间的连接关系。智能问答装置将每个语篇作为节点，根据连接关系将相邻节点连接起来，得到语篇逻辑关系图g＝(v,e)。其中，v∈r
n
×
d
为节点的特征矩阵。在一些实施例中，当语篇划分的预设分隔符包含两种预设分隔符类型时，对于节点间的连接关系可以对应分为两种不同类型，则e∈r2×
n
×
n
为对应的连接关系矩阵。其中，n表示语篇逻辑关系图中的节点的个数，即语篇的数量，n
×
n表示节点两两之间的连接关系。
86.在一些实施例中，语篇逻辑关系图可以如图4所示。图4中的节点e1
‑
e6对应于各个不同的语篇，图4中的各个节点之间的连接线可以根据语篇划分阶段中识别的每个相邻语篇之间的分隔符得到，图4中的不同种类连接线对应不同类型的分隔符，例如，以实线或虚线表示的连接线可以分别对应连接词分隔符或符号分隔符等等。
87.这里，由于不同的语篇之间没有文本内容的重叠，智能问答装置在生成语篇逻辑关系图，可以一次对多个语篇进行并行处理，同时完成多个节点之间的连接，提高处理效率。
88.s104、根据每个节点在词汇特征序列中对应的词汇特征得到每个节点的节点特征；并根据语篇逻辑关系图，在每个节点与相邻节点之间进行节点特征传递，得到每个节点对应的推理特征。
89.本技术实施例中，由于词汇特征序列中包含了预设背景知识、目标问题与当前备选答案中每个词汇的特征向量，智能问答装置可以根据词汇特征序列，将各个语篇中的词汇在词汇特征序列中对应的词汇特征向量进行特征聚合，作为每个语篇的语篇特征，进而将每个语篇的语篇特征作为语篇逻辑关系图中对应节点的节点特征。
90.本技术实施例中，智能问答装置可以根据语篇逻辑关系图，利用图卷积网络，对每
个节点的节点特征与相邻节点的节点特征进行卷积处理，实现每个语篇与相邻语篇之间的特征传播，使得传播后每个语篇特征可以带有其相邻语篇的特征信息，作为每个语篇的推理特征。
91.s105、结合推理特征与词汇特征序列，确定目标问题对应的目标预测答案。
92.本技术实施例中，智能问答装置可以将推理特征与词汇特征序列中每个词汇特征向量相结合，使得结合后的每个词汇级别的特征向量中可以包含有其所在语篇的整体语篇特征。这样，后续的推理网络在对词汇级别的增强特征序列进行处理时，不仅可以学习到词汇之间的关系，还可以学习到词汇所在的语篇之间的逻辑关系，更有助于提高推理的准确性。
93.示例性地，可以通过特征相加的方式将推理特征与词汇特征序列中的原词汇特征向量相结合，也可以使用其他计算方式进行结合处理，以使得到的每个处理后的词汇特征中能够包含其对应词汇所在语篇以及相邻语篇级别的特征信息。具体的根据实际情况进行选择，本技术实施例不作限定。
94.本技术实施例中，智能问答装置可以将增强特征序列输入训练好的答案预测模型，利用答案预测模型对增强特征序列进行答案推理预测，得到当前备选答案为正确答案的概率。
95.本技术实施例中，智能问答装置可以对预设备选答案集合中每个备选答案进行相同过程的处理，得到每个备选答案对应的概率，并且根据每个备选答案对应的概率确定出目标问题对应的预测答案，示例性地，为正确答案的概率最高的备选答案作为预测答案。
96.在一些实施例中，答案预测模型可以是一个双向的循环神经网络，如门控循环单元(gated recurrent unit，gru)与一个全连接网络的结合。
97.可以理解的是，本技术实施例中，通过构建语篇逻辑关系图并经过图神经网络进行卷积传播来得到增强文本特征，可以使得增强文本特征中包含不同语篇之间复杂的逻辑关系，这样，答案推理预测模型在对增强文本特征进行内容理解时，能够更好地学习到不同语篇之间地逻辑关系，从而提高推理预测的准确性，进而提高了智能问答的准确性。
98.在一些实施例中，s101的过程可以通过执行s1011
‑
s1013来实现，将结合各步骤进行说明。
99.s1011、从当前备选答案、预设背景知识与目标问题各自对应的文本内容中，分别识别出属于预设分隔字符表的目标分隔字符；预设分隔字符表包含至少一种预设分隔符类型的分隔字符。
100.本技术实施例中，智能问答装置可以使用预先定义了一系列连接词和标点符号的数据集作为预设分隔字符表，通过预设分隔字符表在当前备选答案、预设背景知识与目标问题对应的文本内容中进行匹配，识别出属于预设分隔字符表的目标分隔字符，目标分隔字符可以是至少一个预设分隔字符表中的词汇或者符号。
101.在一些实施例中，预设分隔字符表可以是pdtb2.0数据集，或者其他类似的数据集，本技术实施例不作限定。
102.s1012、在当前备选答案、预设背景知识与目标问题各自对应的文本内容中，将目标分隔字符两侧的文本内容部分分别作为一个语篇，得到与当前备选答案、预设背景知识与目标问题对应的语篇集合。
103.本技术实施例中，智能问答装置可以将预设分隔字符两侧的文本内容部分分别作为一个语篇，根据当前备选答案、预设背景知识与目标问题的全部文本内容得到语篇集合。
104.在一些实施例中，以将pdtb2.0作为预设分隔字符表，对预设背景知识为“a signal in a pure analog system can be infinitely detailed,while digital sy stems cannot produce signals that are more precise than their digital units.wi th this theoretical advantage
…”
进行语篇划分为例，由于“，”、“while”和“.”都在pdtb2.0中，智能问答装置可以识别到预设背景知识中的目标分隔字符为“a signal in a pure analog system can be infinitely detailed【,while】digit al systems cannot produce signals that are more precise than their digital unit s【.】with this theoretical advantage
…”
。智能问答装置将目标分隔字符两侧的文本内容分别作为一个语篇，从而可以得到3个语篇：1)a signal in a pur e analog system can be infinitely detailed；2)digital systems cannot produce signals that are more precise than their digital units；3)with this theoretical advantage
…
作为预设背景知识在语篇集合中对应的三个语篇。
105.s1013、根据目标分隔字符对应的预设分隔符类型，得到每个语篇之间不同类型的连接关系。
106.本技术实施例中，预设分隔字符的分隔符类型至少包括连接词类型与符号类型，智能问答装置可以根据预设分隔字符的分隔符类型，对应地定义语篇之间的连接关系类型，以根据语篇之间的不同连接关系类型，在后续的特征传递过程中进行不同权重值的加权处理。
107.在一些实施例中，如果语篇d
i
和d
i 1
是由连接词分隔的，则可以将语篇d
i
和d
i 1
之间的连接关系类型定义为第一边类型。如果语篇d
i
和d
i 1
是由符号分隔的，则可以将语篇d
i
和d
i 1
之间的连接关系类型定义为第二边类型。具体的根据实际情况进行设定，本技术实施例不作限定。
108.可以理解的是，本技术实施例中，通过语篇划分得到语篇集合与每个语篇之间的连接关系，可以将语篇作为逻辑推理的基础，在后续进行推理预测过程中使得推理模型充分学习到语篇之间的逻辑关系，以提高智能问答的准确性。
109.在一些实施例中，s102的过程可以通过执行s1021
‑
s1022来实现，将结合各步骤进行说明。
110.s1021、使用预设连接符，连接预设背景知识、目标问题与当前备选答案各自对应的文本内容，得到输入文本；并对输入文本进行分词处理，得到输入序列。
111.本技术实施例中，智能问答装置可以使用预设连接符，将预设背景知识、目标问题与当前备选答案连接为一个文本，作为输入文本。
112.在一些实施例中，预设连接符可以是表征输入文本的开始的连接符<s>，即无论输入文本多长，其开头都会增加一个<s>字符；以及表示不同类型文本之间的连接符</s>，智能问答装置可以根据预设连接格式，如<s>p</s>q a
i
</s>来连接预设背景知识、目标问题与当前备选答案，作为输入文本。
113.本技术实施例中，智能问答装置可以对输入文本进行一元或多元的分词处理，将输入文本转化为以单个词汇为单位的词汇序列，作为输入序列。
114.s1022、使用预训练语言模型，对输入序列进行多级注意力机制加权处理，得到词汇特征序列；预训练语言模型用于对输入的词汇序列进行词汇级特征向量提取与注意力处理。
115.本技术实施中，智能问答装置可以使用已经训练好的预训练语言模型，对输入序列进行多级注意力机制加权处理，得到词汇特征序列。其中，预设背景知识、当前备选答案以及目标问题中的每个词汇都对应于词汇特征序列中对应位置上的一个词汇特征向量。
116.在一些实施例中，预训练语言模型可以使用roberta模型，预训练语言模型输出的词汇特征序列可以以f表示，f的维度为l
×
d。这里，l为整个输入序列的长度，而d为预训练模型的输出特征维度。
117.可以理解的是，本技术实施例中，通过预训练语言模型，对输入序列进行多级注意力机制加权处理，使得文本内容中的词汇级别的注意力机制也得到了保留，进一步丰富了特征表达的信息内容，从而提高了基于特征表达进行逻辑推理的准确性。
118.参见图5，图5是本技术实施例提供的智能问答方法的一个可选的流程示意图。基于图3，s104可以通过执行s1041
‑
s1044来实现，将结合各步骤进行说明。
119.s1041、根据每个节点对应的至少一个词汇，从词汇特征序列中确定出至少一个词汇对应的词汇特征子序列；至少一个词汇为每个节点对应的语篇中包含的词汇。
120.本技术实施例中，每个语篇对应的语篇文本内容是由词汇组成的，每个词汇在词汇特征序列中有对应的词汇特征。因此，智能问答装置可以根据将每个语篇中包含的词汇作为每个节点对应的至少一个词汇，根据至少一个词在词汇特征序列中对应的词汇位置，确定出至少一个词汇特征，作为词汇特征子序列。
121.s1042、将词汇特征子序列中包含的词汇特征相加，得到每个节点对应的节点特征。
122.本技术实施例中，智能问答装置可以标词汇特征子序列中包含的每个目标词汇特征进行特征相加，从而得到每个语篇对应的语篇特征。
123.在一些实施例中，可以通过公式(1)，计算语篇d
i
对应的语篇特征v
i
，如下：
[0124][0125]
公式(1)中，f(l)指词汇特征序列中l位置的词汇特征向量，l对应于语篇d
i
中包含的词汇。
[0126]
s1043、根据语篇逻辑关系图与预设传递距离，确定每个节点对应的相邻节点集合。
[0127]
本技术实施例中，智能问答装置可以根据预设传递距离，在语篇逻辑关系图确定出每个节点对应的相邻节点，作为相邻节点集合。
[0128]
在一些实施例中，基于如图4所示的语篇逻辑关系图，当预设传递距离为1时，节点e2对应的相邻节点集合可以包含{e1,e3}；当预设传递距离为2时，节点e2对应的相邻节点集合可以包含{e1,e3,e4}。可以看出，预设传递距离表征节点特征所能传递的距离。预设传递距离越远，相邻节点集合的信息越丰富。
[0129]
这里，在实际应用过程中可以根据需要进行预设传递距离的设定，本技术实施例不做限定。
[0130]
s1044、结合预设连接权重矩阵，将每个节点对应的节点特征与相邻节点集合中每个相邻节点对应的相邻节点特征进行卷积与激活处理，以实现每个节点与相邻节点之间的节点特征传递，得到推理特征；预设连接权重矩阵表征连接关系中不同类型对应的权重；连接类型表征语篇之间分隔符的类型。
[0131]
本技术实施例中，对于语篇逻辑关系图中的每个节点，智能问答装置将每个节点对应的节点特征与相邻节点集合中每个相邻节点对应的相邻节点特征进行卷积与激活处理，以此在每个节点与相邻节点之间进行节点特征传递，得到每个节点对应的推理特征。
[0132]
本技术实施例中，预设权重矩阵用于对连接关系的不同类型定义不同的权重。
[0133]
在一些实施例中，智能问答装置可以利用图卷积网络还进行上述的卷积与激活处理过程，s1044可以通过执行s201
‑
s202来实现，将结合各步骤进行说明。
[0134]
s201、利用图卷积网络中的卷积层，根据预设连接权重矩阵与卷积层中的节点权重矩阵，对节点特征与每个相邻节点特征进行线性加权求和，得到中间推理特征。
[0135]
本技术实施例中，图卷积网络包括卷积层，智能问答装置利用卷积层中的节点权重矩阵，结合根据不同连接关系类型得到的预设连接权重矩阵，对每个节点的节点特征与每个相邻节点特征进行线性加权求和的卷积处理，得到中间推理特征，如公式(2)所示，如下：
[0136][0137]
公式(2)中，v
i
为每个节点的节点特征，为每个节点的相邻节点集合，为相邻节点集合中的相邻节点个数，v
j
为相邻节点集合中的一个相邻节点的相邻节点特征。w
v
与b
v
为对节点特征进行线性加权的节点权重矩阵，其中，w
v
为d
×
d矩阵形式，b
v
为1
×
d的向量，w
v
与b
v
的作用就是将v
i
变换到不同维度的特征空间。w
r
为预设连接权重矩阵，中的相邻节点与当前节点之间可能存在不同类型的连接关系，不同类型的连接关系对应不同的预设连接权重矩阵，其中，r表示不同的边类型；在一些实施例中，r可以取1或2。为计算得到的中间推理特征。
[0138]
这里，w
v
与b
v
为固定的可学习参数，可以通过对图卷积网络的训练得到，将在之后进行说明。
[0139]
s202、在图卷积网络的全连接层中，根据全连接层中的激活矩阵，对中间推理特征与节点特征进行激活处理，得到推理特征。
[0140]
本技术实施例中，图卷积网络包括全连接层，智能问答装置利用全连接层的激活矩阵，对每个节点的节点特征与中间推理特征进行激活处理，得到推理特征。其过程可以如公式(3)所示，如下：
[0141][0142]
公式(3)中，relu表示非线性激活处理；w
u
与b
u
为全连接层中可学习的激活矩阵，可以在图卷积网络的训练过程中进行更新；v’i
为节点特征v
i
对应的推理特征。
[0143]
在一些实施例中，上述图卷积网络可以通过训练得到，s1044之前，还可以执行
s301
‑
s303，如下：
[0144]
s301、获取训练样本集；训练样本集中的每个训练样本包含正确答案标注样本。
[0145]
本技术实施例中，智能问答装置可以获取训练样本集以对初始图卷积网络进行训练。在一些实施例中，训练样本集中的每个训练样本可以表示为(p,q,a
c
,a)，其中，a为正确答案标注样本。
[0146]
s302、使用训练样本集，对初始图卷积网络进行迭代训练，得到每次训练的训练预测答案；初始图卷积网络包含初始节点权重矩阵与初始激活矩阵。
[0147]
本技术实施例中，初始图卷积网络包含初始节点权重矩阵与初始激活矩阵。其中，初始节点权重矩阵与初始激活矩阵均为默认的初始值。智能问答装置可以使用训练样本集，对初始图卷积网络进行迭代训练，得到每次训练的训练预测答案。
[0148]
s303、根据训练预测答案与正确答案标注样本，得到训练误差，根据训练误差对初始节点权重矩阵与初始激活矩阵进行迭代更新，直至训练结束，得到节点权重矩阵与激活矩阵对应的图卷积网络。
[0149]
本技术实施例中，智能问答装置将训练预测答案与正确答案标注样本之间的差异作为训练误差，根据训练误差对初始节点权重矩阵与初始激活矩阵进行反向的参数更新，在每次训练过程中对初始节点权重矩阵与初始激活矩阵中矩阵元素的值进行迭代更新，直至训练结束，得到节点权重矩阵与激活矩阵对应的训练后的矩阵元素值，得到图卷积网络。
[0150]
可以理解的是，通过对图卷积网络的训练得到节点权重矩阵与激活矩阵，可以使得图卷积网络进行卷积激活处理后得到的节点特征更加准确，进而提高智能问答任务的准确性。
[0151]
参见图6，图6是本技术实施例提供的智能问答方法的一个可选的流程示意图。基于图3或图5，s105可以通过执行s1051
‑
s1052来实现，将结合各步骤进行说明。
[0152]
s1051、根据每个节点对应的词汇特征子序列，在词汇特征子序列中的每个词汇特征上对应叠加推理特征，得到增强词汇特征序列。
[0153]
本技术实施例中，每个语篇在词汇特征序列对应由目标词汇特征子序列，每个语篇为语篇逻辑关系图的一个节点，智能问答装置可以将每个语篇对应的目标词汇特征子序列，作为相应节点对应的目标词汇特征子序列，从而确定出个节点在词汇特征序列中对应的目标词汇特征子序列。
[0154]
本技术实施例中，在词汇特征序列中，智能问答装置将每个词汇特征向量与其所在语篇的推理特征相加，得到该词汇特征向量增强后的增强词汇特征向量，如公式(4)所示：
[0155]
f’(l)＝f(l) v’n
ꢀꢀꢀ
(4)
[0156]
公式(4)中，f’∈r
l
×
d
，第l个词汇属于语篇d
n
。
[0157]
s1052、基于增强词汇特征序列进行推理预测，得到当前备选答案为正确答案的概率；并基于预设备选答案集合中每个备选答案对应的概率，确定目标问题对应的目标预测答案。
[0158]
本技术实施例中，增强词汇特征序列中同时包含了词汇级别的特征表达与语篇级别的特征表达，智能问答装置可以基于增强词汇特征序列进行推理预测，得到当前备选答案为正确答案的概率。智能问答装置对预设备选答案集合中每个备选答案进行相同过程的
处理，得到每个备选答案对应的概率，从中确定出最高概率对应的备选答案作为目标预测答案。
[0159]
可以理解的是，本技术实施例中，智能问答装置通过语篇的特征以及语篇之间的关系构建语篇逻辑关系图，并经过图神经网络对每个语篇的特征进行传递，可以使得后续的推理模型能够更好地学习到不同语篇之间地逻辑关系，同时词汇级别的注意力机制也得到了保留，使得推理模型能处理不同层次的信息，从而提高了智能问答的准确性。
[0160]
下面，将结合图7，说明本技术实施例在一个实际的应用场景中的示例性应用。
[0161]
对于实际应用场景中的一个逻辑推理，如语言类考试中的阅读理解问题，智能问答装置可以获取阅读理解问题对应的预设背景文本p、目标问题q以及备选答案集合中的当前备选答案a
i
。智能问答装置在语篇分割阶段，使用预设分割字符集，对预设背景文本p、目标问题q以及当前备选答案a
i
对应的文本信息分别进行语篇分割，得到预设背景文本p、问题q以及当前备选答案a
i
共同对应的语篇集合d＝{d1,d2,
…
,d
n
}。
[0162]
在与语篇分割阶段并列的预训练语言模型特征提取阶段，智能问答装置会将预设背景文本p、问题q以及当前备选答案a
i
用特殊连接符，如文本开始符<s>与文本分割符</s>连接起来，作为预训练语言模型的输入序列。预训练语言模型将对输入序列进行词汇级别的特征提取以及多级的词汇级别的注意力机制加权，输出输入序列中所有词汇经过处理后的词汇级特征向量，也即p、q和a
i
中包含的词汇级特征向量，作为词汇特征序列f，以将f与语篇分割阶段得到的语篇集合d＝{d1,d2,
…
,d
n
}相结合，共同进行语篇逻辑关系图的建立。
[0163]
在建立语篇逻辑关系图的阶段，将语篇集合d＝{d1,d2,
…
,d
n
}中的单个语篇d
i
作为语篇逻辑关系图中的节点，节点的特征可以由d
i
中包含的至少一个词汇在词汇特征序列f中对应的特征向量相加得到。智能问答装置将语篇分割时所识别到的不同语篇之间的连接词的类型作为边类型，根据对应的边类型将不同的节点连接起来，得到如图4所示的语篇逻辑关系图g＝(v,e)。
[0164]
在图卷积网络处理阶段，智能问答装置可以通过图卷积网络对语篇逻辑关系图中的信息进行传递，利用上述公式(2)与公式(3)，将每个节点的特征信息向相邻节点传递，通过多层图卷积网络来实现多级信息传递，最终实现计算对语篇逻辑关系图中所有节点的特征传递，完成语篇逻辑关系图的推理，得到推理后的每个节点对应的推理特征v’i
∈r
d
。
[0165]
智能问答装置将词汇特征序列f中包含的每个词汇特征向量与其所在的语篇对应的推理特征，即节点的推理特征相加，得到增强词汇特征序列f’∈r
l
×
d
。
[0166]
在答案预测阶段，智能问答装置将增强词汇特征序列f’输入到预先训练完成的答案预测模型中，由答案预测模型输出当前备选答案a
i
为正确答案的概率。智能问答装置可以将备选答案集合中的每个备选答案作为当前备选答案进行相同过程的处理，得到每个备选答案对应为正确答案的概率，进而将最高概率对应的备选答案作为目标问题q的正确答案，完成对目标问题的智能问答任务。
[0167]
通过图7的过程可以看出，本技术实施例提供的智能问答方法，考虑了语篇级别文本划分，并使用图卷积网络进行逻辑推理来增强原有的基于预训练语言模型的表示，相比于目前仅使用预训练语言模型的方法，本技术实施例提供的智能问答方法在准确率上有着明显提升。申请人基于两个逻辑推理问答数据集，如reclor和logiqa，将本技术实施例提供的智能问答方法与目前智能问答方法如bert
‑
large和roberta
‑
large进行了对比实验，对
比实验结果如表1所示。表1中对比数据的指标为准确率百分比。
[0168][0169]
表1
[0170]
下面继续说明本技术实施例提供的智能问答装置455的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器450的智能问答装置455中的软件模块可以包括：语篇划分模块4551、词汇特征处理模块4552、图生成模块4553、特征传递模块4554、预测模块4555，其中，
[0171]
语篇划分模块4551，用于对预设背景知识与目标问题与预设备选答案集合中的当前备选答案进行文本语篇划分，得到语篇集合以及每个语篇之间的连接关系；
[0172]
词汇特征处理模块4552，用于对所述预设背景知识、所述目标问题与所述当前备选答案进行词汇级特征处理，得到词汇特征序列；所述词汇特征序列包含所述预设背景知识、所述目标问题与所述当前备选答案中每个词汇对应的词汇特征；
[0173]
图生成模块4553，用于将所述语篇集合中的每个语篇作为节点，根据所述连接关系连接每个节点，生成语篇逻辑关系图；
[0174]
特征传递模块4554，用于根据所述每个节点在所述词汇特征序列中对应的词汇特征得到每个节点的节点特征；并根据所述语篇逻辑关系图，在所述每个节点与相邻节点之间进行节点特征传递，得到所述每个节点对应的推理特征；
[0175]
预测模块4555，用于结合所述推理特征与所述词汇特征序列，确定所述目标问题对应的目标预测答案。
[0176]
在一些实施例中，所述特征传递模块4554，还用于根据所述每个节点对应的至少一个词汇，从所述词汇特征序列中确定出所述至少一个词汇对应的词汇特征子序列；所述至少一个词汇为所述每个节点对应的语篇中包含的词汇；将所述词汇特征子序列中包含的词汇特征相加，得到所述每个节点对应的节点特征；根据所述语篇逻辑关系图与预设传递距离，确定所述每个节点对应的相邻节点集合；结合预设连接权重矩阵，将所述每个节点对应的节点特征与所述相邻节点集合中每个相邻节点对应的相邻节点特征进行卷积与激活处理，以实现所述每个节点与相邻节点之间的节点特征传递，得到所述推理特征；所述预设连接权重矩阵表征所述连接关系中不同类型对应的权重；所述连接类型表征语篇之间分隔符的类型。
[0177]
在一些实施例中，所述特征传递模块4554，还用于利用图卷积网络中的卷积层，根据所述预设连接权重矩阵与所述卷积层中的节点权重矩阵，对所述节点特征与每个相邻节点特征进行线性加权求和，得到中间推理特征；在所述图卷积网络的全连接层中，根据所述
全连接层中的激活矩阵，对所述中间推理特征与所述节点特征进行激活处理，得到所述推理特征。
[0178]
在一些实施例中，所述智能问答装置还包括训练模块，所述训练模块，用于所述利用图卷积网络中的卷积层，根据所述预设连接权重矩阵与所述卷积层中的节点权重矩阵，对所述节点特征与每个相邻节点特征进行线性加权求和，得到中间推理特征之前，获取训练样本集；所述训练样本集中的每个训练样本包含正确答案标注样本；使用所述训练样本集，对初始图卷积网络进行迭代训练，得到每次训练的训练预测答案；所述初始图卷积网络包含初始节点权重矩阵与初始激活矩阵；根据训练预测答案与正确答案标注样本，得到训练误差，根据所述训练误差对所述初始节点权重矩阵与所述初始激活矩阵进行迭代更新，直至训练结束，得到所述节点权重矩阵与所述激活矩阵对应的图卷积网络。
[0179]
在一些实施例中，所述预测模块4555，还用于根据所述每个节点对应的词汇特征子序列，在所述词汇特征子序列中的每个词汇特征上对应叠加所述推理特征，得到增强词汇特征序列；基于所述增强词汇特征序列进行推理预测，得到所述当前备选答案为正确答案的概率；并基于所述预设备选答案集合中每个备选答案对应的概率，确定所述目标问题对应的目标预测答案。
[0180]
在一些实施例中，所述语篇划分模块4551，还用于从所述当前备选答案、所述预设背景知识与所述目标问题各自对应的文本内容中，分别识别出属于预设分隔字符表的目标分隔字符；所述预设分隔字符表包含至少一种预设分隔符类型的分隔字符；在所述当前备选答案、所述预设背景知识与所述目标问题各自对应的文本内容中，将所述目标分隔字符两侧的文本内容部分分别作为一个语篇，得到与所述当前备选答案、所述预设背景知识与所述目标问题对应的所述语篇集合；根据所述目标分隔字符对应的预设分隔符类型，得到每个语篇之间不同类型的连接关系。
[0181]
在一些实施例中，所述词汇特征处理模块4552，还用于词汇特征处理模块，还用于使用预设连接符，连接所述预设背景知识、所述目标问题与所述当前备选答案各自对应的文本内容，得到输入文本；并对所述输入文本进行分词处理，得到输入序列；使用预训练语言模型，对所述输入序列进行多级注意力机制加权处理，得到所述词汇特征序列；所述预训练语言模型用于对输入的词汇序列进行词汇级特征向量提取与注意力处理。
[0182]
需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本发明装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解。
[0183]
本技术实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本技术实施例提供的方法，例如，如图3、5、6中示出的方法。
[0184]
在一些实施例中，计算机可读存储介质可以是fram、rom、prom、ep rom、eeprom、闪存、磁表面存储器、光盘、或cd
‑
rom等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
[0185]
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在
计算环境中使用的其它单元。作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(html，hyper tex t markup language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
[0186]
综上所述，通过本技术实施例，通过构建语篇逻辑关系图并经过图神经网络进行卷积传播来得到增强文本特征，可以使得增强文本特征中包含不同语篇之间复杂的逻辑关系，这样，答案推理预测模型在对增强文本特征进行内容理解时，能够更好地学习到不同语篇之间地逻辑关系，从而提高推理预测的准确性，进而提高了智能问答的准确性；同时词汇级别的注意力机制也得到了保留，使得推理模型能处理不同层次的信息，进一步提高了智能问答的准确性。
[0187]
以上所述，仅为本技术的实施例而已，并非用于限定本技术的保护范围。凡在本技术的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本技术的保护范围之内。