问答方法、装置、设备及存储介质与流程

1.本技术属于信息处理技术领域，尤其涉及一种问答方法、装置、设备及存储介质。


背景技术：

2.问答系统是一种接收问题并返回相应答案的系统。随着科技的不断发展，问答系统的应用领域越来越丰富，例如导航、导购、教育、搜索等领域。
3.问答系统通常包括预先构建的问答对知识库，在问答对知识库中包括多个由问题和其对应的答案构成的问答对。问答系统在接收到问题后，可以在问答对知识库中查找该问题对应的答案，并将其输出。
4.然而，问答对知识库中的问答对，需要人工设置每个问答对中的问题及答案。


技术实现要素：

5.本技术实施例提供一种问答方法、装置、设备及存储介质，可以无需人工设置问答对中的问题及答案。
6.为了解决上述技术问题，本技术是这样实现的：
7.第一方面，本技术实施例提供了一种问答方法，包括：
8.接收目标问题；
9.将目标问题和多个预设子文本信息输入到相似度匹配模型，确定与目标问题相匹配的目标预设子文本信息；
10.将目标问题和目标预设子文本信息输入到问答模型，确定目标预设子文本信息中的目标开始位置和目标结束位置；
11.将目标开始位置和目标结束位置之间的文本信息确定为目标问题对应的目标答案，并输出。
12.第二方面，本技术实施例提供了一种问答装置，包括：
13.接收模块，用于接收目标问题；
14.第一确定模块，用于将目标问题和多个预设子文本信息输入到相似度匹配模型，确定与目标问题相匹配的目标预设子文本信息；
15.第二确定模块，用于将目标问题和目标预设子文本信息输入到问答模型，确定目标预设子文本信息中的目标开始位置和目标结束位置；
16.输出模块，用于将目标开始位置和目标结束位置之间的文本信息确定为目标问题对应的目标答案，并输出。
17.第三方面，本技术实施例提供了一种设备，包括：处理器以及存储有计算机程序指令的存储器；
18.处理器执行计算机程序指令时实现如第一方面的问答方法。
19.第四方面，本技术实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面的问答方法。
20.在本技术实施例中，通过接收目标问题，然后将目标问题和多个预设子文本信息输入到相似度匹配模型，可以确定与目标问题相匹配的目标预设子文本信息；之后，可以将目标问题和目标预设子文本信息输入到问答模型，确定目标预设子文本信息中的目标开始位置和目标结束位置；然后可以将目标开始位置和目标结束位置之间的文本信息确定为目标问题对应的目标答案，并输出。由于目标答案是目标预设子文本信息中目标开始位置和目标结束位置之间的文本信息，且目标问题和目标预设子文本信息并不需要人工关联，因此，可以无需人工设置问题及答案，即可在接收到问题后输出对应的答案。
附图说明
21.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1是本技术一个实施例提供的场景示意图；
23.图2是本技术另一个实施例提供的问答方法的流程示意图；
24.图3是本技术另一个实施例提供的构建问答对知识库的流程示意图；
25.图4是本技术另一个实施例提供的构建问答系统的流程示意图；
26.图5是本技术另一个实施例提供的问答装置的结构示意图；
27.图6是本技术又一个实施例提供的设备的结构示意图。
具体实施方式
28.下面将详细描述本技术的各个方面的特征和示例性实施例，为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本技术进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本技术，并不被配置为限定本技术。对于本领域技术人员来说，本技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本技术的示例来提供对本技术更好的理解。
29.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
30.如背景技术部分所描述，相关技术中的问答系统，其所使用的问答对知识库中的问答对，需要人工设置每个问答对中的问题及答案，这将消耗大量的人力成本。此外，对于那些未包含在问答对中的问题，相关技术中的问答系统将无法输出答案，导致问答系统的应用场景较为狭窄。
31.为了解决现有技术问题，本技术实施例提供了一种问答方法、装置、设备及存储介质。下面首先对本技术实施例所提供的问答方法进行介绍。
32.本技术实施例所提供的问答方法的执行主体，可以是一种问答装置，该问答装置可以是单台服务器或者由多台服务器组成的服务集群，该问答装置可以部署在运行问答系统的服务商所管理的机房。相应的应用场景可以如图1所示，在图1中，问答装置100可以接收目标问题，然后可以通过预先配置的相似度匹配模型和问答模型，输出与该目标问题对应的目标答案。由于输出的目标答案是预设子文本信息中开始位置和结束位置之间的文本信息，且目标问题和预设子文本信息并不需要人工关联，因此，可以无需人工设置问题及答案。
33.由于本技术实施例提供的问答方法中，需要利用预先训练好的相似度匹配模型和问答模型，因此，下面首先对相似度匹配模型和问答模型进行介绍，然后再对问答方法进行介绍。
34.可选的，相似度匹配模型的训练过程具体可以如下：获取双向编码器表征bert模型，以及第一训练样本；在bert模型后增加第一全连接层，得到第一初始模型；根据第一训练样本对第一初始模型进行迭代训练，得到相似度匹配模型。
35.在一些实施例中，可以利用第一训练样本对第一初始模型进行迭代训练，得到相似度匹配模型。
36.具体的，训练相似度匹配模型的训练样本可以称为第一训练样本，其可以利用通用中文语料库进行构建。第一训练样本可以包括多个问题、每个问题对应的答案、包括答案的文本信息。对于第一初始模型，可以在双向编码器表征(bidirectional encoder representation from transformers，bert)模型后增加一个全连接层，该全连接层可称为第一全连接层，以得到第一初始模型。
37.在一些实施例中，bert模型可以有多个输入，可以将与相似度匹配模型相关的输入称为第一输入，其也是第一初始模型的输入，第一输入可以是预先对文本信息进行划分得到的多个子文本信息。bert模型中与相似度匹配模型相关的输出可称为第一输出，其可以是第一全连接层的输入，第一输出可以是子文本信息的向量信息。相应的，第一全连接层的输出可以是第一初始模型的输出，即可以是子文本信息中包含问题的答案的概率。
38.值得一提的是，子文本信息的向量信息，可以不经过分词处理。
39.可选的，问答模型的训练过程具体可以如下：获取双向编码器表征bert模型，以及第二训练样本；在bert模型后增加第二全连接层，得到第二初始模型；根据第二训练样本对第二初始模型进行迭代训练，得到问答模型。
40.在一些实施例中，可以利用第二训练样本对第二初始模型进行迭代训练，得到问答模型。
41.具体的，训练问答模型的训练样本可以称为第二训练样本，其可以利用通用中文语料库进行构建。第二训练样本可以包括多个问题、每个问题对应的答案、包括答案的文本信息、答案在文本信息中的开始位置和结束位置。对于第二初始模型，其可以在bert模型后增加一个全连接层，以得到第二初始模型，该全连接层可以称为第二全连接层。
42.在一些实施例中，bert模型中与问答模型相关的输入可称为第二输入，其也是第二初始模型的输入，第二输入可以为问题和子文本信息。相应的，bert模型中与问答模型相关的输出可称为第二输出，其可以为第二全连接层的输入，第二输出为问题和子文本信息的向量信息，第二全连接层的输出为问题的答案在子文本信息中的开始位置、结束位置以
及开始位置和结束位置的概率，第二全连接层的输出为第二初始模型的输出。
43.下面开始介绍本技术实施例提供的问答方法。如图2所示，本技术实施例提供的问答方法包括以下步骤：
44.s210、接收目标问题。
45.在一些实施例中，目标问题可以是任意问题，目标问题可以是上述训练样本中的问题，目标问题也可以不是上述训练样本中的问题。
46.s220、将目标问题和多个预设子文本信息输入到相似度匹配模型，确定与目标问题相匹配的目标预设子文本信息。
47.在一些实施例中，预设子文本信息可以是对原始文档进行划分得到，原始文档可以是论文、期刊或者互联网上的文章。
48.可选的，可以基于文本信息重叠率得到预设子文本信息，相应的处理可以如下：获取原始文本信息；根据预设比例，将原始文本信息划分为多个预设子文本信息。
49.在一些实施例中，原始文本信息可以是上述提及的原始文档，这样，在获取原始文本信息后，可以根据预设比例，即第n个预设子文本信息与第n-1个预设子文本信息的文本信息重叠率，n为正整数，n≥2，将原始文本信息划分为多个预设子文本信息，
50.这样，在接收到目标问题后，可以将目标问题和多个预设子文本信息输入到相似度匹配模型，以确定与目标问题相匹配的目标预设子文本信息。
51.具体的，考虑到bert模型对输入的数据量有所限制，即不能超过512字符，并且，相似度匹配模型是基于bert模型得到，因此，可以按照数据量不超过512字符的原则设置预设子文本信息的数据量，例如256字符、512字符等。
52.需要说明的是，可能存在一些问题的答案较长，此时，可以适当增大预设子文本信息的数据量。
53.可选的，可以基于预设子文本信息中包含目标问题的答案的概率，确定目标预设子文本信息，相应的，步骤s220的具体处理可以如下：将目标问题和多个预设子文本信息输入到相似度匹配模型，得到每个预设子文本信息中包含目标问题的答案的概率；将概率最大的包含目标问题的答案的预设子文本信息确定为目标预设子文本信息。
54.在一些实施例中，相似度匹配模型可以输出每个预设子文本信息中包含目标问题的答案的概率。这样，可以将目标问题和多个预设子文本信息输入到相似度匹配模型，得到每个预设子文本信息中包含目标问题的答案的概率。之后，可以将概率最大的包含目标问题的答案的预设子文本信息，确定为目标预设子文本信息。
55.s230、将目标问题和目标预设子文本信息输入到问答模型，确定目标预设子文本信息中的目标开始位置和目标结束位置。
56.在一些实施例中，在确定出目标预设子文本信息后，可以将目标问题和目标预设子文本信息输入到问答模型，以确定目标预设子文本信息中的目标开始位置和目标结束位置。
57.可选的，可以基于目标问题的答案在目标预设子文本信息中的开始位置和结束位置的概率，确定目标开始位置和目标结束位置，相应的，步骤s230的具体处理可以如下：将目标问题和目标预设子文本信息输入到问答模型，得到目标问题的答案在目标预设子文本信息中的开始位置和结束位置的概率；确定最大概率对应的目标预设子文本信息的开始位
置和结束位置为目标开始位置和目标结束位置。
58.在一些实施例中，问答模型可以输出某个问题的答案在目标预设子文本信息中的开始位置和结束位置的概率。这样，可以将目标问题和目标预设子文本信息输入到问答模型，得到目标问题的答案在目标预设子文本信息中的开始位置和结束位置的概率。之后，可以确定最大概率对应的目标预设子文本信息的开始位置和结束位置为目标开始位置和目标结束位置。
59.s240、将目标开始位置和目标结束位置之间的文本信息确定为目标问题对应的目标答案，并输出。
60.在一些实施例中，目标答案可以是目标开始位置和目标结束位置之间的文本信息。这样，可以将目标开始位置和目标结束位置之间的文本信息进行输出，作为目标答案。
61.在本技术实施例中，通过接收目标问题，然后将目标问题和多个预设子文本信息输入到相似度匹配模型，可以确定与目标问题相匹配的目标预设子文本信息；之后，可以将目标问题和目标预设子文本信息输入到问答模型，确定目标预设子文本信息中的目标开始位置和目标结束位置；然后可以将目标开始位置和目标结束位置之间的文本信息确定为目标问题对应的目标答案，并输出。由于目标答案是目标预设子文本信息中目标开始位置和目标结束位置之间的文本信息，且目标问题和目标预设子文本信息并不需要人工关联，因此，可以无需人工设置问题及答案，即可在接收到问题后输出对应的答案。
62.为了更好地理解本技术实施例提供的问答方法，下面提供一种场景实施例。
63.首先，获取bert模型，可称为m0。
64.之后，构建训练用问答对知识库，包括问题、用于提取答案的文章、答案、以及答案在文章中的位置。如图3所示，可以按照“从web收集文章
→
预处理数据
→
设计问题
→
设计答案
→
构建训练用问答对知识库”的流程，构建训练用问答对知识库。
65.接着，可以将问答对知识库向量化，构建训练集x0，输入格式s0为：“[cls]” 问题 “[seq]” 用于提取问题的文章 “[seq]”。其中，cls对应的输出可以用于文本分类，seq是问题和文章间的分隔符。标签label格式为“(答案在文本中开始的位置，答案在文本中结束的位置)”。
[0066]
接着，在bert模型后面添加一层全连接层w1，其中全连接层w1的输入为：m0中“问题” “[seq]” 用于提取问题的文章 “[seq]”对应的输出向量c0，全连接层w1的输出为(batch_size，seq_len，2)，其中，batch_size表示批次大小，数字2代表二维，用于输出答案的起点和终点；此外，可以在w1后再加一层矩阵转置层，将w1的输出转置为(batch_size，2，seq_len)，这样，最终的输出为答案在文章中开始的位置和结束的位置。之后，可以使用训练集x0训练调优上述模型，得到问答模型m1。
[0067]
接着，可以在m0后面添加一层全连接层w2，其中全连接层w2的输入为m0中的特殊分类标记[cls]对应的输出向量c1，w2的输出为(batch_size，1)；之后，可以将训练集文本按512字符分成多个小段落，将问题与小段落作为输入，输出为在小段落找到问题答案的概率，以得到相似度匹配模型m2。
[0068]
需要说明的是，上述m1和m2的训练过程是不分先后的。
[0069]
之后，可以构建生产知识库x1，其中，生成知识库x1中的文档应为未经处理的原始文档，具体的，可以将文本划分为512字符的文本片段，即上述提及的预设子文本信息，用于
模型从中提取答案。
[0070]
之后，可以将实际输入的问题和生产知识库x1中的512字符长度的文本片段，输入到相似度匹配模型m2中，用于计算各个文本片段与问题相似度，得出与问题最相似的512字符文本片段text0。
[0071]
之后，可以将问题和text0按照上述输入格式s0进行编码，然后输入到问答模型m1，以得到该问题对应的答案在text0中的开始位置和结束位置，并据此提取出答案。
[0072]
值得一提的是，如图4所示，可以将上述问答模型m1和相似度匹配模型m2以应用程序接口的形式接入web系统，用于构建智能问答系统。
[0073]
这样，不仅可以不需要人工定义问答知识库，降低人力成本，更加适合大规模应用，还可以避免bert模型的512字符限制，可以从任意长度的文本中提取答案，大大扩宽了问答系统的应用场景。
[0074]
基于上述实施例提供的问答方法，相应地，本技术还提供了问答装置的具体实现方式。请参见以下实施例。
[0075]
参见图5，本技术实施例提供的问答装置包括以下模块：
[0076]
接收模块510，用于接收目标问题；
[0077]
第一确定模块520，用于将目标问题和多个预设子文本信息输入到相似度匹配模型，确定与目标问题相匹配的目标预设子文本信息；
[0078]
第二确定模块530，用于将目标问题和目标预设子文本信息输入到问答模型，确定目标预设子文本信息中的目标开始位置和目标结束位置；
[0079]
输出模块540，用于将目标开始位置和目标结束位置之间的文本信息确定为目标问题对应的目标答案，并输出。
[0080]
在本技术实施例中，通过接收目标问题，然后将目标问题和多个预设子文本信息输入到相似度匹配模型，可以确定与目标问题相匹配的目标预设子文本信息；之后，可以将目标问题和目标预设子文本信息输入到问答模型，确定目标预设子文本信息中的目标开始位置和目标结束位置；然后可以将目标开始位置和目标结束位置之间的文本信息确定为目标问题对应的目标答案，并输出。由于目标答案是目标预设子文本信息中目标开始位置和目标结束位置之间的文本信息，且目标问题和目标预设子文本信息并不需要人工关联，因此，可以无需人工设置问题及答案，即可在接收到问题后输出对应的答案。
[0081]
可选的，装置还包括第一训练模块，用于：
[0082]
获取双向编码器表征bert模型，以及第一训练样本，其中，第一训练样本包括多个问题、每个问题对应的答案、包括答案的文本信息；
[0083]
在bert模型后增加第一全连接层，得到第一初始模型，其中，bert模型的第一输入为第一初始模型的输入，第一输入为预先对文本信息进行划分得到的多个子文本信息，bert模型的第一输出为第一全连接层的输入，第一输出为子文本信息的向量信息，第一全连接层的输出为子文本信息中包含问题的答案的概率，第一全连接层的输出为第一初始模型的输出；
[0084]
根据第一训练样本对第一初始模型进行迭代训练，得到相似度匹配模型。
[0085]
可选的，装置还包括第二训练模块，用于：
[0086]
获取双向编码器表征bert模型，以及第二训练样本，其中，第二训练样本包括多个
问题、每个问题对应的答案、包括答案的文本信息、答案在文本信息中的开始位置和结束位置；
[0087]
在bert模型后增加第二全连接层，得到第二初始模型，其中，bert模型的第二输入为第二初始模型的输入，第二输入为问题和子文本信息，bert模型的第二输出为第二全连接层的输入，第二输出为问题和子文本信息的向量信息，第二全连接层的输出为问题的答案在子文本信息中的开始位置、结束位置以及开始位置和结束位置的概率，第二全连接层的输出为第二初始模型的输出；
[0088]
根据第二训练样本对第二初始模型进行迭代训练，得到问答模型。
[0089]
可选的，第一确定模块，还用于：
[0090]
将目标问题和多个预设子文本信息输入到相似度匹配模型，得到每个预设子文本信息中包含目标问题的答案的概率；
[0091]
将概率最大的包含目标问题的答案的预设子文本信息确定为目标预设子文本信息。
[0092]
可选的，装置还包括获取模块，用于：
[0093]
获取原始文本信息；
[0094]
根据预设比例，将原始文本信息划分为多个预设子文本信息，其中，预设比例为第n个预设子文本信息与第n-1个预设子文本信息的文本信息重叠率，n为正整数，n≥2。
[0095]
图5提供的问答装置中的各个模块具有实现图2所示实施例中各个步骤的功能，并达到与图2所示问答方法相同的技术效果，为简洁描述，在此不再赘述。
[0096]
图6为实现本技术各个实施例的一种设备的硬件结构示意图。
[0097]
设备可以包括处理器601以及存储有计算机程序指令的存储器602。
[0098]
具体地，上述处理器601可以包括中央处理器(cpu)，或者特定集成电路(application specific integrated circuit，asic)，或者可以被配置成实施本技术实施例的一个或多个集成电路。
[0099]
存储器602可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器602可包括硬盘驱动器(hard disk drive，hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器602可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器602可在综合网关容灾设备的内部或外部。在特定实施例中，存储器602是非易失性固态存储器。在特定实施例中，存储器602包括只读存储器(rom)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(prom)、可擦除prom(eprom)、电可擦除prom(eeprom)、电可改写rom(earom)或闪存或者两个或更多个以上这些的组合。
[0100]
处理器601通过读取并执行存储器602中存储的计算机程序指令，以实现上述实施例中的任意一种问答方法。
[0101]
在一个示例中，设备还可包括通信接口603和总线610。其中，如图6所示，处理器601、存储器602、通信接口603通过总线610连接并完成相互间的通信。
[0102]
通信接口603，主要用于实现本技术实施例中各模块、装置、单元和/或设备之间的通信。
[0103]
总线610包括硬件、软件或两者，将设备的部件彼此耦接在一起。举例来说而非限
制，总线可包括加速图形端口(agp)或其他图形总线、增强工业标准架构(eisa)总线、前端总线(fsb)、超传输(ht)互连、工业标准架构(isa)总线、无限带宽互连、低引脚数(lpc)总线、存储器总线、微信道架构(mca)总线、外围组件互连(pci)总线、pci-express(pci-x)总线、串行高级技术附件(sata)总线、视频电子标准协会局部(vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线610可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线，但本技术考虑任何合适的总线或互连。
[0104]
该设备可以执行本技术实施例中的问答方法，从而实现结合图2所示实施例的问答方法。
[0105]
本技术实施例还提供一种计算机可读存储介质，该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述问答方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0106]
需要明确的是，本技术并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本技术的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本技术的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
[0107]
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本技术的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd-rom、光盘、硬盘、光纤介质、射频(rf)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
[0108]
还需要说明的是，本技术中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本技术不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
[0109]
上面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
[0110]
以上所述，仅为本技术的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本技术的保护范围并不局限于此，任何熟悉
本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。