一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

文本处理方法及装置与流程

2022-03-04 22:22:53 来源:中国专利 TAG:


1.本技术涉及计算机技术领域,特别涉及文本处理方法及装置。


背景技术:

2.自然语言处理(natural language processing,nlp)是计算机科学领域与人工智能领域中的一个重要方向,它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。而在机器阅读理解领域中对自然语言处理应用是最为广泛的,通过机器阅读理解在实现根据篇章回答问题时,通常是通过阅读器生成一个候选答案,并且根据阅读器的输出决定是否针对该问题进行回答,但是仅生成一个候选答案不仅限制了模型性能的提升,还无法有效的对候选答案进行正确的判断,故亟需一种有效的方案以解决该问题。


技术实现要素:

3.有鉴于此,本技术实施例提供了一种文本处理方法,以解决现有技术中存在的技术缺陷。本技术实施例同时提供了一种文本处理装置,一种计算设备,以及一种计算机可读存储介质。
4.根据本技术实施例的第一方面,提供了一种文本处理方法,包括:
5.获取待处理文本和问题文本,其中,所述问题文本与所述待处理文本相关;
6.在所述待处理文本中提取所述问题文本对应的多个候选答案;
7.将所述多个候选答案和所述问题文本输入至语义匹配模型进行处理,获得所述问题文本匹配的预测答案;
8.根据所述预测答案、所述预测答案在所述待处理文本中所属的语句以及所述问题文本确定所述问题文本的答复结果。
9.可选的,所述在所述待处理文本中提取所述问题文本对应的多个候选答案,包括:
10.对所述待处理文本和所述问题文本进行分词处理,并根据分词处理结果组成字单元集合;
11.将所述字单元集合中包含的各个字单元输入至文本处理模型进行处理,获得所述问题文本对应的多个候选答案。
12.可选的,所述将所述字单元集合中包含的各个字单元输入至文本处理模型进行处理,获得所述问题文本对应的多个候选答案,包括:
13.将所述字单元集合中包含的各个字单元输入至所述文本处理模型,通过所述文本处理模型中的预测模块计算各个字单元作为答案起始字的第一概率,以及各个字单元作为答案末端字的第二概率;
14.根据所述第一概率生成起始概率分布,以及根据所述第二概率生成末端概率分布;
15.将所述起始概率分布和所述末端概率分布输入至所述文本处理模型中的筛选模块进行答案筛选处理,获得所述问题文本对应的多个候选答案。
16.可选的,所述将所述多个候选答案和所述问题文本输入至语义匹配模型进行处理,获得所述问题文本匹配的预测答案,包括:
17.将所述多个候选答案和所述问题文本输入至所述语义匹配模型;
18.通过所述语义匹配模型中的特征提取模块对所述多个候选答案和所述问题文本进行特征提取,获得各个候选答案对应的第一特征向量,以及所述问题文本对应的第二特征向量;
19.通过所述语义匹配模型中的语义匹配模块分别计算所述第一特征向量与所述第二特征向量的匹配度,获得所述各个候选答案与所述问题文本的匹配度;
20.选择匹配度最高的候选答案作为所述预测答案,并通过所述语义匹配模型的输出模块输出所述问题文本匹配的所述预测答案。
21.可选的,所述根据所述预测答案、所述预测答案在所述待处理文本中所属的语句以及所述问题文本确定所述问题文本的答复结果,包括:
22.确定所述预测答案在所述待处理文本中所属的所述语句;
23.根据所述语句、所述问题文本和所述预测答案生成待验证文本组,并将所述待验证文本组输入至验证模型进行预测答案验证,获得所述预测答案的正确率,其中,所述正确率表示将所述预测答案作为与所述问题文本匹配的答案的概率;
24.根据所述正确率确定所述问题文本的所述答复结果。
25.可选的,所述根据所述正确率确定所述问题文本的所述答复结果,包括:
26.判断所述正确率是否大于预设正确率阈值;
27.若是,将所述预测答案确定为所述问题文本的目标答案,并根据所述目标答案生成所述问题文本的答复结果;
28.若否,根据所述预测答案生成提醒信息,并基于所述提醒信息生成所述问题文本的答复结果。
29.可选的,所述获取待处理文本和问题文本步骤执行之后,还包括:
30.对所述待处理文本进行分词处理获得第一词单元集合,以及对所述问题文本进行分词处理获得第二词单元集合;
31.分别针对所述第一词单元集合和所述第二词单元集合添加句首标志符号和分句标志符号,获得第三词单元集合和第四词单元集合;
32.将所述第三词单元集合和所述第四词单元集合输入至文本处理模型进行特征提取,获得文本特征向量和问题特征向量。
33.可选的,还包括:
34.计算所述问题特征向量和所述文本特征向量的特征向量相似度;
35.在所述特征向量相似度大于相似度阈值的情况下,根据所述特征向量相似度确定所述问题文本和所述待处理文本的匹配率。
36.可选的,所述将所述多个候选答案和所述问题文本输入至语义匹配模型进行处理,获得所述问题文本匹配的预测答案步骤执行之后,还包括:
37.根据所述预测答案、所述预测答案在所述待处理文本中所属的语句以及所述问题文本确定所述预测答案的正确率;
38.基于所述正确率和所述正确率对应的权重,以及所述匹配率和所述匹配率对应的
权重进行加权和计算,获得针对所述问题文本进行答复的答复率;
39.在所述答复率大于预设答复率阈值的情况下,将所述预测答案作为所述问题文本的答复结果。
40.可选的,所述语义匹配模型,采用如下方式训练:
41.获取训练文本以及所述训练文本对应的训练问题文本;
42.在所述训练文本中提取多个训练候选答案,并对所述多个训练候选答案进行分值标注;
43.基于分值标注后的多个训练候选答案以及所述训练文本组成样本集,并输入至初始语义匹配模型进行训练,获得所述语义匹配模型。
44.可选的,所述对所述多个训练候选答案进行分值标注,包括:
45.根据评价指标对所述多个候选答案进行分值标注,或者根据评测指标对所述多个候选答案进行分值标注。
46.可选的,所述文本处理模型与所述语义匹配模型的预训练模型的模型类型相同。
47.根据本技术实施例的第二方面,提供了一种文本处理装置,包括:
48.获取模块,被配置为获取待处理文本和问题文本,其中,所述问题文本与所述待处理文本相关;
49.提取模块,被配置为在所述待处理文本中提取所述问题文本对应的多个候选答案;
50.预测模块,被配置为将所述多个候选答案和所述问题文本输入至语义匹配模型进行处理,获得所述问题文本匹配的预测答案;
51.确定模块,被配置为根据所述预测答案、所述预测答案在所述待处理文本中所属的语句以及所述问题文本确定所述问题文本的答复结果。
52.根据本技术实施例的第三方面,提供了一种计算设备,包括:
53.存储器和处理器;
54.所述存储器用于存储计算机可执行指令,所述处理器执行所述计算机可执行指令时实现所述文本处理方法的步骤。
55.根据本技术实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现所述文本处理方法的步骤。
56.本技术提供的文本处理方法,在获取到待处理问题文本和问题文本后,从所述待处理文本中提取所述问题文本对应的多个候选答案,并将多个候选答案和问题文本同时输入至语意匹配模型,获得问题文本匹配的预测答案,最后根据预测答案,以及所述预测答案所属的语句、问题文本确定所述问题文本的答复结果,实现了通过从多个候选答案中筛选出预测答案,并对预测答案的正确率进行确定,从而达到可以针对所述问题文本生成更准确的答复结果,解决了单一答案造成问题文本答复不准确的问题,以及可以充分的利用模型的性能,提高针对问题文本预测正确答案的精准度。
附图说明
57.图1是本技术一实施例提供的一种文本处理方法的流程图;
58.图2是本技术一实施例提供的一种文本处理方法的示意图;
59.图3是本技术一实施例提供的一种应用于阅读理解场景中的文本处理方法的处理流程图;
60.图4是本技术一实施例提供的一种文本处理装置的结构示意图;
61.图5是本技术一实施例提供的一种计算设备的结构框图。
具体实施方式
62.在下面的描述中阐述了很多具体细节以便于充分理解本技术。但是本技术能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本技术内涵的情况下做类似推广,因此本技术不受下面公开的具体实施的限制。
63.在本技术一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本技术一个或多个实施例。在本技术一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本技术一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
64.应当理解,尽管在本技术一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本技术一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。
65.首先,对本发明一个或多个实施例涉及的名词术语进行解释。
66.语义匹配模型:匹配两个句子的相似度、相关性的模型。
67.答案跨度:阅读理解模型一般用答案的首尾位置作为标签,这个跨度就代表了整个答案。
68.预训练模型:在公共语料上预训练好的模型,具有强大的泛化能力,能用于多种nlp任务。
69.nlp:自然语言处理(natural language processing)是计算机科学领域与人工智能领域中的一个重要方向,它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。
70.分词:将连续的字序列按照一定的规范重新组合成词序列的过程。
71.损失函数:(loss function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的损失的函数。在应用中,损失函数通常作为学习准则与优化问题相联系,即通过最小化损失函数求解和评估模型;例如在统计学和机器学习中被用于模型的参数估计(parameteric estimation)。
72.迭代:(iteration)是重复反馈过程的活动,其目的通常是为了逼近所需目标或结果。每一次对过程的重复称为一次迭代,而每一次迭代得到的结果会作为下一次迭代的初始值。
73.编码:是信息从一种形式或格式转换为另一种形式的过程。
74.权重:(weight)指某一因素或指标相对于某一事物的重要程度,其不同于一般的比重,体现的不仅仅是某一因素或指标所占的百分比,强调的是因素或指标的相对重要程度,倾向于贡献度或重要性。
75.attention:(注意力),是在处理过载信息的一种手段,具体表现为如何对图像的不同区域或一句话中的相关单词关注度会有所区别,通常对于感兴趣的部分往往会分配大量的注意力。
76.待处理文本:是指需要进行分析处理的文本,可以是一篇文章,一段文本或者一句话等。
77.问题文本:是指根据待处理文本提出的问题,该问题可以通过阅读待处理文本得到答案或者分析出答案。
78.候选答案:是指从待处理文本中筛选出的可能是问题文本的目标答案的文本。
79.预测答案:是指从多个候选答案中针对所述问题文本选择的答案,需要说明的是该答案可能是最终的正确答案也可能是不正确的答案,是从多个候选答案中筛选出的可能性比较高的答案。
80.预测答案的正确率:是指预测答案作为问题文本的目标答案的合理性的概率。
81.在本技术中,提供了一种文本处理方法。本技术同时涉及一种文本处理装置、一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
82.图1示出了根据本技术一实施例提供的一种文本处理方法的流程图,具体包括以下步骤:
83.步骤s102,获取待处理文本和问题文本,其中,所述问题文本与所述待处理文本相关。
84.实际应用中,随着机器学习领域的不断发展,在阅读理解题中的通过模型进行预测答案成为了一种趋势,而且通过模型进行阅读理解题的解答,不仅可以实现快速的获得阅读理解题的答案,还能够实现对试题的批改,更加满足用户的需求;然而,现有技术在通过模型实现阅读理解题解答的过程中,一般都是通过阅读器生成一个候选答案,这就导致模型无法充分的发挥作用,极大限制了模型抽取答案的能力,这就导致输出答案过于单一,可能存在无法正确解答问题的情况发生。
85.本技术提供的文本处理方法,为了提高答案抽取的精准度,以及提升模型的抽取答案能力,参见图2所示,在获得问题和文档(待处理文本)之后,将输入至阅读器进行候选答案的确定,在获得多个候选答案之后,再通过语义匹配(语义匹配模型)获得预测答案,最后通过验证器对预测答案进行合理性确定,从而确定问题文本的答复结果;实现了通过从多个候选答案中筛选出预测答案,并对预测答案的正确率进行确定,从而达到可以针对所述问题文本生成更准确的答复结果,解决了单一答案造成问题文本答复不准确的问题,以及可以充分的利用模型的性能,提高针对问题文本预测正确答案的精准度。
86.具体实施时,所述待处理文本可以是一篇文章、一段文本、一句话等,所述问题文本具体是指基于所述待处理文本提出的问题,需要说明的是,所述问题文本可以通过阅读和分析所述待处理文本得到答案,或者直接从所述待处理文本中找到答案,例如,待处理文本是“《夜宿山寺》李白,危楼高百尺,手可摘星辰,不敢高声语,恐惊天上人”,即问题文本可以是“《夜宿山寺》的作者是谁?”或者“危楼高百尺的下一句是什么?”等。
87.基于此,由于用户的需求增大,很多时候用户并不能够通过自己分析待处理文本实现对所述问题文本的作答,用户通常会选择“解题软件”实现对问题的解答,然而现有技术中的“解题软件”通常是采用模型实现,只能够生成单一的答案,并且答案的可解释性不
强,故为了避免这一问题,可以通过本实施例提供的文本处理方法,实现对问题文本进行准确的解答,并且提高答案的可解释性。
88.本实施例将以所述待处理文本为中文阅读理解题为例对所述文本处理方法进行描述,其中,所述问题文本也是基于所述中文阅读理解题提出的,本技术提供的文本处理方法还可以应用于英文阅读理解题或其他语言的阅读理解题,具体实现方式均可参见本实施例相应的描述内容,在此不作过多赘述。
89.步骤s104,在所述待处理文本中提取所述问题文本对应的多个候选答案。
90.具体的,在上述获取到所述待处理文本和所述问题文本的基础上,进一步的,此时确定需要对所述问题文本进行作答,并且由于所述待处理文本是阅读理解题,故可能在所述待处理文本中找到所述问题文本的答案,而为了能够提高对所述问题文本的作答准确度,以及在所述待处理文本中选择出符合所述问题文本的答案,可以优先从所述待处理文本中筛选出多个候选答案,以用于后续确定是否可以从多个候选答案中分析出符合问题文本的正确答案;其中,所述候选答案具体是指可能作为所述问题文本正确答案的答案;需要说明的是,为了能够筛选出可解释性较高的答案,本实施例在实现筛选出多个候选答案后,可以再从所述多个候选答案中进行正确答案的筛选,从而实现提高问题文本作答的精准度。
91.此外,在所述多个候选答案较多的情况下,可以基于所述多个候选答案组成候选答案集合,从而更加方便处理,确定所述多个候选答案是否需要组成所述候选集合,可以根据多个候选答案的数量或者根据多个候选答案的总字数进行确定,当多个候选答案的数量大于预设数量阈值,或者多个候选答案的总字数大于预设字数阈值,就可以基于所述多个候选答案组成所述候选答案集合,以进行后续答复结果的确定。
92.进一步的,在筛选所述多个候选答案的过程中,为了能够满足后续得出合理性较高的答案,并且提高模型的性能利用率,可以通过文本处理模型实现从所述待处理文本中抽取出所述问题文本的答案,本实施例中,具体实现方式如下所述:
93.对所述待处理文本和所述问题文本进行分词处理,并根据分词处理结果组成字单元集合;
94.将所述字单元集合中包含的各个字单元输入至文本处理模型进行处理,获得所述问题文本对应的多个候选答案。
95.具体的,所述字单元集合具体是指由所述待处理文本中的各个字单元组成的集合,所述字单元具体是指组成所述待处理文本的最小单位;基于此,在生成所述多个候选答案的过程中,为了能够提高候选答案筛选的合理性以及准确,首先对所述待处理文本进行分词处理,其次根据分词处理结果确定所述字单元即可(具体实施时,可以对分词处理结果进行拆分从而获得多个字单元组成字单元集合),最后将所述字单元集合中包含的各个字单元输入至所述文本处理模型进行处理,即可获得所述文本处理模型输出的所述问题文本对应的多个候选答案。
96.其中,所述待处理模型可以选择预训练模型,如bert模型,electra模型或者albert模型等,由于该类型模型具有较强的特征抽取能力,故可以很好的抽取问题及文本的语义信息,从而分析与所述问题文本较为接近的答案作为候选答案,用于后续针对所述问题文本进行正确答案的选择。
97.更进一步的,在通过所述文本处理模型实现候选答案预测的过程中,所述文本处理模型内容实则是通过计算各个字作为答案起始字和末端字的概率,从而分析出能够作为答案的文字长度,掐取该文本长度之间的文字即可作为所属于问题文本的候选答案,本实施例中,具体实现方式如下所述:
98.将所述字单元集合中包含的各个字单元输入至所述文本处理模型,通过所述文本处理模型中的预测模块计算各个字单元作为答案起始字的第一概率,以及各个字单元作为答案末端字的第二概率;
99.根据所述第一概率生成起始概率分布,以及根据所述第二概率生成末端概率分布;
100.将所述起始概率分布和所述末端概率分布输入至所述文本处理模型中的筛选模块进行答案筛选处理,获得所述问题文本对应的多个候选答案。
101.具体的,在通过文本处理模型实现预测多个候选答案的过程中,首先将所述字单元集合中包含的各个字单元输入至所述文本处理模型,通过所述文本处理模型中的预测模块计算各个字单元作为所述问题文本候选答案的起始字的第一概率,以及各个字单元作为所述问题文本候选答案的末端字的第二概率。
102.其次根据所述各个字单元对应的第一概率确定候选答案的起始概率分布,以及根据所述各个字单元对应的第二概率确定候选答案的末端概率分布;其中,所述起始概率分布具体是指根据所述各个字单元作为起始字概率所生成的分布结果,所述末端概率分布具体是指根据所述各个子单元作为末端字概率所生成的分布结果。
103.最后再将所述起始概率分布和所述末端概率分布输入至所述文本处理模型中的筛选模块进行答案筛选处理,实现通过所述筛选模块从所述待处理文本中筛选出符合所述问题文本的多个候选答案并输出,以用于后续进行各个候选答案合理性和正确性的判断。
104.其中,所述预测模块实现对各个字单元进行概率计算,所述筛选模块实现根据各个字单元的概率分布确定候选答案,并且所述文本处理模型会根据所述问题文本和所述待处理文本的语义信息分析出所述待处理文本中是否存在所述问题文本的答案,若存在则进行后续的处理,若不存在可直接停止后续处理过程,并反馈无法获得正确答案的提醒信息。
105.而在实现预测所述待处理文本中是否存在所述问题文本的候选答案的过程中,是通过文本处理模型的“[cls]”标记的方式实现,通过标记对应的向量实现答案存在概率的预测;需要说明的是,所述预测模块和所述筛选模块在配合实现确定所述问题文本对应的多个候选答案的过程中,虽然所述预测模块实现的是预测字的概率,而所述筛选模块实现的是筛选答案,但是二者并不一定是完全分离的状态,即所述预测模块和所述筛选模块可以是独自实现处理过程,也可以是配合实现处理过程,实际应用中可以根据实际应用场景进行设定,本实施例在此不作过多限定。
[0106]
沿用上例,在获得待处理文本“《夜宿山寺》李白,危楼高百尺,手可摘星辰,不敢高声语,恐惊天上人”和问题文本“危楼高百尺的下一句是什么?”后,将对待处理文本和问题文本同时进行分词和分字处理,获得的第一字单元集合为“{夜、宿、山、寺、李、白、危、楼、高、百、尺、手、可、摘、星、辰、不、敢、高、声、语、恐、惊、天、上、人}”,以及第二字单元集合为“{危、楼、高、百、尺、的、下、一、句、是、什、么}”;
[0107]
进一步的,将第一字单元集合和第二字单元集合输入至文本处理模型进行候选答
案的筛选,首先通过[cls]句首标志符号和[sep]分句标志符号对待处理文本进行处理,获得{cls、夜、宿、山、寺sep李、白sep
……
恐、惊、天、上、人sep},之后通过文本处理模型对[cls]句首标志符号对应的向量表示进行阅读理解中存在答案的概率预测,确定待处理文本中存在问题文本的答案。
[0108]
更进一步的,通过文本处理模型中的预测模型对待处理文本进行候选答案预测,计算各个字作为候选答案起始字的概率,以及各个字作为候选答案末端字的概率,确定“夜”作为答案起始字的概率是1%,作为答案末端字的概率是2%,“宿”作为答案起始字的概率是0.1%,作为答案末端字的概率是0.2%
……“
人”作为答案起始字的概率是0.5%,,作为答案末端字的概率是5%;之后根据各个字作为答案起始字的概率生成起始概率分布p
start
∈rn,以及根据各个字作为答案末端字的概率生成末端概率分布p
end
∈rn,其中,n表示文档长度。
[0109]
最后根据起始概率分布p
start
∈rn和末端概率分布p
end
∈rn进行答案筛选,具体筛选方式是在确定每个字作为答案起始字和答案末端字概率之后,将获得的全部答案起始字概率p
start
_i和全部答案末端字概率p
end
_j分别进行乘积(i,j均表示文档中的字),根据计算结果确定多个答案在多个区间[i,j]的概率,之后再通过起始概率分布p
start
∈rn和末端概率分布p
end
∈rn即可确定一个n*n的矩阵,其中,n*n矩阵内的每个元素表示一个答案在区间[i,j]的概率;
[0110]
并且,为了能够满足筛选出的答案的合理性,需要考虑到答案中的起始字概率小于等于末端字概率,也就是答案的起始字要在末端字之前,即i≤j,这个时候按照i≤j的条件对n*n矩阵内的每个元素进行筛选,从而可以映射出多个待选择答案,为了能够加快后续的处理过程,可以按照预设的规则选择最大的前k个待选择的答案作为候选答案,k的取值可以根据实际需求进行设定,本实施例k取3,获得的多个候选答案为“手可摘星辰”“不敢高声语”“恐惊天上人”,以用于后续进行答案合理性的预测和正确性判断。
[0111]
综上,在进行候选答案的确定过程中,为了能够充分利用所述文本处理模型的模型性能,将进行多个候选答案的确定,并且可以避免输出一个候选答案造成正确答案无法准确提取的问题,进一步提高后续筛选出正确答案的可解释度。
[0112]
步骤s106,将所述多个候选答案和所述问题文本输入至语义匹配模型进行处理,获得所述问题文本匹配的预测答案。
[0113]
具体的,在上述确定所述多个候选答案的基础上,进一步的,为了能够准确的从所述候选答案中筛选出符合所述问题文本的答案,将再次通过语义匹配模型进行二次答案筛选,通过将所述多个候选答案和所述问题文本输入至语义匹配模型进行答案预测,实现计算各个候选答案的语义与所述问题文本语义的匹配,从而筛选出与所述问题文本匹配的预测答案,所述预测答案是从所述多个候选答案中筛选出的答案,并且所述预测答案具体是指从所述待处理文本中筛选出与所述问题文本语义匹配度最高的答案。
[0114]
需要说明的是,此时预测答案并不能够作为正确答案数据,后续还需要对所述预测答案进行合理性和正确性的判断;此外,为了能够提高各个模型之间的契合度,可以将上述实施例中的文本处理模型和所述语义匹配模型选择相同类型的预训练模型,模型的底层架构相同,共享一套参数,只需要按照需求进行单独训练并调整相应的参数即可,从而实现避免构建多个不同类型的模型浪费前期模型准备所耗费的时间,还提高了模型之间的契合
度。
[0115]
进一步的,在实现从所述多个候选答案中筛选出预测答案的过程中,实则是通过语义匹配模型计算各个候选答案的语义与所述问题文本的语义匹配度,从而筛选出与所述问题文本语义匹配度最高的候选答案作为所述预测答案,本实施例中,具体实现方式如下所述:
[0116]
将所述多个候选答案和所述问题文本输入至所述语义匹配模型;
[0117]
通过所述语义匹配模型中的特征提取模块对所述多个候选答案和所述问题文本进行特征提取,获得各个候选答案对应的第一特征向量,以及所述问题文本对应的第二特征向量;
[0118]
通过所述语义匹配模型中的语义匹配模块分别计算所述第一特征向量与所述第二特征向量的匹配度,获得所述各个候选答案与所述问题文本的匹配度;
[0119]
选择匹配度最高的候选答案作为所述预测答案,并通过所述语义匹配模型的输出模块输出所述问题文本匹配的所述预测答案。
[0120]
具体的,所述第一特征向量具体表示各个候选答案的语义表达形式,所述第二特征向量具体是指所述问题文本的语义表达形式;基于此,在将所述各个候选答案和所述问题文本输入至所述语义匹配模型之后,将通过所述语义匹配模型中的特征提取模块对所述多个候选答案和所述问题文本进行特征提取,从而获得所述各个候选答案对应的第一特征向量,以及所述问题文本对应的第二特征向量。
[0121]
之后再通过所述语义匹配模型中的语义匹配模块分别计算所述第一特征向量与所述第二特征向量的匹配度,从而获得与所述多个候选答案数目相同的匹配度,为了能够准确的确定所述问题文本的预测答案,可以选择匹配度最高的候选答案作为所述问题文本的预测答案,并通过所述语义匹配模型的输出模块输出所述问题文本匹配的所述预测答案,以用于后续分析所述预测答案的合理性和正确性。
[0122]
需要说明的是,所述特征提取模块和所述语义匹配模块在配合实现确定所述问题文本匹配的预测答案的过程中,虽然所述特征提取模块实现的是特征提取,所述语义匹配模块实现的是计算特征向量的匹配度,但是二者并不一定是完全分离的状态,即所述特征提取模块和所述语义匹配模块可以是独自实现处理过程,也可以是配合实现处理过程,实际应用中可以根据实际应用场景进行设定,本实施例在此不作过多限定。
[0123]
沿用上例,在获得问题文本的候选答案“手可摘星辰”“不敢高声语”“恐惊天上人”之后,将多个候选答案和问题文本同时输入语义匹配模型进行预测答案的确定,首先通过语义匹配模型中的特征提取模块对多个候选答案和问题文本进行特征提取,获得候选答案“手可摘星辰”的特征向量s1,候选答案“不敢高声语”的特征向量s2,以及候选答案“恐惊天上人”的特征向量s3,以及问题文本“危楼高百尺的下一句是什么”的特征向量p,之后再通过语义匹配模型中的语义匹配模块分别计算各个候选答案的特征向量和问题文本的特征向量的匹配度,确定s1和p的匹配度是85%,s2和p的匹配度是75%,s3和p的匹配度是25%,从而确定s1和p的匹配度最高,则将候选答案“手可摘星辰”作为问题文本匹配的预测答案并输出,再进行后续分析“手可摘星辰”作为问题文本“危楼高百尺的下一句是什么”的答案合理性。
[0124]
综上,通过语义匹配模型实现在所述多个候选答案中筛选出与所述问题文本匹配
度最高的候选答案作为预测答案,进一步提高的预测答案的可解释性,并且二者语义匹配度高,能够充分反映所述预测答案可以作为所述正确答案的概率。
[0125]
进一步的,为了能够提高所述语义匹配模型的预测的精准度,在进行答案预测之前,还需要对语义匹配模型进行充分的训练,本实施例中,具体实现方式如下所述:
[0126]
获取训练文本以及所述训练文本对应的训练问题文本;
[0127]
在所述训练文本中提取多个训练候选答案,并对所述多个训练候选答案进行分值标注;
[0128]
基于分值标注后的多个训练候选答案以及所述训练文本组成样本集,并输入至初始语义匹配模型进行训练,获得所述语义匹配模型。
[0129]
具体的,所述训练文本以及所述训练问题文本具体是指已经知道正确答案的文本,在获得所述训练文本以及所述训练文本对应的训练问题文本之后,从所述训练文本中提取多个训练候选答案,并对所述多个训练候选答案进行分值标注,最后基于分值标注后的多个训练候选答案以及所述训练文本组成样本集,并输入至初始语义匹配模型进行训练,即可获得所述语义匹配模型。
[0130]
实际应用中,在对所述多个训练候选答案进行分值标注的过程中,可以根据评价指标对所述多个候选答案进行分值标注,或者根据评测指标对所述多个候选答案进行分值标注。
[0131]
例如,训练文本是“据新闻报到,昨天下午出现重大交通事故,致20人受伤,所幸无人死亡。”,给出的训练问题文本是“昨天下午的事故是什么?”,此时确定该问题的候选答案分别是“交通”,“重大交通事故”,“20人受伤”,“重大交通”,“出现重大”,并针对各个答案进行打分,打分结果是“重大交通事故”1分,“交通”给0.9分,“20人受伤”给0分等;最后基于打分后的候选答案和问题文本进行模型训练,即可获得能够使用的语义匹配模型。
[0132]
通过打分的方式实现对所述语义匹配模型的训练,不仅可以提高所述语义匹配模型的精准度,且进一步的提高了所述预测答案的精准度,从而实现后续能够分析出问题文本的正确答案并输出。
[0133]
步骤s108,根据所述预测答案、所述预测答案在所述待处理文本中所属的语句以及所述问题文本确定所述问题文本的答复结果。
[0134]
具体的,在上述获得预测答案之后,为了能够判断出所述预测答案是否能够合理的作为所述问题文本的答案,可以根据所述预测答案、所述预测答案在所述待处理文本中所属的语句以及所述问题文本同时分析所述预测答案作为所述问题文本是否可行,若是,则说明所述预测答案作为所述问题文本的答案是合理的,将所述预测答案作为所述问题文本的答复结果,若否,则说明所述预测答案作为所述问题文本的答案是不合理的,则确定答复结果为针对问题文本无法得到正确答案的信息。
[0135]
进一步的,为了能够提高预测答案合理性的预测效率,可以通过验证模型实现合理性预测的过程,本实施例中,具体实现方式如下所述:
[0136]
确定所述预测答案在所述待处理文本中所属的所述语句;
[0137]
根据所述语句、所述问题文本和所述预测答案生成待验证文本组,并将所述待验证文本组输入至验证模型进行预测答案验证,获得所述预测答案的正确率,其中,所述正确率表示将所述预测答案作为与所述问题文本匹配的答案的概率;
[0138]
根据所述正确率确定所述问题文本的所述答复结果。
[0139]
具体的,在确定所述答复结果的过程中,可以根据所述预测答案在所述待处理文本中所属的语句、所述问题文本以及所述预测答案三者结合计算所述预测答案的正确率,并根据所述正确率确定所述问题文本的答复结果,所述正确率具体是指反映所述预测答案作为所述问题文本的合理性的概率,所述答复结果具体是指根据所述正确率是否决定输出所述预测答案的结果,若所述正确率较高,则说明所述预测答案作为所述问题文本的答案是合理的,将所述预测答案作为所述问题文本的答复结果,若所述正确率较低,则说明所述预测答案作为所述问题文本的答案是不合理的,则确定答复结果为针对问题文本无法得到正确答案的信息。
[0140]
基于此,首先确定所述预测答案在所述待处理文本中所属的语句,其次根据所述语句、问题文本和所述预测答案生成所述待验证文本组,再次将所述待验证文本组输入至验证模型进行预测答案验证,获得所述预测答案的正确率,最后实现通过正确率分析出所述预测答案是否能够针对所述问题文本输出,从而得到满足回答所述问题文本的处理。实际应用中,所述验证模型也可以采用和所述语义匹配模型相同类型的模型构建,以提高模型之间的契合度。
[0141]
此外,在获得所述正确率的之后,可以通过判断的方式确定所述问题文本的审核结果,本实施例中,具体实现方式如下所述:
[0142]
判断所述正确率是否大于预设正确率阈值;
[0143]
若是,将所述预测答案确定为所述问题文本的目标答案,并根据所述目标答案生成所述问题文本的答复结果;
[0144]
若否,根据所述预测答案生成提醒信息,并基于所述提醒信息生成所述问题文本的答复结果。
[0145]
沿用上例,在获得预测答案“手可摘星辰”之后,将根据预测答案所属的语句、以及问题文本“危楼高百尺的下一句是什么”构建待验证文本组,并将待验证文本组输入至验证模型进行答案验证,获得“手可摘星辰”作为正确答案的合理度是95%,此时将合理度与预设的阈值进行比较,确定“手可摘星辰”的合理度较高,可以作为问题文本的正确答案输出。
[0146]
本技术提供的文本处理方法,将在获取到待处理问题文本和问题文本后,从所述待处理文本中提取所述问题文本对应的多个候选答案,并将多个候选答案和问题文本同时输入至语意匹配模型,获得问题文本匹配的预测答案,最后根据预测答案,以及所述预测答案所属的语句、问题文本确定所述问题文本的答复结果,实现了通过从多个候选答案中筛选出预测答案,并对预测答案的正确率进行确定,从而达到可以针对所述问题文本生成更准确的答复结果,解决了单一答案造成问题文本答复不准确的问题,以及可以充分的利用模型的性能,提高针对问题文本预测正确答案的精准度。
[0147]
下述结合附图3,以本技术提供的文本处理方法在阅读理解场景中的应用为例,对所述文本处理方法进行进一步说明。其中,图3示出了本技术一实施例提供的一种应用于阅读理解场景中的文本处理方法的处理流程图,具体包括以下步骤:
[0148]
步骤s302,获取用户通过客户端上传的阅读理解文档和待回答问题。
[0149]
实际应用中,用户为了能够获知待回答问题的正确答案,通过客户端针对阅读理解文档和待回答问题进行拍摄了照片,并上传至服务端进行解答,此时服务端接收到照片
后,通过对照片中的文字进行提取,获得阅读理解文档和待回答问题,其中,待回答问题是基于阅读理解题提出的,并且通过分析阅读理解题可以得出待回答问题的答案。
[0150]
阅读理解文档为“据新闻报道,昨天下午出现重大交通事故,致20人受伤,所幸无人死亡”,待回答问题为“昨天下午的事故是什么?”,基于此,将对待回答问题进行解答处理。
[0151]
步骤s304,将阅读理解文档和待回答问题输入至阅读器进行文本处理,获得阅读理解文档中存在答案的概率,以及针对待回答问题筛选的多个候选答案。
[0152]
具体的,阅读器通过对阅读理解文档“据新闻报到,昨天下午出现重大交通事故,致20人受伤,所幸无人死亡”进行分词处理,获得的第一词单元集合包括:{据、新、闻、报
……
无、人、死、亡},以及对待回答问题进行分词处理,获得第二词单元集合{昨、天、下、午、的、事、故、是、什、么};
[0153]
进一步的,再通过[cls]句首标志符号和[sep]分句标志符号对词单元集合进行处理,获得{cls、据、新、闻、报、道sep
……
无、人、死、亡sep},以及{cls昨、天、下、午、的、事、故、是、什、么sep},之后通过使用阅读器的[cls]句首标志符号对应的向量表示进行阅读理解中存在答案的概率预测,确定阅读理解文档中存在待回答问题的答案。
[0154]
更进一步的,通过阅读器对阅读理解文档进行候选答案预测处理,具体是指:通过阅读器中的候选答案生成模块计算阅读理解文档中各个字作为答案起始字的概率,以及各个字作为答案末端字的概率,确定其中“据”作为起始答案起始字的概率是1%,作为答案末端字的概率是2%,“新”作为起始答案起始字的概率是0.5%,作为答案末端字的概率是0.9%
……“
重”作为起始答案起始字的概率是75%,作为答案末端字的概率是3%,“大”作为起始答案起始字的概率是35%,作为答案末端字的概率是23%......“亡”作为起始答案起始字的概率是0.1%,作为答案末端字的概率是33%;之后根据各个字作为答案起始字的概率生成起始概率分布p
start
∈rn,以及根据各个字作为答案末端字的概率生成末端概率分布p
end
∈rn,其中,n标识文档长度。
[0155]
之后根据起始概率分布p
start
∈rn和末端概率分布p
end
∈rn进行答案筛选,具体筛选方式是在确定每个字作为答案起始字和答案末端字概率之后,将获得的全部答案起始字概率p
start
_i和全部答案末端字概率p
end
_j分别进行乘积(i,j均表示文档中的字),根据计算结果确定多个答案在多个区间[i,j]的概率,之后再通过起始概率分布p
start
∈rn和末端概率分布p
end
∈rn即可确定一个n*n的矩阵,其中,n*n矩阵内的每个元素表示一个答案在区间[i,j]的概率;
[0156]
并且,为了能够满足筛选出的答案的合理性,需要考虑到答案中的起始字概率小于等于末端字概率,也就是答案的起始字要在末端字之前,即i≤j,这个时候按照i≤j的条件对n*n矩阵内的每个元素进行筛选,从而可以映射出多个待选择答案,为了能够加快后续的处理过程,可以按照预设的规则选择最大的前k个待选择答案作为候选答案,k的取值可以根据实际需求进行设定,本实施例在此不作任何限定。
[0157]
其中,多个候选答案分别为“交通”,“重大交通事故”,“20人受伤”,“重大交通”,“出现重大”。
[0158]
步骤s306,将多个候选答案和待回答问题输入至语义匹配模型进行答案预测,获得待回答问题的预测答案。
[0159]
具体的,在获得多个候选答案“交通”,“重大交通事故”,“20人受伤”,“重大交通”,“出现重大”后,将多个候选答案和待回答问题“昨天下午的事故是什么?”一同输入至语义匹配模型进行语义匹配,计算各个候选答案与待处理文本的语意匹配度。
[0160]
进一步的,通过语义匹配模型中的计算语义匹配度模块确定“交通”与“昨天下午的事故是什么?”的语义匹配度是70%,“重大交通事故”,与“昨天下午的事故是什么?”的语义匹配度是86%,“20人受伤”与“昨天下午的事故是什么?”的语义匹配度是36%,“重大交通”与“昨天下午的事故是什么?”的语义匹配度是80%,“出现重大”与“昨天下午的事故是什么?”的语义匹配度是50%。
[0161]
通过排序并比较得知,候选答案“重大交通事故”与待回答问题“昨天下午的事故是什么?”的语义匹配度最高,则将“重大交通事故”作为待回答问题“昨天下午的事故是什么?”的预测答案。
[0162]
此时虽然通过语义匹配模型筛选出了可能满足待回答问题的答案,但是如果直接将该答案反馈给客户端的客户,如果出现答案不正确的情况,不仅影响用户的解题思路,还会对用户造成误导,很大程度上影响了用户的体验效果,为了避免这一问题,还将对预测答案进行合理性验证。
[0163]
步骤s308,确定预测答案在阅读理解文档中所属的语句,并基于语句、预测答案和待回答问题组成待验证文本集。
[0164]
实际应用中,可能存在预测答案与待回答问题不符合的情况,如果将待回答问题反馈给用户,将很大程度上影响用户的体验效果,故此时需要对预测答案进行验证,而为了能够提高验证的精准度,除了考虑预测答案和待回答问题外,还需要考虑预测答案所属的语句,从而可以实现通过验证器输出一个满足待回答问题的答复结果,
[0165]
步骤s310,将待验证文本集输入至验证器进行预测答案验证,获得预测答案作为待回答问题的非合理率。
[0166]
具体的,在将待验证文本集输入至验证器行预测答案验证时,验证器将根据预测答案,以及预测答案所属的语句和待回答问题生成预测答案的非合理率(预测答案作为待回答问题的答案的非合理概率),需要说明的是,非合理率越高,表明预测答案作为待回答问题的正确答案的合理性越低,反之非合理率越低,表明预测答案作为待回答问题的正确答案的合理性越高。
[0167]
当确定预测答案作为待回答问题的非合理率后,为了能够更准确的决定是否将所述预测答案作为针对所述待回答问题的答复结果反馈给用户,还可以根据阅读理解文档存在答案的概率和非合理率进行计算,从而得出是否决定回答待回答问题的结果。
[0168]
步骤s312,根据阅读理解文档中存在答案的概率和预测答案作为待回答问题的非合理率进行加权和计算,获得答复率。
[0169]
步骤s314,判断答复率是否大于预设答复率阈值;若是,执行步骤s316;若否,执行步骤s318。
[0170]
步骤s316,将预测答案作为待回答问题的答复结果,并将答复结果发送至客户端。
[0171]
步骤s318,生成无法回答待回答问题的答复结果,并将答复结果发送至客户端。
[0172]
具体的,答复率具体表示是否针对待回答问题进行答复,若答复率大于预设答复率阈值,表明预测答案针对待回答问题是合理的,故将“重大交通事故”作为待回答问题“昨
天下午的事故是什么?”的答案发送至客户端并告知用户;答复率不大于预设答复率阈值,表明预测答案针对待回答问题是不合理的,故确定待回答问题“昨天下午的事故是什么?”在阅读理解文档中不存在正确答案,向客户端发送无法回答待回答问题的答复结果。
[0173]
本技术提供的文本处理方法,将在获取到待处理问题文本和问题文本后,从所述待处理文本中提取所述问题文本对应的多个候选答案,并将多个候选答案和问题文本同时输入至语意匹配模型,获得问题文本匹配的预测答案,最后根据预测答案,以及所述预测答案所属的语句、问题文本确定所述问题文本的答复结果,实现了通过从多个候选答案中筛选出预测答案,并对预测答案的正确率进行确定,从而达到可以针对所述问题文本生成更准确的答复结果,解决了单一答案造成问题文本答复不准确的问题,以及可以充分的利用模型的性能,提高针对问题文本预测正确答案的精准度。
[0174]
与上述方法实施例相对应,本技术还提供了文本处理装置实施例,图4示出了本技术一实施例提供的一种文本处理装置的结构示意图。如图4所示,该装置包括:
[0175]
获取模块402,被配置为获取待处理文本和问题文本,其中,所述问题文本与所述待处理文本相关;
[0176]
提取模块404,被配置为在所述待处理文本中提取所述问题文本对应的多个候选答案;
[0177]
预测模块406,被配置为将所述多个候选答案和所述问题文本输入至语义匹配模型进行处理,获得所述问题文本匹配的预测答案;
[0178]
确定模块408,被配置为根据所述预测答案、所述预测答案在所述待处理文本中所属的语句以及所述问题文本确定所述问题文本的答复结果。
[0179]
一个可选的实施例中,所述提取模块404,包括:
[0180]
分词处理单元,被配置为对所述待处理文本和所述问题文本进行分词处理,并根据分词处理结果组成字单元集合;
[0181]
文本处理单元,被配置为将所述字单元集合中包含的各个字单元输入至处理模型进行文本处理,获得所述问题文本对应的多个候选答案。
[0182]
一个可选的实施例中,所述文本处理单元,包括:
[0183]
计算概率子单元,被配置为将所述字单元集合中包含的各个字单元输入至所述文本处理模型,通过所述文本处理模型中的预测模块计算各个字单元作为答案起始字的第一概率,以及各个字单元作为答案末端字的第二概率;
[0184]
生成概率分布子单元,被配置为根据所述第一概率生成起始概率分布,以及根据所述第二概率生成末端概率分布;
[0185]
答案筛选子单元,被配置为将所述起始概率分布和所述末端概率分布输入至所述文本处理模型中的筛选模块进行答案筛选处理,获得所述问题文本对应的多个候选答案。
[0186]
一个可选的实施例中,所述预测模块406,包括:
[0187]
输入模型单元,被配置为将所述多个候选答案和所述问题文本输入至所述语义匹配模型;
[0188]
特征提取单元,被配置为通过所述语义匹配模型中的特征提取模块对所述多个候选答案和所述问题文本进行特征提取,获得各个候选答案对应的第一特征向量,以及所述问题文本对应的第二特征向量;
[0189]
计算匹配度单元,被配置为通过所述语义匹配模型中的语义匹配模块分别计算所述第一特征向量与所述第二特征向量的匹配度,获得所述各个候选答案与所述问题文本的匹配度;
[0190]
输出预测答案单元,被配置为选择匹配度最高的候选答案作为所述预测答案,并通过所述语义匹配模型的输出模块输出所述问题文本匹配的所述预测答案。
[0191]
一个可选的实施例中,所述确定模块408,包括:
[0192]
确定语句单元,被配置为确定所述预测答案在所述待处理文本中所属的所述语句;
[0193]
答案验证单元,被配置为根据所述语句、所述问题文本和所述预测答案生成待验证文本组,并将所述待验证文本组输入至验证模型进行预测答案验证,获得所述预测答案的正确率,其中,所述正确率表示将所述预测答案作为与所述问题文本匹配的答案的概率;
[0194]
确定答复结果单元,被配置为根据所述正确率确定所述问题文本的所述答复结果。
[0195]
一个可选的实施例中,所述确定答复结果单元,包括:
[0196]
判断子单元,被配置为判断所述正确率是否大于预设正确率阈值;
[0197]
若是,运行确定目标答案子单元,所述确定目标答案子单元,被配置为将所述预测答案确定为所述问题文本的目标答案,并根据所述目标答案生成所述问题文本的答复结果;
[0198]
若否,运行提醒子单元,所述提醒子单元,被配置为根据所述预测答案生成提醒信息,并基于所述提醒信息生成所述问题文本的答复结果。
[0199]
一个可选的实施例中,所述文本处理装置,还包括:
[0200]
分词处理模块,被配置为对所述待处理文本进行分词处理获得第一词单元集合,以及对所述问题文本进行分词处理获得第二词单元集合;
[0201]
添加标志符号模块,被配置为分别针对所述第一词单元集合和所述第二词单元集合添加句首标志符号和分句标志符号,获得第三词单元集合和第四词单元集合;
[0202]
特征提取模块,被配置为将所述第三词单元集合和所述第四词单元集合输入至文本处理模型进行特征提取,获得文本特征向量和问题特征向量。
[0203]
一个可选的实施例中,所述文本处理装置,还包括:
[0204]
计算相似度模块,被配置为计算所述问题特征向量和所述文本特征向量的特征向量相似度;
[0205]
确定匹配率模块,被配置为在所述特征向量相似度大于相似度阈值的情况下,根据所述特征向量相似度确定所述问题文本和所述待处理文本的匹配率。
[0206]
一个可选的实施例中,所述文本处理装置,还包括:
[0207]
确定正确率模块,被配置为根据所述预测答案、所述预测答案在所述待处理文本中所属的语句以及所述问题文本确定所述预测答案的正确率;
[0208]
计算答复率模块,被配置为基于所述正确率和所述正确率对应的权重,以及所述匹配率和所述匹配率对应的权重进行加权和计算,获得针对所述问题文本进行答复的答复率;
[0209]
确定答复结果模块,被配置为在所述答复率大于预设答复率阈值的情况下,将所
述预测答案作为所述问题文本的答复结果。
[0210]
一个可选的实施例中,所述语义匹配模型,采用如下方式训练:
[0211]
获取训练文本以及所述训练文本对应的训练问题文本;
[0212]
在所述训练文本中提取多个训练候选答案,并对所述多个训练候选答案进行分值标注;
[0213]
基于分值标注后的多个训练候选答案以及所述训练文本组成样本集,并输入至初始语义匹配模型进行训练,获得所述语义匹配模型。
[0214]
一个可选的实施例中,所述对所述多个训练候选答案进行分值标注,包括:
[0215]
根据评价指标对所述多个候选答案进行分值标注,或者根据评测指标对所述多个候选答案进行分值标注。
[0216]
一个可选的实施例中,所述文本处理模型与所述语义匹配模型的预训练模型的模型类型相同。
[0217]
本技术提供的文本处理装置,将在获取到待处理问题文本和问题文本后,从所述待处理文本中提取所述问题文本对应的多个候选答案,并将多个候选答案和问题文本同时输入至语意匹配模型,获得问题文本匹配的预测答案,最后根据预测答案,以及所述预测答案所属的语句、问题文本确定所述问题文本的答复结果,实现了通过从多个候选答案中筛选出预测答案,并对预测答案的正确率进行确定,从而达到可以针对所述问题文本生成更准确的答复结果,解决了单一答案造成问题文本答复不准确的问题,以及可以充分的利用模型的性能,提高针对问题文本预测正确答案的精准度。
[0218]
上述为本实施例的一种文本处理装置的示意性方案。需要说明的是,该文本处理装置的技术方案与上述的文本处理方法的技术方案属于同一构思,文本处理装置的技术方案未详细描述的细节内容,均可以参见上述文本处理方法的技术方案的描述。此外,装置实施例中的各组成部分应当理解为实现该程序流程各步骤或该方法各步骤所必须建立的功能模块,各个功能模块并非实际的功能分割或者分离限定。由这样一组功能模块限定的装置权利要求应当理解为主要通过说明书记载的计算机程序实现该解决方案的功能模块构架,而不应当理解为主要通过硬件方式实现该解决方案的实体装置。
[0219]
图5示出了根据本技术一实施例提供的一种计算设备500的结构框图。该计算设备500的部件包括但不限于存储器510和处理器520。处理器520与存储器510通过总线530相连接,数据库550用于保存数据。
[0220]
计算设备500还包括接入设备540,接入设备540使得计算设备500能够经由一个或多个网络560通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备540可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(nic))中的一个或多个,诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口,等等。
[0221]
在本技术的一个实施例中,计算设备500的上述部件以及图5中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图5所示的计算设备结构框图仅仅是出于示例的目的,而不是对本技术范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
[0222]
计算设备500可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或pc的静止计算设备。计算设备500还可以是移动式或静止式的服务器。
[0223]
其中,处理器520用于执行如下计算机可执行指令:
[0224]
获取待处理文本和问题文本,其中,所述问题文本与所述待处理文本相关;
[0225]
在所述待处理文本中提取所述问题文本对应的多个候选答案;
[0226]
将所述多个候选答案和所述问题文本输入至语义匹配模型进行处理,获得所述问题文本匹配的预测答案;
[0227]
根据所述预测答案、所述预测答案在所述待处理文本中所属的语句以及所述问题文本确定所述问题文本的答复结果。
[0228]
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的文本处理方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述文本处理方法的技术方案的描述。
[0229]
本技术一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时以用于:
[0230]
获取待处理文本和问题文本,其中,所述问题文本与所述待处理文本相关;
[0231]
在所述待处理文本中提取所述问题文本对应的多个候选答案;
[0232]
将所述多个候选答案和所述问题文本输入至语义匹配模型进行处理,获得所述问题文本匹配的预测答案;
[0233]
根据所述预测答案、所述预测答案在所述待处理文本中所属的语句以及所述问题文本确定所述问题文本的答复结果。
[0234]
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的文本处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述文本处理方法的技术方案的描述。
[0235]
上述对本技术特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
[0236]
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
[0237]
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列
的动作组合,但是本领域技术人员应该知悉,本技术并不受所描述的动作顺序的限制,因为依据本技术,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本技术所必须的。
[0238]
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
[0239]
以上公开的本技术优选实施例只是用于帮助阐述本技术。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本技术的内容,可作很多的修改和变化。本技术选取并具体描述这些实施例,是为了更好地解释本技术的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本技术。本技术仅受权利要求书及其全部范围和等效物的限制。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献