一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

文本纠错的方法、装置、设备及计算机可读存储介质与流程

2022-04-09 07:45:32 来源:中国专利 TAG:


1.本技术实施例涉及计算机技术领域,特别涉及一种文本纠错的方法、装置、设备及计算机可读存储介质。


背景技术:

2.随着智能家居的不断发展,研发出性能更优的智能语音控制系统成为关键。为确保智能语音控制系统的性能,需要对语音识别得到的文本进行纠错,以保证文本的准确性。
3.在相关技术中,文本纠错的方法可以实现对单一领域的语音识别得到的文本进行纠错,并可以保证单一领域的文本纠错的准确性。
4.但是,同一智能控制系统可能需要对属于多个领域的语音进行识别,从而也需要对多个领域的文本进行纠错。当对多个领域的语音进行识别时,相关技术提供的文本纠错方法降低了多领域文本纠错的准确性,从而降低了智能语音控制系统的准确性。


技术实现要素:

5.本技术实施例提供了一种文本纠错的方法、装置、设备及计算机可读存储介质,可用于解决相关技术中的问题。技术方案如下:
6.一方面,本技术实施例提供了一种文本纠错的方法,方法包括:
7.获取待纠错的第一文本以及至少一个对应领域的词典,所述词典中的词的词频满足要求;
8.对所述第一文本进行拆分得到至少一个字,通过所述词典对所述至少一个字进行匹配,得到所述至少一个字中匹配成功的各个字的匹配字;
9.获取第一匹配关系以及第二匹配关系,所述第一匹配关系为所述各个字之间的匹配关系,所述第二匹配关系为第一字的匹配字与第二字之间的匹配关系,所述第一字为所述至少一个字中的任一字,所述第二字为所述至少一个字中除所述第一字之外的字以及除所述第一字之外的字的匹配字;
10.根据所述第一匹配关系及所述第二匹配关系确定所述第一文本的纠错文本。
11.在一种可能的实现方式中,所述根据所述第一匹配关系及所述第二匹配关系确定所述第一文本的纠错文本,包括:
12.根据所述第一匹配关系及所述第二匹配关系,获取至少一个备选文本;
13.确定各个备选文本与所述第一文本的匹配度;
14.根据所述各个备选文本与所述第一文本的匹配度,从所述至少一个备选文本中确定所述第一文本的纠错文本。
15.在一种可能的实现方式中,所述获取第一匹配关系以及第二匹配关系,包括:
16.根据所述至少一个字以及所述各个字的匹配字得到单向图,所述单向图用于指示所述第一匹配关系和所述第二匹配关系;
17.所述根据所述第一匹配关系及所述第二匹配关系,获取至少一个备选文本,包括:
对所述单向图进行路径搜索,得到至少一条备选路径,不同的备选路径对应不同的备选文本。
18.在一种可能的实现方式中,所述确定各个备选文本与所述第一文本的匹配度,包括:
19.基于打分指标对所述各个备选文本进行打分,得到所述各个备选文本的打分结果,任一备选文本的打分结果用于指示所述任一备选文本与所述第一文本的匹配度;
20.其中,所述打分指标包括所述任一备选文本的合理度、所述任一备选文本与所述第一文本的拼音相似度、所述任一备选文本中命中所述词典的字的数量和所述任一备选文本中命中所述词典的字组成的词的长度中的至少一个,所述任一备选文本的合理度用于指示所述任一备选文本的语句通顺程度。
21.在一种可能的实现方式中,所述根据所述各个备选文本与所述第一文本的匹配度,从所述至少一个备选文本中确定所述第一文本的纠错文本,包括:
22.根据所述各个备选文本与所述第一文本的匹配度,从所述至少一个备选文本中筛选出匹配度达到阈值的至少一个可选文本;
23.确定各个可选文本的意图,基于所述各个可选文本的意图从所述至少一个可选文本中确定所述第一文本的纠错文本。
24.在一种可能的实现方式中,所述基于所述各个可选文本的意图从所述至少一个可选文本中确定所述第一文本的纠错文本之后,还包括:
25.确定所述纠错文本的至少一个意图对应的纠错行为,任一意图对应零或者多个纠错行为;
26.通过所述任一意图对应的纠错行为对所述任一意图进行负反馈加权,得到所述纠错文本的至少一个意图的加权结果;
27.响应于所述任一意图的加权结果高于加权阈值,执行所述任一意图对应的操作。
28.在一种可能的实现方式中,所述至少一个对应领域的词典基于tf-idf(term frequency

inverse document frequency,词频-逆文本频率指数)算法与人工标注得到。
29.另一方面,提供了一种文本纠错的装置,装置包括:
30.第一获取模块,用于获取待纠错的第一文本以及至少一个对应领域的词典,所述词典中的词的词频满足要求;
31.匹配模块,用于对所述第一文本进行拆分得到至少一个字,通过所述词典对所述至少一个字进行匹配,得到所述至少一个字中匹配成功的各个字的匹配字;
32.第二获取模块,用于获取第一匹配关系以及第二匹配关系,所述第一匹配关系为所述各个字之间的匹配关系,所述第二匹配关系为第一字的匹配字与第二字之间的匹配关系,所述第一字为所述至少一个字中的任一字,所述第二字为所述至少一个字中除所述第一字之外的字以及除所述第一字之外的字的匹配字;
33.确定模块,用于根据所述第一匹配关系及所述第二匹配关系确定所述第一文本的纠错文本。
34.在一种可能的实现方式中,确定模块,用于根据所述第一匹配关系及所述第二匹配关系,获取至少一个备选文本;确定各个备选文本与所述第一文本的匹配度;根据所述各个备选文本与所述第一文本的匹配度,从所述至少一个备选文本中确定所述第一文本的纠
错文本。
35.在一种可能的实现方式中,第二获取模块,用于根据所述至少一个字以及所述各个字的匹配字得到单向图,所述单向图用于指示所述第一匹配关系和所述第二匹配关系;
36.确定模块,用于对所述单向图进行路径搜索,得到至少一条备选路径,不同的备选路径对应不同的备选文本。
37.在一种可能的实现方式中,确定模块,用于基于打分指标对所述各个备选文本进行打分,得到所述各个备选文本的打分结果,任一备选文本的打分结果用于指示所述任一备选文本与所述第一文本的匹配度;其中,所述打分指标包括所述任一备选文本的合理度、所述任一备选文本与所述第一文本的拼音相似度、所述任一备选文本中命中所述词典的字的数量和所述任一备选文本中命中所述词典的字组成的词的长度中的至少一个,所述任一备选文本的合理度用于指示所述任一备选文本的语句通顺程度。
38.在一种可能的实现方式中,确定模块,用于根据所述各个备选文本与所述第一文本的匹配度,从所述至少一个备选文本中筛选出匹配度达到阈值的至少一个可选文本;确定各个可选文本的意图,基于所述各个可选文本的意图从所述至少一个可选文本中确定所述第一文本的纠错文本。
39.在一种可能的实现方式中,确定模块,还用于确定所述纠错文本的至少一个意图对应的纠错行为,任一意图对应零或者多个纠错行为;通过所述任一意图对应的纠错行为对所述任一意图进行负反馈加权,得到所述纠错文本的至少一个意图的加权结果;响应于所述任一意图的加权结果高于加权阈值,执行所述任一意图对应的操作。
40.在一种可能的实现方式中,所述至少一个对应领域的词典基于tf-idf算法与人工标注得到。
41.另一方面,提供了一种计算机设备,计算机设备包括处理器和存储器,存储器中存储有至少一条计算机程序,至少一条计算机程序由处理器加载并执行,以使计算机设备实现上述任一的文本纠错的方法。
42.另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质中存储有至少一条计算机程序,至少一条计算机程序由处理器加载并执行,以使计算机实现上述任一的文本纠错的方法。
43.另一方面,还提供了一种计算机程序产品或计算机程序,计算机程序产品或计算机程序包括计算机指令,计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取计算机指令,处理器执行计算机指令,使得计算机设备执行上述任一的文本纠错的方法。
44.本技术实施例提供的技术方案至少带来如下有益效果:
45.本技术实施例通过至少一个对应领域的词典对待纠错的第一文本中的字进行匹配得到匹配字,该词典中的词的词频满足要求,提高了第一文本中的任一字与该字的匹配字之间的匹配关系对于对应领域的针对性,之后再根据该匹配关系确定纠错文本,不仅对对应领域的文本纠错进行强化,且提高了文本纠错结果的准确性。
附图说明
46.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使
用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
47.图1是本技术实施例提供的一种实施环境的示意图;
48.图2是本技术实施例提供的一种文本纠错的方法流程图;
49.图3是本技术实施例提供的一种单向图的示意图;
50.图4是本技术实施例提供的另一种文本纠错的方法流程图;
51.图5是本技术实施例提供的一种文本纠错的装置示意图;
52.图6是本技术实施例提供的一种计算机设备的结构示意图;
53.图7是本技术实施例提供的另一种计算机设备的结构示意图。
具体实施方式
54.为使本技术的目的、技术方案和优点更加清楚,下面将结合附图对本技术实施方式作进一步地详细描述。
55.需要说明的是,本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
56.本技术实施例提供了一种文本纠错的方法,请参考图1,其示出了本技术实施例提供的方法实施环境的示意图。该实施环境可以包括:终端11和服务器12。
57.其中,终端11可以获取待纠错的第一文本,在获取待纠错的第一文本后可以应用本技术实施例提供的文本纠错的方法得到纠错文本,向服务器12发送该纠错文本。服务器12可以接收该纠错文本,基于该纠错文本进行后续操作,例如可以执行该纠错文本中对应的操作。
58.或者,终端11可以获取待纠错的第一文本,在获取待纠错的第一文本后可以应用本技术实施例提供的文本纠错的方法得到纠错文本,基于该纠错文本进行后续操作,例如可以执行该纠错文本中对应的操作。
59.或者,服务器12可以获取待纠错的第一文本,在获取待纠错的第一文本后可以应用本技术实施例提供的文本纠错的方法得到纠错文本,基于该纠错文本进行后续操作,例如可以执行该纠错文本中对应的操作。
60.或者,服务器12可以获取待纠错的第一文本,在获取待纠错的第一文本后可以应用本技术实施例提供的文本纠错的方法得到纠错文本,向终端11发送该纠错文本。终端11可以接收该纠错文本,基于该纠错文本进行后续操作,例如可以执行该纠错文本中对应的操作。
61.可选地,终端11可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品,例如pc(personal computer,个人计算机)、手机、智能手机、pda(personal digital assistant,个人数字助
手)、可穿戴设备、ppc(pocket pc,掌上电脑)、平板电脑、智能车机、智能电视、智能音箱等。服务器12可以是一台服务器,也可以是由多台服务器组成的服务器集群,或者是一个云计算服务中心。终端11与服务器12通过有线或无线网络建立通信连接。
62.本领域技术人员应能理解上述终端11和服务器12仅为举例,其他现有的或今后可能出现的终端或服务器如可适用于本技术,也应包含在本技术保护范围以内,并在此以引用方式包含于此。
63.基于上述图1所示的实施环境,本技术实施例提供一种文本纠错的方法,以该方法应用于终端为例。如图2所示,本技术实施例提供的方法可以包括如下步骤。
64.在步骤201中,获取待纠错的第一文本以及至少一个对应领域的词典,词典中的词的词频满足要求。
65.本技术实施例不对待纠错的第一文本的获取方式进行限定,该获取方式可以基于实施场景确定。此外,也不对第一文本的内容进行限定。
66.例如,在语音控制场景下,第一文本可以为任一具有语音识别功能的终端对该终端的交互对象的语音进行识别所得到的文本。第一文本的内容可以为任一具有语音识别功能的终端的交互对象对该终端发出的指令。由于语音识别可能存在识别错误,或者交互对象可能存在口误等问题,因此,需要对该第一文本进行纠错。
67.又例如,在网页检索场景下,第一文本可以为终端的交互对象通过文字输入法等方法输入的文本。第一文本的内容可以为任一可以进行网页检索的终端的交互对象需要进行检索的内容。由于该第一文本可能存在输入错误等问题,因此,可以通过本技术实施例提供的方法对该第一文本进行纠错。
68.示例性地,至少一个对应领域的词典基于tf-idf算法与人工标注得到。本技术实施例不对对应领域的数量进行限定,该领域可以基于实施环境确定。在一种可能的实施方式中,词典可以应用于语音控制场景。在该场景下,对应领域可以为灯控领域与门控领域等领域中的至少一个。
69.本技术实施例不对至少一个对应领域的词典进行限定,包括但不限于以下三种情况。
70.情况一,本技术实施例使用的词典为一个对应领域的词典,该词典中的词的词频满足要求。
71.该情况一中,虽然使用的是一个对应领域的词典,但该一个对应领域的词典中的词的词频满足要求,因而相较词频未满足要求的词典而言,使用词频满足要求的词典进行文本纠错时,能够提高文本纠错的准确性。本技术实施例不对词频满足要求的对应领域的词典的获取方式进行限定,包括但不限于基于tf-idf算法与人工标注的方式得到对应领域中词频满足要求的词,根据该领域中词频满足要求的词得到该领域的词典。
72.示例性地,可以设定在阈值范围的语料中的词出现在阈值范围的语料中的次数达到次数阈值,或者在阈值范围的语料中的词出现在阈值范围的语料中的频率达到频率阈值,则该词的词频满足要求,可将该词作为词典中的词。其中,阈值范围的语料可以是交互对象对该终端发出的指令对应的一段语料,或者是从历史语料中筛选出的一段语料。阈值范围是指语料的长度,可以用语料所包含的词的个数确定,本技术实施例不对阈值范围进行限定,同样也不对上述次数阈值和频率阈值进行限定,可基于经验或者应用场景确定。例
如,上述阈值范围的语料为属于灯控领域,且包含100个词的语料为例,在该包含100个词的语料中,将出现次数得到3次,或者将频率高于3%的词作为词典中的词。
73.情况二,本技术实施例使用的词典为多个对应领域的词典,且不限定词典中的词的词频是否满足要求。
74.该情况二中,虽然不限定词典中的词的词频是否满足要求,但由于使用了多个对应领域的词典,相较使用一个词典而言,使用多个对应领域的词典对文本纠错,可以具有对多个领域的纠错性能,同样可以提高文本纠错的准确性。
75.本技术实施例不对多个对应领域的数量以及具体的领域进行限定,可基于应用场景确定。以2个对应领域的词典为例,分别为灯控领域的词典和门控领域的词典。本技术实施例不对各个领域的词典的获取方式进行限定,例如,可以从各个领域的历史预料中选取一定数量的词作为词典中的词。
76.情况三,本技术实施例使用的词典为多个对应领域的词典,且多个对应领域的词典中,各个词典中的词的词频满足要求。
77.该情况三中,不仅使用多个对应领域的词典,且词典中的词的词频满足要求,因而相较使用一个词典而言,不仅具有对多个领域的纠错性能,且各个领域的纠错性能均能得到保证,因而更加能够提高文本纠错的准确性。
78.针对各个对应领域的词典的获取方式,均可参考情况一中的词典的获取方式,此处不再一一赘述。
79.在步骤202中,对第一文本进行拆分得到至少一个字,通过词典对至少一个字进行匹配,得到至少一个字中匹配成功的各个字的匹配字。
80.示例性地,可以通过结巴分词工具对第一文本进行分词,例如第一文本为“打开室内的灯”,则可以对该第一文本拆分得到“打”、“开”、“室”、“内”、“的”、“灯”六个字。
81.本技术实施例不限定通过词典对至少一个字进行匹配的方法,在示例性实施例中,上述至少一个字中的任一字组成的词可以命中词典中的词时,则该命中词典的词中对应的字为上述任一字的匹配字。例如,当词典中的词为一至四个字,则在匹配时要对第一文本中的每个字连同在该字后面与该字相连的一至三个字分别组成词来进行匹配,例如,第一文本为“打开声框联动模式”,对该第一文本进行拆分得到“打”、“开”、“声”、“框”、“联”、“动”、“模”、“式”。可以首先对“打”字进行匹配,对于“打”字以及与“打”字相连的一个字“开”可以组成“打开”,“打开”可以命中词典中的“大开”,因此通过“打开”可以得到能够与“打”字进行匹配的“大”字。之后,对于“打”字以及与“打”字相连的两个字“开声”可以组成“打开声”,“打开声”没有命中词典,因此通过“打开声”没有得到可以与“打”字进行匹配的字。最后,再对于“打”字以及与“打”字相连的三个字“开声框”可以组成“打开声框”,“打开声框”依旧没有命中词典,因此通过“打开声框”没有得到可以与“打”字进行匹配的字。综上,“打”字可以与“大”字进行匹配。对于第一文本中的其他字,可以通过与“打”字相同的匹配方法进行匹配得到匹配字。
82.在步骤203中,获取第一匹配关系以及第二匹配关系,第一匹配关系为各个字之间的匹配关系,第二匹配关系为第一字的匹配字与第二字之间的匹配关系,第一字为至少一个字中的任一字,第二字为至少一个字中除第一字之外的字以及除第一字之外的字的匹配字。
83.本技术实施例不限定获取第一匹配关系以及第二匹配关系的方式,例如可以通过将具有第一匹配关系或第二匹配关系的字进行连接的方法,来获取第一匹配关系以及第二匹配关系。在一些实施例中,第一文本为一个字,此时第二字的个数为零,因此获取的第二匹配关系也为零。
84.在示例性实施例中,可以通过单向图来获取第一匹配关系以及第二匹配关系,该种方式下,获取第一匹配关系以及第二匹配关系,包括:根据至少一个字以及各个字的匹配字得到单向图,单向图用于指示第一匹配关系和第二匹配关系。
85.本技术实施例不对单向图进行限定,在一种可能的实施方式中,对于单向图中任一命中词典的词,该词中的字可以通过边进行连接。示例性地,第一文本为“打开声框联动模式”,对该第一文本进行拆分得到“打”、“开”、“声”、“框”、“联”、“动”、“模”、“式”,例如,“打”字可以与“大”字等进行匹配,“框”可以与“光”字等匹配,则单向图的示意图可以如图3所示。
86.示例性地,图3中由于“打开”命中了词典,因此“打”字与“开”字之间有一条边,该条边指示了“打”字与“开”字之间的第一匹配关系。“大开”命中了词典,因此“大”字与“开”字之间也有一条边,该条边指示了“大”字与“开”字之间的第二匹配关系。基于所述方法,“开声”未命中词典,因此“开”字自己组成一条边,“声”字自己组成一条边,“开”与“声”字之间不用边进行连接。“声”与“框”字的匹配字“光”可以组成“声光”并命中了词典,因此“声”字与“光”字之间有一条边,而“声框”未命中词典,因此“声”字与“框”字之间不用边进行连接。“框联”未命中词典,因此“框”字与“联”字之间不用边进行连接。由于“声光联动”也命中了词典,因此对于“声光联动”中的“声”字到“动”字可以用边进行连接。后面的“联动”以及“模式”均命中了词典,因此“联”字与“动”字之间以及“模”字与“式”字之间均用边进行连接,并且“联动模式”命中了词典,因此对于“联动模式”中的“联”字到“式”字可以用边进行连接。
87.本技术实施例通过至少一个对应领域的词的词频满足要求的词典对待纠错的第一文本中的字进行匹配得到匹配字,提高了第二匹配关系对于对应领域的针对性。
88.在步骤204中,根据第一匹配关系及第二匹配关系确定第一文本的纠错文本。
89.可选地,根据第一匹配关系及第二匹配关系确定第一文本的纠错文本,包括:根据第一匹配关系及第二匹配关系,获取至少一个备选文本;确定各个备选文本与第一文本的匹配度;根据各个备选文本与第一文本的匹配度,从至少一个备选文本中确定第一文本的纠错文本。
90.本技术实施例不限定根据第一匹配关系及第二匹配关系,获取至少一个备选文本的方式,例如可以通过第一匹配关系以及第二匹配关系确定第一文本中任一字可能的替换方式。示例性地,第一文本为“打开声框联动模式”,其中第一文本中的字之间可以为第一匹配关系。另外,“打”字可以与“大”字匹配,“打”字与“大”字之间为第二匹配关系;“框”字可以与“光”字匹配,“框”字与“光”字之间为第二匹配关系。由此,再对第一文本中每个字可能的替换方式进行排列组合,可以得到“大开声框联动模式”、“打开声光联动模式”、“大开声光联动模式”三种可能的替换方式,每种替换方式均可以作为一个备选文本,且第一文本本身也可以作为一个备选文本。
91.在一种可能的实施方式中,第一匹配关系以及第二匹配关系均可以通过单向图来
进行指示。可选地,根据第一匹配关系及第二匹配关系,获取至少一个备选文本,包括:对单向图进行路径搜索,得到至少一条备选路径,不同的备选路径对应不同的备选文本。
92.本技术实施例不对进行路径搜索的方法进行限定,示例性地,可以通过beam search(集束搜索)算法来对单向图进行路径搜索。在通过beam search算法对该单向图进行路径搜索时,可以先搜索第一个字或第一个字的匹配字到第二个字或第二个字的匹配字,并确定其中的每一种组合对应的备选文本与第一文本的匹配度,任一种组合即为一条备选路径,保留其中匹配度最高的n(例如,n为大于等于1的正整数)条备选路径。基于保留的n条备选路径继续向后搜索,每搜索一个字就确定一次当前备选路径的匹配度,并保留其中匹配度最高的n条备选路径。基于上述方法最终可以得到至少一个备选路径。
93.在示例性实施例中,以图3示意的单向图为例,在通过beam search算法对该单向图进行路径搜索时,可以先搜索第一个字“打”以及第一个字的匹配字“大”等分别到第二个字“开”的备选路径,此处包括“打开”与“大开”等备选路径,分别确定上述备选路径对应的备选文本与第一文本的匹配度,并保留匹配度最高的n条备选路径,例如n可以为2,当匹配度最高的2条备选路径为“打开”与“大开”时,保留“打开”与“大开”两条备选路径。之后可以搜索“打开声”与“大开声”并基于上述方法确定当前备选路径的匹配度,因为此处的“声”字无匹配字,所以可以保留“打开声”与“大开声”两条备选路径,之后继续基于上述方法进行搜索,每搜索一个字就确定一次当前备选路径的匹配度,并保留匹配度最高的n条备选路径作为可选文本。
94.示例性地,确定各个备选文本与第一文本的匹配度,包括:基于打分指标对各个备选文本进行打分,得到各个备选文本的打分结果,任一备选文本的打分结果用于指示任一备选文本与第一文本的匹配度;其中,打分指标包括任一备选文本的合理度、任一备选文本与第一文本的拼音相似度、任一备选文本中命中词典的字的数量和任一备选文本中命中词典的词的长度中的至少一个,任一备选文本的合理度用于指示任一备选文本的语句通顺程度。
95.示例性地,任一备选文本的合理度可以基于kenlm(kenneth language model,一个语言模型工具)模型确定,该kenlm模型可以基于包含对应领域的语料训练得到。使用包含对应领域的语料对kenlm模型进行训练可以使得到的任一备选文本的合理度更加准确。
96.在一种可能的实施方式中,第一匹配关系以及第二匹配关系均通过单向图来进行指示,则任一备选文本中命中词典的字的数量,即为单向图对应的备选路径中边的数量。其中,单向图对应的备选路径中边的数量越多,备选文本中命中词典的字的数量就越多,则该备选文本与第一文本的匹配度越高。任一备选文本中命中词典的字组成的词的长度,即为单向图对应的备选路径中该词中包括的边的总长,其中,单向图对应的备选路径中任一词中包括的边的总长越长,对应的备选文本中备选文本中命中词典的词的长度越长,则该备选文本与第一文本的匹配度越高。
97.可选地,根据各个备选文本与第一文本的匹配度,从至少一个备选文本中确定第一文本的纠错文本,包括:根据各个备选文本与第一文本的匹配度,从至少一个备选文本中筛选出匹配度达到阈值的至少一个可选文本;确定各个可选文本的意图,基于各个可选文本的意图从至少一个可选文本中确定第一文本的纠错文本。
98.示例性地,可以将匹配度较高的n个匹配度设定为达到阈值,例如,n为大于等于1
的正整数。或者,可以基于经验或实施场景对阈值进行设定,例如可以将该阈值设定为70%,在该种方式下,可以筛选出匹配度大于70%的至少一个备选文本作为可选文本。本技术实施例不对确定至少一个可选文本的意图的方法进行限定,例如,可以通过nlp(natural language processing,自然语言处理)分析来得到至少一个可选文本的意图。在示例性实施例中,该方法应用于语音控制领域,且该语音控制中可以包括灯控领域,一个可选文本可以为“将屋内的灯打开”,该可选文本经过nlp分析可以得到开灯的意图,且该意图符合灯控领域,因此基于该可选文本的意图,可以将该可选文本作为第一文本的纠错文本。
99.可选地,基于各个可选文本的意图从至少一个可选文本中确定第一文本的纠错文本之后,还包括:确定纠错文本的至少一个意图对应的纠错行为,任一意图对应零或者多个纠错行为;通过任一意图对应的纠错行为对任一意图进行负反馈加权,得到纠错文本的至少一个意图的加权结果;响应于任一意图的加权结果高于加权阈值,执行任一意图对应的操作。
100.示例性地,在语音控制场景下,待纠错的第一文本可以为“关闭音箱并答开封”,纠错文本为“关闭音箱并打开灯”,因此纠错文本中有“关闭音箱”与“打开灯”这两个意图,其中,“关闭音箱”的意图对应零个纠错行为,“打开灯”的意图对应两个纠错行为,因此通过负反馈加权,得到“关闭音箱”的意图的加权结果可以高于加权阈值,而“打开灯”的意图的加权结果可以低于加权阈值。因此,可以只执行关闭音箱的操作,而不执行打开灯的操作。本技术实施例不限定加权阈值,加权阈值可以基于经验与实施环境进行设定。
101.本技术实施例通过至少一个对应领域的词典对待纠错的第一文本中的字进行匹配得到匹配字,该词典中的词的词频满足要求,提高了第一文本中的任一字与该字的匹配字之间的匹配关系对于对应领域的针对性,之后再根据该匹配关系确定纠错文本,不仅对对应领域的文本纠错进行强化,且提高了文本纠错结果的准确性。
102.如图4所示,本技术实施例提供了一种文本纠错的方法,该方法可以包括如下步骤。
103.401,获取待纠错的第一文本以及至少一个对应领域的词典,词典中的词的词频满足要求。该步骤的实现方式可参见上述步骤201,此处不再赘述。
104.402,对第一文本进行拆分得到至少一个字,通过词典对至少一个字进行匹配,得到至少一个字中匹配成功的各个字的匹配字。该步骤的实现方式可参见上述步骤202,此处不再赘述。
105.403,基于第一文本与至少一个字中的各个字的匹配字确定单向图。该步骤的实现方式可参见上述步骤203,此处不再赘述。
106.404,对单向图进行路径搜索,得到至少一条备选路径,任一备选路径对应一个备选文本。该步骤的实现方式可参见上述步骤204,此处不再赘述。
107.405,根据各个备选文本与第一文本的匹配度,从至少一个备选文本中筛选出匹配度达到阈值的至少一个可选文本。该步骤的实现方式可参见上述步骤204,此处不再赘述。
108.406,确定各个可选文本的意图,基于各个可选文本的意图从至少一个可选文本中确定第一文本的纠错文本。该步骤的实现方式可参见上述步骤204,此处不再赘述。
109.参见图5,本技术实施例提供了一种文本纠错的装置,该装置包括:
110.第一获取模块501,用于获取待纠错的第一文本以及至少一个对应领域的词的词
频满足要求的词典;
111.匹配模块502,用于对第一文本进行拆分得到至少一个字,通过词典对至少一个字进行匹配,得到至少一个字中匹配成功的各个字的匹配字;
112.第二获取模块503,用于获取第一匹配关系以及第二匹配关系,第一匹配关系为各个字之间的匹配关系,第二匹配关系为第一字的匹配字与第二字之间的匹配关系,第一字为至少一个字中的任一字,第二字为至少一个字中除第一字之外的字以及除第一字之外的字的匹配字;
113.确定模块504,用于根据第一匹配关系及第二匹配关系确定第一文本的纠错文本。
114.在一种可能的实现方式中,确定模块504,用于根据第一匹配关系及第二匹配关系,获取至少一个备选文本;确定各个备选文本与第一文本的匹配度;根据各个备选文本与第一文本的匹配度,从至少一个备选文本中确定第一文本的纠错文本。
115.在一种可能的实现方式中,第二获取模块503,用于根据至少一个字以及各个字的匹配字得到单向图,单向图用于指示第一匹配关系和第二匹配关系;
116.确定模块504,用于对单向图进行路径搜索,得到至少一条备选路径,不同的备选路径对应不同的备选文本。
117.在一种可能的实现方式中,确定模块504,用于基于打分指标对各个备选文本进行打分,得到各个备选文本的打分结果,任一备选文本的打分结果用于指示任一备选文本与第一文本的匹配度;其中,打分指标包括任一备选文本的合理度、任一备选文本与第一文本的拼音相似度、任一备选文本中命中词典的字的数量和任一备选文本中命中词典的字组成的词的长度中的至少一个,任一备选文本的合理度用于指示任一备选文本的语句通顺程度。
118.在一种可能的实现方式中,确定模块504,用于根据各个备选文本与第一文本的匹配度,从至少一个备选文本中筛选出匹配度达到阈值的至少一个可选文本;确定各个可选文本的意图,基于各个可选文本的意图从至少一个可选文本中确定第一文本的纠错文本。
119.在一种可能的实现方式中,确定模块504,还用于确定纠错文本的至少一个意图对应的纠错行为,任一意图对应零或者多个纠错行为;通过任一意图对应的纠错行为对任一意图进行负反馈加权,得到纠错文本的至少一个意图的加权结果;响应于任一意图的加权结果高于加权阈值,执行任一意图对应的操作。
120.在一种可能的实现方式中,至少一个对应领域的词的词频满足要求的词典基于tf-idf算法与人工标注得到。
121.本技术实施例通过至少一个对应领域的词典对待纠错的第一文本中的字进行匹配得到匹配字,该词典中的词的词频满足要求,提高了第一文本中的任一字与该字的匹配字之间的匹配关系对于对应领域的针对性,之后再根据该匹配关系确定纠错文本,不仅对对应领域的文本纠错进行强化,且提高了文本纠错结果的准确性。
122.需要说明的是,上述实施例提供的装置在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
123.图6是本技术实施例提供的一种计算机设备的结构示意图,该计算机设备可以为服务器,该服务器可因配置或性能不同而产生比较大的差异,可以包括一个或多个处理器(central processing units,cpu)601和一个或多个存储器602,其中,该一个或多个存储器602中存储有至少一条计算机程序,该至少一条计算机程序由该一个或多个处理器601加载并执行,以使该服务器实现上述各个方法实施例提供的文本纠错的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
124.图7是本技术实施例提供的一种计算机设备的结构示意图。该设备可以为终端,例如可以是:智能手机、平板电脑、mp3(moving picture experts group audio layer iii,动态影像专家压缩标准音频层面3)播放器、mp4(moving picture experts group audio layer iv,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
125.通常,终端包括有:处理器701和存储器702。
126.处理器701可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器701可以采用dsp(digital signal processing,数字信号处理)、fpga(field-programmable gate array,现场可编程门阵列)、pla(programmable logic array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称cpu(central processing unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器701可以集成有gpu(graphics processing unit,图像处理器),gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器701还可以包括ai(artificial intelligence,人工智能)处理器,该ai处理器用于处理有关机器学习的计算操作。
127.存储器702可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器701所执行,以使该终端实现本技术中方法实施例提供的文本纠错的方法。
128.在一些实施例中,终端还可选包括有:外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地,外围设备包括:射频电路704、显示屏705、摄像头组件706、音频电路707、定位组件708和电源709中的至少一种。
129.外围设备接口703可被用于将i/o(input/output,输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中,处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上;在一些其他实施例中,处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
130.射频电路704用于接收和发射rf(radio frequency,射频)信号,也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转
换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路704包括:天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity,无线保真)网络。在一些实施例中,射频电路704还可以包括nfc(near field communication,近距离无线通信)有关的电路,本技术对此不加以限定。
131.显示屏705用于显示ui(user interface,用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时,显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时,显示屏705还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏705可以为一个,设置在终端的前面板;在另一些实施例中,显示屏705可以为至少两个,分别设置在终端的不同表面或呈折叠设计;在另一些实施例中,显示屏705可以是柔性显示屏,设置在终端的弯曲表面上或折叠面上。甚至,显示屏705还可以设置成非矩形的不规则图形,也即异形屏。显示屏705可以采用lcd(liquid crystal display,液晶显示屏)、oled(organic light-emitting diode,有机发光二极管)等材质制备。
132.摄像头组件706用于采集图像或视频。可选地,摄像头组件706包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
133.音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器701进行处理,或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路707还可以包括耳机插孔。
134.定位组件708用于定位终端的当前地理位置,以实现导航或lbs(location based service,基于位置的服务)。定位组件708可以是基于美国的gps(global positioning system,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
135.电源709用于为终端中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时,该可充电电池可以支持有线充电或无
线充电。该可充电电池还可以用于支持快充技术。
136.在一些实施例中,终端还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于:加速度传感器711、陀螺仪传感器712、压力传感器713、光学传感器714以及接近传感器715。
137.加速度传感器711可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号,控制显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。
138.陀螺仪传感器712可以检测终端的机体方向及转动角度,陀螺仪传感器712可以与加速度传感器711协同采集用户对终端的3d动作。处理器701根据陀螺仪传感器712采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
139.压力传感器713可以设置在终端的侧边框和/或显示屏705的下层。当压力传感器713设置在终端的侧边框时,可以检测用户对终端的握持信号,由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在显示屏705的下层时,由处理器701根据用户对显示屏705的压力操作,实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
140.光学传感器714用于采集环境光强度。在一个实施例中,处理器701可以根据光学传感器714采集的环境光强度,控制显示屏705的显示亮度。具体地,当环境光强度较高时,调高显示屏705的显示亮度;当环境光强度较低时,调低显示屏705的显示亮度。在另一个实施例中,处理器701还可以根据光学传感器714采集的环境光强度,动态调整摄像头组件706的拍摄参数。
141.接近传感器715,也称距离传感器,通常设置在终端的前面板。接近传感器715用于采集用户与终端的正面之间的距离。在一个实施例中,当接近传感器715检测到用户与终端的正面之间的距离逐渐变小时,由处理器701控制显示屏705从亮屏状态切换为息屏状态;当接近传感器715检测到用户与终端的正面之间的距离逐渐变大时,由处理器701控制显示屏705从息屏状态切换为亮屏状态。
142.本领域技术人员可以理解,图7中示出的结构并不构成对终端的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
143.在示例性实施例中,还提供了一种计算机设备,该计算机设备包括处理器和存储器,该存储器中存储有至少一条计算机程序。该至少一条计算机程序由一个或者一个以上处理器加载并执行,以使该计算机设备实现上述任一种文本纠错的方法。
144.在示例性实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条计算机程序,该至少一条计算机程序由计算机设备的处理器加载并执行,以使计算机实现上述任一种文本纠错的方法。
145.在一种可能实现方式中,上述计算机可读存储介质可以是只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、只读光盘(compact disc read-only memory,cd-rom)、磁带、软盘和光数据存储设备等。
146.在示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序
产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述任一种文本纠错的方法。
147.应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
148.以上所述仅为本技术的示例性实施例,并不用以限制本技术,凡在本技术的原则之内,所作的任何修改、等同替换、改进等,均应包含在本技术的保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献