一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

文本纠错方法、装置、电子设备和可读存储介质与流程

2022-05-18 14:35:54 来源:中国专利 TAG:


1.本公开涉及计算机技术领域,尤其涉及自然语言处理、深度学习等人工智能技术领域。具体提供了一种文本纠错方法、装置、电子设备及可读存储介质。


背景技术:

2.在中文环境下,自动语音识别系统需要将声音信号识别成汉字。由于汉字存在一音多字或者一字多音的情况,自动语音识别系统会倾向于生成训练样本中大概率出现的汉字序列。此外,由于用户本身可能存在发音不准或者语音信号在信道传播过程中引入噪声,导致无法正确地从语音信号获取汉字结果,因此需要进行文本纠错。
3.同样地,在纯文本场景下,存在拼写错误、误增字符或者表述补全的问题,也需要进行文本纠错。但是现有技术在进行文本纠错时,通常依赖机器学习技术,因此存在纠错成本较高、无法冷启动的问题。


技术实现要素:

4.根据本公开的第一方面,提供了一种文本纠错方法,包括:获取待处理文本,确定所述待处理文本中的目标文本;根据音素词典与所述目标文本的原始音素序列,得到至少一个候选音素序列;根据所述至少一个候选音素序列与多个候选词的音素序列,从所述多个候选词中选取目标词;根据所述目标词,得到所述待处理文本的纠错结果。
5.根据本公开的第二方面,提供了一种文本纠错装置,包括:获取单元,用于获取待处理文本,确定所述待处理文本中的目标文本;处理单元,用于根据音素词典与所述目标文本的原始音素序列,得到至少一个候选音素序列;选取单元,用于根据所述至少一个候选音素序列与多个候选词的音素序列,从所述多个候选词中选取目标词;纠错单元,用于根据所述目标词,得到所述待处理文本的纠错结果。
6.根据本公开的第三方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的方法。
7.根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行如上所述的方法。
8.根据本公开的第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如上所述的方法。
9.由以上技术方案可以看出,本公开能够简化文本纠错的步骤,降低文本纠错的成本,实现文本纠错的冷启动,且在文本中出现“音似字错”的情况下也会取得较好的纠错效果,进一步提升文本纠错的准确性。
10.应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
11.附图用于更好地理解本方案,不构成对本公开的限定。其中:
12.图1是根据本公开第一实施例的示意图;
13.图2是根据本公开第二实施例的示意图;
14.图3是根据本公开第三实施例的示意图;
15.图4是根据本公开第四实施例的示意图;
16.图5是根据本公开第五实施例的示意图;
17.图6是根据本公开第六实施例的示意图;
18.图7是根据本公开第七实施例的示意图;
19.图8是根据本公开第八实施例的示意图;
20.图9是用来实现本公开实施例的文本纠错方法的电子设备的框图。
具体实施方式
21.以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和机构的描述。
22.图1是根据本公开第一实施例的示意图。如图1所示,本实施例的文本纠错方法,具体包括如下步骤:
23.s101、获取待处理文本,确定所述待处理文本中的目标文本;
24.s102、根据音素词典与所述目标文本的原始音素序列,得到至少一个候选音素序列;
25.s103、根据所述至少一个候选音素序列与多个候选词的音素序列,从所述多个候选词中选取目标词;
26.s104、根据所述目标词,得到所述待处理文本的纠错结果。
27.本实施例的文本纠错方法,在确定待处理文本中的目标文本之后,首先根据音素词典与目标文本的原始音素序列,得到至少一个候选音素序列,然后再根据至少一个候选音素序列与多个候选词的音素序列,从多个候选词中选取目标词,最后根据目标词,从而得到待处理文本的纠错结果,本实施例基于声音的相似来进行文本纠错,无需依赖任何训练数据,简化了文本纠错的步骤,降低了文本纠错的成本,能够实现文本纠错的冷启动,且在文本中出现“音似字错”的情况下也会取得较好的纠错效果,从而提升了文本纠错的准确性。
28.本实施例在执行s101获取待处理文本时,可以将输入端输入的文本作为待处理文本,也可以将输入端从网络中选择的文本作为待处理文本,还可以对输入端输入的语音进行识别,将识别得到的文本作为待处理文本。
29.也就是说,本实施例的文本纠错方法适用于多种不同的场景,可以应用于纯文本场景,也可以应用于语音识别场景。
30.本实施例执行s101获取待处理文本之后,执行确定所获取的待处理文本中的目标文本的步骤。其中,本实施例执行s101所确定的目标文本可以为待处理文本本身,也可以为
待处理文本中的部分文本,例如待处理文本中的关键词或者实体词语。
31.本实施例在执行s101确定待处理文本中的目标文本时,可以采用的可选实现方式为:将待处理文本输入实体抽取模型,将实体抽取模型的输出结果作为待处理文本中的目标文本。即本实施例使用实体抽取模型,将实体抽取模型从待处理文本中所抽取的实体词语作为目标文本。
32.本实施例在执行s101确定待处理文本中的目标文本之后,执行s102根据音素词典与所确定的目标文本的原始音素序列,得到目标文本所对应的至少一个候选音素序列。
33.其中,本实施例执行s102所使用的音素词典是预先设置的,该音素词典中包含多个原始音素,以及每个原始音素所对应的相似音素;原始音素所对应的相似音素的个数可以为一个,也可以为多个。
34.举例来说,若本实施例中的音素词典包含的原始音素分别为“a”、“ang”、“ing”、“l”与“n”。其中,原始音素“a”对应的相似音素可以为“an”与“ang”;原始音素“ang”对应的相似音素可以为“an”;原始音素“ing”对应的相似音素可以为“in”;原始音素“l”对应的相似音素可以为“n”;原始音素“n”对应的相似音素可以为“l”。
35.本实施例中的原始音素序列或者候选音素序列由至少一个音素子序列构成,每个音素子序列对应一个汉字;音素子序列由至少一个音素构成,音素表示发音的最小单元;为了简化处理过程,本实施例中的音素可以为没有声调的音素。
36.本实施例在执行s102时,可以针对目标文本中的每个字,获取该字所对应的音素子序列,进而根据所获取的各字的音素子序列,得到目标文本的原始音素序列;本实施例执行s102所获取的原始音素序列可以为一个,也可以为多个。
37.举例来说,若目标文本为“小行”,在考虑多音字的情况下,本实施例执行s102获取的“小行”的原始音素序列可以为“x i ao,x ing”与“xi ao,h ang”。其中,在“x i ao,x ing”原始音素序列中,音素子序列“xi ao”由三个音素组成,对应目标文本中的汉字“小”;音素子序列“x ing”由两个音素组成,对应目标文本中的汉字“行”。
38.本实施例在执行s102根据音素词典与目标文本的原始音素序列,得到至少一个候选音素序列时,可以采用的可选实现方式为:针对原始音素序列中的每个音素,获取音素词典中与该音素对应的相似音素;将原始音素序列中的音素替换为与其对应的相似音素之后,将音素替换结果与原始音素序列作为至少一个候选音素序列。
39.也就是说,由于所提供的的音素词典中,包含不同的音素及其对应的相似音素,因此本实施例能够实现根据目标文本的原始音素序列,得到目标文本所有可能的音素序列的目的,从而确保了所得到的候选音素序列对应于目标文本的不同发音,提升了所得到的候选音素序列的全面性。
40.举例来说,若本实施例中的目标文本为“小行”,若原始音素序列为“x i ao,x ing”;若在音素词典中,原始音素“ing”对应的相似音素为“in”,则本实施例执行s102可以获取相似音素“in”,来替换原始音素序列中的“ing”,从而得到“x i ao,x in”的音素替换结果,进而将“x iao,x ing”与“x i ao,x in”作为候选音素序列。
41.可以理解的是,若本实施例在执行s102时,未能够获取相似音素的情况下,可以直接将原始音素序列作为候选音素序列。
42.本实施例在执行s102得到至少一个候选音素序列之后,执行s103根据所得到的至
少一个候选音素序列与多个候选词的音素序列,从多个候选词中选取目标词。
43.其中,本实施例执行s103所使用的多个候选词可以是输入端预先设置的,即输入端可以根据实际需求来对候选词进行自定义,从而实现文本纠错的个性化。
44.在一些技术领域中,例如金融、科技、医学等技术领域,存在大量的专业词语,而对专业词语进行纠错存在一定困难。因此,本实施例在执行s103时,还可以包含以下内容:确定目标文本所属的技术领域;获取与所确定的技术领域对应的多个词语,作为多个候选词,本实施例可以通过对应不同的技术领域的词库来获取多个候选词。
45.为了进一步提升纠错效率,本实施例在执行s103时所使用的候选词的音素序列,可以是预先设置的;本实施例在预先设置候选词的音素序列时,可以仅考虑多音字的情况。
46.本实施例在执行s103时,也可以使用上述得到目标文本的候选音素序列的方式,根据候选词的原始音素序列,将所得到的至少一个候选音素序列作为候选词的音素序列,具体过程在此不进行赘述。
47.具体地,本实施例在执行s103根据所得到的至少一个候选音素序列与多个候选词的音素序列,从多个候选词中选取目标词时,可以采用的可选实现方式为:根据所得到的至少一个候选音素序列与多个候选词的音素序列,得到目标文本与多个候选词之间的相似度;将所得到的相似度的最大值对应的候选词,作为目标词。
48.由于一个候选词也会存在具有多个音素序列的情况,因此本实施例在执行s103时,可以从至少一个候选音素序列与一个候选词的多个音素序列中分别选取一个,进而根据每次选取的候选音素序列与音素序列,进行多次相似度的计算,得到目标文本与候选词之间的相似度。
49.本实施例在执行s103从多个候选词中选取目标词之后,执行s104根据所选取的目标词,得到待处理文本的纠错结果。
50.本实施例在执行s104时,可以将所选取的目标词替换待处理文本中的目标文本,进而将替换结果作为待处理文本的纠错结果;本实施例还可以直接输出所选取的目标词,作为待处理文本的纠错结果。
51.也就是说,本实施例将待处理文本中的目标文本替换为所选取的目标词,实现通过声音的相似来确定多个候选词中的目标词的目的,能够提升文本纠错的效率与准确性。
52.图2是根据本公开第二实施例的示意图。如图2所示,本实施例在执行s103“根据至少一个候选音素序列与多个候选词的音素序列,得到目标文本与多个候选词之间的相似度”时,具体包括如下步骤:
53.s201、针对每个候选词,选取一个候选音素序列与该候选词的一个音素序列;
54.s202、在确定所述目标文本与该候选词具有相同长度值的情况下,统计候选音素序列中每个位置处的汉字的音素子序列所包含的音素在该候选词的音素序列中相应位置处的汉字的音素子序列中的出现次数;
55.s203、根据所统计的出现次数与目标长度值,得到所述目标文本与该候选词之间的第一相似度。
56.也就是说,本实施例基于汉字拼音的特性,在目标文本与候选词为等长序列的情况下,根据目标文本的候选音素序列与候选词的音素序列,实现在汉字粒度下进行音素相似度的计算,得到目标文本与候选词之间的第一相似度,从而提升在计算等长序列的相似
度时的准确性。
57.可以理解的是,若存在当前候选词对应多个音素序列的情况,本实施例在计算目标文本与当前候选词之间相似度时,可以根据候选音素序列与每个音素序列进行计算,进而将计算所得到的相似度的最大值,作为目标文本与当前候选词之间的第一相似度。
58.其中,本实施例在执行s203时所使用的目标长度值,具体为候选音素序列与音素序列中具有较短长度的序列长度值。
59.本实施例在执行s203根据所统计的出现次数与目标长度值,得到目标文本与该候选词之间的第一相似度时,可以使用以下计算公式:
[0060][0061]
在公式中:sim1表示目标文本与候选词之间的第一相似度;m1表示目标文本的候选音素序列的长度值,m2表示候选词的音素序列的长度值;k表示第k个汉字;n表示目标文本或候选词中汉字的个数;表示第m个音素属于第c个汉字所对应的音素子序列;i表示计数函数,当函数中的条件成立时,计算结果为1,否则为0;表示目标文本中的第k个汉字,在第j1个候选音素序列中所对应的音素子序列的第m个音素属于第i个候选词的音素序列中第k个汉字所对应的音素子序列。
[0062]
图3是根据本公开第三实施例的示意图。如图3所示,本实施例在执行s103“根据至少一个候选音素序列与多个候选词的音素序列,得到目标文本与多个候选词之间的相似度”时,具体包括如下步骤:
[0063]
s301、针对每个候选词,选取一个候选音素序列与该候选词的一个音素序列;
[0064]
s302、在确定所述目标文本与该候选词具有不同长度值的情况下,将两者中长度值较小的一个作为第一实体,另外一个作为第二实体;
[0065]
s303、将所述第一实体在所述第二实体上进行滑动,根据每次滑动时两个实体的音素序列,得到每次滑动时所对应的相似度;
[0066]
s304、根据每次滑动时所对应的相似度,得到所述目标文本与该候选词之间的第二相似度。
[0067]
也就是说,由于实际场景中存在各种原因导致目标文本与候选词之间的长度不相等的问题,因此本实施例在目标文本与候选词为非等长序列时,根据长度大小来区分第一实体与第二实体,进而通过将第一实体在第二实体上滑动的方式,来得到目标文本与候选词之间的第二相似度,从而提升在计算非等长序列的相似度时的准确性。
[0068]
可以理解的是,本实施例在执行s303根据每次滑动时两个实体所对应的音素序列,得到对应每次滑动时的相似度时,由于每次滑动时两个实体具有相同长度,因此本实施例可以使用计算等长序列的相似度的方法,来得到对应每次滑动时的相似度。
[0069]
本实施例在执行s304根据对应每次滑动时的相似度,得到目标文本与该候选词之间的第二相似度时,可以将对应每次滑动时的相似度的平均值,作为目标文本与该候选词之间的第二相似度,也可以将对应每次滑动时的相似度的最大值,作为目标文本与该候选词之间的第二相似度。
[0070]
图4是根据本公开第四实施例的示意图。如图4所示,本实施例在执行s103“根据至
少一个候选音素序列与多个候选词的音素序列,得到目标文本与多个候选词之间的相似度”时,具体包括如下步骤:
[0071]
s401、针对每个候选词,选取一个候选音素序列与该候选词的一个音素序列;
[0072]
s402、依次将所述候选音素序列中对应每个汉字的音素子序列与该候选词的音素序列中对应每个汉字的音素子序列进行匹配;
[0073]
s403、在确定该候选词的音素序列中存在与所述候选音素序列中当前汉字的音素子序列完全匹配的音素子序列的情况下,将音素子序列中的音素数量作为当前汉字的计数结果;
[0074]
s404、根据所述目标文本中每个汉字的计数结果与所述目标文本的长度值,得到所述目标文本与该候选词之间的第三相似度。
[0075]
也就是说,本实施例通过以汉字粒度进行滑动的方式来计算相似度,从而实现在目标文本与候选词之间是否等长的情况下,均能够得到目标文本与候选词之间的第三相似度,进一步提升相似度的计算效率与计算准确性。
[0076]
可以理解的是,本实施例在执行s402完成目标文本中当前汉字的匹配之后,位于目标文本中当前汉字之后的汉字,在与候选词中的汉字进行匹配时的起点,具体为候选词中与当前汉字匹配的汉字之后的那个汉字;若本实施例在执行s402未能够完成目标文本中当前汉字的匹配,位于目标文本中当前汉字之后的汉字,在与候选词中的汉字进行匹配时的起点,具体为候选词中的第一个汉字。
[0077]
本实施例在执行s404根据目标文本中每个汉字的计数结果与目标文本的长度值,得到目标文本与该候选词之间的第三相似度时,可以将每个汉字的计数结果的和与目标文本的长度值之间的相除结果,作为两者之间的第三相似度。
[0078]
可以理解的是,本实施例所提供的计算相似度的方法由于能够应用于目标文本与候选词为非等长序列的场景,因此本实施例还可以采用上述计算非等长序列的相似的方法,通过序列滑动的方式来得到第二相似度,进而将通过序列滑动所得到的第二相似度与本实施例通过字符滑动所得到的第三相似度的最大值,作为目标文本与该候选词之间的相似度。
[0079]
图5是根据本公开第五实施例的示意图。图5示出了本实施例在目标文本与候选词为等长序列的情况下,计算目标文本与候选词之间的第一相似度的示意图:图5中左侧的“小明”为目标文本,若候选音素序列为“xi ao,m ing”,右侧的“道苗”为候选词,若音素序列为“d ao,m i ao”;对于目标文本中的第一个汉字“小”来说,其音素子序列“x i ao”中的“ao”在候选词中第一个汉字“道”的音素子序列“d ao”中出现;对于目标文本中的第二个汉字“明”来说,其音素子序列“m ing”中的“m”在候选词中第二个汉字“苗”的音素子序列“m i ao”中出现,则总的出现次数为2;由于候选音素序列与音素序列的长度值都为5,则目标文本与候选词之间的第一相似度为“2/5(0.4)”。
[0080]
图6是根据本公开第六实施例的示意图。图6示出了本实施例在目标文本与候选词为非等长序列的情况下,计算目标文本与候选词之间的第二相似度的示意图:图6中左侧的“小明明”为目标文本,右侧的“道苗”为候选词,则将长度值较小的候选词“道苗”作为第一实体,将“小明明”作为第二实体,从而将“道苗”在“小明明”上从头至尾进行滑动,依次计算等长序列“小明”与“道苗”之间的相似度(0.4)、等长序列“明明”与“道苗”之间的相似度
(0.2),进而根据计算得到的两个相似度得到目标文本与候选词之间的第二相似度。
[0081]
图7是根据本公开第七实施例的示意图。图7示出了本实施例在目标文本与候选词是否为等长序列的情况下,计算目标文本与候选词之间的第三相似度的示意图:图7中上方的“小明明的房间”为目标文本,若候选音素序列为“x i ao,m ing,m ing,d e,f ang,j i an”,图7中下方的“小明明房间”,若音素序列为“x i ao,m ing,m ing,f ang,j i an”;针对目标文本中的第一个汉字,取“小”字的音素子序列“x i ao”,与下方第一个汉字“小”的音素子序列进行匹配,若音素子序列完全匹配,将“3”作为目标文本中“小”字的计数结果,若不匹配,则与下方“小”字之后的汉字的音素子序列进行匹配,直至找到完全匹配的音素子序列或者完全找不到,例如上方的“的”字;进而根据目标文本中每个汉字的计数结果与目标文本的长度值,得到目标文本与候选词之间的第三相似度。
[0082]
图8是根据本公开第八实施例的示意图。如图8所示,本实施例的文本纠错装置800,包括:
[0083]
获取单元801、用于获取待处理文本,确定所述待处理文本中的目标文本;
[0084]
处理单元802、用于根据音素词典与所述目标文本的原始音素序列,得到至少一个候选音素序列;
[0085]
选取单元803、用于根据所述至少一个候选音素序列与多个候选词的音素序列,从所述多个候选词中选取目标词;
[0086]
纠错单元804、用于根据所述目标词,得到所述待处理文本的纠错结果。
[0087]
获取单元801在获取待处理文本时,可以将输入端输入的文本作为待处理文本,也可以将输入端从网络中选择的文本作为待处理文本,还可以对输入端输入的语音进行识别,将识别得到的文本作为待处理文本。
[0088]
获取单元801在获取待处理文本之后,执行确定所获取的待处理文本中的目标文本的步骤。其中,获取单元801所确定的目标文本可以为待处理文本本身,也可以为待处理文本中的部分文本,例如待处理文本中的关键词或者实体词语。
[0089]
获取单元801在确定待处理文本中的目标文本时,可以采用的可选实现方式为:将待处理文本输入实体抽取模型,将实体抽取模型的输出结果作为待处理文本中的目标文本。即获取单元801使用实体抽取模型,将实体抽取模型从待处理文本中所抽取的实体词语作为目标文本。
[0090]
本实施例在由获取单元801确定待处理文本中的目标文本之后,由处理单元802根据音素词典与所确定的目标文本的原始音素序列,得到目标文本所对应的至少一个候选音素序列。
[0091]
其中,处理单元802所使用的音素词典是预先设置的,该音素词典中包含多个原始音素,以及每个原始音素所对应的相似音素;原始音素所对应的相似音素的个数可以为一个,也可以为多个。
[0092]
本实施例中的原始音素序列或者候选音素序列由至少一个音素子序列构成,每个音素子序列对应一个汉字;音素子序列由至少一个音素构成,音素表示发音的最小单元;为了简化处理过程,本实施例中的音素可以为没有声调的音素。
[0093]
处理单元802可以针对目标文本中的每个字,获取该字所对应的音素子序列,进而根据所获取的各字的音素子序列,得到目标文本的原始音素序列;处理单元802所获取的原
始音素序列可以为一个,也可以为多个。
[0094]
处理单元802根据音素词典与目标文本的原始音素序列,得到至少一个候选音素序列时,可以采用的可选实现方式为:针对原始音素序列中的每个音素,获取音素词典中与该音素对应的相似音素;将原始音素序列中的音素替换为与其对应的相似音素之后,将音素替换结果与原始音素序列作为至少一个候选音素序列。
[0095]
也就是说,由于所提供的的音素词典中,包含不同的音素及其对应的相似音素,因此处理单元802能够实现根据目标文本的原始音素序列,得到目标文本所有可能的音素序列的目的,从而确保了所得到的候选音素序列对应于目标文本的不同发音,提升了所得到的候选音素序列的全面性。
[0096]
可以理解的是,若处理单元802未能够获取相似音素的情况下,可以直接将原始音素序列作为候选音素序列。
[0097]
本实施例在由处理单元802得到至少一个候选音素序列之后,由选取单元803根据所得到的至少一个候选音素序列与多个候选词的音素序列,从多个候选词中选取目标词。
[0098]
其中,选取单元803所使用的多个候选词可以是输入端预先设置的,即输入端可以根据实际需求来对候选词进行自定义,从而实现文本纠错的个性化。
[0099]
在一些技术领域中,例如金融、科技、医学等技术领域,存在大量的专业词语,而对专业词语进行纠错存在一定困难。因此,选取单元803还可以包含以下内容:确定目标文本所属的技术领域;获取与所确定的技术领域对应的多个词语,作为多个候选词,选取单元803可以通过对应不同的技术领域的词库来获取多个候选词。
[0100]
为了进一步提升纠错效率,选取单元803所使用的候选词的音素序列,可以是预先设置的;选取单元803在预先设置候选词的音素序列时,可以仅考虑多音字的情况。
[0101]
选取单元803也可以使用上述得到目标文本的候选音素序列的方式,根据候选词的原始音素序列,将所得到的至少一个候选音素序列作为候选词的音素序列,具体过程在此不进行赘述。
[0102]
具体地,选取单元803在根据所得到的至少一个候选音素序列与多个候选词的音素序列,从多个候选词中选取目标词时,可以采用的可选实现方式为:根据所得到的至少一个候选音素序列与多个候选词的音素序列,得到目标文本与多个候选词之间的相似度;将所得到的相似度的最大值对应的候选词,作为目标词。
[0103]
选取单元803在根据至少一个候选音素序列与多个候选词的音素序列,得到目标文本与多个候选词之间的相似度时,可以采用以下方式:针对每个候选词,选取一个候选音素序列与该候选词的一个音素序列;在确定目标文本与该候选词具有相同长度值的情况下,统计候选音素序列中每个位置处的汉字的音素子序列所包含的音素在该候选词的音素序列中相应位置处的汉字的音素子序列中的出现次数;根据所统计的出现次数与目标长度值,得到目标文本与该候选词之间的第一相似度。
[0104]
也就是说,选取单元803基于汉字拼音的特性,在目标文本与候选词为等长序列的情况下,根据目标文本的候选音素序列与候选词的音素序列,实现在汉字粒度下进行音素相似度的计算,得到目标文本与候选词之间的第一相似度,从而提升在计算等长序列的相似度时的准确性。
[0105]
可以理解的是,若存在当前候选词对应多个音素序列的情况,选取单元803在计算
目标文本与当前候选词之间相似度时,可以根据候选音素序列与每个音素序列进行计算,进而将计算所得到的相似度的最大值,作为目标文本与当前候选词之间的第一相似度。
[0106]
其中,选取单元803所使用的目标长度值,具体为候选音素序列与音素序列中具有较短长度的序列长度值。
[0107]
选取单元803在根据至少一个候选音素序列与多个候选词的音素序列,得到目标文本与多个候选词之间的相似度时,还可以采用以下方式:针对每个候选词,选取一个候选音素序列与该候选词的一个音素序列;在确定所述目标文本与该候选词具有不同长度值的情况下,将两者中长度值较小的一个作为第一实体,另外一个作为第二实体;将所述第一实体在所述第二实体上进行滑动,根据每次滑动时两个实体的音素序列,得到每次滑动时所对应的相似度;根据每次滑动时所对应的相似度,得到所述目标文本与该候选词之间的第二相似度。
[0108]
也就是说,由于实际场景中存在各种原因导致目标文本与候选词之间的长度不相等的问题,因此选取单元803在目标文本与候选词为非等长序列时,根据长度大小来区分第一实体与第二实体,进而通过将第一实体在第二实体上滑动的方式,来得到目标文本与候选词之间的第二相似度,从而提升在计算非等长序列的相似度时的准确性。
[0109]
可以理解的是,选取单元803在根据每次滑动时两个实体所对应的音素序列,得到对应每次滑动时的相似度时,由于每次滑动时两个实体具有相同长度,因此本实施例可以使用计算等长序列的相似度的方法,来得到对应每次滑动时的相似度。
[0110]
选取单元803在根据对应每次滑动时的相似度,得到目标文本与该候选词之间的第二相似度时,可以将对应每次滑动时的相似度的平均值,作为目标文本与该候选词之间的第二相似度,也可以将对应每次滑动时的相似度的最大值,作为目标文本与该候选词之间的第二相似度。
[0111]
选取单元803在根据至少一个候选音素序列与多个候选词的音素序列,得到目标文本与多个候选词之间的相似度时,还可以采用以下方式:针对每个候选词,选取一个候选音素序列与该候选词的一个音素序列;依次将所述候选音素序列中对应每个汉字的音素子序列与该候选词的音素序列中对应每个汉字的音素子序列进行匹配;在确定该候选词的音素序列中存在与所述候选音素序列中当前汉字的音素子序列完全匹配的音素子序列的情况下,将音素子序列中的音素数量作为当前汉字的计数结果;根据所述目标文本中每个汉字的计数结果与所述目标文本的长度值,得到所述目标文本与该候选词之间的第三相似度。
[0112]
也就是说,选取单元803通过以汉字粒度进行滑动的方式来计算相似度,从而实现在目标文本与候选词之间是否等长的情况下,均能够得到目标文本与候选词之间的第三相似度,进一步提升相似度的计算效率与计算准确性。
[0113]
可以理解的是,选取单元803在完成目标文本中当前汉字的匹配之后,位于目标文本中当前汉字之后的汉字,在与候选词中的汉字进行匹配时的起点,具体为候选词中与当前汉字匹配的汉字之后的那个汉字;选取单元803未能够完成目标文本中当前汉字的匹配,位于目标文本中当前汉字之后的汉字,在与候选词中的汉字进行匹配时的起点,具体为候选词中的第一个汉字。
[0114]
选取单元803在根据目标文本中每个汉字的计数结果与目标文本的长度值,得到
目标文本与该候选词之间的第三相似度时,可以将每个汉字的计数结果的和与目标文本的长度值之间的相除结果,作为两者之间的第三相似度。
[0115]
可以理解的是,选取单元803所提供的计算相似度的方法由于能够应用于目标文本与候选词为非等长序列的场景,因此选取单元803还可以采用上述计算非等长序列的相似的方法,通过序列滑动的方式来得到第二相似度,进而将通过序列滑动所得到的第二相似度与本实施例通过字符滑动所得到的第三相似度的最大值,作为目标文本与该候选词之间的相似度。
[0116]
由于一个候选词也会存在具有多个音素序列的情况,因此选取单元803可以从至少一个候选音素序列与一个候选词的多个音素序列中分别选取一个,进而根据每次选取的候选音素序列与音素序列,进行多次相似度的计算,得到目标文本与候选词之间的相似度。
[0117]
本实施例在由选取单元803从多个候选词中选取目标词之后,由纠错单元804根据所选取的目标词,得到待处理文本的纠错结果。
[0118]
纠错单元804可以将所选取的目标词替换待处理文本中的目标文本,进而将替换结果作为待处理文本的纠错结果;纠错单元804还可以直接输出所选取的目标词,作为待处理文本的纠错结果。
[0119]
也就是说,纠错单元804将待处理文本中的目标文本替换为所选取的目标词,实现通过声音的相似来确定多个候选词中的目标词的目的,能够提升文本纠错的效率与准确性。
[0120]
本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
[0121]
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0122]
如图9所示,是根据本公开实施例的文本纠错方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0123]
如图9所示,设备900包括计算单元901,其可以根据存储在只读存储器(rom)902中的计算机程序或者从存储单元908加载到随机访问存储器(ram)903中的计算机程序,来执行各种适当的动作和处理。在ram903中,还可存储设备900操作所需的各种程序和数据。计算单元901、rom902以及ram903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。
[0124]
设备900中的多个部件连接至i/o接口905,包括:输入单元906,例如键盘、鼠标等;输出单元907,例如各种类型的显示器、扬声器等;存储单元908,例如磁盘、光盘等;以及通信单元909,例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0125]
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工
智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理,例如文本纠错方法。例如,在一些实施例中,文本纠错方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元908。
[0126]
在一些实施例中,计算机程序的部分或者全部可以经由rom902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到ram 903并由计算单元901执行时,可以执行上文描述的文本纠错方法的一个或多个步骤。备选地,在其他实施例中,计算单元901可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行文本纠错方法。
[0127]
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0128]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0129]
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0130]
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0131]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部
件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)和互联网。
[0132]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与vps服务(“virtual private server”,或简称“vps”)中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
[0133]
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
[0134]
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献