一种基于字形特征的蒙古文输入法候选词推荐方法
本发明属于蒙古文信息处理,涉及一种基于字形特征的蒙古文输入法候选词推荐方法。
背景技术:
1、传统蒙古文(以下简称蒙古文)作为蒙古族的共同书面语,不仅在中国内蒙古自治区及周边地区广泛使用,蒙古国亦从2025年起全面恢复其使用。蒙古文的书写规则较为复杂,其显著特征在于同一个字母在单词的词首、词中和词尾等不同位置时,往往具有不同的变形形式。在计算机信息处理中,蒙古文通常遵循unicode编码标准。该标准仅对每个字母最具代表性的变形形式(即名义字符)进行了编码,而具体显示的字形则依据gb/t 25914标准确定,并通过opentype等复杂的渲染引擎技术实现从底层编码到视觉字形的转换。
2、由于蒙古文存在大量的“同形异码”现象,即不同的字符编码序列在视觉上可能呈现出完全相同或极度相似的字形,这给蒙古文输入法带来了巨大的挑战。在实际输入过程中,用户往往依据视觉习惯进行输入,很容易误用字形相同但编码不同的字符。这就导致了一种常见现象:用户输入的字符序列在屏幕上显示的字形是正确的,但其底层计算机编码却与词库中的单词编码不一致。由于现有的输入法主要依赖底层编码进行精确匹配,这种“视觉正确但编码错误”的情况会导致输入法无法检索到对应的候选词,迫使用户删除重输并尝试其他拼写组合,严重降低了输入效率。
3、为了解决上述问题,目前市面上部分蒙古文输入法引入了纠错功能。然而,现有的纠错技术大多基于简单的模糊搜索规则,仅能针对特定的、常见的易混淆字符对进行替换匹配。这种基于规则的方法难以应对蒙古文中复杂的字形混淆情况。当用户输入的错误涉及到复杂的同形异码错误时,现有的模糊搜索方法往往失效,无法生成有效的推荐候选词,难以满足用户的智能纠错需求。
技术实现思路
1、本发明实施例的目的在于提供一种基于字形特征的蒙古文输入法候选词推荐方法,以解决现有蒙古文输入法中因“同形异码”现象导致用户输入视觉正确但编码错误时无法检索到词条的问题,以及现有模糊搜索纠错技术难以应对复杂编码错误、推荐准确率低的不足。
2、为实现上述目的,本发明采用的技术方案是:一种基于字形特征的蒙古文输入法候选词推荐方法,包括以下步骤:
3、一种基于字形特征的蒙古文输入法候选词推荐方法,包括以下步骤:
4、步骤s1、定义蒙古文最小不可分割的字形元素构成的字形集合;
5、步骤s2、依据蒙古文的语法规则,将动词词干与词缀进行合法组合,将原有词库和生成词结合,得到蒙古文单词词典;
6、步骤s3、建立字形映射表:利用单词转字形模块,对蒙古文单词词典中的单词进行遍历处理,将词典中的每个单词转换为其对应的唯一字形编码序列;然后建立以字形编码序列为索引键、以对应的标准蒙古文单词列表为索引值的一对多映射关系,形成前缀树结构;
7、步骤s4、实时获取用户输入的当前字符串;
8、步骤s5、利用单词转字形模块将用户输入转换为字形并扩展潜在字形变体,得到检索路径集合;
9、步骤s6、对检索路径集合中的每一个字形在前缀树结构中进行并行遍历检索,对检索结果取并集,得到对初始候选词集合;
10、步骤s7、对初始候选词集合进行排序,将最符合用户意图的词排在候选窗口的前列。
11、
12、
13、进一步的,所述步骤s2具体如下:
14、收集包含名词、代词、形容词的静词库,以及包含动词词根的动词词干库和各类语法后缀的动词词缀库,依据蒙古文的语法规则,将动词词干与词缀进行合法组合得到动词单词;将静词库与生成的所有动词单词合并,并进行去重处理,最终构建出蒙古文单词词典。
15、进一步的,所述步骤s3具体如下:
16、利用单词转字形模块,基于gb/t-25914标准对蒙古文单词词典中的每一个单词进行遍历处理,将词典中的每个单词转换为其对应的唯一字形编码序列;建立以字形编码序列为索引键、以对应的标准蒙古文单词列表为索引值的一对多映射关系,然后将所述映射关系存储于一个前缀树结构中,其从根节点到某一终止节点的路径代表一个有效的字形序列。
17、进一步的,所述步骤s5具体如下:
18、利用单词转字形模块将用户输入字符串转换为初始字形编码序列,构建用户输入字符串的末位字符的潜在字形变体集合,利用潜在字形变体集合中的每一个变体替换初始字形编码序列中的末位字形序列,生成一组用于在前缀树中进行并行检索的路径集合。
19、进一步的,采用基于统计词频与用户输入词频的加权和排序策略对初始候选词集合进行排序,具体如下:
20、获取每个候选词在语料库中的统计词频,以及用户历史输入习惯中的用户输入词频;根据预设的权重系数对统计词频和用户输入词频这两个词频数值进行加权求和计算,得到每个候选词的综合得分;
21、依据综合得分从大到小的顺序对候选词进行排序,生成最终的推荐候选词列表。
22、本发明的有益效果是:
23、本发明通过构建字形映射表实现了字形与编码的解耦,有效解决了蒙古文输入中因同形异码导致的“视觉正确但编码错误”无法检索词条的问题。
24、相比于传统基于简单规则的模糊搜索,本发明基于全量字形特征进行匹配,能够应对各类复杂的编码混淆情况,显著提升了纠错准确率。
25、本发明通过对输入字符串末位字符进行词中形式与词尾形式的字形扩展,能够智能预测用户输入意图,即使在单词未输完时也能提供准确的候选词推荐。
26、本发明采用前缀树结构存储字形到单词的一对多映射关系,在保证检索准确性的同时,极大提升了在大规模词库下的检索响应速度。
27、本发明在允许用户以错误编码输入的同时,确保输出的候选词为标准词库中的规范编码,保证了蒙古文电子数据的规范性。
1.一种基于字形特征的蒙古文输入法候选词推荐方法,其特征在于,包括以下步骤:
2.
3.根据权利要求2所述的一种基于字形特征的蒙古文输入法候选词推荐方法,其特征在于,所述步骤s2具体如下:
4.根据权利要求3所述的一种基于字形特征的蒙古文输入法候选词推荐方法,其特征在于,所述步骤s3具体如下:
5.根据权利要求4所述的一种基于字形特征的蒙古文输入法候选词推荐方法,其特征在于,所述步骤s5具体如下:
6.根据权利要求5所述的一种基于字形特征的蒙古文输入法候选词推荐方法,其特征在于,采用基于统计词频与用户输入词频的加权和排序策略对初始候选词集合进行排序,具体如下:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com