中医药古籍分词方法、装置、计算机设备及存储介质

技术特征：
1.一种中医药古籍分词方法，其特征在于，所述方法包括：获取中医药古籍中待分词文本；构建古今词义对照表、规则表、自定义术语库以及中医药领域术语词典；根据所述古今词义对照表、所述规则表、所述自定义术语库以及所述中医药领域术语词典，采用基于规则的方法将所述待分词文本从古汉语转译为现代汉语，得到翻译后的文本；所述翻译后的文本包括：被翻译词的翻译信息、被翻译词的原始位置信息、被翻译词在古今词义对照表中的序号；采用所述中医药领域术语词典辅助jieba分词工具对所述翻译后的文本进行分词处理，再利用隐马尔可夫模型解决未登录词问题，得到分词结果；根据所述古今词义对照表和所述规则表将所述分词结果转译为原始文本，得到最终分词文本。2.根据权利要求1所述的方法，其特征在于，构建古今词义对照表、规则表、自定义术语库以及中医药领域术语词典，包括：收集中医药古籍中关于中药、方剂、证型、疾病、症状、治法、药物炮制方法以及人体的术语，根据收集到的术语构建中医药领域术语词典；所述中医药古籍包括：《常用中药名及别名手册》、《中医临床常见症状术语规范》、《中医大辞典》以及《中医临床诊疗术语》；根据中医药古籍现有译本中的高频译词及注释语，以及网络上的古汉语字词及其翻译和文言虚词及其翻译，构建古今词义对照表；所述古今词义对照表包括：中医药领域术语词典内术语和中医药领域固定词汇；将需要多义词修改的古汉语词汇收录到规则表中，多义词翻译规则为：若需翻译的古汉语的前/后字中出现关键字，则按照关键字对应行的现代汉语进行翻译；若该古汉语的前/后字中未出现关键字，则按该古汉语在所述古今词义对照表中的释义进行翻译；所述关键字源于原始语料；根据所述中医药领域术语词典、书籍名、人名、朝代名以及常用词汇，构建中医药自定义术语库；所述书籍名、所述人名以及所述朝代名是从网络上收集的；所述常用词汇是采用beautifulsoup爬取百度词汇的方式获得的，爬取的内容是需部分修改的汉字的相关组词。3.根据权利要求1所述的方法，其特征在于，根据所述古今词义对照表、所述规则表、所述自定义术语库以及所述中医药领域术语词典，采用基于规则的方法将所述待分词文本从古汉语转译为现代汉语，得到翻译后的文本，包括：根据所述中医药领域术语词典中术语字符串长度从大到小进行排序，得到排序后的中医药领域术语词典；在所述古今词义对照表和排序后的中医药领域术语词典中提取所述待分词文本中需要翻译的词汇及对应位置信息；根据所述古今词义对照表、所述规则表以及所述自定义术语库对提取的需要翻译的词汇进行翻译，得到翻译后的文本。4.根据权利要求3所述的方法，其特征在于，根据所述古今词义对照表、所述规则表以及所述自定义术语库对提取的需要翻译的词汇进行翻译，得到翻译后的文本，包括：根据所述古今词义对照表中的古汉语初选需要翻译的词汇；根据所述自定义术语库判断所述需要翻译的词汇是否需要翻译，得到判断结果；
若判断结果为不需要翻译时，则不作翻译；若判断结果为需要翻译时，当提取的需要翻译的词汇为需修改的词汇时，如果为多义词修改，则根据所述自定义术语规则表和所述古今词义对照表对提取的需要翻译的词汇进行翻译，得到翻译后的文本；如果为部分修改，则修改不在自定义输入库中的词汇，得到翻译后的文本。5.根据权利要求1所述的方法，其特征在于，根据所述古今词义对照表和所述规则表将所述分词结果转译为原始文本，得到最终分词文本，包括：当所述分词结果中的翻译词为原词时，则得到最终分词文本；当所述分词结果中的翻译词不为原词时：若翻译词被切分，则去除分割符，再根据所述古今词义对照表和所述规则表对所述分词结果中的翻译词进行转译，得到最终分词文本；若翻译词未被切分，则根据所述古今词义对照表和所述规则表对所述分词结果中的翻译词进行转译，得到最终分词文本。6.一种中医药古籍分词装置，其特征在于，所述装置包括：数据获取模块，用于获取中医药古籍中待分词文本；翻译用的数据表及规则构建模块，用于构建古今词义对照表、规则表、自定义术语库以及中医药领域术语词典；局部翻译模块，用于根据所述古今词义对照表、所述规则表、所述自定义术语库以及所述中医药领域术语词典，采用基于规则的方法将所述待分词文本从古汉语转译为现代汉语，得到翻译后的文本；所述翻译后的文本包括：被翻译词的翻译信息、被翻译词的原始位置信息、被翻译词在古今词义对照表中的序号；分词模块，用于采用所述中医药领域术语词典辅助jieba分词工具对翻译后的文本进行分词处理，再利用隐马尔可夫模型解决未登录词问题，得到分词结果；还原模块，用于根据所述古今词义对照表和所述规则表将所述分词结果转译为原始文本，得到最终分词文本。7.根据权利要求6所述的装置，其特征在于，翻译用的数据表及规则构建模块，还用于收集中医药古籍中关于中药、方剂、证型、疾病、症状、治法、药物炮制方法以及人体的术语，根据收集到的术语构建中医药领域术语词典；所述中医药古籍包括：《常用中药名及别名手册》、《中医临床常见症状术语规范》、《中医大辞典》以及《中医临床诊疗术语》；根据中医药古籍现有译本中的高频译词及注释语，以及网络上的古汉语字词及其翻译和文言虚词及其翻译，构建古今词义对照表；所述古今词义对照表包括：中医药领域术语词典内术语和中医药领域固定词汇；将需要多义词修改的古汉语词汇收录到规则表中，多义词翻译规则为：若需翻译的古汉语的前/后字中出现关键字，则按照关键字对应行的现代汉语进行翻译；若该古汉语的前/后字中未出现关键字，则按该古汉语在所述古今词义对照表中的释义进行翻译；所述关键字源于原始语料；根据所述中医药领域术语词典、书籍名、人名、朝代名以及常用词汇，构建中医药自定义术语库；所述书籍名、所述人名以及所述朝代名是从网络上收集的；所述常用词汇是采用beautifulsoup爬取百度词汇的方式获得的，爬取的内容是需部分修改的汉字的相关组词。8.根据权利要求6所述的装置，其特征在于，局部翻译模块，还用于根据所述中医药领
域术语词典中术语字符串长度从大到小进行排序，得到排序后的中医药领域术语词典；在所述古今词义对照表和排序后的中医药领域术语词典中提取所述待分词文本中需要翻译的词汇及对应位置信息；根据所述古今词义对照表、所述规则表以及所述自定义术语库对提取的需要翻译的词汇进行翻译，得到翻译后的文本；所述翻译后的文本包括：被翻译词的翻译信息、被翻译词的原始位置信息、被翻译词在古今词义对照表中的序号。9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

技术总结
本申请涉及中文分词技术领域的一种中医药古籍分词方法、装置、计算机设备和存储介质，所述方法包括构建古今词义对照表、规则表、自定义术语库以及中医药领域术语词典；根据古今词义对照表、规则表、自定义术语库以及中医药领域术语词典，采用基于规则的方法将待分词文本从古汉语转译为现代汉语；采用中医药领域术语词典辅助Jieba分词工具对翻译后的文本进行分词处理，再利用隐马尔可夫模型解决未登录词问题，得到分词结果；根据古今词义对照表和规则表将分词结果转译为原始文本，得到最终分词文本。采用本方法有效地提高了中医药古籍的分词准确率，缓解了古今语言差异及领域差异造成的分词效果差的问题，为中医数字化建设提供技术支持。术支持。术支持。


技术研发人员：晏峻峰 沈蓉蓉
受保护的技术使用者：湖南中医药大学
技术研发日：2022.08.03
技术公布日：2022/11/8