一种基于传统蒙古文词根的检索增强生成方法

本发明涉及自然语言处理，尤其涉及一种基于传统蒙古文词根的检索增强生成（rag）方法。

背景技术：

1、传统蒙古文，也称为回鹘式蒙古文，是一种用以书写蒙古语的文字，其书写方式是从上到下，从左到右，纵向书写。传统蒙古文是蒙古族的重要文字，是我国在用的主要少数民族文字之一。传统蒙古文属于典型的黏着语，其单词通常由词根与多个词缀构成。词缀包括构词词缀、构形词缀以及结尾后缀等部分，且一个词根能够连接数十种不同的词缀。由于构词方式的高度黏着性，一个词能够呈现多达数十甚至上百种词形变化，这种结构极大增加了蒙古文自然语言处理的复杂度。

2、蒙古文的语言结构和书写方式更加剧了其信息化难度。传统蒙古文采用竖排书写、连笔呈现方式，且字母形态随词中位置（首、中、尾）发生显著变化，同时存在自由字符变体（fvs）导致同一文字可能对应多种编码形式。语言学家估计，蒙古语的词汇形态组合数量巨大，在千万级以上。由于语言结构复杂性及标注语料稀缺性，传统蒙古文一直被认为是最难实现自动化处理的文字之一。

3、在自然语言处理领域，传统蒙古文在信息检索、句法分析、机器翻译、知识问答、文本摘要等任务中的性能长期不佳。其中一个关键问题是：同一词根的不同词形在文本中差异极大，导致基于词面的检索方法无法有效匹配同源词形，进而影响整体模型的召回率和准确率。尤其是在大型语言模型快速发展的背景下，检索增强生成（rag）技术成为提升模型知识性和准确性的主流方案，而传统rag模型主要面向汉语和英语等书写结构稳定的语言设计，对于传统蒙古文这类高度黏着性语言缺乏适配性。

4、针对蒙古文信息检索问题已有的研究主要集中在分词、词根识别和词干抽取等方向。例如“蒙古文词根、词干、词尾的自动切分系统”、“基于词典、规则的斯拉夫蒙古文词切分系统”等方法主要依赖词典与规则实现词形的粗切分；而“基于统计语言模型的蒙古文词切分”、“基于词典、规则与统计的蒙古文词切分系统”等方法则结合语言模型进行统计式切词。这些方法在一定程度上提升了传统蒙古文词形分析的准确率，但仍存在以下普遍问题。

5、（1）词形变化高度复杂，导致特征难以提取。由于传统蒙古文词形变化极为丰富，基于规则或统计特征的方法难以覆盖所有语言现象，导致语义匹配长期依赖有限规则或人工特征，无法适应未知词形或复杂组合。

6、（2）人工成本高，系统缺乏可扩展性。传统方法普遍需要大量人工标注词根、词缀、词性并维护词典、规则库。在传统蒙古文语料稀缺背景下，高额成本严重制约系统迭代能力。

7、（3）未登录词与词形稀疏问题严重。由于训练语料有限、词形变化巨大，传统蒙古文文本中大量词形属于未登录词（oov），基于统计模型的方案易出现训练不足、泛化能力弱的问题。

8、（4）现有检索方法无法处理传统蒙古文词形多样性。传统基于词面匹配或通用embedding的检索方式难以识别同源词形的语义一致性，导致相关文档无法被召回，严重影响基于检索的问答、摘要和知识增强任务的性能。

9、（5）现有rag技术未适配传统蒙古文语言特性。主流rag方法依赖准确检索以提升生成式语言模型的知识性，但在传统蒙古文场景中，由于编码不统一、词形不统一以及缺乏词根级检索能力，导致检索效果不佳，从而影响生成式语言模型的准确性、可控性与稳定性。

10、因此，为了提升传统蒙古文在信息检索、知识问答和生成式任务中的处理能力，需要一种能够针对传统蒙古文词形结构特性、实现有效词根抽取与词形归一化、并支持高质量语义检索增强生成的新方法。

技术实现思路

1、本发明即针对上述问题提出了一种基于传统蒙古文词根的检索增强生成方法，从词根角度统一词形表示，提高检索召回率和生成准确性，从而解决传统蒙古文自然语言处理中长期存在的难点。

2、为实现上述目的，本发明提出一种基于传统蒙古文词根的检索增强生成方法，包括如下步骤：

3、s1、传统蒙古文文本规范化处理：对输入的传统蒙古文文本依次进行unicode正规化、自由字形选择符标准化、字形归一化、连写结构解析及特殊符号清洗，获得标准化传统蒙古文文本；

4、s2、传统蒙古文词根抽取：利用双向长短期记忆网络–条件随机场bilstm-crf模型对所述标准化传统蒙古文文本进行词根-词缀拆分解析，抽取稳定词根序列；

5、s3、词根增强的向量表示生成：基于所述词根序列构建词根向量与词缀向量，并通过词根导向的语义增强训练及未登录词的词根级子词编码，得到增强向量表示。

6、s4、基于词根的检索增强生成机制：以所述增强向量表示为检索主键，构建词根语义邻域导向的知识检索机制，并将检索结果与生成式语言模型融合，同时通过词根层面的生成控制与一致性约束，输出语义一致的生成文本。

7、进一步的，所述传统蒙古文文本规范化处理具体如下：

8、unicode正规化：统一字符组合方式；

9、自由字形选择符标准化：构建标准变体映射表，将非规范自由字形选择符组合统一映射为标准定义的字形变体；

10、字形归一化：将首、中、尾形位置依存字形映射至统一基础字母编码；

11、连写结构解析：对连写结构进行拆解，将连写字拆分为标准字符序列；

12、特殊符号清洗：清除非法控制字符、扫描光学字符识别错误符号、非蒙古文编码混入字符、重复或无语义意义的变体标记。

13、进一步的，所述传统蒙古文词根抽取具体如下：

14、s201、对传统蒙古文的词根-词缀拆分解析，构建包含格词缀、复数标记、派生后缀及功能后缀的传统蒙古文词缀库；

15、s202、采用双向长短期记忆网络bilstm表达编码模型对字符级序列进行双向上下文编码，得到字符级双向隐状态；所述字符级序列为经过规范化处理后的蒙古文单个字符按书写顺序依次组成的传统蒙古文字符级输入序列；

16、s203、双向隐状态输入至条件随机场crf序列标注边界预测模型，进行全局最优序列标注，识别词根起止位置和词缀边界，输出设定的词根-词缀边界标注序列。

17、进一步的，所述增强向量表示通过以下流程得到：

18、s301、采用字母级transformer编码模型进行输入字符向量学习，并通过掩码语言建模、自回归预测及语义对比学习对字母级transformer编码模型进行联合训练，构建词根向量。

19、s302、为不同语法类别词缀构建独立embedding表，并与词根向量动态融合，得到词根向量与词缀向量的融合表示；

20、s303、以同词根派生词为正样本、语义无关词为负样本进行对比学习，优化向量空间结构，得到增强的词根向量表示；

21、s304、对未登录词进行基于词根的子词编码：对未登录词先进行词根-词缀拆分解析，再对剩余片段执行子词编码，并动态调节子词语义贡献权重。

22、进一步的，所述s4具体如下：

23、s401、将词根向量、词缀向量及查询上下文编码融合为查询向量；

24、s402、在知识库中基于查询向量与文档的词根一致性或相似度过滤候选文档，获取高相关文本集合；

25、s403、通过注意力机制将高相关文本动态注入生成式语言模型隐状态，根据更新后的生成式语言模型隐状态计算概率分布；

26、s404、在生成损失中加入词根一致性约束，确保输出文本与查询词根保持语义连贯。

27、与现有技术相比，本发明具有如下技术优势：

28、1、显著提升传统蒙古文的检索性能：传统蒙古文作为黏着语，其词根后可连接大量派生词缀、词形词缀和功能后缀，使得同一语义单位能够呈现出数十甚至上百种不同的词形变化，传统基于词面的检索方式无法实现跨词形的稳定匹配。本发明通过unicode正规化、fvs标准化和字形统一映射，将原本分散的词形统一到标准词根表示；随后通过词根增强向量表示方法，使得同一词根的不同派生词形在向量空间中聚合，显著提升语义一致性。本发明在传统蒙古文跨词形检索场景中可显著提升准确率，有效解决了传统方法召回率低、匹配不准的问题，为传统蒙古文信息检索任务提供了可量化的性能增益。

29、2、增强生成式语言模型的知识可靠性与一致性：传统基于生成式语言模型的传统蒙古文应用往往受限于语料稀缺和语言结构复杂性，模型生成内容易出现事实偏差与语义不一致。本发明构建的基于词根的rag结构，将高质量的传统蒙古文知识片段作为上下文输入生成式语言模型，使得模型在生成答案、摘要、翻译等内容时能够基于可靠的知识来源进行推理。由于检索部分使用词根增强策略，能够更高概率召回与用户输入语义相关的真实知识，从而使生成内容在准确性、连贯性与一致性方面得到显著提升。

30、3、全面适配传统蒙古文的语言特性，兼容多种书写与编码变体：传统蒙古文的竖排、连写、位置依存字形以及自由字形选择符变体，使其处理难度远高于横排文字。本发明所提出的规范化模块涵盖unicode正规化、fvs映射、首中尾字形归一化、连写结构解析等步骤，能够解决传统蒙古文编码不统一导致的文本不一致问题。词根抽取模块可稳定抽取传统蒙古文文本词根。此外，本发明的处理流程完全依赖传统蒙古文的竖排书写逻辑设计，能够对多种传统蒙古文字体、编码与变体进行统一处理，为后续检索和生成奠定准确的数据基础。

31、4、具备高度扩展性，可适用于全链路传统蒙古文自然语言处理任务：由于本发明从语言底层的词根结构入手建立统一表示体系，其向量表示、检索结构与生成增强模块均具有通用性，可扩展至问答系统、语义检索、文档摘要、机器翻译、知识库构建、对话系统、文本分析等多类传统蒙古文自然语言处理（nlp）应用场景。通过在知识库构建、检索增强和生成增强环节中统一使用词根表示，本发明形成了一套可复用、可迁移、可泛化的传统蒙古文处理框架，为未来构建传统蒙古文大模型生态体系、传统蒙古文知识问答平台及智能搜索系统提供了坚实原语技术基础。