基于软硬检索与推理校正的极低资源机器翻译方法及系统

本发明属于自然语言处理，更进一步涉及机器翻译或语言转换中的一种基于软硬检索与推理校正的极低资源机器翻译方法及系统。本发明可用于濒危或极低资源语言的自动翻译系统自动生成初步翻译结果以加速人工校对、词典构建或语料标注流程。

背景技术：

1、全球现存 7000 余种语言，但自然语言处理主要集中在不足百种高资源语言。 对于阿拉贡语、阿兰语、阿斯图里亚语等极低资源语言，其平行语料规模常低于千句级别，甚至完全缺失。尽管 meta ai 推出的 nllb-200 模型支持200种语言，但仍无法覆盖所有“长尾语言”，且在未训练的语言上性能急剧下降。近年来，大语言模型，如 gpt-4、llama、qwen，展现出强大的跨语言迁移能力，但其在极低资源翻译任务中仍受限于上下文示例的质量与数量。

2、在极低资源语言（extremely low-resource languages, elrl）场景下，由于平行语料极度匮乏，传统神经机器翻译（neural machine translation, nmt）模型无法有效建模源语言与目标语言之间的映射关系，导致翻译质量严重下降。现有检索增强生成（retrieval-augmented generation, rag）方法依赖高质量、高相关性的外部示例，在极低资源语言中因缺乏可用的真实平行句对而失效。直接应用大语言模型（large languagemodel, llm）进行零样本或少样本翻译时，因缺乏针对罕见语言组合的先验知识和结构化推理能力，易产生语义偏差、词汇错配或语法错误。现有方法难以有效融合神经机器翻译模型的局部语言结构知识与外部示例信息，无法在高度不确定条件下实现动态错误检测与校正。

3、沈阳雅译网络技术有限公司在其申请的专利文献“一种应用于低资源机器翻译的翻译方法”（申请日 2022-02-24 申请号 cn 202210172910.2 授权公告号 cn 114580441b）中公开了一种低资源语言的翻译方法。该翻译方法在标准多头自注意力机制基础上引入了多尺度采样策略，通过对源语言输入进行不同粒度的表示采样，生成多个注意力权重矩阵并加以融合，从而增强模型在低资源条件下的建模能力。该方法不增加模型参数量，具有良好的通用性，可嵌入现有transformer架构，适用于拥有数千至数万句平行语料的语言对。虽然在传统神经机器翻译（nmt）框架内实现了局部优化，但是，该方法仍然存在若干关键局限：首先，其性能高度依赖一定规模的平行语料，即便定义为“低资源”，通常也需数十万句对，在极低资源（<1000句）甚至零资源场景下难以训练有效模型；其次，该方法完全依赖模型内部结构改进，未引入外部知识（如双语词典、规则系统或多语言先验），导致在数据极度稀缺时泛化能力受限；再次，其端到端生成方式缺乏错误校正机制，一旦因数据稀疏导致注意力偏差，无法进行推理修正；最后，多尺度采样策略是静态嵌入网络结构中的，无法根据输入句子的语义复杂度或翻译难度动态调整采样与融合策略。这些问题的形成原因在于该方法所采用的技术范式属于典型的“纯神经网络架构改进型”方法，聚焦于transformer内部注意力机制的微调，而非构建系统级的解决方案。该方法于2022年申请，彼时大语言模型（llm）和检索增强生成（rag）技术尚未在机器翻译领域广泛应用，因此未考虑利用llm的零样本能力或外部知识检索机制。同时，其设计目标明确限定为“在不增加参数的前提下提升性能”，由此排除了引入检索器、推理引擎等额外模块的可能性。更重要的是，该方法隐含了一个关键前提：即存在一个可训练的nmt模型。然而，对于全球众多濒危或小众语言（如阿拉贡语、阿兰语），这一前提往往不成立，这些语言的语料少到无法支撑模型收敛，使得该方法在真正极端资源匮乏的场景中失效。

4、湖北大学在其申请的专利文献“一种基于前缀调优机器翻译模型的语言翻译方法”（申请日 2023-02-22  专利申请号 cn 202310149564.0  授权公告号 cn 116151278b）中公开了一种基于前缀调优的翻译方法。该方法提出了一种参数高效微调（peft）策略，在预训练多语言模型 mbart 的基础上引入前缀调优机制，通过三组可学习的控制信号矩阵分别调控编码器和解码器中的自注意力与交叉注意力层。该方法利用 mlp 将词序、长度或风格等属性标签映射为轻量级前缀向量，在不修改主干模型参数的前提下实现对翻译输出的细粒度控制。其核心优势在于提升已有神经机器翻译模型在中高资源场景下的可控性与适应性。但是，这一方法在极低资源语言甚至零资源场景下面临根本性局限性：它依赖目标语言对上的监督训练数据来优化前缀参数，若平行语料极少（如少于1000句）或完全缺失，则无法有效建立控制信号与翻译行为之间的映射关系，导致前缀模块失效。同时，该方法缺乏外部知识融合机制，无法借助跨语言先验或示例增强泛化能力，且采用端到端黑箱生成范式，不具备对词汇错配或语法错误的检测与修正能力。究其原因，该方法的设计初衷聚焦于目标语言对上的监督训练数据下的精细化控制，即在已有高质量语料基础上优化翻译风格，而非解决数据稀缺场景下的基础可用性问题，其封闭式架构和静态生成流程也限制了在数据稀缺环境中的适用性。

5、北京澜舟科技有限公司在其申请的专利文献“一种垂直领域的翻译模型训练方法和存储介质”（申请日 2022-11-17 专利申请号 cn 202211442764.7 授权公告号 cn115906879 b）中公开了一种垂直领域的翻译方法。该方法提出了一种基于编码器—解码器架构的三阶段训练策略，三阶段依次为句向量预训练、高资源微调、低资源检索增强，旨在提升法律、医疗等垂直领域的神经机器翻译质量。其核心在于利用高资源垂直语料对解码器进行微调（同时冻结编码器），并结合从高资源记忆库中检索出的语义相近句子，实现跨语言多实例融合与上下文近邻调整。该方法在具备一定高资源平行语料的前提下表现良好，但是，该方法仍然存在的不足之处是，其有效性高度依赖于一个关键前提，即垂直领域中必须存在足够规模的高质量双语数据。一旦面对极低资源甚至零资源的语言对（如小语种或濒危语言），整个流程便难以启动，既无法微调解码器，也无法构建有效的检索记忆库。更深层次的问题在于，该方法所采用的技术范式本质上是静态且封闭的。其检索机制仅依赖真实存在的高资源句子进行硬匹配，缺乏对模型自身生成能力的挖掘。当真实示例稀疏、不相关或完全缺失时，增强效果不仅有限，还可能引入噪声。此外，整个流程为确定性前馈结构，不具备逻辑推理、一致性校验或错误修正能力，难以应对语义模糊或结构复杂的输入。更重要的是，冻结编码器虽可防止灾难性遗忘，却也限制了模型在低资源条件下自适应学习新语言表征的潜力。这些局限共同反映出该方法是在一定规模的高质量双语数据的假设下优化现有翻译方法，而未能解决极低资源场景下缺乏一定规模高质量双语数据时的翻译问题。

6、北京中科闻歌科技股份有限公司、中国科学院自动化研究所、航空工业信息中心在其申请的专利文献“一种基于大语言的低资源语言翻译模型训练方法”（申请日 2025-10-23  申请(专利)号 cn202511521510.8  申请公布号 cn121351849a）中公开了一种基于大语言模型的翻译方法。该专利提出了一种三阶段渐进式训练策略，首先在多语种无监督语料上对基础大语言模型进行继续预训练并保存多个中间检查点；随后从中选择验证性能最优的模型，在低资源语言与目标语言的平行指令数据上进行监督微调；最后利用人工或自动构造的首选/拒绝翻译对，通过偏好优化算法（如 dpo 或 rlhf）进一步对齐模型输出与人类偏好。该方法在具备一定平行语料的低资源语言场景中有效提升了翻译质量，但其核心局限在于高度依赖真实平行句对，无论是指令微调还是偏好优化阶段均需此类数据支撑。这一前提在面对极低资源语言（如阿拉贡语、阿兰语等）时往往难以满足，因为这些语言可能仅有数百句甚至完全缺乏平行语料。此外，该方法采用静态训练范式，模型一旦完成训练即固定参数，推理过程中无法动态引入外部知识或示例，因而缺乏对未见句式或词汇的适应能力；同时，若目标语言在预训练语料中几乎未出现，则继续预训练阶段也难以有效建模其语言特性，导致冷启动问题；更关键的是，模型在生成错误译文后缺乏推理或纠错机制，无法进行自我修正。上述不足的根本原因在于该专利的技术路线建立在一个假设之上，即存在可获取的低资源平行语料用于微调和偏好学习。然而现实情况是，全球7000多种语言中绝大多数属于长尾语言，不仅缺乏平行语料，甚至连单语语料都极为稀缺，部分语言甚至未被主流多语模型（如 nllb-200）所覆盖。该方法将翻译能力通过模型参数内化解决，忽视了在推理阶段动态融合有限外部信息的可能性，且整个流程封闭于训练阶段，推理过程为黑箱生成，无法实现模型先验与外部证据的推理校正。因此，当面对平行语料少于1000句、甚至为零的极低资源语言时，该技术路径难以实际落地。

技术实现思路

1、本发明的目的是针对上述现有技术存在的不足，提出一种基于软硬检索与推理校正的极低资源语言机器翻译方法及系统，旨在解决现有技术在极端数据稀缺条件下无法启动、无法纠错、无法泛化的三大核心难题，为全球数千种极低资源语言提供切实可行的机器翻译路径。

2、实现本发明目的的技术思路是，本发明在真实平行语料极度稀缺甚至缺失的情况下，通过融合硬检索示例（真实示例）与软检索示例（模型生成的伪示例），并借助具备推理能力的大语言模型进行推理校正，从而显著提升极低资源语言对的翻译质量与鲁棒性。本发明通过软检索示例构建、硬检索与软检索融合、大语言模型推理校正，构建了一种仅需极少数据、可纠错且高度通用的翻译方法，有效解决了现有技术在极低资源场景下的无法进行有效翻译的问题。针对现有技术存在的普遍依赖一定规模的平行语料、难以应对真实世界中大量语言严重缺乏双语数据的问题，本发明仅需一个目标翻译任务上的弱机器翻译模型和极少量（甚至为零）的真实示例即可运行，显著降低了对数据资源的依赖。此外，现有方案多采用封闭静态的纯神经网络架构，无法在生成过程中引入外部知识或进行动态调整，而本发明设计了开放式的动态系统架构，将高置信的真实示例（硬检索）与多样化但低置信的伪翻译假设（软检索）有机结合，形成互补信息源，并通过具备推理能力的大语言模型（如deepseek-r1、gpt-4o、claude-3 opus等）在“”标记引导下执行协同推理、一致性校验与局部错误修正，实现了“生成—反思—修正”的闭环，从根本上克服了传统端到端模型一旦出错便无法挽回的缺陷。针对硬检索在稀疏语料下易失效的问题，本发明创新性地提出软检索机制，将弱机器翻译模型生成的伪翻译视为有价值的上下文线索，即使在无真实示例时也能构造结构化提示，维持系统可用性。同时，区别于现有技术依赖近亲语言（如用泰语辅助老挝语）或中间语言的策略，本发明完全与语言无关，不预设语系关联或跨语言对齐先验，可直接应用于巴斯克语、阿拉贡语等孤立或未被主流模型覆盖的语言。更重要的是，本发明摒弃了传统训练驱动范式所必需的微调、偏好学习等冷启动步骤，转而采用推理驱动方式，所有能力均在推理阶段激活，真正实现零样本扩展。

3、为实现上述目的，本发明翻译方法的步骤包括如下：

4、步骤1，使用语义相似度函数，检索与待翻译的源语言句子中最相似的个真实句对组成硬检索集；

5、步骤2，对待翻译的源语言句子进行m次独立的随机采样翻译，每次采样生成对应的目标语言翻译假设，将待翻译的源语言句子与其对应的目标语言翻译假设组成软检索句对，将所有软检索句对组成软检索集合；

6、步骤3，将硬检索集合与软检索集合合并成一个示例集合，并按照翻译提示模板，将示例集合格式化为一段提示文本；

7、步骤4，将提示文本输入到具备推理能力的大语言模型中，对提示文本中的多种示例进行逻辑比较、一致性检查和局部错误修正后，输出包含推理过程标记的原始回答文本；

8、步骤5，对原始回答文本进行后处理解析，输出提取的最终译文。

9、进一步地，所述语义相似度函数如下：

10、 ；

11、其中，表示语义相似度函数，表示待翻译的源语言句子，表示真实平行语料库中第个源语言句子，表示句向量编码函数，用于将输入的句子转换为一个实数向量，表示点积操作，表示取模操作。

12、硬检索集合的示例数量k和软检索集合的采样数量m的取值，是根据待翻译的目标语言对的资源丰富程度进行调整，当目标语言对资源越匮乏时，m的取值越大，k和m均为非负整数，并且k和m不能同时为零。

13、进一步地，所述对待翻译的源语言句子进行m次独立的随机采样翻译是指：调用一个已训练好的神经机器翻译模型，采用top-k采样或核采样策略，设置一个温度参数，用于控制采样概率分布的平滑程度，同时设置一个最大生成长度阈值l，每次采样生成的翻译假设的长度不超过阈值l；其中，最大生成长度阈值l根据待翻译的源语言句子长度和复杂度进行调整，当源语言句子越长、复杂度越高时，l的取值越大，l为非负整数；对待翻译的源语言句子进行次独立的随机采样翻译，每次采样生成一个对应的目标语言翻译假设，共得到个翻译假设，将每个翻译假设与待翻译的源语言句子配对，构成个软检索句对；其中，。

14、进一步地，所述对待翻译的源语言句子进行m次独立的随机采样翻译是指：当待翻译的源语言句子与目标语言之间不存在直接训练好的神经机器翻译模型时，采用中间语言翻译方法来获得翻译假设；具体为：将待翻译的源语言句子输入一个源语言到中间语言的神经机器翻译模型，得到中间语言的中间译文；再将该中间译文输入一个中间语言到目标语言的神经机器翻译模型，并对该模型进行次独立随机采样，得到个目标语言的翻译假设，将每个翻译假设与待翻译的源语言句子配对，构成个软检索句对，。

15、进一步地，所述对待翻译的源语言句子进行m次独立的随机采样翻译是指：当不存在任何可用的神经机器翻译模型时，采用一个规则型机器翻译系统；在标准配置下，对待翻译的源语言句子进行一次翻译，生成一个翻译假设；调整该规则型机器翻译系统的启用实验性词典扩展选项、启用转写规则约束选项、启用形态分析器选项、启用未知词猜测选项；每次可调整一个选项或同时调整多个选项，调整方式为由少至多，逐渐增加调整选项的个数，每次调整选项后对待翻译的源语言句子进行一次翻译，生成一个翻译假设，共得到个翻译假设，将每个翻译假设与待翻译的源语言句子配对，构成个软检索句对；其中，。

16、进一步地，所述提示模板中包含：翻译任务指令、硬检索集合中的示例、软检索集合中的示例、待翻译的源语言句子；按照以下顺序组织内容：首先放置翻译任务指令文本，然后依次排列硬检索集合中的示例，每个硬检索示例前添加“真实示例：”作为前缀标识；接着依次排列软检索集合中的示例，每个软检索示例前添加“参考译文：”作为前缀标识；最后放置待翻译的源语言句子；并在其末尾添加“→？”作为提示结束标志。

17、进一步地，所述推理过程标记指的是：将推理过程文本置于专用的推理开始标记“”和推理结束标记“”之间；而将最终译文放置在这两个标记之外。

18、进一步地，所述后处理解析指的是：在原始回答中查找“”和“”标记，移除这两个标记以及位于两个标记之间的所有推理过程文本，保留标记之外的文本内容作为提取的最终译文。

19、本发明的极低资源机器翻译系统包括以下功能模块：

20、硬检索模块，用于使用语义相似度函数，计算输入的待翻译的源语言句子与真实平行语料库中每个源语言句子的相似度，将相似度数值按照从高到低进行排序，选取排在前k个的句对组成硬检索集合；

21、软检索模块，用于对输入的待翻译的源语言句子，进行m次独立随机采样翻译，生成m个翻译假设，并将每个翻译假设与待翻译的源语言句子配对，组成软检索集合；

22、上下文提示构建模块，用于将输入的硬检索集合和软检索集合，合并为一个增强型上下文示例集合，并按照预设的提示模板将增强型上下文示例集合格式化为提示文本；

23、推理校正生成模块，用于将提示文本送入到一个具备推理能力的大语言模型，生成包含推理过程标记的原始回答；

24、后处理解析模块，用于将输入的原始回答定位并删除推理过程标记及其之间的推理文本，并从该结果中提取最终译文，输出该最终译文作为翻译结果。

25、本发明与现有技术相比较，具有如下优点：

26、第一，本发明使用软检索机制，利用神经机器翻译模型生成伪翻译示例作为结构化知识源，克服了现有技术因极低资源语言缺乏真实平行句对而无法构建有效检索上下文的缺陷，使得本发明即使在真实示例完全缺失（k=0）的极端条件下，仍能通过模型自身生成能力激活结构先验，维持系统的翻译功能。

27、第二，本发明采用硬检索与软检索协同的两阶段检索策略，将高置信度的真实示例与多样化但低置信度的伪示例有机结合为互补信息源，克服了现有技术依赖单一信息来源在语料稀疏时易引入噪声或失效的缺陷，使得本发明在有限数据条件下仍能构建鲁棒的增强上下文，显著提升翻译可靠性。

28、第三，本发明引入具备推理能力的大语言模型，在推理过程中对多源示例进行逻辑比对、一致性验证与局部错误修正，克服了现有端到端翻译方法一旦生成错误便无法挽回且缺乏可解释纠错机制的缺陷，使得本发明实现了“生成—反思—修正”的闭环优化，有效缓解语义偏差与词汇错配的问题。