藏语大语言模型训练方法、电子设备及存储介质

本申请涉及人工智能，尤其涉及一种藏语大语言模型训练方法、电子设备及存储介质。

背景技术：

1、随着大语言模型技术的发展，通用大语言模型在汉语、英语等高资源语言上的文本理解、翻译、问答和生成能力已有较大提升。

2、对于藏语这种低资源语言，普通藏语大语言模型通常直接将藏语语料输入模型执行自回归语言建模，但是现有的藏语大语言模型通常是基于单一机器翻译进行译文质量的优化训练，在面向藏语知识型生成任务（如藏语问答、事实性生成、领域术语解释等综合任务）的性能较差。

技术实现思路

1、本申请实施例的主要目的在于提出一种藏语大语言模型训练方法、电子设备及存储介质，旨在提高藏语大语言模型在面向藏语知识型生成任务时的性能。

2、为实现上述目的，本申请实施例的第一方面提出了一种藏语大语言模型训练方法，所述方法包括：

3、获取藏语训练参数，所述藏语训练参数包括藏语单语语料集、藏汉平行语料集以及指令应答微调样本集；

4、基于所述藏语单语语料集，对预设的初始藏语大语言模型执行继续预训练，得到第一中间模型；

5、基于所述藏汉平行语料集，对所述第一中间模型进行藏汉语义关联增强训练，得到第二中间模型；

6、基于所述藏汉平行语料集进行跨语种知识扩充，得到跨语种训练样本集，其中，所述跨语种训练样本集中至少部分样本藏汉句对为所述弱语料对齐藏汉句对；

7、基于所述跨语种训练样本集，对所述第二中间模型执行跨语种对齐辅助训练，得到第三中间模型；

8、基于所述指令应答微调样本集，对所述第三中间模型执行有监督指令微调，得到目标藏语大语言模型。

9、为实现上述目的，本申请实施例的第二方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

10、为实现上述目的，本申请实施例的第三方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。

11、本申请提出的藏语大语言模型训练方法、电子设备及存储介质,通过藏语单语语料集对预设的初始藏语大语言模型执行继续预训练,让初始藏语大语言模型先适配藏语的字符、语法与表达习惯，提高藏语文本生成与理解能力，得到第一中间模型；再通过藏汉语义关联增强训练，让第一中间模型学习双向语义映射关系，形成跨语种转换的能力，得到第二中间模型；随后通过跨语种知识扩充补充低资源场景下稀缺的跨语种知识语料，得到跨语种训练样本集；再对第二中间模型进行跨语种对齐辅助训练，得到第三中间模型；最后，对第三中间模型进行有监督指令微调，得到目标藏语大语言模型。和相关技术相比，本申请实施例能够分阶段对初始藏语大语言模型进行训练，此时初始藏语大语言模型进行多目标联合训练的梯度冲突更低，并且全面提升模型在藏语语义理解、藏汉双向互译、藏语智能问答、领域文本生成、事实性应答等多类任务上的表现，最终得到综合性能更优的藏语大语言模型。

1.一种藏语大语言模型训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述藏语单语语料集，对预设的初始藏语大语言模型执行继续预训练，得到第一中间模型，包括：

3.根据权利要求1所述的方法，其特征在于，藏汉平行语料集包括多个平行藏汉句对，每个所述平行藏汉句对均包括目标藏文句子以及与所述目标藏文句子语义匹配的目标汉文句子；所述基于所述藏汉平行语料集，对第一中间模型进行藏汉语义关联增强训练，得到第二中间模型，包括：

4.根据权利要求1所述的方法，其特征在于，藏汉平行语料集包括多个平行藏汉句对，每个所述平行藏汉句对均包括目标藏文句子以及与所述目标藏文句子语义匹配的目标汉文句子，所述基于所述藏汉平行语料集进行跨语种知识扩充，得到跨语种训练样本集，包括：

5.根据权利要求1或4所述的方法，其特征在于，所述基于所述跨语种训练样本集，对所述第二中间模型执行跨语种对齐辅助训练，得到第三中间模型，包括：

6.根据权利要求1所述的方法，其特征在于，所述基于指令应答微调样本集，对第三中间模型执行有监督指令微调，得到目标藏语大语言模型，包括：

7.根据权利要求1-6任一项所述的方法，其特征在于，所述藏汉平行语料集通过如下步骤得到：

8.根据权利要求7所述的方法，其特征在于，所述根据所述词汇覆盖评分、双向翻译一致性评分，确定藏汉平行语料集，包括：

9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至8任一项所述的藏语大语言模型训练方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的藏语大语言模型训练方法。