基于大语言模型的多层级藏文陈述句数据增强方法

本发明涉及自然语言处理，具体地说，涉及一种基于大语言模型的多层级藏文陈述句数据增强方法。

背景技术：

1、近年来，deepseek、gpt系列、llama、claude、gemini等大语言模型（以下简称大模型）取得了显著进展，推动了自然语言处理从任务驱动型建模向通用生成范式转变。在这一过程中，模型性能高度依赖大规模、高质量的语料支撑。对于藏语等低资源语言，数据规模本就有限，且缺乏结构规范、表达形式多样的高质量语料，严重制约了模型性能的提升。因此，在有限数据条件下，如何扩充高质量训练语料已成为一个关键问题，而数据增强正是解决该问题的有效途径之一。

2、数据增强技术通过挖掘已有数据的特征与结构信息，对原始数据进行变换与扩充以生成新样本，从而提升数据规模与多样性，是缓解数据资源匮乏的有效手段。然而，传统的数据增强方法主要采用词汇替换、句子重构或回译等操作，虽能在一定程度上增加数据多样性，却往往忽视了语言的深层结构关系。特别是对于藏语这类语法体系复杂的低资源语言，传统方法难以捕捉其丰富的语法依赖与句法规律，易生成语法不准确或语义不连贯的句子，从而限制了其实际效果。

3、在自然语言处理（nlp）任务中，模型的性能依赖于大规模、高质量的数据，而低资源语言中数据稀缺问题尤为突出。为缓解数据不足带来的性能瓶颈，数据增强技术被广泛用于扩展训练语料。现有研究主要包括传统数据增强方法、基于大模型的数据增强方法。

4、传统数据增强主流的方法包括词替换、回译和句子重组等，广泛应用于中英文等资源丰富的语言中。近年来，随着大模型的快速发展，基于大模型的数据增强方法逐渐成为研究热点。与传统方法相比，大模型增强方法在少样本和低资源场景中展现出显著优势。藏文作为典型的低资源语言，其自然语言处理研究长期受限于语料。为缓解数据不足的问题，学者们用数据增强技术扩充藏文语料。

5、总体来看，现有藏文数据增强方法多借鉴高资源语言中的通用策略，主要包括词替换、回译和句子重组等。然而，这些方法存在明显局限：词替换受限于同义词资源，易引入语义偏差；回译过程可能带来语法结构干扰；句子重组容易破坏藏语sov语序及格助词关系，导致语法错误。此外，这类方法多停留在词汇或浅层句式调整，难以提升句式结构的多样性与语义表达能力。

6、综上，现有藏文数据增强方法仅能在词汇层面进行调整，无法生成具有多样句式结构和复杂语法关系的藏文句子，难以满足自然语言处理任务对语料结构多样性的需求。

技术实现思路

1、本发明的内容是提供一种基于大语言模型的多层级藏文陈述句数据增强方法，其通过构建藏文陈述句五种句型的多层级数据增强指令，引导大模型生成语法规范、语义合理、表达自然且多样性丰富的高质量数据集，从而有效提升了模型的性能。

2、根据本发明的基于大语言模型的多层级藏文陈述句数据增强方法，其包括以下步骤：

3、步骤s1：构建藏文陈述句的多层级句式体系，将藏文陈述句划分为基本句式bp、扩充句式ep和组合句式cp三个层级；

4、步骤s2：分别构建基本句式bp、扩充句式ep和组合句式cp对应的数据增强指令集bdai、edai和cdai；

5、步骤s3：将数据增强指令集bdai、edai和cdai分别输入大语言基座模型，生成多层级藏文陈述句增强数据集mgs。

6、作为优选，步骤s1中，基本句式bp是根据藏文陈述句的句型分类结果构建的，句型分类包括及物句、不及物句、存在句、特征句和判断句共五种句型，每种句型对应一个基本句式。

7、作为优选，五种句型的基本句式分别为：

8、及物句基本句式：+++；

9、不及物句基本句式：+；

10、存在句基本句式：++；

11、特征句基本句式：+；

12、判断句基本句式：++；

13、其中，表示主语，表示作格助词，表示宾语，表示及物动词，表示不及物动词，表示处所词，表示存在助词，表示形容词，表示表语，表示判断助词。

14、作为优选，步骤s1中，扩充句式ep是通过在基本句式bp的主语、宾语和谓语之前分别添加扩充成分而获得的，扩充成分包括领属ls、限定xd、修饰xs和情态qz；其中，领属ls包括所属ss和关系rs，限定xd包括时间sj、地点dd和数量sl，修饰xs包括外貌wm和服饰fs，情态qz包括方式fx和工具gj；，扩充句式ep包括：

15、对于不同句型，扩充句式ep具体包括：

16、（1）及物句的扩充句式包括：

17、在主语前添加所属ss或关系rs后得到：++++；

18、在主语前添加时间sj、地点dd或数量sl后得到：++++；

19、在主语前添加外貌wm或服饰fs后得到：++++；

20、在宾语前添加所属ss后得到：++++；

21、在宾语前添加数量sl后得到：++++；

22、在宾语前添加外貌wm或服饰fs后得到：++++；

23、在谓语前添加方式fx或工具gj后得到：++++；

24、（2）不及物句的扩充句式包括：

25、在主语前添加所属ss或关系rs后得到：++；

26、在主语前添加时间sj、地点dd或数量sl后得到：++；

27、在主语前添加外貌wm或服饰fs后得到：++；

28、在谓语前添加方式fx后得到：++；

29、（3）存在句的扩充句式包括：

30、在主语前添加所属ss或关系rs后得到：+++；

31、在主语前添加数量sl后得到：+++；

32、在主语前添加外貌wm或服饰fs后得到：+++；

33、（4）特征句的扩充句式包括：

34、在主语前添加所属ss或关系rs后得到：++；

35、在主语前添加时间sj或地点dd后得到：++；

36、（5）判断句的扩充句式包括：

37、在主语前添加所属ss或关系rs后得到：+++；

38、在主语前添加时间sj或地点dd后得到：+++。

39、作为优选，步骤s1中，组合句式cp是对扩充句式ep中的扩充类别按预设规则进行组合而获得的，预设规则包括：

40、规则1：句式须包含对应句型的全部核心成分；

41、规则2：同一成分的扩充成分数量不超过两个；

42、规则3：每个单句中扩充类别总数n不超过三个；

43、规则4：同一扩充类别在单句中最多出现一次。

44、作为优选，组合句式cp具体包括以下句式：

45、（一）及物句的组合句式：

46、n=2时：

47、主语位置组合：

48、宾语位置组合：

49、主语-宾语组合：

50、主语-谓语组合：

51、宾语-谓语组合：

52、n=3时：

53、主语-主语-宾语组合：

54、主语-宾语-宾语组合：

55、主语-主语-谓语组合：

56、宾语-宾语-谓语组合：

57、主语-宾语-谓语组合：

58、（二）不及物句的组合句式：

59、n=2时：

60、主语-主语组合：

61、主语-谓语组合：

62、（三）存在句的组合句式：

63、n=2时：

64、主语-主语组合：

65、（四）特征句的组合句式：

66、n=2时：

67、主语-主语组合：

68、（五）判断句的组合句式：

69、n=2时：

70、主语-主语组合：

71、其中，表示领属

ls、限定

xd和修饰

xs中的一种，表示扩充类别和的组合。

72、作为优选，步骤s3中，大语言基座模型选自deepseek-v3、claude-3.5-sonnet和gemini-2.5-pro中的任意一个或多个。

73、本发明的有益效果如下：

74、本发明通过分类解析藏文陈述句的结构，设计层次化的数据增强指令，引导大模型生成符合要求的藏文陈述句。相较于传统方法，本方法不仅保证了生成数据的质量与多样性，提高了数据增强的自动化程度，还有效克服了传统方法重数量、轻质量的问题。