一种基于多级分块大语言模型的自然语言处理方法及系统

本技术涉及自然语言处理及模型压缩领域，具体地，涉及一种基于多级分块大语言模型的自然语言处理方法及系统。

背景技术：

1、近年来，计算能力的提升极大推动人工智能的发展，以深度神经网络为代表的技术广泛应用在各个领域，尤其在大语言模型领域，其在文本生成、逻辑推理等任务中表现出卓越的性能。然而，大语言模型对于计算量和显存带宽的巨大需求也阻碍了这项技术在资源受限环境下的应用。

2、参数量化通过使用低精度定点数运算代替浮点数运算，节省带宽和计算资源，但是模型量化通常会带来信息损失，低精度量化后的网络推理准确率会出现明显下降，特别是在面向大语言模型进行矢量量化时，受限于码本容量，微型码本极易发生坍塌，且针对模型参数中存在的大量异常值，简单的量化方法往往导致严重的性能受损。

3、经过对现有技术的文献检索发现，公开号为cn122021767a的中国专利，提出一种基于残差细化的大语言模型的2比特量化方法，通过两个可学习的缩放因子和构建量化点位，能够自适应地拟合大语言模型权重这种非均匀的分布特征，显著降低了量化误差，然而上述现有技术无法在降低资源占用的同时提升推理准确度、避免码本坍塌。

4、因此，亟需一种自然语言处理方法及系统，能够避免码本坍塌缺陷、提升然语言处理的准确性。

技术实现思路

1、针对现有技术中的缺陷，本技术的目的是提供一种基于多级分块大语言模型的自然语言处理方法及系统。

2、根据本技术的第一个方面，提供一种基于多级分块大语言模型的自然语言处理方法，包括：

3、获取预训练的大语言模型及其全精度权重矩阵；

4、将所述全精度权重矩阵划分为若干矩阵块，为每个所述矩阵块初始化其独立的微型码本；

5、基于相邻所述矩阵块之间的相似度，对所述矩阵块进行合并，合并后的所述矩阵块共享同一个所述微型码本；

6、对合并后的所述矩阵块执行逐矩阵块缩放及多级残差矢量量化，得到初步量化的矩阵块；

7、针对初步量化的矩阵块，对其微型码本进行调整优化，得到量化后的大语言模型；

8、采用所述量化后的大语言模型对待处理的输入文本进行推理，生成输出文本。

9、可选地，所述基于相邻所述矩阵块之间的相似度，对所述矩阵块进行合并，包括：

10、获取各所述矩阵块的归一化熵，若所述归一化熵小于设定坍塌阈值，则将对应的矩阵块作为坍塌块；

11、针对各所述矩阵块，获取与其相邻所述矩阵块之间微型码本的归一化wasserstein距离；基于两个相邻所述矩阵块之间的所述归一化wasserstein距离，得到相似度评分；

12、针对各所述坍塌块，将与其相邻的矩阵块按对应相似度评分降序排列，选取排序最高的一个相邻所述矩阵块与对应坍塌块进行合并，以生成经首次合并的矩阵块，遍历所述坍塌块，以完成所有矩阵块的更新；

13、针对各更新后的所述矩阵块，获取每一所述矩阵块与其各相邻矩阵块之间的相似度评分，按所述相似度评分降序排列，选取排序靠前的预设数量个相邻所述矩阵块，将所选取的相邻矩阵块分别与对应的所述矩阵块进行合并以更新各所述矩阵块，生成经二次合并后的矩阵块。

14、可选地，所述对合并后的所述矩阵块执行逐矩阵块缩放及多级残差矢量量化，得到初步量化的矩阵块，包括：

15、以所述全精度权重矩阵作为第一级量化的量化目标，对合并后的每个矩阵块执行逐块缩放与矢量量化，得到第一级量化的量化重建结果；

16、从第二级量化开始，计算当前级别的残差矩阵作为对应的量化目标，所述残差矩阵为所述全精度权重矩阵与前序各级量化重建结果之和的差值；对每个矩阵块执行逐块缩放，对所述残差矩阵进行重要性筛选，根据重要性筛选结果对缩放后的矩阵块分别执行矢量量化，得到该级别的量化重建结果；

17、重复执行多次矢量量化操作，直至达到预设量化级数，将最后一次的量化重建结果作为初步量化的矩阵块。

18、可选地，所述对每个矩阵块执行逐块缩放，包括：

19、在每一个量化级别，为每个所述矩阵块初始化一个独立的缩放因子，所述缩放因子通过计算矩阵块内非零元素的对数绝对值的中位数得到；所述缩放因子的取值被限定于预设的安全数值范围内；

20、基于所述缩放因子，对各所述矩阵块进行缩放，得到缩放后的矩阵块。

21、可选地，所述对所述量化目标矩阵进行重要性筛选，根据重要性筛选结果对缩放后的矩阵块分别执行矢量量化，得到该级别的量化重建结果，包括：

22、基于校准数据集获取预训练的大语言模型中线性层对应输入矩阵的协方差矩阵；

23、基于所述协方差矩阵对当前级别的所述残差矩阵进行逐行重要性筛选，得到各行的重要性分数；

24、将所述残差矩阵按照预设步长划分为多个连续的数据子组；针对每个所述数据子组，依据重要性分数对数据子组内各行数据进行降序排列；根据预设比例参数，从排序后的各数据子组中选取排名靠前的目标行作为有效量化样本；对有效量化样本中缩放后的矩阵块分别执行矢量量化，得到该级别的量化重建结果。

25、可选地，所述对合并后的所述矩阵块执行逐矩阵块缩放及多级残差矢量量化，得到初步量化的矩阵块，还包括：

26、在完成当前级别的矢量量化后，以最小化量化损失为目标对当前级别的微型码本进行调整，并采用束搜索优化码字组合；

27、交替迭代微型码本调整与束搜索过程，直至量化损失满足预设阈值条件后，得到当前级别的量化重建结果。

28、可选地，所述针对初步量化的矩阵块，对其微型码本进行调整优化，得到量化后的大语言模型，包括：

29、以最小化量化损失为目标对初步量化的矩阵块对应的微型码本进行调整，并采用束搜索优化码字的组合；

30、交替迭代微型码本调整与束搜索过程，直至量化损失满足预设阈值条件后，得到量化后的大语言模型。

31、可选地，所述采用所述量化后的大语言模型对待处理的输入文本进行推理，生成输出文本，包括：

32、获取待处理的输入文本序列；

33、采用量化后的大语言模型对所述输入文本序列进行推理或生成，生成输出文本。

34、根据本技术的第二个方面，提供一种基于多级分块大语言模型的自然语言处理系统，包括：

35、模型获取模块，用于获取预训练的大语言模型及其全精度权重矩阵；

36、分块初始化模块，用于将所述全精度权重矩阵划分为若干矩阵块，为每个所述矩阵块初始化其独立的微型码本；

37、块合并模块，用于基于相邻所述矩阵块之间的相似度，对所述矩阵块进行合并，合并后的所述矩阵块共享同一个所述微型码本；

38、多级残差量化模块，用于对合并后的所述矩阵块执行逐矩阵块缩放及多级残差矢量量化，得到初步量化的矩阵块；

39、输出模块，用于针对初步量化的矩阵块，对其微型码本进行调整优化，得到量化后的大语言模型；

40、推理模块，用于采用所述量化后的大语言模型对待处理的输入文本进行推理，生成输出文本。

41、根据本技术的第三个方面，提供一种电子设备，包括：

42、至少一个存储器，用于存储程序指令；

43、至少一个处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行如本技术第一个方面提供的基于多级分块大语言模型的自然语言处理方法的步骤。

44、本技术提供的一种基于多级分块大语言模型的自然语言处理方法，通过将全精度权重矩阵划分为若干矩阵块并初始化独立的微型码本，允许在推理反量化时以矩阵块为粒度将微型码本加载至片上内存，降低访存带宽和内存资源占用；通过相邻矩阵块的相似度进行微型码本合并与共享，有效克服了传统矢量量化中常见的码本坍塌缺陷；采用多级残差矢量量化配合逐矩阵块缩放，防止底层计算发生数值不稳定，降低了量化带来的推理精度损失。

45、由附加特征带来的其他技术效果将在相应的实施例中进一步阐述。