一种数据—参数耦合的正交持续学习方法

本发明涉及大语言模型，尤其是涉及一种数据—参数耦合的正交持续学习方法。

背景技术：

1、随着深度学习技术的飞速发展，基于transformer架构的大语言模型已成为驱动新一代人工智能应用的核心。这些模型通过在庞大且多样化的数据集上进行预训练，从而具备了极度丰富知识、逻辑推理规则与语言生成模型。然而，如何利用并训练这些模型以适应现实世界的动态需求，仍然是一项关键的挑战。虽然微调可以提升模型的在特定领域任务的性能，但也带来了一个难题——灾难性遗忘（catastrophicforgetting,cf）。灾难性遗忘是指模型在微调过程中丢失或覆盖预训练中学习到的知识的现象[。这一现象的出现严重限制了llms的泛化能力与知识积累。模型无法像人类一样将新旧知识融会贯通，难以构建起持续增长的知识体系，同时也影响了模型在垂直领域的应用落地。

2、为了解决这一问题，研究人员在过去两年中进行了大量的探索。部分研究试图通过参数高效微调（parameter-efficientfine-tuning,peft）技术(如lora等)来规避遗忘。直观上看，peft仅更新极小部分的参数并冻结主干网络，理应保护模型先前学习到的知识。然而，最新的评估无一例外地指出，在面对多阶段的连续微调时，单纯的peft方法无法解决知识退化，从而导致了与全参数微调相似的灾难性遗忘。另一方面，传统的正则化策略或基于激活重放的内存缓冲池，在迁移至具有数百亿的llms时，遇到了不可逾越的计算开销瓶颈。

技术实现思路

1、本发明的目的是提供一种数据—参数耦合的正交持续学习方法，设计了困惑度感知的软梯度调节psgm策略，自适应地评估并处理数据；引入时变潜概念子空间追踪tv-spt机制，将数据端的软调制权重显式注入特征矩阵，两者深度耦合，实现了数据特征与参数空间的无缝联动。

2、为实现上述目的，本发明提供了一种数据—参数耦合的正交持续学习方法，包括以下步骤：

3、步骤一、前置统一初始化，对连续学习场景进行形式化定义，并建立统一的符号体系；

4、步骤二、psgm样本级困惑度自适应软加权，在样本层面利用psgm根据困惑度对训练信号进行软调节，降低高风险样本对训练稳定性的负面影响；

5、步骤三、tv-spt时变潜概念子空间追踪与梯度正交截断，在参数层面利用tv-spt从加权特征中动态提取历史敏感方向，并据此对当前梯度执行正交截断。

6、优选的，步骤一中定义一个由t个任务组成的连续学习序列：

7、

8、其中，表示第

t个任务的数据集，和分别为输入与目标输出，为该任务的样本数量，在第

t个训练阶段，模型仅能访问当前任务的数据，历史任务数据不可访问。

9、优选的，步骤一中初始化冻结主干大语言模型，开放低秩适配器作为可更新参数；初始化tv-spt动态特征字典、在线幂法迭代参数、ema动量系数、相似度阈值、psgm超参。

10、优选的，步骤二中输入当前批次样本，执行以下步骤：

11、s21、对批次内每个样本

(

)，计算样本困惑度：

12、

13、其中，为目标序列长度，

表示模型对第

j个目标词元的条件概率；

14、s22、统计本批次困惑度分布，计算批次均值、标准差和自适应阈值，

15、

16、其中，为调节系数；

17、s23、代入sigmoid软调节函数，求解每个样本权重，

18、；

19、其中，为sigmoid函数，为温度系数；

20、s24、输出批次样本权重集合，同步用于损失加权计算和tv-spt加权特征协方差构建。

21、优选的，步骤三包括以下步骤：

22、s31、构建加权特征协方差矩阵；

23、s32、在线幂法提取当前批次主导特征方向；

24、s33、更新动态特征字典，存储历史敏感原子；

25、s34、梯度正交截断，剔除破坏历史知识的更新分量。

26、优选的，s31中加权协方差矩阵为：

27、

28、其中，表示模型第l层在

t个训练步上的激活矩阵，，

b为当前训练批次中的样本数，

d为隐藏层维度，为权重构造对角权重矩阵，。

29、优选的，s33中维护一个动态特征字典，其中表示字典大小，每个为一个单位特征向量，称为原子，对于当前训练步提取出的主方向，首先计算其与字典中各原子的相似度；

30、最大相似度低于预设阈值，当前方向尚未被现有字典充分表示，将作为新的原子加入字典；最大相似度不低于，当前方向与已有功能原子较为接近，此时采用指数移动平均ema方式对最相似原子进行平滑更新：

31、

32、其中，

m为动量系数，norm()表示归一化操作。

33、优选的，s34包括以下步骤：

34、s341、计算当前训练步骤的原始梯度为；

35、s342、将原始梯度投影到历史敏感子空间的正交补空间中，经过正交截断后的梯度为：

36、

37、其中，

i为单位矩阵；为字典矩阵；

38、s343、使用完成参数更新操作。

39、因此，本发明采用上述一种数据—参数耦合的正交持续学习方法，设计困惑度感知的软梯度调节机制（psgm），打破传统的硬掩码截断逻辑，将样本困惑度转化为自适应的连续梯度权重。该策略在抑制高噪声信号的同时，无损保留了长尾复杂知识的微弱梯度流；更重要的是，将困惑度权重显式注入下游的子空间更新中，打通了“数据—参数”的联动闭环。引入时变潜概念子空间追踪机制（tv-spt）：摒弃了计算高昂的静态svd，在经过psgm提纯后的加权特征空间中，利用在线幂法迭代与指数移动平均（ema）动态构建核心特征字典。该机制使正交投影矩阵能够精准追踪并随微调任务动态演化，从根本上克服了持续学习中的功能子空间漂移问题。

40、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

1.一种数据—参数耦合的正交持续学习方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种数据—参数耦合的正交持续学习方法，其特征在于：步骤一中定义一个由t个任务组成的连续学习序列：

3.根据权利要求2所述的一种数据—参数耦合的正交持续学习方法，其特征在于：步骤一中初始化冻结主干大语言模型，开放低秩适配器作为可更新参数；初始化tv-spt动态特征字典、在线幂法迭代参数、ema动量系数、相似度阈值、psgm超参。

4.根据权利要求3所述的一种数据—参数耦合的正交持续学习方法，其特征在于，步骤二中输入当前批次样本，执行以下步骤：

5.根据权利要求4所述的一种数据—参数耦合的正交持续学习方法，其特征在于：步骤三包括以下步骤：

6.根据权利要求5所述的一种数据—参数耦合的正交持续学习方法，其特征在于，s31中加权协方差矩阵为：

7.根据权利要求6所述的一种数据—参数耦合的正交持续学习方法，其特征在于：s33中维护一个动态特征字典，其中表示字典大小，每个为一个单位特征向量，称为原子，对于当前训练步提取出的主方向，首先计算其与字典中各原子的相似度；

8.根据权利要求7所述的一种数据—参数耦合的正交持续学习方法，其特征在于，s34包括以下步骤：