面向多专家张量适配器框架的动态结构剪枝方法及应用与流程

摘要: 本公开涉及预训练模型的参数微调,尤其是涉及一种面向多专家张量适配器框架的动态结构剪枝方法、面向多专家张量适配器框架的动态结构剪枝装置、存储介质以及电子设备。背景...
面向多专家张量适配器框架的动态结构剪枝方法及应用与流程

本公开涉及预训练模型的参数微调,尤其是涉及一种面向多专家张量适配器框架的动态结构剪枝方法、面向多专家张量适配器框架的动态结构剪枝装置、存储介质以及电子设备。

背景技术:

1、peft(parameter-efficient fine-tuning,参数高效微调)技术能够在冻结预训练模型的权重的前提下,仅通过训练少量任务相关参数完成模型下游任务的高效适配以及模型轻量部署,同时,该技术还可以实现模型的内容安全对齐,从而有利于保障模型在实际部署中的安全性和可控性。

2、由于内容安全类样本(如涉及暴力、偏见或者隐私等内容的样本)往往具有高度异构特性,因此,为了区分样本中的各类违规内容,并针对各类违规内容采用相应的处理策略,以便于有针对性的约束模型的输出,实现模型的内容安全对齐,目前,通常会在peft技术中引入moe(mixture-of-experts,混合专家)机制,即为预训练模型中的至少一层网络层设置一个或者多个多专家张量低秩适配器,并在参数微调训练过程中更新各适配器的参数。由于在参数微调训练前,为各网络层分别设置的适配器的最大秩和专家数量在整个微调训练过程中都保持不变,因此,上述参数微调训练可以认为是基于静态结构设计的参数微调训练。

3、然而,在实际应用场景中,预训练模型的不同网络层和不同下游任务对适配器结构容量的需求差异往往较为显著,上述基于静态结构设计的参数微调训练很可能会存在如下问题:一是对关键网络层分配的适配器结构容量不足,从而限制了模型的适配能力,二是对非关键层分配了过多冗余的适配器结构,从而浪费了有限的参数预算。如何克服基于静态结构设计的参数微调训练所存在的问题,从而在保证模型在实际部署中的安全性和可控性的同时,提升模型的适配能力和计算效率,是一个值得关注的技术问题。

技术实现思路

1、为了解决上述技术问题,提出了本公开。本公开的实施例提供了一种面向多专家张量适配器框架的动态结构剪枝方法、面向多专家张量适配器框架的动态结构剪枝装置、存储介质以及电子设备。

2、根据本公开实施例的第一个方面,提供了一种面向多专家张量适配器框架的动态结构剪枝方法,所述方法包括:初始化阶段和动态结构剪枝阶段;所述初始化阶段包括:为待训练模型的各适配层的各多专家张量适配器的多粒度结构分别设置掩码,使所述各多专家张量适配器分别转换为掩码张量适配器,并将所述掩码中的所有掩码参数分量的初始值均设置为第一预定值;其中,所述多专家张量适配器的多粒度结构包括:特征模态共享因子方向对应的特征模态秩通道、专家模态秩基方向对应的专家模态秩通道以及专家切片,且一个掩码参数分量对应一个结构单元,具有所述第一预定值的掩码参数分量表示完整保留该掩码参数分量所对应的结构单元包含的所有本体参数分量;所述动态结构剪枝阶段包括:用于参数微调的迭代训练过程和结构剪枝过程;所述迭代训练过程包括:为所述待训练模型提供多个样本,根据所述待训练模型针对各样本的输出进行损失计算,并根据获得的损失计算结果执行在所述待训练模型中反向传播的操作,以更新各掩码张量适配器的本体参数分量和掩码参数分量;根据各掩码张量适配器的各本体参数分量和各掩码参数分量各自对所述损失计算结果的贡献,获得各参数分量的分量级重要性评估结果;所述结构剪枝过程包括:按照所述各本体参数分量和各掩码参数分量各自归属的特征模态秩通道、专家模态秩通道或者专家切片,对所述各参数分量的分量级重要性评估结果进行聚合处理,获得所述各掩码张量适配器的各特征模态秩通道、各专家模态秩通道以及各专家切片的结构级重要性评估结果;根据所述各掩码张量适配器的各特征模态秩通道、各专家模态秩通道以及各专家切片的结构级重要性评估结果,将相应掩码张量适配器中的相应结构单元所对应的掩码参数分量的取值设置为第二预定值;其中,具有所述第二预定值的掩码参数分量表示屏蔽该掩码参数分量所对应的结构单元包含的所有本体参数分量。

3、根据本公开实施例的第二个方面,提供了一种面向多专家张量适配器框架的动态结构剪枝装置,所述装置包括:初始化模块,用于为待训练模型的各适配层的各多专家张量适配器的多粒度结构分别设置掩码,使所述各多专家张量适配器分别转换为掩码张量适配器,并将所述掩码中的所有掩码参数分量的初始值均设置为第一预定值;其中,所述多专家张量适配器的多粒度结构包括:特征模态共享因子方向对应的特征模态秩通道、专家模态秩基方向对应的专家模态秩通道以及专家切片,且一个掩码参数分量对应一个结构单元,具有所述第一预定值的掩码参数分量表示完整保留该掩码参数分量所对应的结构单元包含的所有本体参数分量;迭代训练模块,用于为所述待训练模型提供多个样本,根据所述待训练模型针对各样本的输出进行损失计算,并根据获得的损失计算结果执行在所述待训练模型中反向传播的操作,以更新各掩码张量适配器的本体参数分量和掩码参数分量;分量级评估模块,用于根据各掩码张量适配器的各本体参数分量和各掩码参数分量各自对所述损失计算结果的贡献,获得各参数分量的分量级重要性评估结果;结构级评估模块,用于按照所述各本体参数分量和各掩码参数分量各自归属的特征模态秩通道、专家模态秩通道或者专家切片,对所述各参数分量的分量级重要性评估结果进行聚合处理,获得所述各掩码张量适配器的各特征模态秩通道、各专家模态秩通道以及各专家切片的结构级重要性评估结果;剪枝模块,用于根据所述各掩码张量适配器的各特征模态秩通道、各专家模态秩通道以及各专家切片的结构级重要性评估结果,将相应掩码张量适配器中的相应结构单元所对应的掩码参数分量的取值设置为第二预定值;其中,具有所述第二预定值的掩码参数分量表示屏蔽该掩码参数分量所对应的结构单元包含的所有本体参数分量。

4、根据本公开实施例的第三个方面,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于实现上述任一方法。

5、根据本公开实施例的第四个方面,提供了一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述任一方法。

6、基于本公开的实施例提供的面向多专家张量适配器框架的动态结构剪枝方法、装置、存储介质以及电子设备,通过将各多专家张量适配器分别在特征模态共享因子方向对应的特征模态秩通道、专家模态秩基方向对应的专家模态秩通道以及专家切片这三种粒度结构上进行分解,可以形成特征模态秩通道、专家模态秩通道和专家切片这三种结构级剪枝单元;通过为每一个多专家张量适配器分别设置掩码,并使掩码中的各掩码参数分量各自对应一个结构单元(即结构级剪枝单元),由于各掩码参数分量的取值可以用于完整保留或者屏蔽其对应的结构单元所包含的所有本体参数分量,因此,可以通过控制各掩码参数分量的取值灵活且动态的对所有多专家张量适配器中的各特征模态秩通道、各专家模态秩通道以及各专家切片分别进行独立的开关控制,从而可以避免出现为适配不同下游任务需要重构不同核心张量和相应因子矩阵的现象;通过在迭代训练的反向传播过程中更新各掩码张量适配器的本体参数分量和掩码参数分量,并计算各参数分量的分量级重要性评估结果,可以分析出各结构单元的最小组分各自针对样本损失的贡献,这样,通过将分量级重要性评估结果聚合为结构级重要性评估结果,可以准确的体现相应结构单元针对样本损失的贡献,从而可以有效区分所有适配层中的所有多专家张量适配器中的核心有效结构单元以及冗余结构单元,且通过对冗余结构单元所对应的掩码参数分量的取值进行设置,即可便捷的完成结构级剪枝处理;通过在迭代训练过程中对冗余结构单元逐步进行取舍,可以使适配器的框架结构自适应的逐步收缩,从而可以在尽可能地保留各适配层已经学习到的安全对齐特征以及层与层之间的联动的同时,实现为核心层所保留的结构单元多于为非核心层所保留的结构单元;另外,在需要针对其他下游任务进行参数微调训练时,可以在不改变各核心张量和因子矩阵的结构的情况下,重置各掩码参数分量的取值即可。由此可知,本公开提供的技术方案有利于提高参数微调技术的适用性,且在兼顾模型参数微调效果,保证模型安全性能的同时,支持模型针对不同下游任务动态轻量化调整适配层的需求,从而在有利于保证模型在实际部署中的安全性和可控性的同时,有利于提升模型的适配性能和计算效率,降低模型的推理成本。

7、下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。