混合专家模型的结构化剪枝方法及电子设备与流程

摘要: 本说明书一个或多个实施例涉及人工智能(artificialintelligence,ai)与深度学习模型的压缩,尤其涉及一种混合专家模型的结构化剪枝方法及电子设...
混合专家模型的结构化剪枝方法及电子设备与流程

本说明书一个或多个实施例涉及人工智能(artificial intelligence,ai)与深度学习模型的压缩,尤其涉及一种混合专家模型的结构化剪枝方法及电子设备。

背景技术:

1、随着大规模深度学习模型(如大语言模型llms、多模态大模型lmm等,下称大模型)参数规模不断膨胀,模型部署和推理所需的算力与存储成本呈指数级增长。混合专家(mixture of experts,moe)架构作为一种条件计算范式,通过引入路由网络将输入数据动态分配至被激活的专家子模型,在保持模型总参数量的同时大幅降低了单次推理的计算量,因而得以广泛应用。

2、然而,即便是采用moe架构的深度学习模型(即混合专家模型,或称moe模型),其整体参数量依然庞大,难以直接部署于资源受限的边缘设备或低延迟要求的在线服务中。因此,对混合专家模型进行压缩成为当前亟待解决的技术问题。

3、在现有的模型压缩技术中,剪枝(pruning)是一种有效的手段,按照压缩方式不同可分为非结构化剪枝和架构化剪枝。其中,结构化剪枝以通道(channel)、滤波器(filter)或整个线性层(projections)为单位进行剔除,确保剪枝后的权重矩阵依然保持规整的张量形态,从而能够无缝对接密集计算硬件。

4、现有的结构化剪枝方案通常分为两类:一类是仅对专家子模型前馈网络(feed-forward network,ffn)的“中间维度”进行结构化剪枝,以通过减小前馈网络的扩展宽度实现模型压缩。这类“仅剪枝中间维度”的方案对于早期具有较大ffn扩展比的模型较为有效,然而随着业界所采用moe模型的ffn扩展比逐渐降低,这类方案的压缩效率已经难以继续提升。另一类是针对标准transformer架构设计的隐藏维度压缩方案,这类方案通常依赖全局共享掩码、额外的对齐投影或恢复运算符,以在缩减隐层宽度后保持残差兼容性。但是,因为moe的专家子模型通常呈现出异构的激活分布和冗余模式,所以这类方案并不适用于moe架构;而且这类方案在推理过程中需要引入额外的计算和内存开销,从而降低部署效率。

技术实现思路

1、有鉴于此,本说明书一个或多个实施例提供技术方案如下:

2、根据本说明书一个或多个实施例的第一方面,提出了一种混合专家模型的结构化剪枝方法,包括:

3、在混合专家模型包含的多个专家子模型中确定待剪枝的目标专家子模型,所述多个专家子模型中的每一专家子模型的前馈网络包含第一线性层、第二线性层和第三线性层,所述前馈网络的结构维度包括中间维度和隐藏维度;

4、对所述目标专家子模型进行剪枝;其中对任一目标专家子模型进行剪枝,包括:

5、确定所述任一目标专家子模型在所述中间维度上的中间通道保留策略,以及在所述隐藏维度上的隐藏通道保留策略;

6、针对所述任一目标专家子模型的第一线性层、第二线性层和第三线性层,按照所述中间通道保留策略进行中间维度的通道裁剪;

7、针对所述任一目标专家子模型的第一线性层和第二线性层,按照所述隐藏通道保留策略进行隐藏维度的通道裁剪,并保持第三线性层的输出端维度不变。

8、根据本说明书一个或多个实施例的第二方面,提出了一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器通过运行所述可执行指令以实现如第一方面所述方法的步骤。

9、根据本说明书一个或多个实施例的第三方面,提出了一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现如第一方面所述方法的步骤。

10、根据本说明书一个或多个实施例的第四方面,提出了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现如第一方面所述方法的步骤。

11、由上述实施例可知,本说明书方案针对待剪枝的各个目标专家子模型的前馈网络,分别制定中间维度与隐藏维度的通道保留策略;接下来,不仅按照中间通道保留策略对第一线性层、第二线性层和第三线性层进行中间维度裁剪,还会按照隐藏通道保留策略对第一线性层和第二线性层的进行隐藏维度裁剪,同时保持下投影层输出端维度不变。可见,与相关技术中“仅对中间维度剪枝”不同的是,本方案突破了单一维度的限制,实现了对中间维度和隐藏维度的联合结构化剪枝,即同时从中间维度和隐藏维度两个维度对目标专家子模型的前馈网络内部的线性层进行结构化剪枝。

12、可以理解的是,本方案通过引入“隐藏维度的通道保留策略”,对第一线性层和第二线性层进行隐藏维度的通道裁剪,从而将压缩维度从单一的“中间维度”扩展到了“中间维度+隐藏维度”的双维度协同压缩,能够深度挖掘并剔除moe模型在输入接口处的冗余特征,从而大幅提升模型的参数压缩效率。实际上,由于隐藏维度的裁剪减小了专家子模型的输入宽度,配合中间维度的裁剪,能够在不破坏模型核心推理能力的前提下,实现远超传统单一维度方案的压缩率。而且,本方案先确定待剪枝的目标专家子模型,再确定每一目标专家子模型的中间通道保留策略和隐藏通道保留策略并据此进行针对性地结构化剪枝,这种“因专家而异”的自适应通道保留机制,使得剪枝操作能够精准匹配不同专家子模型内部特有的冗余分布,避免了全局统一的剪枝比例可能导致的关键特征误删,从而有效保障了剪枝后模型的推理性能。另外,通过“保持第三线性层的输出端维度不变”,确保了剪枝后的专家子模型在输出端依然能够与moe模型的全局残差连接对齐,无需引入任何额外的对齐投影或恢复算子,因此不仅实现了隐藏维度的压缩,还保持了模型整体拓扑结构的规整性,确保了剪枝后的模型能够无缝对接现有的密集计算硬件,避免因压缩导致部署效率降低。

1.一种混合专家模型的结构化剪枝方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述在混合专家模型包含的多个专家子模型中确定待剪枝的目标专家子模型,包括:

3.根据权利要求1所述的方法,其特征在于,所述确定所述任一目标专家子模型在所述中间维度上的中间通道保留策略,以及在所述隐藏维度上的隐藏通道保留策略,包括:

4.根据权利要求3所述的方法,其特征在于,所述以最小化模型重建误差为目标,在满足所述参数总预算的约束条件下,交替优化所述中间维度的中间通道保留数量和所述隐藏维度的隐藏通道保留数量,直至满足收敛条件,包括:

5.根据权利要求1所述的方法,其特征在于,所述针对所述任一目标专家子模型的第一线性层、第二线性层和第三线性层,按照所述中间通道保留策略进行中间维度的通道裁剪,包括:

6.根据权利要求1所述的方法,其特征在于,所述针对所述任一目标专家子模型的第一线性层和第二线性层,按照所述隐藏通道保留策略进行隐藏维度的通道裁剪,包括:

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:

8.根据权利要求7所述的方法,其特征在于,所述确定所述剪枝特征图和所述标准特征图之间的结构关系差异,包括:

9.根据权利要求7所述的方法,其特征在于,所述基于所述结构关系差异更新所述剪枝后专家模型的模型参数,包括:

10.根据权利要求7所述的方法,其特征在于,

11.根据权利要求1所述的方法,其特征在于,所述混合专家模型还包括路由网络,所述路由网络用于根据输入数据确定所述混合专家模型中各个专家子模型的激活权重;所述方法还包括:

12.根据权利要求1所述的方法,其特征在于,还包括:

13.根据权利要求1-12中任一项所述的方法,其特征在于,所述第一线性层、第二线性层和第三线性层,分别为门控线性层、上投影线性层和下投影线性层。

14.一种基于混合专家模型的推理方法,其特征在于,包括:

15.一种电子设备,其特征在于,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器通过运行所述可执行指令以实现如权利要求1-14中任一项所述方法的步骤。

16.一种计算机可读存储介质,其特征在于,其上存储有计算机指令,该指令被处理器执行时实现如权利要求1-14中任一项所述方法的步骤。

17.一种计算机程序产品,其特征在于,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现如权利要求1-14中任一项所述方法的步骤。