一种基于MoE架构大模型的混合路由优化方法

本发明涉及大语言模型，具体涉及一种基于moe架构大模型的混合路由优化方法。

背景技术：

1、大语言模型的现世代表了人工智能和自然语言处理领域的重大突破。近几年基于transformer架构的大语言模型在大数据技术的支持下，得以获取大量专业化的语料支持，使其在长本文上下文处理和语义理解方面展现出显著优势。随着对模型能力和应用场景的不断扩大，模型的涌现能力和应用效果很大程度上和模型的参数规模相关，大语言模型的不断发展对计算资源和硬件设备的要求也越来越高。大语言模型采用moe架构实现了模型任务推理的专业化以及对计算资源的节省，缓解了大语言模型发展的部分问题。

2、但是传统的moe架构仍旧会面临不同的token在不同的transformer层级中使用相同top-k策略，会导致模型引入诸多不必要的低权重网络计算，增加计算资源的损耗，同时导致模型的输出产生更多不确定性。

3、基于此种情况，动态界定激活的专家网络数量显然是一种有效的策略。依据如今细粒度专家划分的moe架构，选择激活的专家网络数量从1到2个上升到4到8个，更多更小的专家网络预示着在进行动态激活的过程里应当选择更加灵活的策略，即需要保证模型的能力不受太大影响的前提下进行专家的动态筛选，过少的专家会导致模型能力不足，过多的专家会导致额外的计算量。在什么地方以何种方法去界定所激活的专家数量，成为了需要解决的主要问题。

技术实现思路

1、本发明的目的在于提供一种基于moe架构大模型的混合路由优化方法，通过局部和全局动态调控其路由门控所选择的专家网络数量，从而降低不必要的计算损耗，增加模型效率。

2、为实现上述目的，本发明提供了一种基于moe架构大模型的混合路由优化方法，包括下列步骤：

3、步骤1：在moe网络的路由部分截取经过门控矩阵后的专家权重；

4、步骤2：对排序后的前k个专家网络进行判定，是否存在相邻专家权重相对差值过大的情况，若存在则截断后续专家；

5、步骤3：在取得当前任务下局部路由裁剪最优值后，再经过多目标优化算法进一步界定的层级路由选择的k值；

6、步骤4：在具体的大语言模型任务推理中应用之前所得到的局部路由门控截断阈值与不截断时所采取的层级k值，完成推理优化。

7、可选的，步骤1中所截取的专家权重是大模型在decoder阶段的当前token批次下，中间向量经过moe网络的门控矩阵后所得到的代表所有专家网络权重的向量，向量长度与token的批次大小与选取模型的预设专家数量有关。

8、可选的，步骤2中判别相邻专家权重相对差值过大的情况具体为通过计算降序排序好的专家中，前一个专家到后一个专家的权重下降的相对比例，截断的标准表示为：

9、

10、其中，表示为当前输入在第n个moe层中，选择的top-k专家的权重值从大到小排列的第个权重激活值；具体的阈值值会因为不同的模型在不同的任务上有所差异。

11、可选的，步骤3所采取的多目标优化算法是nsga-ⅱ算法，目标函数表现为最大化任务准确率，同时最小化模型使用的专家数量，输入为一个一维向量，其长度与模型的层数对应，每一个元素分别代表了该层所采取的top-k值。

12、可选的，所述多目标优化算法是基于步骤2的基础上进行的，负责决定在局部层面上路由截断阈值的最优值，在后续的算法优化中界定全局的层级k值。

13、可选的，多目标优化过程包括以下步骤：

14、步骤3.1：首先，算法生成初始种群，将该轮值带入测评的模型中，让模型在具体的任务中的每一层实施对应的k值，得出测评的任务准确率与专家使用率；

15、步骤3.2：对初始种群的目标函数结果进行非支配排序与拥挤度计算，生成第一代父代种群；

16、步骤3.3：从当前父代种群中，通过排序层级与拥挤度计算、交叉、变异遗传算子，生成一个同样大小的子代种群；

17、步骤3.4：将父代种群和子代种群合并，形成一个大小为2n的临时种群进行快速非支配排序，再通过排序层级与拥挤度计算，选出n个个体，形成新一代父代种群；

18、步骤3.5：将新生成的父代种群为下一轮迭代的父代，回到步骤3.3，直到满足终止条件，即达到最大迭代次数，或解集不再显著改进时停止。

19、可选的，步骤4在具体使用优化之后的模型时，会根据不同的模型在不同的任务中得出的最优截断阈值与层级k值的帕累托前沿进行具体应用，而不是为所有的模型与所有的任务寻求相同的值。

20、本发明提供了一种基于moe架构大模型的混合路由优化方法，结合门控路由的局部选择和层级k值的任务性适配，动态识别在模型运行中低质量的专家网络。其基本思想是在top-k的路由策略中，基于权重下降阈值对选择的k个专家进行二次筛选，当k个专家里下一个专家的路由权重相比于当前的专家权重来说发生了显著下降，也就是下降超过了某个阈值时，后面的专家重要性大大降低，即可以在计算量与专家参与中进行权衡。通过对moe网络不同层级中信息熵从低到高不断增加的认识，即最后一层对自己的预测最没有信心，反而是前面的层级通过会更加稳定。针对于某一任务领域，token会选择在moe网络的前几层通过较少的、认可度高的某几个专家，在后几层的部分层级中需要更多的不确定性以供选择。由此可以带来一个问题，每一层的k值设定是否也会根据其信息熵的大小而动态调整。本发明以此引入了快速非支配排序遗传算法ⅱ，用于探究不同层级的k值会给专家的准确性和计算量收益所带来的收益，最大程度上减少moe模型的计算量以及兼顾精确性。

1.一种基于moe架构大模型的混合路由优化方法，其特征在于，包括下列步骤：

2.如权利要求1所述的基于moe架构大模型的混合路由优化方法，其特征在于，

3.如权利要求1所述的基于moe架构大模型的混合路由优化方法，其特征在于，

4.如权利要求1所述的基于moe架构大模型的混合路由优化方法，其特征在于，

5.如权利要求1所述的基于moe架构大模型的混合路由优化方法，其特征在于，

6.如权利要求4所述的基于moe架构大模型的混合路由优化方法，其特征在于，

7.如权利要求1所述的基于moe架构大模型的混合路由优化方法，其特征在于，