一种基于专家替换的混合专家大语言模型端侧调度推理方法及系统
本发明属于基于数据计算,涉及人工智能与计算机系统,具体而言涉及一种基于专家替换的混合专家大语言模型端侧调度推理方法及系统。
背景技术:
1、随着人工智能技术的发展,大语言模型在智能家居、自动驾驶等端侧设备上的应用需求日益增加。混合专家架构因其能通过仅激活部分参数来降低计算量的特性,成为在端侧部署大模型的关键技术。
2、然而,在消费级端侧硬件上部署混合专家模型面临着显存容量受限的严峻挑战。由于端侧设备的图形处理器显存通常无法容纳整个模型的所有专家参数,推理过程需要频繁地将专家参数从主内存通过总线加载到显存中,或者利用中央处理器进行辅助计算。现有的技术方案主要包括专家预取和专家剪枝。专家预取技术试图提前加载专家模型,但受限于总线带宽和预测准确率,难以完全掩盖传输延迟。专家剪枝技术通过直接丢弃部分专家来提升速度,但往往会导致模型推理精度的明显下降。此外,现有的调度策略通常将所有专家视为同等重要,忽略了不同专家对最终推理结果贡献度的差异,导致宝贵的传输带宽被浪费在对结果影响较小的专家上。
3、综上,如何在显存受限的端侧设备上,设计一种既能大幅降低推理延迟,又能保持模型高精度的专家调度机制,是当前亟待解决的技术难题。
技术实现思路
1、发明目的:本发明旨在提出一种基于专家替换的混合专家(moe)大语言模型端侧调度推理方法及系统,通过区分专家的重要性,并利用显存中已有的相似专家替换低重要性专家,并预取高分专家,在解决显存受限导致的频繁数据传输问题的同时,保障模型的推理精度。
2、技术方案:为达到上述目的,本发明的技术方案如下:
3、一种基于专家替换的混合专家大语言模型端侧调度推理方法,包括如下步骤:
4、步骤1,在大语言模型的推理过程中,针对每一个解码层,根据门控网络对各专家模型的评分结果,将当前激活的专家模型集合划分为高分专家模型集合与低分专家模型集合;
5、步骤2,对所述低分专家模型集合中的低分专家模型进行判断,若图形处理器的显存中存在与所述低分专家模型功能或分数相似的已缓存专家模型,则使用所述已缓存专家模型替代原激活的低分专家模型参与计算,否则保留原低分专家模型;
6、步骤3,预测下一层可能激活的高分专家模型,在当前层计算的同时通过总线带宽将下一层可能激活的高分专家模型参数从内存预加载至图形处理器的显存中;
7、步骤4,针对未能通过步骤2被替换且未被预加载至显存的剩余激活专家模型,通过负载均衡调度算法决定将剩余激活专家模型参数加载至图形处理器进行计算或直接在中央处理器上进行计算,并合并最终的推理结果。
8、具体的,所述步骤1中,通过以下过程将当前激活的专家模型集合划分为高分专家模型集合与低分专家模型集合:
9、选取第k+1个专家的评分作为基准分数,将评分大于或等于的专家模型标记为高分专家模型,划归高分专家模型集合;将评分介于以下区间的专家模型标记为低分专家模型,划归低分专家模型集合:;其中,为替换阈值。
10、具体的,所述步骤2中,与所述低分专家模型功能或分数相似的已缓存专家模型通过以下公式判断:
11、,
12、其中,为已缓存专家模型评分。
13、具体的,所述步骤3中通过以下过程预测下一层可能激活的高分专家模型:
14、利用已在图形处理器显存中的非共享专家参数与共享专家参数,对当前层输入执行前向计算,生成预测隐藏状态;将隐藏状态通过下一层的注意力机制完成注意力计算;经下一层门控网络的线性变换与softmax,得到各专家的预测路由分数,从而确定高分专家集合并触发预取。
15、具体的,所述步骤4中,所述负载均衡调度算法具体包括:
16、将待处理专家模型按分数排序,比较将当前专家模型加载至图形处理器所需的时间与在中央处理器上直接计算所需的时间,将当前专家模型动态分配至图形处理器加载队列或中央处理器计算队列,直至处理完所有剩余专家模型;负载均衡调度算法的目标为:
17、,
18、其中,为分配给图形处理器加载队列的专家数量,为加载单个专家至图形处理器所需的时间,为分配给中央处理器计算队列的专家数量,为中央处理器计算单个专家所需的时间。
19、进一步的,将当前专家模型加载至图形处理器所需的时间包括:图形处理器计算时间以及总线传输的时间。
20、进一步的,还包括基于分数的缓存淘汰策略:
21、记录每个专家模型在过去n次迭代中的历史激活评分,当显存空间不足时,计算所有在显存中的专家模型的历史平均评分,将历史平均评分最低的专家从显存中移除。
22、进一步的,缓存淘汰策略中,对当前层即将访问的专家模型进行临时保护。
23、本发明还提供一种基于专家替换的混合专家大语言模型端侧调度推理系统,包括:
24、专家重要性划分模块,用于在大语言模型的推理过程中,针对每一个解码层,根据门控网络对各专家模型的评分结果,将当前激活的专家模型集合划分为高分专家模型集合与低分专家模型集合;
25、低分专家替换模块,用于对所述低分专家模型集合中的低分专家模型进行判断,若图形处理器的显存中存在与所述低分专家模型功能或分数相似的已缓存专家模型,则使用所述已缓存专家模型替代原激活的低分专家模型参与计算,否则保留原低分专家模型;
26、高分专家预取模块,用于预测下一层可能激活的高分专家模型,在当前层计算的同时通过总线带宽将下一层可能激活的高分专家模型参数从内存预加载至图形处理器的显存中;
27、异构计算负载均衡模块,用于针对未能通过步骤2被替换且未被预加载至显存的剩余激活专家模型,通过负载均衡调度算法决定将剩余激活专家模型参数加载至图形处理器进行计算或直接在中央处理器上进行计算,并合并最终的推理结果。
28、有益效果:
29、1.本发明通过低分专家替换机制,动态识别当前推理任务中的低贡献专家,并将其重定向至显存中驻留的相似专家,从而避免了大规模参数从内存加载至gpu产生的时延,显著减少了推理过程中需要从内存加载到显存的数据量,打破了总线带宽对推理速度的限制;结合高分专家跨层预测预取和中央处理器辅助计算,图形处理器gpu执行预测与预取的同时,中央处理器cpu并行执行当前层低分专家计算,二者协同实现计算与数据传输的时间重叠,有效利用计算间隙的带宽,进一步优化了系统资源的利用率;同时,结合异构计算负载均衡策略实现端到端最小延迟。
30、2.本发明基于历史激活评分的缓存动态维护策略,确保对推理最有价值的高频业务专家常驻显存,提高了显存中专家的命中率,使得更多计算可以直接在图形处理器内完成。
31、3.本发明方案解决了混合专家模型在端侧推理时由显存瓶颈引起的卡顿问题,可提升智能手机、智能座舱等场景下端侧ai助手实时响应质量,在保证质量几乎无损的同时,大幅缩短了生成延迟,提升了端侧大模型在复杂任务下的交互流畅度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com