专家权重存储方法、电子设备及计算机可读存储介质与流程
本公开涉及人工智能,具体涉及一种专家权重存储方法、电子设备及计算机可读存储介质。
背景技术:
1、在混合专家大语言模型(mixture of experts,moe)中,一次处理通常只激活部分专家前馈网络。与稠密模型相比,moe 结构能够在较低单次计算量下扩展参数规模,但专家权重数量多、体积大,在终端侧或独立显卡平台上往往无法全部常驻高速存储器,例如显存(video random access memory,vram)。为在有限的计算和存储资源下运行大规模模型,通常需要将数量庞大的专家权重存储于内存(dram)或nand闪存等辅助存储器中,并在推理过程中根据路由决策动态加载所需专家权重至高速缓存。
2、当大量专家权重被放置于 dram 或 nand 介质时,推理过程中的专家访问呈现稀疏、非均匀、与任务相关且随层间路由变化而变化的特征。相关技术中,nand中的专家权重通常依据专家编号顺序、模型文件顺序或写入时间顺序等固定规则存放。然而,moe大语言模型的推理过程中专家的激活模式具有稀疏性和动态性,这导致被访问的专家权重在物理介质中分散于不同的页、块、平面(plane)、晶片(die)或通道,读取时需要发起大量小粒度的随机读取操作,并因频繁跨越页和块边界而产生显著的读放大,导致巨大的随机读取开销。
技术实现思路
1、有鉴于此,本公开实施例提供一种专家权重存储方法、电子设备及计算机可读存储介质,以解决现有技术中在读取nand中保存的moe大语言模型的专家权重时,需要大量的随机读取操作,导致随机读取开销大的问题。
2、第一方面,本公开提供了一种专家权重存储方法,包括:
3、获取混合专家大语言模型包括的各专家数据单元;
4、确定各所述专家数据单元相互之间的关联强度度量值,根据所述各所述专家数据单元相互之间的关联强度度量值,将各所述专家数据单元划分为多个专家簇;其中,每个所述专家簇包括至少一个专家数据单元;
5、基于所述多个专家簇在辅助存储器中存储所述混合专家大语言模型的专家权重,以使得同一所述专家簇的专家数据单元占据连续或邻近的物理地址范围。
6、第二方面,本公开提供了一种电子设备,包括:
7、至少一个处理器;以及
8、与所述至少一个处理器通信连接的存储器;其中,
9、所述存储器存储有可被所述至少一个处理器执行的至少一个计算机程序,所述至少一个计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如第一方面所述的专家权重存储方法。
10、第三方面,本公开提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器中运行时实现第一方面所述的专家权重存储方法。
11、本公开所提供的实施例,针对混合专家大语言模型部署于端侧或资源受限环境时,nand闪存等辅助存储器中存放的专家权重常因按照固定顺序排列而忽略专家间访问关联,导致经常共同激活或连续访问的专家在物理介质中分散,引发大量随机读取、页跨越和读放大的问题,提出了一种专家权重存储方法,通过获取各专家数据单元间的关联强度度量值,并据此将专家数据单元划分为多个专家簇,使得同一簇的专家权重在辅助存储器中占据连续或邻近的物理地址范围,从而将分散的随机读取转化为集中的连续读取。通过这种基于访问关联的簇化存储布局,有效减少了随机读取、页跨越和读放大现象,提高了从辅助存储器到计算内存的带宽利用率和数据搬运效率,使得专家权重数据的加载过程与混合专家大语言模型的实际推理访问模式高度适配。
1.一种专家权重存储方法,其特征在于,包括:
2.根据权利要求1所述的专家权重存储方法,其特征在于,所述关联强度度量值根据关联强度表征信息确定;其中,所述关联强度表征信息包括以下维度中至少之一:共同激活次数,连续访问次数,跨层转移概率,任务相关性和访问时间间隔;以及所述关联强度表征信息还包括所述维度的时间衰减系数,所述时间衰减系数用于确定所述维度的关联强度表征信息对所述关联强度度量值的贡献。
3.根据权利要求2所述的专家权重存储方法,其特征在于,所述确定各所述专家数据单元相互之间的关联强度度量值,包括:
4.根据权利要求1所述的专家权重存储方法,其特征在于,所述根据所述各所述专家数据单元相互之间的关联强度度量值,将各所述专家数据单元划分为多个专家簇,包括:
5.根据权利要求4所述的专家权重存储方法,其特征在于,所述对所述专家依赖图进行图划分,得到多个专家簇,包括:
6.根据权利要求1所述的专家权重存储方法,其特征在于,所述基于所述多个专家簇在辅助存储器中存储所述混合专家大语言模型的专家权重,包括:
7.根据权利要求6所述的专家权重存储方法,其特征在于,所述专家簇的描述信息还包括以下至少之一:所述专家簇的被访问热度,所述专家簇的关联强度度量值;
8.根据权利要求6所述的专家权重存储方法,其特征在于,所述专家簇的描述信息还包括能够与所述专家簇并行读取的目标专家簇的标识;
9.根据权利要求6所述的专家权重存储方法,其特征在于,所述基于所述多个专家簇在辅助存储器中存储所述混合专家大语言模型的专家权重之后,所述方法还包括:
10.根据权利要求9所述的专家权重存储方法,其特征在于,所述专家簇的描述信息还包括以下至少之一:更新版本;所述专家簇的存储开销优化信息;推荐预取窗口;预取优先级;有效状态标识。
11.根据权利要求9所述的专家权重存储方法,其特征在于,所述方法还包括:
12.根据权利要求1所述的专家权重存储方法,其特征在于,所述辅助存储器包括nand闪存。
13.一种电子设备,其特征在于,包括:
14.一种非易失性计算机可读存储介质,其特征在于,存储有计算机程序,所述计算机程序被处理器运行时实现权利要求1-12中任一项所述的专家权重存储方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com