一种大模型推理批处理感知内存管理方法及电子设备与流程
本申请涉及人工智能计算与芯片存储管理,尤其是涉及一种大模型推理批处理感知内存管理方法及电子设备。
背景技术:
1、近年来,大语言模型在端侧设备上的部署需求快速增长。大语言模型推理过程中,模型需要为每个生成的词元维护并访问对应的键值缓存数据,键值缓存的规模随序列长度线性增长,在多批处理并发推理场景下内存占用量更为显著,对端侧设备的内存管理能力提出了极高要求。
2、然而,现有端侧处理器的内存管理机制在设计上未针对大模型推理的访存特征进行适配,在处理大模型推理产生的大量细粒度访存请求时,存在地址转换效率低、物理内存利用率不足等问题,导致端侧推理的访存效率难以满足实时推理的要求。
技术实现思路
1、本申请提供一种大模型推理批处理感知内存管理方法及电子设备,能够消除多级页表遍历开销,提升地址转换效率与多批处理并发场景下的物理内存利用率。
2、根据本申请实施例的第一方面,提供一种大模型推理批处理感知内存管理方法,该方法包括:
3、响应于访存请求,从访存请求携带的虚拟地址中提取虚拟页号和页内偏移;根据虚拟页号,确定物理页基地址和批处理标识;将物理页基地址与页内偏移进行位拼接,生成目标物理地址;基于目标物理地址对访存请求执行访存操作,其中,批处理标识用于指示访存请求所属的批处理。
4、在一些实施例中,根据虚拟页号,确定物理页基地址和批处理标识,包括:判断轻量转换缓存中是否存在与虚拟页号匹配的缓存项,其中,轻量转换缓存中的缓存项包括虚拟页号标签以及与虚拟页号标签对应的物理页基地址和批处理标识;若是,则从匹配的缓存项中提取物理页基地址和批处理标识;若否,则基于虚拟页号对片外存储的页描述符数组进行索引,以得到虚拟页号对应的目标页描述符;当目标页描述符的有效位指示有效状态时,从目标页描述符中提取物理页基地址和批处理标识。
5、在一些实施例中,基于虚拟页号对片外存储的页描述符数组进行索引,以得到虚拟页号对应的目标页描述符,包括:根据页描述符数组的基地址与虚拟页号,计算目标页描述符在片外存储中的目标存储地址;通过直接内存访问从片外存储中读取目标存储地址处的数据,作为目标页描述符。
6、在一些实施例中,方法还包括基于批处理标识和目标页描述符中的预取提示信息,对轻量转换缓存执行页描述符预取处理;页描述符预取处理包括:当预取提示信息有效且批处理标识与当前活跃批处理标识一致时,根据虚拟页号计算后续连续虚拟页号;从页描述符数组中预取后续连续虚拟页号对应的页描述符,并将预取得到的页描述符填充至轻量转换缓存。
7、在一些实施例中,方法还包括执行共享映射配置,共享映射配置包括:当第一批处理标识对应的共享数据被加载至目标物理页时,将第一批处理标识对应的页描述符中的物理页基地址设置为目标物理页的地址;响应于第二批处理标识请求访问与第一批处理标识相同的共享数据,将第二批处理标识对应的页描述符中的物理页基地址映射至目标物理页的地址;将第一批处理标识和第二批处理标识各自对应的页描述符中的共享标志位均置为共享状态,并将写时复制标志位均置为启用状态,并将读写权限位均设置为只读状态。
8、在一些实施例中,还包括从与虚拟页号对应的目标页描述符中提取共享标志位和写时复制标志位;当访存请求为写请求,且共享标志位指示共享状态,且写时复制标志位指示启用状态时,执行写时复制处理,写时复制处理包括:分配新物理页,并将物理页基地址对应的原物理页中的数据复制至新物理页;将目标页描述符中的物理页基地址更新为新物理页的地址,并将写时复制标志位和共享标志位清零,并将所述读写权限位设置为读写状态;基于新物理页的地址与页内偏移生成更新后的目标物理地址,并基于更新后的目标物理地址恢复执行写请求。
9、在一些实施例中,方法还包括执行页描述符直写处理,页描述符直写处理包括:接收软件页管理器通过内存映射方式写入的目标虚拟页号和待更新的页描述符数据;对软件页管理器的进程标识进行权限校验;当权限校验通过时,根据目标虚拟页号计算目标写入地址,并将待更新的页描述符数据原子写入目标写入地址;对目标虚拟页号执行写屏障操作,以使后续针对目标虚拟页号的访存请求获取更新后的页描述符。
10、在一些实施例中,写屏障操作包括:查询轻量转换缓存中是否存在与目标虚拟页号匹配的缓存项;响应于存在与目标虚拟页号匹配的缓存项,将缓存项中缓存的页描述符更新为待更新的页描述符数据,或者将缓存项无效化。
11、在一些实施例中,方法还包括基于批区段表执行批级页面管理操作,批级页面管理操作包括:响应于批级分配请求,分配连续的虚拟页号区段,在批区段表中记录批级分配请求指示的目标批处理标识与虚拟页号区段的起始虚拟页号及区段长度,并将虚拟页号区段内各页描述符的有效位批量置为有效状态且将各页描述符的批处理标识批量设置为目标批处理标识;响应于批级回收请求,根据批级回收请求指示的待回收批处理标识查询批区段表,并将对应区段内各页描述符批量执行清零操作。
12、根据本申请实施例的第二方面,提供一种电子设备,该电子设备包括:
13、存储器,用于存储计算机程序;处理器,用于执行计算机程序时实现如第一方面任一实施例的方法的步骤。
14、综上所述,本申请包括以下至少一种有益技术效果:
15、本申请通过响应于访存请求从虚拟地址中提取虚拟页号和页内偏移,并基于虚拟页号直接获取与其对应的目标页描述符,使得地址转换过程无需依赖传统多级页表的逐级遍历,同时,通过从目标页描述符中提取物理页基地址并与页内偏移进行位拼接以生成目标物理地址的方式,将虚拟地址到物理地址的转换路径缩短为一次页描述符获取与一次位拼接操作,使得访存请求的地址转换延迟可被控制在较低水平,能够适配大模型推理过程中产生的大量细粒度访存请求的实时处理需求。此外,通过在目标页描述符中嵌入批处理标识并在地址转换过程中同步提取该标识,使得每一次访存操作均携带其所属批处理的标识信息,为多批处理并发推理场景下的物理内存共享、按需分配与批级管理提供了基础支撑,有助于提升物理内存利用率,进而满足端侧大模型推理对低延迟和高访存效率的要求。
1.一种大模型推理批处理感知内存管理方法,其特征在于,包括:
2.根据权利要求1所述的大模型推理批处理感知内存管理方法,其特征在于,所述根据所述虚拟页号,确定物理页基地址和批处理标识,包括:
3.根据权利要求2所述的大模型推理批处理感知内存管理方法,其特征在于,所述基于所述虚拟页号对片外存储的页描述符数组进行索引,以得到所述虚拟页号对应的目标页描述符,包括:
4.根据权利要求2或3所述的大模型推理批处理感知内存管理方法,其特征在于,还包括基于所述批处理标识和所述目标页描述符中的预取提示信息,对所述轻量转换缓存执行页描述符预取处理;
5.根据权利要求1所述的大模型推理批处理感知内存管理方法,其特征在于,还包括执行共享映射配置,所述共享映射配置包括:
6.根据权利要求5所述的大模型推理批处理感知内存管理方法,其特征在于,还包括从与所述虚拟页号对应的目标页描述符中提取所述共享标志位和所述写时复制标志位;当所述访存请求为写请求,且所述共享标志位指示所述共享状态,且所述写时复制标志位指示所述启用状态时,执行写时复制处理,所述写时复制处理包括:
7.根据权利要求1所述的大模型推理批处理感知内存管理方法,其特征在于,还包括执行页描述符直写处理,所述页描述符直写处理包括:
8.根据权利要求7所述的大模型推理批处理感知内存管理方法,其特征在于,所述写屏障操作包括:
9.根据权利要求1所述的大模型推理批处理感知内存管理方法,其特征在于,还包括基于批区段表执行批级页面管理操作,所述批级页面管理操作包括:
10.一种电子设备,其特征在于,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com