面向大模型解码阶段的存储调度方法及系统与流程

摘要: 本技术涉及计算机系统中的异构存储与硬件资源调度,特别涉及一种面向大模型解码阶段的存储调度方法及系统。背景技术:1、随着大语言模型在在线对话生成、长上下文文本处理...
面向大模型解码阶段的存储调度方法及系统与流程

本技术涉及计算机系统中的异构存储与硬件资源调度,特别涉及一种面向大模型解码阶段的存储调度方法及系统。

背景技术:

1、随着大语言模型在在线对话生成、长上下文文本处理、代码补全以及采用moe或滑动窗口结构的推理服务中被持续部署,模型在解码阶段通常需要按照层级顺序逐层执行前向计算,并在每一轮生成过程中读取当前层所需权重及与上下文长度相关的kv缓存数据。在采用存内计算pim芯片与ddr存储器协同工作的硬件系统中,pim芯片具有较高的片上访问带宽并能够直接执行计算,但其片上内存容量相对受限;ddr存储器可提供较大的外部存储空间,却需要通过ddr通道将后续待计算层的数据搬运至片上。为了减少pim芯片因等待数据而停顿的情况,通常可以在pim芯片计算当前层时,由ddr控制器提前搬运后续层权重或相关数据,以形成计算与搬运的重叠执行。然而,现有技术中较常见的方式是在编译阶段或部署阶段预先固定重叠层数,或者仅依据首轮解码状态设置预取深度,该方式在短上下文场景下可能因配置过于保守而未充分利用片上剩余空间,在长上下文或多轮解码场景下又可能因kv缓存持续增长而加剧片上空间紧张;同时,连续解码过程中前后轮次之间的搬运残留会使原本可用于隐藏ddr搬运的计算窗口发生变化,若仍按照初始窗口进行判断,则容易造成重叠收益估计与实际运行状态不匹配。因此,亟需一种能够结合当前上下文长度、解码轮次、片上剩余空间、kv缓存占用、ddr搬运时间和pim计算时间,动态确定重叠层数并联动管理kv缓存与权重预取的技术方案。

技术实现思路

1、本技术的目的在于提供一种面向大模型解码阶段的存储调度方法及系统,以解决上述背景技术中提出的问题。

2、本技术提供了一种面向大模型解码阶段的存储调度方法,所述方法由调度器执行,包括以下步骤:

3、状态采集步骤:采集硬件运行状态数据,所述硬件运行状态数据包括当前上下文长度、当前解码轮次、pim芯片的片上剩余可分配空间、待计算层的权重大小、kv缓存大小、ddr存储器的实测搬运时间以及所述pim芯片的计算时间;

4、候选空间评估步骤:基于所述硬件运行状态数据中的所述片上剩余可分配空间、所述kv缓存大小以及候选重叠层对应的权重大小,对预设的多个候选重叠层数进行空间可行性判断,筛选出空间可行的候选重叠层数;

5、重叠收益评估步骤:基于前一解码轮次尾部尚未完成的ddr搬运残留时间和轮间空闲时间,更新当前解码轮次的搬运延迟修正量;基于所述搬运延迟修正量,修正所述当前解码轮次中可用于隐藏所述ddr存储器搬运时间的计算窗口;结合修正后的计算窗口,分别计算各个所述空间可行的候选重叠层数对应的有效重叠收益;

6、仲裁与选择步骤:基于各个所述空间可行的候选重叠层数的所述有效重叠收益,计算对应的边际收益密度并从所述空间可行的候选重叠层数中选择目标重叠层数;

7、调度控制步骤:根据所述目标重叠层数,控制所述pim芯片的内存管理单元执行kv缓存页的分配或保留、低收益重叠层权重空间的释放或写回,并向ddr控制器下发对应待计算层的权重预取指令。

8、在一个优选例中,在所述重叠收益评估步骤中:

9、针对当前第  个解码轮次,所述搬运延迟修正量  按照以下公式迭代更新:

10、

11、其中,首轮解码时 ; 为前一解码轮次的搬运延迟修正量; 为所述前一解码轮次最后一层搬运的剩余未完成时间; 为所述前一解码轮次计算结束到当前第  个解码轮次计算开始之间ddr通道的实测空闲时间; 为取最大值函数,用于确保所述搬运延迟修正量不为负值;当连续解码无间隙即 时,所述搬运延迟修正量用于表征连续解码轮次中ddr搬运残留对后续轮次预取窗口的累积侵占;

12、针对所述空间可行的候选重叠层数 ,其对应的有效重叠收益  按照以下公式计算:

13、

14、其中, 为当前正在计算的层编号; 为待计算层的层偏移量; 为所述ddr存储器搬运第  层权重所需时间; 为所述pim芯片计算第 层所需时间; 为取最小值函数; 为求和函数; 为所述修正后的计算窗口,表示经搬运延迟修正后实际可用于并行搬运的计算时间;

15、所述有效重叠收益  表示采用  层重叠相对于不采用重叠所减少的总ddr等待时间。

16、在一个优选例中,在所述仲裁与选择步骤中:

17、所述边际收益密度  按照以下公式计算:

18、

19、其中, 为候选重叠层数为  时的有效重叠收益; 为第 层的权重大小;所述边际收益密度表示每增加一个单位片上空间占用所换取的额外搬运隐藏时间;

20、当所述边际收益密度  小于设定的边际收益密度下限阈值时,淘汰对应的空间可行的候选重叠层数;

21、所述从所述空间可行的候选重叠层数中选择目标重叠层数,包括:选取未被淘汰的候选中使得所述有效重叠收益  最大的候选作为当前解码轮次的所述目标重叠层数;当当前解码轮次选出的使得有效重叠收益最大的候选对应的有效重叠收益与上一解码轮次的目标重叠层数对应的有效重叠收益的差值小于设定的滞回阈值时,保持所述上一解码轮次的目标重叠层数作为所述当前解码轮次的所述目标重叠层数,以减少相邻解码轮次间因收益微小波动导致的频繁切换及其引起的预取取消和重新发起开销。

22、在一个优选例中,所述仲裁与选择步骤还包括:在保障kv缓存分配优先级高于重叠层权重保留优先级的约束下,基于所述边际收益密度淘汰收益不足的候选重叠层数,并从未被淘汰的候选重叠层数中选择所述目标重叠层数;其中,所述保障kv缓存分配优先级高于重叠层权重保留优先级,包括执行以下空间仲裁规则:

23、当所述片上剩余可分配空间小于当前新增kv缓存所需空间时,按所述边际收益密度由低到高的顺序,依次释放重叠层权重,直至所述片上剩余可分配空间满足当前新增kv缓存的需求,以降低kv缓存分配失败风险;

24、所述kv缓存按页进行分配,当前页满时向所述pim芯片的内存管理单元申请新页;

25、当释放全部重叠层权重后,所述片上剩余可分配空间仍小于当前新增kv缓存所需空间时,将最近最少使用的部分kv缓存冷页写回所述ddr存储器,在后续使用时从所述ddr存储器重新加载;

26、所述kv缓存页基于最近访问层和当前上下文窗口位置划分为高优先级页和低优先级页,在需要写回kv缓存页时,优先将所述低优先级页写回所述ddr存储器。

27、在一个优选例中,在所述候选空间评估步骤中:

28、针对任一候选重叠层数 ,其对应的空间需求  按照以下公式计算:

29、

30、其中, 为当前保留在所述pim芯片片上的kv缓存总占用量, 为需要预取的  层权重的空间之和, 为当前层计算所需临时缓冲区空间, 为片上保护水位,用于覆盖本轮新增kv写入量和预取回退所需空间;

31、当所述空间需求  大于所述pim芯片的片上内存总容量,或所述片上保护水位小于本轮新增kv数据量时,判定所述候选重叠层数  不满足空间约束。

32、在一个优选例中,所述方法还包括稳态检测步骤:在连续解码过程中,当所述目标重叠层数对应的有效重叠收益的变化率满足稳态收敛条件时,判定进入解码稳态,冻结所述目标重叠层数以停止每轮的全量评估,并释放所述边际收益密度低于预设下限的重叠层权重的空间;当满足重新评估条件时,退出所述解码稳态并恢复全量评估。

33、在一个优选例中,在所述稳态检测步骤中:

34、所述判定进入解码稳态的稳态收敛条件为,在连续  个解码轮次内,目标重叠层数  对应的有效重叠收益的变化率满足如下公式:

35、

36、其中, 为稳态观测窗口长度, 为防止分母为零的正数, 为稳态收敛阈值, 为取绝对值函数;上述阈值参数由具体硬件平台标定确定;

37、所述满足重新评估条件包括以下任一项:

38、当前上下文长度相对于进入解码稳态时的上下文长度的变化超过设定的长度变化阈值;

39、保留在片上的kv缓存的页数增长超过设定的页数增长阈值;

40、所述ddr存储器的实测搬运时间相对于预测值的偏差超过设定的偏差阈值。

41、在一个优选例中,所述方法还包括应对异常工况的退化处理步骤:

42、当所述ddr存储器的实测带宽低于设定的标称值比例阈值时,将当前的所述目标重叠层数减半并缩短评估周期,直至所述实测带宽恢复;

43、若某层权重的预取未在该层计算开始前完成且连续发生次数达到预设次数,则将该层标记为预取失败层,并在后续设定的解码轮次内禁止为该层分配超过一层的提前预取深度;

44、当所述pim芯片的内存管理单元连续预设次数无法为所述kv缓存分配新页时,触发紧急回写,将全部重叠层权重和边际收益密度最低的预设比例的kv冷页同时写回所述ddr存储器,并将所述目标重叠层数强制置为零以进入保守保留模式。

45、本技术提供了一种面向大模型解码阶段的存储调度系统,包括调度器、存内计算pim芯片、双倍数据率ddr存储器、ddr控制器以及所述pim芯片的片上内存管理单元,所述调度器包括以下协同配合的功能模块:

46、状态采集模块,配置为采集硬件运行状态数据,所述硬件运行状态数据包括当前上下文长度、当前解码轮次、所述pim芯片的片上剩余可分配空间、待计算层的权重大小、kv缓存大小、所述ddr存储器的实测搬运时间以及所述pim芯片的计算时间;

47、候选空间评估模块,配置为基于所述硬件运行状态数据中的所述片上剩余可分配空间、所述kv缓存大小以及候选重叠层对应的权重大小,对预设的多个候选重叠层数进行空间可行性判断,筛选出空间可行的候选重叠层数;

48、重叠收益评估模块,配置为基于前一解码轮次尾部尚未完成的ddr搬运残留时间和轮间空闲时间,更新当前解码轮次的搬运延迟修正量;基于所述搬运延迟修正量,修正所述当前解码轮次中可用于隐藏所述ddr存储器搬运时间的计算窗口;结合修正后的计算窗口,分别计算各个所述空间可行的候选重叠层数对应的有效重叠收益;

49、仲裁与选择模块,配置为基于各个所述空间可行的候选重叠层数的所述有效重叠收益,计算对应的边际收益密度并从所述空间可行的候选重叠层数中选择目标重叠层数;

50、调度控制模块,配置为根据所述目标重叠层数,控制所述片上内存管理单元执行kv缓存页的分配或保留、低收益重叠层权重空间的释放或写回,并向所述ddr控制器下发对应待计算层的权重预取指令。

51、在一个优选例中,所述调度器还包括稳态检测模块,配置为在连续解码过程中,当所述目标重叠层数对应的有效重叠收益的变化率满足稳态收敛条件时,判定进入解码稳态,冻结所述目标重叠层数以停止每轮的全量评估,并释放所述边际收益密度低于预设下限的重叠层权重的空间;当满足重新评估条件时,退出所述解码稳态并恢复全量评估。

52、本技术提供了一种电子设备,包括:

53、至少一个处理器;

54、存内计算pim芯片,具有片上内存空间;

55、双倍数据率ddr存储器;

56、以及与所述至少一个处理器通信连接的存储器;

57、其中,所述存储器存储有计算机程序指令,所述计算机程序指令被所述至少一个处理器执行时,实现上述面向大模型解码阶段的存储调度方法。

58、本技术提供了一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述面向大模型解码阶段的存储调度方法的步骤。

59、通过对候选重叠层数进行空间可行性判断,并以  表征kv缓存总占用、待预取权重空间、临时缓冲区空间和片上保护水位  的综合空间需求,调度器能够在选择目标重叠层数之前排除可能挤占新增kv写入空间或预取回退空间的候选方案。该处理方式使重叠层保留不再仅服从“可提前搬运多少层”的局部判断,而是在pim片上总容量和当前可分配空间约束下被预先筛选,有助于降低因预取权重占用过多片上空间而影响kv缓存分配或后续计算缓冲区使用的风险。

60、通过引入搬运延迟修正量 ,并根据前一解码轮次尾部尚未完成的ddr搬运残留时间  和轮间空闲时间  对当前解码轮次的可隐藏搬运窗口进行修正,所述技术方案能够反映连续解码过程中前后轮次搬运任务之间的时间耦合关系。由于  在连续无间隙解码时单调不减,有效重叠收益  的计算能够反映重叠窗口从首轮解码时较大逐步被搬运压缩的物理趋势,可以降低将首轮解码或理想并行窗口直接套用于后续轮次所导致的收益高估风险,使后续目标重叠层数的确定更贴合pim计算与ddr搬运在实际时序中的重叠程度。若缺乏  的修正而仍按首轮解码的理想窗口估计收益,调度器有可能在多轮解码后继续保留实际上已无法有效隐藏ddr搬运的重叠层权重,导致pim片上空间被无效占用。

61、通过设置边际收益密度 ,调度器能够将“是否继续增加或保留一层重叠权重”的判断转化为单位片上空间占用对应的边际隐藏时间评价。由此,在片上空间受限时,并非简单按照层数多少或剩余容量大小进行取舍,而是优先识别和淘汰低收益密度的重叠层,使有限片上空间更倾向于分配给对ddr等待时间隐藏更有价值的数据。在片上空间充裕的短上下文场景下,较多候选可通过空间可行性与边际收益密度的双重判断而被保留,有望利用富余空间提高解码速度;而在长上下文场景下kv缓存增长导致空间趋于紧张时,边际收益密度较低的候选将被优先淘汰,使空间优先供给收益更高的数据。结合滞回阈值 后,在相邻解码轮次的收益差异较小时保持上一轮目标重叠层数,还有助于减少预取取消、重新发起和频繁切换造成的额外调度开销;作为折中,其代价是在切换边界附近可能短暂停留在次优候选上,但在触发kv缓存分配不足或异常退化条件时该滞回规则不再适用,以优先满足推理执行的刚性空间约束。

62、通过将kv缓存分配优先级设置为高于重叠层权重保留优先级,并在片上剩余可分配空间不足时按边际收益密度由低到高释放重叠层权重,所述技术方案能够将kv缓存持续增长这一刚性需求纳入重叠层数选择过程。kv缓存按页分配、低优先级页或冷页在必要时写回ddr、后续访问时再重新加载,使调度器在极端空间压力下形成退路,从而降低因重叠层权重过度保留而导致kv缓存分配失败的风险。进一步地,kv缓存页基于最近访问层和当前上下文窗口位置划分为高优先级页与低优先级页,在需要写回时优先驱逐低优先级页,有助于降低后续注意力访问频繁回读所造成的额外搬运开销。该机制体现的是在保证推理必要缓存空间优先获得片上资源的前提下,对重叠收益进行受约束优化,而不是对kv缓存占用和重叠收益进行彼此独立的优化。

63、通过在确定目标重叠层数后,由调度控制模块控制pim芯片的片上内存管理单元执行kv缓存页的分配或保留、低收益重叠层权重空间的释放或写回,并向ddr控制器下发对应待计算层的权重预取指令,计算得到的 、 和  能够转化为具体的数据搬运和片上空间管理动作。这样,公式计算与硬件资源调度之间形成明确的因果关系,有助于体现该方案对计算机系统内部数据存储、数据搬运和硬件执行过程的改进,而不是停留于抽象评价指标。

64、通过在连续解码过程中监测目标重叠层数对应的有效重叠收益变化率,并在满足稳态收敛条件时冻结目标重叠层数、停止每轮全量评估以及释放边际收益密度低于预设下限的重叠层权重空间,所述技术方案能够在收益趋于稳定后减少重复评估带来的调度开销,并使低收益层占用的片上空间重新用于kv缓存或其他必要数据。当上下文长度、kv缓存页数或ddr实测搬运时间发生足以影响原有判断的变化时,退出解码稳态并恢复全量评估,则有助于避免稳态冻结在运行状态突变后继续沿用不合适的重叠层数。

65、通过设置异常工况下的退化处理逻辑,在ddr实测带宽下降、特定层预取连续失败、pim片上内存管理单元多次无法为kv缓存分配新页等情况下,调度器可以降低目标重叠层数、限制失败层的深度预取、触发重叠层权重及部分kv冷页写回,并在必要时进入保守保留模式。该处理方式有助于减少在异常状态下重复发起低成功率预取或持续占用低收益片上空间的情况,使系统在非理想运行条件下仍可优先维持必要的kv缓存和计算数据需求。通过支持查表评估模式和分段评估模式,所述技术方案还能够在硬件资源受限或解码轮次较多的场景中减少在线全量计算次数:查表方式可利用当前上下文长度、解码轮次和片上剩余可分配空间快速获得目标重叠层数,在实测偏差较大时退回全量计算;分段方式则可在启动段、过渡段和稳态段采用不同评估频率,有助于在调度精度和调度开销之间形成可调整的折中。

66、相应系统通过状态采集模块、候选空间评估模块、重叠收益评估模块、仲裁与选择模块、调度控制模块和稳态检测模块之间的配合,将上述方法中的状态感知、候选筛选、窗口修正、收益评价、空间仲裁和硬件动作下发分布到可实现的功能模块中。电子设备和计算机可读存储介质的配置,使该调度逻辑能够以程序指令形式部署于包括pim芯片、ddr存储器和处理器的硬件系统中,从而为不同部署形态下的大模型解码阶段异构存储调度提供实现基础。

67、综合来看,上述各环节之间以状态数据、候选重叠层数、有效重叠收益、边际收益密度和调度控制指令为传递对象形成闭环反馈:搬运延迟修正量  的逐轮累积为边际收益密度的计算提供反映真实窗口变化的收益输入,边际收益密度的淘汰结果为kv缓存页的优先分配腾出片上空间,稳态判定控制上述全量评估的执行频率,而异常退化与多重退出条件则在工况突变时打破冻结并重新激活闭环。这一闭环调度过程所产生的整体技术效果--即在pim片上内存容量受限、kv缓存随上下文动态增长且连续解码轮次间搬运残留逐步累积的多重约束下,有助于在保障kv缓存可分配的刚性约束下降低ddr等待时间、减少无效片上保留以及降低调度开销--并非各单项技术手段效果的简单叠加,而是依赖于上述搬运延迟修正、边际收益淘汰、kv优先仲裁与稳态收敛判定之间特定的因果级联关系与相互约束方式而产生的协同结果。

68、本技术的说明书中记载了大量的技术特征,分布在各个技术方案中,如果要罗列出本技术所有可能的技术特征的组合(即技术方案)的话,会使得说明书过于冗长。为了避免这个问题,本技术上述 技术实现要素: 中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征,都可以自由地互相组合,从而构成各种新的技术方案(这些技术方案均应视为在本说明书中已经记载),除非这种技术特征的组合在技术上是不可行的。例如,在一个例子中公开了特征a+b+c,在另一个例子中公开了特征a+b+d+e,而特征c和d是起到相同作用的等同技术手段,技术上只要择一使用即可,不可能同时采用,特征e技术上可以与特征c相组合,则,a+b+c+d的方案因技术不可行而应当不被视为已经记载,而a+b+c+e的方案应当视为已经被记载。