存储数据预取方法、设备及存储介质与流程
本技术涉及存储,尤其涉及一种存储数据预取方法、设备及存储介质。
背景技术:
1、在大模型推理场景中,模型权重通常存储在闪存等存储介质中,推理时需要按层将权重从存储介质预取到快速缓存中,以满足推理过程的实时计算需求。然而,存储带宽并非稳定不变,其会受到温度变化、闪存磨损程度、并发访问请求等因素的影响而发生波动。
2、现有技术中,通常采用固定窗口策略进行预取,即每次预取操作按照预设的固定窗口大小从存储介质加载数据。然而,在存储带宽发生波动时,固定窗口策略存在明显缺陷:当带宽下降时,固定窗口的预取操作可能无法在限定时间内完成,导致计算单元等待预取数据而出现计算停滞;当带宽充裕时,固定窗口又无法充分利用多余的带宽进行更多预取,造成带宽资源的浪费。
3、此外,现有技术中的带宽估计方法通常仅输出单一的带宽估计值,难以反映带宽波动的真实成因,使得预取系统在带宽下降时只能进行统一的降级处理,无法针对带宽下降的具体成因采取匹配的保护策略;现有预取系统通常在带宽值跌破预设阈值后才触发降级操作,属于事后响应,在渐进式带宽下降的场景下,当降级操作触发时往往已有预取操作未完成;在带宽恢复后,现有预取系统通常采用统一步长的渐进恢复方式,难以适配不同成因的带宽下降在恢复特性上的差异。
4、因此,在存储带宽发生波动的情况下,如何在保证推理延迟的同时最大化带宽利用率,是亟须解决的技术问题。
5、上述内容仅用于辅助理解本技术的技术方案,并不代表承认上述内容是现有技术。
技术实现思路
1、本技术提供了一种存储数据预取方法,包括:
2、采集与存储设备带宽变化相关的多类信号,所述多类信号包括带宽信号、温度信号、缓存状态信号和输入输出负载信号;
3、基于所述带宽信号确定带宽估计值和带宽趋势信息,并基于所述温度信号确定温度趋势信号;
4、根据所述带宽估计值、所述带宽趋势信息、所述温度趋势信号、所述缓存状态信号和所述输入输出负载信号,确定存储设备带宽的状态类别,其中所述状态类别包括正常状态、热风险预警状态、缓存耗尽状态、回收压力状态和已节流状态;
5、根据所述状态类别,执行与所述状态类别对应的预取窗口调整策略;
6、基于调整后的预取窗口,对存储设备的存储数据进行预取。
7、在一实施例中,所述基于所述带宽信号确定带宽估计值和带宽趋势信息的步骤包括:
8、对所述带宽信号分别以第一预设平滑速率和第二预设平滑速率进行指数加权平滑处理,获得第一带宽平滑值和第二带宽平滑值,所述第一预设平滑速率大于所述第二预设平滑速率;
9、将所述第一带宽平滑值和所述第二带宽平滑值中的最小值作为所述带宽估计值;
10、基于所述第一带宽平滑值与所述第二带宽平滑值的差值确定所述带宽趋势信息。
11、在一实施例中,所述预取窗口调整策略包括反馈控制策略,所述反馈控制策略为根据预取命中率调整所述预取窗口的尺寸的策略,所述根据所述状态类别,执行与所述状态类别对应的预取窗口调整策略的步骤,包括:
12、在所述状态类别为所述正常状态的情况下,保持所述反馈控制策略运行;
13、在所述状态类别为所述热风险预警状态的情况下,按照预设收缩系数收缩所述预取窗口,并保持所述反馈控制策略运行;
14、在所述状态类别为所述缓存耗尽状态的情况下,将所述预取窗口设置为预设安全下限窗口,并冻结所述反馈控制策略;
15、在所述状态类别为所述已节流状态的情况下,维持所述预取窗口为所述预设安全下限窗口,并冻结所述反馈控制策略;
16、在所述状态类别为所述回收压力状态的情况下,保持所述反馈控制策略运行,并抑制所述反馈控制策略对预取命中率的周期性波动的响应。
17、在一实施例中,所述方法还包括:
18、在检测到所述状态类别为所述热风险预警状态、所述缓存耗尽状态、所述回收压力状态或所述已节流状态中的任一状态、且所述带宽满足所述状态类别对应的预设恢复条件的情况下,根据所述状态类别选取对应的恢复协议;
19、按照选取的所述恢复协议逐步增大所述预取窗口,直到所述预取窗口恢复至所述正常状态对应的窗口尺寸,其中,不同所述状态类别对应的所述恢复协议的窗口调整步长和调整时间间隔不同。
20、在一实施例中,所述按照选取的所述恢复协议逐步增大所述预取窗口的步骤,包括:
21、在所述状态类别为所述热风险预警状态的情况下,以第一预设步长和第一预设时间间隔逐步增大所述预取窗口;
22、在所述状态类别为所述缓存耗尽状态的情况下,以第二预设步长和第二预设时间间隔逐步增大所述预取窗口,其中所述第二预设步长大于所述第一预设步长,且所述第二预设时间间隔小于所述第一预设时间间隔;
23、在所述状态类别为所述回收压力状态的情况下,以第三预设步长和第三预设时间间隔逐步增大所述预取窗口,其中所述第三预设步长大于所述第一预设步长且小于所述第二预设步长;
24、在所述状态类别为所述已节流状态的情况下,根据导致所述已节流状态的降级原因,以所述降级原因对应的状态类别所对应的窗口调整步长和调整时间间隔逐步增大所述预取窗口,其中,所述降级原因对应的状态类别为所述热风险预警状态或所述缓存耗尽状态。
25、在一实施例中,所述基于所述温度信号确定温度趋势信号的步骤,包括:
26、对所述温度信号进行指数加权平滑处理,获得温度平滑值;
27、确定所述温度平滑值的二阶差分,作为所述温度趋势信号;
28、所述根据所述带宽估计值、所述带宽趋势信息、所述温度趋势信号、所述缓存状态信号和所述输入输出负载信号,确定存储设备带宽的状态类别的步骤,包括:
29、在所述二阶差分大于零、所述带宽趋势信息表示带宽下降、且所述带宽估计值尚未下降至预设降级阈值的情况下,确定所述状态类别为所述热风险预警状态。
30、在一实施例中,所述根据所述带宽估计值、所述带宽趋势信息、所述温度趋势信号、所述缓存状态信号和所述输入输出负载信号,确定存储设备带宽的状态类别的步骤,还包括:
31、在所述带宽估计值在单个采样周期内的下降幅度大于预设下降幅度阈值、且所述缓存状态信号的取值大于预设缓存阈值的情况下,确定所述状态类别为所述缓存耗尽状态。
32、在一实施例中,所述根据所述带宽估计值、所述带宽趋势信息、所述温度趋势信号、所述缓存状态信号和所述输入输出负载信号,确定存储设备带宽的状态类别的步骤,还包括:
33、在所述输入输出负载信号的取值大于预设负载阈值、且所述输入输出负载信号呈现周期性波动的情况下,确定所述状态类别为所述回收压力状态;
34、在所述带宽估计值低于正常范围的预设比例、且所述带宽趋势信息表示带宽下降或带宽平稳的情况下,确定所述状态类别为所述已节流状态。
35、此外,为实现上述目的,本技术还提出一种存储数据预取装置,所述存储数据预取装置包括:
36、信号收集模块,用于采集与存储设备带宽变化相关的多类信号,所述多类信号包括带宽信号、温度信号、缓存状态信号和输入输出负载信号;
37、趋势获取模块,用于基于所述带宽信号确定带宽估计值和带宽趋势信息,并基于所述温度信号确定温度趋势信号;
38、状态判别模块,用于根据所述带宽估计值、所述带宽趋势信息、所述温度趋势信号、所述缓存状态信号和所述输入输出负载信号,确定存储设备带宽的状态类别,其中所述状态类别包括正常状态、热风险预警状态、缓存耗尽状态、回收压力状态和已节流状态;
39、策略确定模块,用于根据所述状态类别,执行与所述状态类别对应的预取窗口调整策略;
40、数据预取模块,用于基于调整后的预取窗口,对存储设备的存储数据进行预取。
41、此外,为实现上述目的,本技术还提出一种存储数据预取设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上文所述的存储数据预取方法。
42、此外,为实现上述目的,本技术还提出一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上文所述的存储数据预取方法。
43、此外,为实现上述目的,本技术还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如上文所述的存储数据预取方法。
44、因此,本技术提供的技术方案通过同时采集带宽信号、温度信号、缓存状态信号和输入输出负载信号等多类信号,并在确定带宽估计值、带宽趋势信息和温度趋势信号的基础上确定存储设备带宽的状态类别,使得系统能够区分带宽波动所对应的不同物理成因,例如温度上升引发的热节流风险、缓存空间耗尽引发的带宽骤降、存储回收操作引发的带宽周期性波动等,进而针对不同状态类别执行对应的预取窗口调整策略,例如在热风险预警状态下进行预防性的窗口收缩、在缓存耗尽状态下将窗口降至安全下限等,从而实现了预取窗口调整策略与带宽波动成因之间的匹配,使得窗口调整不再是针对单一带宽值的统一响应,而是基于带宽波动成因的差异化响应。
45、由此,本技术提供的技术方案在存储带宽因不同物理原因发生波动时,能够自动识别带宽波动的成因类型并执行与之匹配的预取窗口调整策略,在带宽下降时避免预取操作未完成所导致的计算等待,在带宽充裕时避免预取窗口过小所造成的带宽浪费,从而在保证推理延迟的前提下最大化存储带宽的利用率,提升了预取系统的适应性和鲁棒性,降低了因存储带宽波动对推理性能造成的影响。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com