一种基于机器学习态势预判的存储资源智能调度决策方法与流程

摘要: 本发明涉及存储资源调度,特别涉及一种基于机器学习态势预判的存储资源智能调度决策方法。背景技术:1、现有技术在企业级数据库或云存储节点的高并发存储调度中,通常采用...
一种基于机器学习态势预判的存储资源智能调度决策方法与流程

本发明涉及存储资源调度,特别涉及一种基于机器学习态势预判的存储资源智能调度决策方法。

背景技术:

1、现有技术在企业级数据库或云存储节点的高并发存储调度中,通常采用时间序列预测模型分配存储节点的写入流量。在海量小文件并发写入场景下,多个中央处理器核心高频访问并修改同一文件目录的元数据,引发跨核缓存行失效与底层内存总线分拆锁冲突。时间序列预测模型仅采集宏观吞吐量数据,无法感知微观中央处理器的分拆锁冲突状态,继续下发并发写入指令,导致中央处理器总线时钟周期被持续占用,产生前端写入请求排队拥塞。

2、前端写入请求排队拥塞后,离散的写入请求被集中下发至非易失性双通道固态硬盘,导致固态硬盘内部闪存颗粒的瞬时写入负载攀升,物理结温随之升高。在高温状态下,闪存颗粒的绝缘氧化层漏电流增加,物理磨损速率加快。现有的路由分配机制未将物理结温与区块已用寿命纳入调度考量,持续向高温且老化程度高的物理区块写入数据,加速了局部物理区块的寿命耗尽。

3、当物理区块结温触及固态硬盘硬件控制器的安全红线时,固态硬盘硬件控制器触发底层的热节流强制降频机制。热节流强制降频机制使固态硬盘的物理写入带宽发生断崖式下降。操作系统块设备层的输入输出请求因无法及时落盘而在队列中大量堆积,造成前端核心业务的尾部延迟数据激增,最终引发应用层的数据读写超时。

技术实现思路

1、本发明提供了一种基于机器学习态势预判的存储资源智能调度决策方法,以解决现有存储资源调度模型因无法感知中央处理器分拆锁冲突而持续下发并发写入指令,导致前端请求拥塞并集中下发至固态硬盘,引发物理区块局部高温与加速老化,局部高温触发固态硬盘底层的热节流强制降频机制,最终导致输入输出请求在操作系统队列中堆积并引发业务读写超时的技术问题。

2、鉴于上述问题,本发明提供了一种基于机器学习态势预判的存储资源智能调度决策方法,包括以下步骤:

3、步骤一:采集存储资源池的多维特征向量,所述多维特征向量包括缓存一致性特征、介质热力学特征以及队列延时特征;

4、步骤二:将所述多维特征向量与历史负载时间序列数据输入至预先训练的时间序列预测模型中,输出初始资源调度指令向量;

5、步骤三:当所述多维特征向量中的所述缓存一致性特征未满足预设异常触发条件时,下发所述初始资源调度指令向量;当所述缓存一致性特征满足所述预设异常触发条件时,屏蔽所述初始资源调度指令向量,并基于所述介质热力学特征与所述缓存一致性特征生成变异路由指令序列,所述变异路由指令序列包括本地追加写操作指令以及为所述存储资源池中的目标物理区块分配的物理地址路由映射表;

6、步骤四:在所述变异路由指令序列的执行周期内,基于所述队列延时特征,通过求解差分控制方程生成节流控制张量,并利用所述节流控制张量调节所述变异路由指令序列的执行带宽速率。

7、本申请提供的技术方案,至少具有如下技术效果:

8、通过计算局部香农信息熵与分拆锁断言频率,在分拆锁断言频率与局部香农信息熵大于预设阈值时,屏蔽时间序列预测模型的输出,将离散写入请求在内存缓冲区聚合成本地追加写操作指令。此步骤将多核并发覆盖写转化为单线程顺序追加写,在物理执行层面避开了对同一缓存行状态位的并发比较并交换操作,从而消除了因总线锁冲突导致的中央处理器时钟周期占用与前端请求拥塞。

9、通过提取物理结温与已用寿命百分比,利用互补指数衰减算子生成介质退化表征量,并将介质退化表征量作为削减项乘入目标物理区块的初始基准评分中。此步骤使路由决策权重随物理结温的升高与已用寿命的减少而按比例降低,在路由分发环节减少了分配至高温及老化区块的写入流量,从而降低了高温工况下漏电流增加对绝缘氧化层造成的物理磨损。

10、通过结合结温变化率构建热惯性前瞻预测项,对温度偏差变量施加逻辑斯蒂算子产生单调递减的抑制权重,并在执行周期内依据预设分位数尾部延迟计算时延偏差量,利用比例积分微分方程输出节流控制张量调节执行带宽速率。此步骤在物理结温触及硬件强制降频红线前,在操作系统内核层面提前降低了下发至该物理区块的写入带宽,避免了固态硬盘硬件控制器触发不可控的热节流降频,从而维持了块设备输入输出队列驻留深度的稳定,防止了核心业务尾部延迟的激增。

1.一种基于机器学习态势预判的存储资源智能调度决策方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,在步骤一中:

3.根据权利要求2所述的方法,其特征在于,步骤三中所述屏蔽所述初始资源调度指令向量,并生成变异路由指令序列,具体包括以下预设异常触发逻辑:

4.根据权利要求3所述的方法,其特征在于,在生成所述物理地址路由映射表时,所述目标物理区块的路由决策权重基于以下逻辑运算界定获得:

5.根据权利要求4所述的方法,其特征在于,所述路由决策权重具体通过以下双重约束乘性方程计算获得:

6.根据权利要求4所述的方法,其特征在于,所述锁风暴提权算子输出的锁风暴响应因子,与所述介质退化衰减算子输出的介质退化表征量,通过以下逻辑获得:

7.根据权利要求4所述的方法,其特征在于,所述温控抑制算子输出的温控抑制权重,通过以下逻辑获得:

8.根据权利要求2所述的方法,其特征在于,在步骤四中,所述差分控制方程为比例积分微分方程,所述节流控制张量基于时延偏差量求解获得,所述时延偏差量为预设的尾部延迟保护阈值与所述预设分位数尾部延迟的差值;其控制求解逻辑包含以下边界约束:

9.一种基于机器学习态势预判的存储资源智能调度决策系统,其特征在于,包括: