一种基于CPU算力感知的动态存储调度方法及系统与流程
本发明属于动态存储调度,具体的说是一种基于cpu算力感知的动态存储调度方法及系统。
背景技术:
1、随着数据存储规模持续扩张与业务访问场景日趋复杂,存储调度技术已成为支撑大规模数据系统高效稳定运行的核心支撑技术,其调度精度与响应能力直接决定了整体系统的资源利用水平与业务服务质量,在高并发、大数据量的各类业务场景中发挥着至关重要的作用。
2、当前主流的存储调度机制多围绕存储侧资源调配展开,对计算侧资源运行状态的联动适配能力较弱,难以实现计算能力与数据访问需求的动态匹配,易引发两端资源供需错配的性能瓶颈。现有资源分配多采用固定划分模式,无法根据系统实时运行状态灵活调整资源分配边界,在业务负载波动较大的场景下,常出现局部资源过载与全局资源闲置并存的状况,拉低了整体资源利用效率。现有异常判定多依赖单一指标的阈值触发,缺乏多类运行状态的关联研判,难以提前识别潜在的性能劣化趋势,往往在异常发生后才进行被动处置。同时,现有调度策略落地后缺乏持续的效果校验与动态修正机制,部分调控动作失效时难以及时定位调整,导致调度效果随系统运行逐步衰减,难以长期维持稳定的最优运行状态。
技术实现思路
1、本发明提供一种基于cpu算力感知的动态存储调度方法及系统,用以解决现有技术中存在的缺陷。
2、一方面,本发明提供一种基于cpu算力感知的动态存储调度方法,包括:
3、收集存储调度系统的全维度运行参数,对存储资源池进行资源域划分,实时采集各资源域的多维度耦合状态数据。
4、基于多维度耦合状态数据识别不同存储调度异常场景,结合当前业务负载所处阶段和硬件损耗状态,构建不同存储调度异常场景下的调度协同风险量化数据。
5、基于预设的调度控制需求生成初始动态存储调度策略,根据调度协同风险量化数据在初始动态存储调度策略中标注待调整参数集,执行参数迭代修正得到优化调度策略。
6、实时采集调度执行后各资源域耦合状态数据的调度均衡度指标,对优化调度策略中的每个调控节点进行综合评估,将评估未达标的调控节点定义为调控失效节点,并生成指向调控失效节点的纠偏调整策略。
7、根据本发明提供的一种基于cpu算力感知的动态存储调度方法,对存储资源池进行资源域划分的过程包括:
8、采集服务器numa节点拓扑、cpu核组分布位置、存储介质阵列布局参数和业务数据部署粒度作为全维度运行参数。
9、基于业务任务的算力-存储亲和性要求与目标调度响应时延,以numa节点为基础单元满足算力均匀供给条件,结合存储介质阵列的分布位置对存储资源池进行规整划分,确定资源域数量。
10、依据数据块与cpu核组的互连跳数,划定每个资源域的存储访问边界。
11、根据本发明提供的一种基于cpu算力感知的动态存储调度方法,采集多维度耦合状态数据的过程包括:
12、采集cpu核组的用户态利用率、内核态利用率,计算总算力占用率与域间算力差异度,形成cpu算力裕度数据。
13、采集各资源域内的随机读iops、顺序写iops和平均io响应时延,同时记录io队列深度与数据块大小,按照标准数据块大小进行归一化修正,得到存储io吞吐特征。
14、按照预设频率采集各资源域内数据块的访问频次、最近访问时间间隔,基于热度计算模型得到数据热度值,分析热度分布集中度与热点偏移时段,形成数据访问热度层级。
15、统计各资源域内缓存命中次数与统计周期内总访问次数,基于缓存命中计算公式得到缓存命中效率。
16、在各资源域的互连链路上测量不同存储层级的实时数据传输速率,根据链路额定带宽计算对应层级的带宽利用率,记录不同层级的带宽差异,得到互连链路带宽利用率数据。
17、对同一资源域内的cpu算力裕度、存储io吞吐特征、数据访问热度层级、缓存命中效率和互连链路带宽利用率数据进行时序对齐,标记不同参数间的关联特征,得到多维度耦合状态数据。
18、根据本发明提供的一种基于cpu算力感知的动态存储调度方法,识别不同存储调度异常场景的过程包括:
19、将各资源域的耦合状态数据进行标准化处理,按资源域编号和时间片进行时空维度对齐,得到耦合状态处理数据。
20、从耦合状态处理数据中,提取与存储调度异常相关的单参数特征与多参数耦合特征,作为调度异常特征。
21、结合动态存储调度的业务性能指标要求,针对调度异常特征设定三级阈值。
22、根据三级阈值和调度异常特征建立异常场景匹配规则库,遍历各资源域的耦合状态处理数据,结合匹配规则库判定对应的存储调度异常场景。
23、根据本发明提供的一种基于cpu算力感知的动态存储调度方法,构建调度协同风险量化数据的过程包括:
24、将不同存储调度异常场景对应的性能指标相对目标值的绝对偏离量转换为相对偏离率,根据不同负载阶段对调度异常场景的敏感程度,设定负载阶段基础权重,计算得到负载阶段敏感因子。
25、将cpu计算性能衰减率、磁盘读写性能下降率、监测探针精度偏差率、缓存效率衰减率和硬件累积运行时长进行归一化处理,加权计算得到硬件损耗系数。
26、针对存储调度异常场景,从异常类型的危害程度、影响范围和持续时长三个维度划分异常场景风险因子。
27、基于硬件损耗系数计算损耗放大因子。
28、通过加权求和法,将异常场景风险因子、负载阶段敏感因子和损耗放大因子耦合计算协同调度风险指数。
29、根据预设数值区间将协同调度风险指数划分为多个风险等级,并确定各风险等级对应的风险特征和管控要求,得到调度协同风险量化数据。
30、根据本发明提供的一种基于cpu算力感知的动态存储调度方法,生成初始动态存储调度策略的过程包括:
31、将系统吞吐量目标、io响应时延约束和系统能耗阈值作为调度控制需求,拆解为具体调度参数的目标值,并根据业务优先级设定各目标的权重系数。
32、基于历史调度数据筛选算力分配参数、io调度参数和数据迁移参数作为关键调度参数,建立关键调度参数与调度目标值之间的目标关联模型。
33、按照业务负载阶段,结合调度参数目标值设定各阶段的参数阈值区间,根据不同参数之间的联动规则生成初步调度策略。
34、针对初步调度策略,从系统吞吐量、io响应时延和系统能耗三个维度进行校验,按照目标权重系数进行多目标优化,得到初始动态存储调度策略。
35、根据本发明提供的一种基于cpu算力感知的动态存储调度方法,得到优化调度策略的过程包括:
36、梳理不同存储调度异常场景的调度协同风险量化数据对应的影响参数,确定参数调控对风险的缓解逻辑,构建风险-参数关联规则库。
37、针对每个存储调度异常场景的风险类型,计算各影响参数的敏感度系数。
38、基于风险-参数关联规则库,在初始动态存储调度策略中标注需要调整的参数类别、调整范围和调整优先级,得到待调整参数集。
39、根据缓解逻辑确定参数调整方向,结合风险等级与敏感度系数计算调整幅度,针对多参数联动调整场景设计参数调整的先后时序,生成参数调整方案。
40、将参数调整方案代入初始动态存储调度策略,判断是否综合满足调度控制需求,是则生成优化调度策略,否则修正调整幅度与调整方向后重新校验。
41、根据本发明提供的一种基于cpu算力感知的动态存储调度方法,得到调度均衡度指标的过程包括:
42、采集调度执行后各资源域的耦合状态数据,根据各参数的状态变化特性设定差异化采集频率,进行归一化处理得到调度处理数据。
43、计算全系统各资源域同一参数的均值、标准差和变异系数,针对单个资源域,计算连续采集周期内的参数波动幅度与波动频率,得到单指标均衡特征。
44、根据单指标均衡特征,结合域间一致性与时域稳定性两个维度赋予对应权重,计算单参数调度均衡度。
45、结合不同参数对存储调度性能的影响权重,将对应的单参数调度均衡度进行加权求和,得到调度均衡度指标。
46、根据本发明提供的一种基于cpu算力感知的动态存储调度方法,生成纠偏调整策略的过程包括:
47、将优化调度策略按负载阶段-调控资源域-参数类型分类梳理所有调控节点,确定每个调控节点的参数设定值、调控范围及调控对象,得到节点特征数据。
48、通过历史调控数据,计算每个调控节点对调度均衡度指标的偏差影响权重。
49、针对每个调控节点的节点特征数据和偏差影响权重,根据预设调度均衡度指标阈值和预设节点调控偏差阈值进行综合评估,得到节点评估结果。
50、根据节点评估结果计算节点失效度,按照预设数值区间划分节点失效等级,筛选达到预设失效等级的节点作为调控失效节点。
51、针对每个调控失效节点,分析调控失效的根本原因,依据根本原因的问题类型和节点失效等级生成对应的纠偏调整策略。
52、另一方面,本发明还提供一种基于cpu算力感知的动态存储调度系统,包括:
53、多域耦合监测模块,用于收集存储调度系统的全维度运行参数,对存储资源池进行资源域划分,实时采集各资源域的cpu算力裕度、存储io吞吐特征、数据访问热度层级、缓存命中效率和互连链路带宽利用率数据作为多维度耦合状态数据。
54、调度风险量化评估模块,用于基于多维度耦合状态数据识别不同存储调度异常场景,结合当前业务负载所处阶段和硬件损耗状态,构建不同存储调度异常场景下的调度协同风险量化数据。
55、动态调度策略生成模块,用于基于预设的调度控制需求生成初始动态存储调度策略,根据调度协同风险量化数据在初始动态存储调度策略中标注待调整参数集,执行参数迭代修正得到优化调度策略。
56、调控节点反馈纠偏模块,用于实时采集调度执行后各资源域耦合状态数据的调度均衡度指标,对优化调度策略中的每个调控节点进行综合评估,将评估未达标的调控节点定义为调控失效节点,并生成指向调控失效节点的纠偏调整策略。
57、本发明提供的一种基于cpu算力感知的动态存储调度方法及系统,通过全面采集系统全维度运行参数并进行规整的资源划分,实现了计算资源与存储资源的协同感知与统一调度,能够依据计算供给能力匹配对应的数据访问负载,提升两类资源的适配性与整体利用效率,缓解资源分布不均衡造成的性能损耗。
58、通过多类运行状态的关联分析识别不同异常情形,结合业务负载阶段与硬件损耗状态量化调度风险,实现风险的提前预判与分级管控,将被动异常处理转变为主动风险规避,降低调度冲突与性能劣化对业务的影响,保障业务运行的连续性。
59、基于调度控制需求生成初始策略并结合风险量化结果进行参数迭代修正,使调度策略能够适配当前系统状态与风险等级,在性能、时延与能耗多重约束下实现调度效果的最优化,保障系统长期稳定的服务质量。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com