基于数据分片的分布式存储负载均衡方法与流程
本发明涉及分布式存储,具体为基于数据分片的分布式存储负载均衡方法。
背景技术:
1、分布式存储系统依托数据分片机制将海量业务数据拆分至不同存储节点,依靠多副本机制保障数据可靠性,已经成为时序类业务数据承载的主流技术架构。业务运行过程中,不同数据分片受业务逻辑影响会产生差异化的访问行为,部分分片会出现周期性访问上涨、瞬时突发流量、读写混合比例动态变化等现象,节点与分片之间的负载失衡问题随之产生。负载失衡会直接造成部分存储节点资源被大量占用,请求处理时延抬升,其余节点硬件资源却处于闲置状态。为保障集群整体服务能力,负载均衡调度是分布式存储集群必不可少的核心模块。集群内部的访问流量具备时序特性,流量状态会跟随业务周期持续变化,调度系统需要识别分片访问背后的各类时序特征,对后续负载发展态势做出判断,以此支撑合理的调度动作输出,维持集群各分片、各节点之间负载处于相对均衡的运行状态。
2、现有分布式存储负载均衡方案大多基于采集得到的实时负载指标触发调度动作,属于被动响应式调度模式。当监控识别到分片负载超出上限之后才启动分片迁移或者分裂操作,流量已经形成过载冲击,业务请求时延恶化的现象已经发生,调度动作存在固有的滞后性。部分具备预测能力的调度方案没有区分读写访问带来的资源消耗差异,对读写混合的访问流量采用统一评估标准,负载风险评估结果和集群真实资源消耗存在偏差。多数调度策略将分片迁移作为处理分片过载的主要手段,只要分片负载偏高就启动数据搬迁,没有权衡调度带来的收益与迁移过程产生的各类损耗,极易产生大量无效分片迁移。大规模的数据迁移会占用集群网络带宽,对正在运行的业务造成额外扰动,同时缺少完整的闭环反馈链路,调度相关判定条件无法跟随业务流量的长期变化完成自我适配,调度效果会随着业务访问模式改变逐步下降。
技术实现思路
1、本发明的目的就是为了弥补现有技术的不足,提供了基于数据分片的分布式存储负载均衡方法,该方法通过采集分片读写访问时序,提取周期性访问特征、读写混合比例特征与访问流量波动特征;输入轻量时序预测模型,计算动态负载风险值并划分三级风险;触发时调整副本路由权重,将超额读访问请求分流至副本,写请求固定主分片以保障一致性;高危时通过收益-代价博弈决定分片预分裂与预迁移;窗口结束后依据实际负载与调度偏差反馈迭代模型和参数。
2、本发明为解决上述技术问题,提供如下技术方案:基于数据分片的分布式存储负载均衡方法,该方法的具体步骤为:
3、s100、时序数据采集:按预设时间粒度采集分布式存储集群内各数据分片的历史访问请求,以分片标识聚合构建全量访问时序序列,按操作类型拆分得到读访问子序列与写访问子序列,提取各分片的周期性访问特征、读写混合比例特征与访问流量波动特征;
4、s200、负载风险计算:将所述三类特征输入轻量时序预测模型,输出预测窗口读写访问频次,计算分片动态负载风险值,依据预设两级阈值划分三级负载风险等级;
5、s300、路由权重调整:当负载风险等级满足路由调整触发条件时,生成分片路由权重调整指令,调整分片各副本的访问路由权重分配,将超额访问请求分流至副本分片;
6、s400、分片预迁决策:风险等级达到预设高危阈值时生成分片预分裂与预迁移候选任务,计算调度有效收益值,依据有效收益正负判定是否执行分片预分裂与预迁移或不执行分片预分裂与预迁移操作;
7、s500、策略迭代优化:当前预测窗口结束后采集各分片实际负载数据,比对三级负载风险等级、调度执行结果,依据比对偏差反馈更新模型参数与调度判定参数。
8、进一步地,所述访问请求从集群接入网关处采集,以分钟级时间粒度聚合每个数据分片的访问请求数量,生成覆盖完整业务周期的全量访问时序序列,包含平稳流量、突发流量、周期性批量流量场景,时序序列按照请求操作类型拆分为读访问子序列、写访问子序列,两类子序列保持相同时间粒度与时间对齐关系;对写访问子序列进行自相关运算,识别流量波动的周期长度与峰值区间,得到周期性访问特征;按固定统计窗口计算窗口内读请求与写请求的数量占比,生成读写比例变化序列,得到读写混合比例特征;计算相邻时间窗口的访问总量变化幅度,生成流量波动序列,得到访问流量波动特征。
9、更进一步地,所述分片各时刻的动态负载风险值通过数学表达计算得到,式中t为时间变量,代表预测窗口内的某一时刻;为目标分片在t时刻的动态负载风险值,为负载风险等级划分的核心依据;为写操作敏感调节系数,取值为0.7,用于匹配分布式存储场景下写操作高于读操作的资源消耗特性;为t时刻归一化后的写时序访问频次,由写负载预测值经最大最小值归一化处理得到;为t时刻归一化后的读时序访问频次,由读负载预测值经最大最小值归一化处理得到;为t时刻写访问流量突发波动程度的写流量突发波动系数,由访问流量波动特征中的写流量变化幅度计算得到;为t时刻读访问流量周期性平稳程度的读流量周期平稳系数,由周期性访问特征中的读流量周期波动幅度计算得到。
10、更进一步地,所述轻量时序预测模型采用深度可分离时序卷积网络结构,部署于集群管理节点运行,输入包含各分片的周期性访问特征序列、读写混合比例特征序列与访问流量波动特征序列,模型输出为未来60分钟预测窗口内,每个分钟级时间步对应的读负载预测值与写负载预测值;模型包含3层深度可分离时序卷积层,卷积核尺寸分别为3、5、3,时序感受野为15个时间步,后接2层全连接层输出预测结果;训练时采用平均绝对误差作为损失函数,adam优化器进行参数更新;设置两级负载风险阈值,第一阈值为分片额定负载的70%,第二阈值为分片额定负载的90%,阈值可依据集群业务场景调整;动态负载风险值低于第一阈值时对应低风险等级,处于第一阈值与第二阈值之间时对应中风险等级,高于第二阈值时对应高风险等级,高危阈值与第二阈值数值一致。
11、更进一步地,所述路由权重调整步骤接收三级负载风险等级,当判定分片在预测窗口内处于低风险等级,或处于中风险等级且过载流量以读访问为主时,生成路由权重调整指令并下发至集群接入网关的路由转发组件;路由转发组件接收指令后,按比例降低主分片的访问路由权重,同步提升其余副本分片路由权重,所有副本分片路由权重总和维持恒定,部分主分片读请求按照更新后的权重分发至副本分片完成响应;调整后,原本发往主分片的部分读访问请求按新的权重比例分流至各副本分片,由副本分片直接响应读请求;整个调整过程仅修改网关路由配置表,不触发任何分片数据迁移与数据同步操作,配置更新在毫秒级完成生效。
12、更进一步地,所述路由权重调整中,访问请求分流的一致性保障机制为:路由转发组件识别每条访问请求的操作类型标识,对读操作请求按照调整后的路由权重分发至对应副本分片,对写操作请求固定转发至主分片,不参与权重分流;所有写请求仅由主分片处理,主分片完成数据写入后同步至各副本分片,维持副本数据的最终一致性;权重调整过程中不改变写请求的路由规则,避免多副本并发写入引发的数据冲突与一致性问题,在实现读负载分流的同时,保障分片数据的完整性与准确性。
13、更进一步地,所述分片预迁决策步骤中,调度有效收益值通过预调度收益-代价博弈决策公式计算得到,数学表达为:,式中d为调度有效收益值,为分片迁移动作的核心判定依据;y(t)为预测窗口内规避分片业务过载的综合收益,由预测过载持续时长与单位时间过载业务损失折算得到;c为分片基础迁移代价,由待迁移分片的数据总大小与迁移带宽损耗、业务影响损耗折算得到;为流量自回落概率,基于历史相同时段分片流量样本统计得到,统计历史上达到该风险水平后流量自动回落至安全阈值以下的样本占全部样本的比例,作为流量自回落概率取值;为无效调度惩罚系数,由历史无效迁移的占比与损耗折算得到;当d的计算结果大于零时,判定启动分片预分裂与预迁移;当d的计算结果小于等于零时,判定不执行分片预分裂与预迁移操作。
14、更进一步地,所述分片预迁决策步骤中,启动分片预分裂与预迁移操作时,依据写负载预测分布,按照数据主键范围将原分片拆分为两个子分片,使拆分后的两个子分片的动态负载风险值均低于所述高危阈值;拆分采用负载均衡拆分法划分主键区间,保证两个子分片的预测写负载占比差值不超过10%;从集群内筛选综合负载最低、剩余存储容量充足且网络链路距离最短的存储节点作为目标节点,将其中一个子分片迁移至目标节点;综合负载由cpu使用率、内存占用率、出口带宽使用率按4:3:3的权重加权计算得到;分片迁移过程中维持原分片正常对外提供读写服务,通过后台异步方式完成全量数据拷贝与增量数据追平,待两端数据完全一致后,逐步切换访问路由,完成流量平滑切分,切分过程中不中断业务访问。
15、更进一步地,所述策略迭代优化步骤中,在当前预测窗口结束后,采集窗口内各分片每个时间步的实际访问负载、流量波动、读写占比等真实运行数据,对比对应时间步的动态负载风险预测值与实际负载风险值,采用平均绝对百分比误差作为预测精度指标,当预测精度低于预设的85%合格阈值时,将当前窗口的实际访问数据加入模型训练集,补充时序特征样本,调整模型内部卷积层权重与特征融合参数,完成轻量时序预测模型的参数迭代更新,提升后续负载风险预测的准确性。
16、更进一步地,所述策略迭代优化步骤中,统计预测窗口内所有调度操作的执行结果,计算分片负载峰值降低率、业务请求时延优化率与无效迁移占比,无效迁移指迁移完成后流量已自然回落、迁移后分片负载持续低于安全阈值的调度操作,所述安全阈值为分片额定负载的70%;当无效迁移占比高于预设的5%合理比例时,依据无效迁移占比的超出幅度对应调高高危阈值的数值,或对应提高无效调度惩罚系数的取值,降低分片迁移调度的触发敏感度,同步对应调整路由权重调整的触发阈值与调整幅度;其中调整步长规则为:无效迁移占比每超出预设5%合理比例1个百分点,高危阈值向上调增2个百分点,无效调度惩罚系数以0.08为步长进行递增,路由权重调整的触发阈值同步向上调增2个百分点;高危阈值调整上限不超过分片额定负载95%,避免阈值过高丧失过载防护能力。
17、与现有技术相比,该基于数据分片的分布式存储负载均衡方法具备如下有益效果:
18、一、本发明通过采集各分片多维度访问时序特征,依托时序预测模型实现分片负载风险的提前预判,摆脱传统负载均衡仅依靠实时负载数据被动调度的局限。基于分级负载风险等级设计分层调度手段,针对中低风险场景采用路由权重调整机制,仅在网关层面修改路由配置完成读请求分流,无需开展数据迁移,调度动作执行开销小、响应速度快,写请求依旧定向转发至主分片,兼顾读负载分流效果与多副本数据一致性,规避并发写入带来的数据错乱问题。该方式优先以轻量化调度化解潜在过载压力,减少不必要的数据搬迁操作,降低集群网络与计算资源消耗,能够适配平稳流量、突发流量、周期性批量流量等多种业务访问场景,提升集群应对多变访问模式的适配能。
19、二、本发明通过构建收益-代价博弈的量化判定逻辑开展分片预分裂与预迁移决策,综合考量过载规避收益、分片迁移损耗以及流量自然回落可能性,避免单纯依据负载数值盲目触发分片搬迁,减少无效调度行为。执行分片预分裂迁移时维持业务不间断访问,借助后台异步拷贝结合增量追平、路由逐步切换的方式实现流量平滑切分,保障业务访问连续性。同时引入闭环迭代优化机制,比对预测负载与实际运行数据,一方面更新时序预测模型参数改善预测准确度,另一方面依据调度结果反馈调整各类调度判定参数,持续修正调度触发条件,降低无效迁移发生概率,让负载均衡调度策略跟随业务流量特征动态适配,整体提升分布式存储集群运行稳定性与资源利用效率。
20、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com