一种分布式存储数据一致性维护方法及系统与流程
本申请涉及分布式存储,具体而言,涉及一种分布式存储数据一致性维护方法及系统。
背景技术:
1、在一个广泛部署的跨地域分布式存储设置中,系统通常需要处理来自全球不同区域的数据写入请求,并确保数据副本之间的高度一致性与实时性。在常规运行期间,系统能够有效地管理数据流,通过预设的负载均衡机制和一致性规则来维持其稳定运行。然而,在某些特定时期,例如由于用户行为模式的季节性变化,或者特定行业活动的高峰期,某个地理区域的数据写入请求可能会在短时间内呈现出突发性的局部集中增长。这种集中式的请求模式,使得负责该地域数据处理的存储节点上的数据写入请求队列长度远超其最初的设计阈值。这意味着,尽管整个分布式系统可能仍有余力,但局部区域的节点已经面临严重的处理压力,等待写入的数据量急剧增加。
技术实现思路
1、本申请公开了一种分布式存储数据一致性维护方法及系统,旨在解决现有分布式存储系统中,由于局部写入负载集中、新旧存储介质差异导致的慢节点问题,以及由此引发的数据副本协调单元时序竞争,最终导致投票计数器偏差,进而造成数据不一致性的技术问题。
2、本申请的技术方案如下:
3、第一方面,本申请公开了一种分布式存储数据一致性维护方法,该方法包括:
4、接收多个分布式存储节点周期性上报的内部运行状态信息,该内部运行状态信息由分布式存储节点实时获取分布式存储节点内存储介质的运行状态后封装生成;
5、构建分布式存储节点的行为指纹,该行为指纹基于滑动时间窗口内的端到端平均写入延迟、端到端写入延迟波动、分布式存储节点的处理平均延迟、写入成功率与确认消息平均传输延迟计算生成;
6、基于内部运行状态信息、当前系统写入负载与行为指纹进行双源交叉预测,得到分布式存储节点的未来写入性能趋势,该双源交叉预测将内部运行状态信息中反映存储介质i/o行为的关键指标与行为指纹中对应的外部可观测指标进行比对,一致时确认预测结果,不一致时优先采信行为指纹的判断结果;
7、根据未来写入性能趋势,确定分布式存储节点成为性能下降节点的概率与性能下降的预计持续时长;
8、响应于数据写入请求,根据未来写入性能趋势与概率,调整数据写入请求的分发策略与一致性维护策略,该一致性维护策略的调整参数由未来写入性能趋势直接驱动,使一致性维护策略随存储介质的内部状态变化动态调整;
9、向未来写入性能趋势良好的分布式存储节点增加分发数据写入请求,向被确定为性能下降节点的分布式存储节点减少分发数据写入请求,对需要向被确定为性能下降节点的分布式存储节点分发数据写入请求的情形,延长对分布式存储节点返回同步确认信息的预期响应时间;
10、保持当前副本的同步确认接收状态,持续监测分布式存储节点的写入性能变化,在分布式存储节点的写入性能恢复后将预期响应时间恢复至原值。
11、第二方面,本申请还公开了一种分布式存储数据一致性维护系统,该系统包括:
12、信息接收模块,用于接收多个分布式存储节点周期性上报的内部运行状态信息,该内部运行状态信息由分布式存储节点实时获取分布式存储节点内存储介质的运行状态后封装生成;
13、行为指纹构建模块,用于基于滑动时间窗口内的端到端平均写入延迟、端到端写入延迟波动、分布式存储节点的处理平均延迟、写入成功率与确认消息平均传输延迟计算生成分布式存储节点的行为指纹;
14、性能预测模块,用于基于内部运行状态信息、当前系统写入负载与行为指纹进行双源交叉预测,得到分布式存储节点的未来写入性能趋势;该双源交叉预测将内部运行状态信息中反映存储介质i/o行为的关键指标与行为指纹中对应的外部可观测指标进行比对,一致时确认预测结果,不一致时优先采信行为指纹的判断结果;
15、风险评估模块,用于根据未来写入性能趋势,确定分布式存储节点成为性能下降节点的概率与性能下降的预计持续时长;
16、调度模块,用于响应于数据写入请求,根据未来写入性能趋势与概率,调整数据写入请求的分发策略与一致性维护策略,该一致性维护策略的调整参数由未来写入性能趋势直接驱动,使一致性维护策略随存储介质的内部状态变化动态调整;向未来写入性能趋势良好的分布式存储节点增加分发数据写入请求;向被确定为性能下降节点的分布式存储节点减少分发数据写入请求;对需要向被确定为性能下降节点的分布式存储节点分发数据写入请求的情形,延长对分布式存储节点返回同步确认信息的预期响应时间;保持当前副本的同步确认接收状态;持续监测分布式存储节点的写入性能变化;在分布式存储节点的写入性能恢复后将预期响应时间恢复至原值。
17、本申请公开一种分布式存储数据一致性维护方法及系统,通过接收分布式存储节点周期性上报的内部运行状态信息,并构建基于多项指标的行为指纹,实现了对分布式存储节点性能的全面感知。在此基础上,本申请创新性地引入了双源交叉预测机制,将内部运行状态信息中反映存储介质i/o行为的关键指标与行为指纹中对应的外部可观测指标进行比对,在一致时确认预测结果,不一致时优先采信行为指纹的判断结果,从而能够更准确、更可靠地预测分布式存储节点的未来写入性能趋势。
1.一种分布式存储数据一致性维护方法,其特征在于,所述方法包括:接收多个分布式存储节点周期性上报的内部运行状态信息,所述内部运行状态信息由所述分布式存储节点实时获取所述分布式存储节点内存储介质的运行状态后封装生成;
2.根据权利要求1所述的分布式存储数据一致性维护方法,其特征在于,所述构建所述分布式存储节点的行为指纹,包括:
3.根据权利要求2所述的分布式存储数据一致性维护方法,其特征在于,所述确认所述慢节点状态,包括:
4.根据权利要求1所述的分布式存储数据一致性维护方法,其特征在于,所述方法还包括风险评估,具体为:
5.根据权利要求4所述的分布式存储数据一致性维护方法,其特征在于,所述收集所述分布式存储节点的所述内部运行状态信息与所述行为指纹数据,包括:
6.根据权利要求4所述的分布式存储数据一致性维护方法,其特征在于,所述识别所述存储介质的i/o行为模式,包括:
7.根据权利要求6所述的分布式存储数据一致性维护方法,其特征在于,所述扰动注入,包括:
8.根据权利要求7所述的分布式存储数据一致性维护方法,其特征在于,所述持续监测所述存储介质的内部运行状态信息,包括:
9.根据权利要求8所述的分布式存储数据一致性维护方法,其特征在于,所述计算所述存储介质的内部处理效率指标,包括:
10.一种分布式存储数据一致性维护系统,其特征在于,所述系统包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com