一种分布式存储前端业务模型分析方法及装置与流程
本发明涉及分布式存储系统优化,尤其涉及一种数据处理方法及装置。
背景技术:
1、分布式存储系统作为云计算与大数据处理的关键基础设施,广泛应用于视频云、电商、社交平台等对海量数据存储与访问效率有高要求的场景。随着业务复杂度的提升,前端业务与存储后端的协同优化成为系统性能提升的核心方向。相关技术中,通过前端埋点采集、特征工程与机器学习算法的协同作业,构建了从业务行为感知到存储策略生成的智能分析体系。具体地,该体系涵盖了从数据采集、特征提取、模型训练到策略反馈的全过程,包括业务元数据、性能指标、用户行为特征及存储交互日志的多维度采集,以及基于时序分析、热度评估、事务建模与关联规则挖掘的特征提取方法,最终通过负载预测模型与业务-存储适配模型的联合决策,实现存储资源的动态优化配置。
2、然而,现有的分布式存储前端业务分析方法中,直接采用基础日志采集与静态阈值调整,并没有对前端业务行为进行细粒度建模,导致业务特征提取维度单一,难以准确反映复杂多变的业务模式。其中,传统方法在处理突发性业务负载(如直播峰值、电商促销)时,依赖固定策略进行资源调度,缺乏对业务-存储关联关系的动态感知,容易引发资源浪费或性能瓶颈。此外,现有技术在多端并发操作场景下,未能充分结合事务优先级与一致性协议进行适配优化,从而影响系统稳定性与用户体验。基于此,亟需构建一种能够深度感知前端业务特征、动态建模并驱动存储策略闭环优化的系统化方法,以提升分布式存储系统的智能化水平与业务适配能力。
技术实现思路
1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
2、为此,本发明的第一个目的在于提出一种一种分布式存储前端业务模型分析方法。
3、本发明的第二个目的在于提出一种装置。
4、本发明的第三个目的在于提出一种电子设备。
5、本发明的第四个目的在于提出一种计算机可读存储介质。
6、本发明的第五个目的在于提出一种计算机程序产品。
7、为达上述目的,本发明第一方面实施例提出了一种一种分布式存储前端业务模型分析方法,包括:
8、s1,通过前端埋点采集业务行为数据,所述数据包括业务元数据、性能指标、用户行为特征及存储交互日志;
9、s2,对所述业务行为数据进行预处理,并提取多维度特征,包括时序特征、热度特征、事务特征及业务与存储的关联特征;
10、s3,基于所述多维度特征,利用机器学习算法构建业务负载预测模型和业务-存储适配模型,所述业务负载预测模型用于预测未来业务负载,所述业务-存储适配模型用于生成与业务特征匹配的存储优化策略;
11、s4,根据所述业务负载预测模型的输出结果,生成存储资源预分配指令,并根据所述业务-存储适配模型的输出结果,下发缓存调整、数据分片优化及一致性协议适配策略至分布式存储系统。
12、为达上述目的,本发明第二方面实施例提出了一种分布式存储前端业务模型分析装置,包括:
13、数据采集模块,用于通过前端埋点采集业务行为数据,所述数据包括业务元数据、性能指标、用户行为特征及存储交互日志;
14、特征提取模块,用于对所述业务行为数据进行预处理,并提取多维度特征,包括时序特征、热度特征、事务特征及业务与存储的关联特征;
15、模型构建模块,用于基于所述多维度特征,利用机器学习算法构建业务负载预测模型和业务-存储适配模型,所述业务负载预测模型用于预测未来业务负载,所述业务-存储适配模型用于生成与业务特征匹配的存储优化策略;
16、策略下发模块,用于根据所述业务负载预测模型的输出结果,生成存储资源预分配指令,并根据所述业务-存储适配模型的输出结果,下发缓存调整、数据分片优化及一致性协议适配策略至分布式存储系统。
17、为达上述目的,本发明第三方面实施例提出了一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;
18、所述存储器存储计算机执行指令;
19、所述处理器执行所述存储器存储的计算机执行指令,以实现如第一方面中任一项所述的方法。
20、为达上述目的,本发明第四方面实施例提出了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面中任一项所述的方法。
21、为达上述目的,本发明第五方面实施例提出了一种计算机程序产品,该计算机程序被处理器执行时实现第一方面中任一项所述的方法。
22、本发明的实施例提供的技术方案至少带来以下有益效果:
23、对于提升产品的适用性带来很大的好处,对于产品的竞争力得到很大的提升。
24、本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
1.一种分布式存储前端业务动态适配优化方法及系统,其特征在于,包括以下步骤:
2.根据权利要求1所述的方法,其特征在于,所述通过前端埋点采集业务行为数据,所述数据包括业务元数据、性能指标、用户行为特征及存储交互日志,还包括:
3.如权利要求1所述的方法,其特征在于,所述对所述业务行为数据进行预处理,并提取多维度特征,包括时序特征、热度特征、事务特征及业务与存储的关联特征,还包括:
4.如权利要求1所述的方法,其特征在于,所述基于所述多维度特征,利用机器学习算法构建业务负载预测模型和业务-存储适配模型,所述业务负载预测模型用于预测未来业务负载,所述业务-存储适配模型用于生成与业务特征匹配的存储优化策略,还包括:
5.如权利要求1所述的方法,其特征在于,还包括:
6.一种分布式存储前端业务动态适配优化装置,其特征在于,包括:
7.如权利要求6所述的装置,其特征在于,所述数据采集模块还用于:
8.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-6中任一项所述的方法。
10.一种计算机程序产品,其特征在于,包括计算机程序,该计算机程序被处理器执行时实现权利要求1-6中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com