基于分布存储的智能决策平台数据存储方法与流程
本发明涉及分布存储,具体涉及基于分布存储的智能决策平台数据存储方法。
背景技术:
1、分布式存储系统是智能决策平台的基础数据支撑设施,承担海量业务数据和决策数据的持久化存储与读取任务。智能决策平台执行决策任务时,需要按照业务逻辑确定的顺序连续读取多个数据块。现有架构通常通过哈希分配、轮询分配等方式将数据块分散存储于多个节点,并通过位置映射确定数据块所在节点。随着数据规模和节点数量增加,同一决策任务所需数据块分布于不同节点的情况逐渐增多。
2、现有数据放置方法主要关注节点间的存储容量均衡,通常未考虑历史决策任务中数据块的共同访问关系。关联数据块分散于不同节点时,决策任务需要分别向多个节点发起读取请求,增加跨节点传输和数据等待时间。此外,节点负载升高触发数据迁移时,现有方法多以单个数据块为迁移单位,容易打散原有的邻近存储关系,使后续任务仍需执行多次跨节点读取。
技术实现思路
1、本发明的目的在于提供基于分布存储的智能决策平台数据存储方法,解决上述技术问题。
2、本发明的目的可以通过以下技术方案实现:
3、基于分布存储的智能决策平台数据存储方法,s1、获取历史决策任务记录,每条记录包含一个按访问先后顺序排列的数据块地址列表;
4、s2、从历史决策任务记录中提取在多个决策任务中共同出现的数据块集合,将数据块集合作为关联数据块组;
5、s3、为关联数据块组分配组标识,将组标识写入对应数据块的元数据,并将同一关联数据块组内的数据块共置于同一分布存储节点,同步更新被迁移数据块的位置映射;
6、s4、获取分布存储节点存储资源使用率,当超过预设阈值时,提取该节点上数据块元数据中的组标识;
7、s5、将组标识不为默认组标识且相同的数据块迁移至存储资源使用率最低的另一分布存储节点,同步更新被迁移数据块的位置映射;
8、s6、接收数据读取请求,查询位置映射获取数据块所在分布存储节点标识,从分布存储节点标识对应的分布存储节点返回数据内容。
9、作为本发明进一步的方案:提取数据块集合的具体过程为:
10、遍历所有历史决策任务记录,将每条记录中的数据块地址列表按相邻访问顺序拆分为数据块地址对,统计每个数据块地址对在不同历史决策任务记录中出现的次数;
11、引入时间衰减处理,根据每条历史决策任务记录的时间戳与当前时间的时间间隔计算衰减权重,衰减权重与时间间隔成反比关系,将数据块地址对的出现次数与衰减权重相乘后累加得到加权出现次数;
12、加权出现次数大于预设次数阈值时,将数据块地址对中的两个数据块地址归入同一数据块集合;
13、对包含相同数据块地址的多个数据块集合进行合并,形成彼此独立的数据块集合。
14、作为本发明进一步的方案:合并的具体过程为:
15、构建数据块地址的连通关系图,每个数据块地址对在连通关系图中建立一条边,采用并查集方式将存在连通路径的数据块地址聚合至同一连通分量,每个连通分量中的所有数据块地址构成一个数据块集合;
16、将不同连通分量分别对应的数据块集合作为相互独立的数据块集合,使同一数据块地址仅归入一个数据块集合。
17、作为本发明进一步的方案:s3的具体过程为:
18、为每个关联数据块组分配唯一组标识,建立倒排映射表,倒排映射表的键为数据块地址,倒排映射表的值为数据块地址唯一所属关联数据块组的组标识;
19、同一数据块地址仅对应一个关联数据块组,未归入任一关联数据块组的数据块地址对应默认组标识,默认组标识为不同于所有关联数据块组组标识的预留标识值;
20、根据倒排映射表查询每个数据块地址对应的组标识,将组标识写入对应数据块元数据中的共置标记字段;
21、查询位置映射表,获取同一关联数据块组内各数据块所在的分布存储节点,选取存储资源使用率最低的分布存储节点作为共置节点,将关联数据块组内未存储于共置节点的数据块迁移至共置节点,并同步更新被迁移数据块的位置映射。
22、作为本发明进一步的方案:数据块的迁移过程为:
23、将存储资源使用率超过预设阈值的分布存储节点作为目标节点;
24、读取当前目标节点上所有数据块元数据中的组标识,过滤组标识为默认组标识的数据块,将剩余数据块按组标识分组,同一组标识的数据块列表作为一个迁移单元;
25、查询分布存储节点集群中除当前目标节点外每个分布存储节点的存储资源使用率,选定存储资源使用率最低的分布存储节点作为迁移目标节点;
26、将迁移单元中的数据块逐一复制至迁移目标节点,复制完成后删除当前目标节点上的迁移单元数据。
27、作为本发明进一步的方案:更新位置映射的过程为:
28、获取迁移单元中每个数据块的数据块地址,查询位置映射表,位置映射表以数据块地址为键、以分布存储节点标识为值;
29、将位置映射表中每个数据块地址对应的值从当前分布存储节点标识修改为迁移目标节点标识。
30、作为本发明进一步的方案:新数据块的写入及关联关系更新过程为:
31、获取每个分布存储节点的存储资源使用率,选取存储资源使用率最低的分布存储节点,将新数据块存入该分布存储节点;
32、在新数据块的元数据中增设共置标记字段,将默认组标识写入共置标记字段,并在倒排映射表中建立新数据块地址与默认组标识之间的映射关系;
33、周期性获取新增的历史决策任务记录,将新增的历史决策任务记录加入已有历史决策任务记录,重新提取在多个决策任务中共同出现的数据块集合,将重新提取的数据块集合作为关联数据块组;
34、当新数据块地址出现在新增的历史决策任务记录中,且新数据块被归入关联数据块组时,更新新数据块地址对应的组标识以及新数据块元数据中的共置标记字段,并将新数据块与其所属关联数据块组内的数据块迁移至同一分布存储节点,同步更新被迁移数据块的位置映射。
35、本发明的有益效果:相较于现有技术:
36、本发明通过获取历史决策任务中的数据块访问顺序,统计相邻数据块地址在不同任务中的共同出现情况,并结合时间衰减权重形成能够反映近期访问特征的关联数据块组,使数据块的物理放置不再仅由节点存储资源使用率决定,而是进一步体现决策任务中的实际访问关联。通过为各关联数据块组分配组标识,将组标识写入对应数据块元数据,并依据位置映射将同组数据块共置于同一分布存储节点,可以减少单个决策任务连续读取关联数据块时涉及的存储节点数量,降低跨节点请求及网络往返造成的数据就绪等待。节点存储资源使用率超过阈值时,再以相同非默认组标识的数据块作为迁移单元整体转移,能够在数据重分布过程中保持已经形成的关联数据块共置关系,避免以单个数据块迁移导致关联关系被打散。同时,新数据块先采用默认组标识完成存储,并在积累实际访问记录后重新确定关联关系,使新增数据能够随历史访问特征变化逐步纳入对应关联数据块组,从而兼顾存储资源均衡与智能决策任务的数据读取效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com