一种基于大数据分析的数据处理与存储系统的制作方法

摘要: 本发明涉及大数据分析与挖掘,具体为一种基于大数据分析的数据处理与存储系统。背景技术:1、大数据分析与挖掘技术已广泛应用于金融风控、电商用户行为分析等场景,数据中...
一种基于大数据分析的数据处理与存储系统的制作方法

本发明涉及大数据分析与挖掘,具体为一种基于大数据分析的数据处理与存储系统。

背景技术:

1、大数据分析与挖掘技术已广泛应用于金融风控、电商用户行为分析等场景,数据中心积累了大量历史数据,主流分布式存储系统普遍采用存算分离的分层存储架构,将高频访问数据存放于内存与nvme ssd等热温层,将低频访问的历史冷数据以行存格式存放于对象存储等冷层,计算引擎对冷数据进行大数据挖掘运算时,需先由存储系统将对应数据从冷层拉取至计算侧,再进行解析与格式转换,与本发明最接近的现有技术为基于历史访问频率的被动式缓存调度方案,其借助lru、lfu等淘汰与预取算法,在计算节点发出数据读取请求且发生缓存未命中后,才从对象存储冷层逐块拉取数据,并在计算节点本地完成行存格式向列存格式的转换,该现有技术方案不解析挖掘脚本的语义意图,缓存唤醒机制属于被动响应式,导致大数据挖掘任务响应延迟较高,计算集群长时间处于等待状态,格式转换工作集中在计算节点侧完成,占用计算资源并加剧存储与计算集群间的网络带宽拥堵,此外,缓存淘汰策略不理解具体挖掘任务的数据需求边界,容易造成热温存储层空间被无效占用,大数据存储与管理效率低下。

技术实现思路

1、本发明要解决的技术问题是:在存算分离的大数据分析与挖掘系统中,现有分层存储架构对历史冷数据的缓存唤醒机制属于被动响应式,不理解挖掘脚本的真实业务意图,导致数据挖掘任务在发生缓存未命中时才逐块拉取冷数据,造成任务响应延迟高、计算集群长时间空等,同时,现有架构中冷数据以行存格式存储,而挖掘算子普遍依赖列存格式,格式转换工作被迫在计算节点侧完成,占用大量计算资源并加剧网络带宽拥堵,此外,现有缓存淘汰策略不理解具体挖掘任务的数据需求边界,容易导致缓存唤醒的数据块与后续实际访问不匹配,造成存储资源利用效率低下。

2、为解决上述技术问题,本发明提供一种基于大数据分析的数据处理与存储系统,包括计算集群与分层存储介质,所述分层存储介质包括内存热层、nvme ssd温层与对象存储冷层,所述系统还包括:

3、意图感知网关,连接于所述计算集群与所述对象存储冷层之间,用于对所述计算集群提交的挖掘脚本经解析生成的抽象语法树进行节点遍历,提取包括目标数据源标识、时间范围过滤条件、字段投影列表与聚合函数类型的语义特征并形成特征向量,将所述特征向量输入意图预测模型,得到本次挖掘任务对应的冷数据边界、预测的数据访问模式与综合预测置信度,在所述综合预测置信度达到预设阈值的情形下,生成预测性唤醒任务,在所述计算集群向存储侧发起数据读取请求之前,将所述冷数据边界对应的冷数据分片从所述对象存储冷层预取至存储网关缓冲区;

4、流式格式重构引擎,连接于所述意图感知网关与所述分层存储介质之间,用于在预取至所述存储网关缓冲区的冷数据分片流向所述nvme ssd温层与所述内存热层的传输过程中,依据所述意图感知网关提取的字段投影列表,对所述冷数据分片进行逐记录解析以识别各字段的边界位置,提取所述字段投影列表指定的字段值并依据过滤条件剔除不满足所述过滤条件的记录,将提取后的各字段值按列聚合形成列向量缓冲区,并对所述列向量缓冲区进行压缩编码,得到列存数据块;

5、多级存储路由调度器,连接于所述流式格式重构引擎与所述分层存储介质之间,用于根据所述列存数据块被后续挖掘任务重复访问的预测概率、所述列存数据块的大小、目标计算节点当前的负载率以及当前可用网络带宽相对于总带宽的比例,计算得到所述列存数据块的驻留价值评分,依据所述驻留价值评分与预设分级阈值的比较结果,将所述列存数据块驻留至所述内存热层与所述nvme ssd温层中的一级,并建立生命周期计时器,在对应挖掘任务结束或超过预设周期未被访问时执行重新评分与降级释放。

6、采用上述技术方案,与现有技术相比,本发明的有益效果在于:

7、其一,通过对挖掘脚本抽象语法树的语义解析与意图预测,在计算集群真正发起数据读取请求之前提前完成冷数据的预测性唤醒,消除计算集群因等待数据解冻而产生的闲置等待时间,降低大数据挖掘任务的响应延迟;

8、其二,通过在存储层内存传输链路中嵌入流式格式重构引擎,实现边传输边重构的行存转列存动态处理,卸载计算节点的格式转换负担,并通过字段裁剪与谓词下推减少无效字段的网络传输量,缓解存储与计算集群间的网络带宽拥堵;

9、其三,通过结合数据热度、计算节点负载与网络带宽状态的多级存储路由调度机制及配套的数据预热生命周期闭环管理,避免无效缓存长期占用存储空间,提升大数据存储与管理的资源利用效率。

1.一种基于大数据分析的数据处理与存储系统,包括计算集群与分层存储介质,所述分层存储介质包括内存热层、nvme ssd温层与对象存储冷层,其特征在于,还包括:

2.根据权利要求1所述的一种基于大数据分析的数据处理与存储系统,其特征在于,所述意图感知网关中的意图预测模型包括规则匹配子模型与轻量级序列模型,所述综合预测置信度由所述规则匹配子模型基于历史查询模板匹配输出的置信度得分与所述轻量级序列模型基于特征序列输出的置信度得分加权融合得到,在所述综合预测置信度未达到所述预设阈值的情形下,所述意图感知网关不生成所述预测性唤醒任务,仅在所述计算集群实际发起数据读取请求时按需拉取对应的冷数据分片,并将所述特征向量与实际访问结果记录至历史访问日志,用于对所述意图预测模型进行增量更新。

3.根据权利要求1所述的一种基于大数据分析的数据处理与存储系统,其特征在于,所述流式格式重构引擎还用于将所述列存数据块以零拷贝内存映射方式写入所述多级存储路由调度器指定的驻留层缓冲区,所述压缩编码包括字典编码与rle编码。

4.根据权利要求1所述的一种基于大数据分析的数据处理与存储系统,其特征在于,所述多级存储路由调度器还用于周期性采集所述目标计算节点的中央处理器负载与内存负载状态以及存储集群与计算集群之间的网络带宽利用率状态,作为计算所述驻留价值评分的输入数据。

5.根据权利要求1所述的一种基于大数据分析的数据处理与存储系统,其特征在于,所述驻留价值评分与预设分级阈值的比较结果包括:所述驻留价值评分达到热层阈值时,将所述列存数据块驻留至所述内存热层,所述驻留价值评分小于所述热层阈值且达到温层阈值时,将所述列存数据块驻留至所述nvme ssd温层,所述驻留价值评分小于所述温层阈值时,维持所述列存数据块处于所述对象存储冷层。

6.根据权利要求1所述的一种基于大数据分析的数据处理与存储系统,其特征在于,所述多级存储路由调度器还用于将对应挖掘任务的实际访问统计结果反馈更新至所述列存数据块的历史热度评分,所述历史热度评分作为后续挖掘任务计算所述预测概率的输入数据。

7.一种基于大数据分析的数据处理方法,应用于包括计算集群与分层存储介质的系统,所述分层存储介质包括内存热层、nvme ssd温层与对象存储冷层,其特征在于,包括:

8.根据权利要求7所述的一种基于大数据分析的数据处理方法,其特征在于,所述意图预测模型包括规则匹配子模型与轻量级序列模型,所述综合预测置信度由所述规则匹配子模型基于历史查询模板匹配输出的置信度得分与所述轻量级序列模型基于特征序列输出的置信度得分加权融合得到。

9.根据权利要求7所述的一种基于大数据分析的数据处理方法,其特征在于,所述压缩编码包括字典编码与rle编码,得到的所述列存数据块以零拷贝内存映射方式写入指定的驻留层缓冲区。