基于大数据挖掘的分布式数据处理系统的制作方法

摘要: 本发明涉及分布式计算与大数据挖掘,具体为基于大数据挖掘的分布式数据处理系统。背景技术:1、现代分布式数据处理平台广泛采用存算分离架构,用于支撑海量数据的高并发挖...
基于大数据挖掘的分布式数据处理系统的制作方法

本发明涉及分布式计算与大数据挖掘,具体为基于大数据挖掘的分布式数据处理系统。

背景技术:

1、现代分布式数据处理平台广泛采用存算分离架构,用于支撑海量数据的高并发挖掘与分析任务,存储层负责数据持久化与索引维护,计算层负责挖掘算法执行,在分布式索引方面,主流方案基于日志结构合并树变体索引或倒排索引,其索引权重通常依据建立索引时的数据分布静态确定,此外,随着数据流特征分布随时间发生变化,现有系统缺乏将上层挖掘结果反馈至底层索引结构的闭环机制,与本发明最接近的现有技术采用离线周期性全量重建索引结合计算侧集中过滤的技术路线:系统按固定周期对目标存储节点加锁并重新扫描全量历史数据以生成新索引,完成后替换旧索引恢复读写,查询执行时存储节点仅执行分区裁剪,裁剪后数据整体经网络传输至计算节点集中完成过滤与挖掘运算,该方案存在如下缺陷:索引重建对存储节点加锁,高频写入场景下易引发读写锁冲突并导致服务中断,且固定周期难以适应数据分布动态变化,导致检索准确率下降,同时查询优化器缺乏对网络带宽、异构硬件算力与能耗代价的综合考量,长尾查询产生的大量数据搬移易使网络带宽被迅速占用,形成分布式输入输出瓶颈,制约系统整体吞吐能力,同时,存储侧具备可编程能力的硬件加速单元未被查询优化器有效利用,造成网络资源与计算资源的浪费,为此,我们提出基于大数据挖掘的分布式数据处理系统。

技术实现思路

1、本发明的目的在于提供基于大数据挖掘的分布式数据处理系统。

2、本发明要解决的技术问题是:现有分布式数据处理系统在数据流特征分布发生漂移时,缺乏将挖掘算法层的漂移感知结果反馈至底层索引结构的闭环机制,只能依靠离线周期性全量重建索引的方式进行更新,该方式在高并发实时写入场景下易引发读写锁冲突并导致服务中断,且固定周期难以适应数据分布的动态变化,同时,现有系统在处理长尾查询时,查询优化器缺乏对网络带宽、异构硬件算力与能耗代价的综合考量,导致大量原始数据被搬移至计算节点集中处理,产生网络输入输出瓶颈,且未能有效利用存储侧具备可编程能力的硬件加速单元执行数据源头过滤,造成网络资源与计算资源的浪费;

3、为解决上述技术问题,本发明提供基于大数据挖掘的分布式数据处理系统,该系统包括控制节点、计算节点集群、存储节点集群以及部署于存储节点集群的硬件加速单元,存储节点集群中每个存储节点部署有增量数据统计探针、索引结构以及多版本并发控制模块,增量数据统计探针按照预设时间窗口周期性采集该存储节点所管理数据分片的特征分布,控制节点包括漂移评估模块与多维代价优化器:漂移评估模块依据采集到的特征分布与历史基准分布计算漂移度,并将漂移度与依据历史统计信息动态调整得到的判定阈值进行比较,在漂移度大于该判定阈值时生成索引重构元数据计划并下发至对应的目标存储节点,目标存储节点接收该计划后,基于多版本并发控制模块为当前索引结构创建虚拟快照,在虚拟快照上执行后台异步索引重建,重建完成后通过原子指针切换操作将读请求路由指针由指向原索引结构切换为指向新构建的索引结构,从而实现无锁平滑替换,多维代价优化器依据网络传输代价、计算代价与能耗代价构建全局代价模型,分别计算查询执行路径中高代价算子在上拉至计算节点集中处理路径下的总代价与在下推至存储节点本地处理路径下的总代价,并以两者差值作为下推收益,当下推收益大于零时,控制节点将该高代价算子编译为能够在硬件加速单元上执行的指令并下发至目标存储节点的硬件加速单元,硬件加速单元对本地数据执行过滤、正则匹配或特征抽取等运算后,仅将处理得到的有效特征结果通过网络回传至发起请求的计算节点。

4、采用上述技术方案,与现有技术相比,本发明的有益效果在于:

5、1.本发明通过在挖掘计算引擎层与底层索引结构之间建立基于漂移度量化与动态阈值判定的双向闭环反馈通道,并结合虚拟快照隔离重建与原子指针切换机制,使索引结构能够在不中断在线读写服务、不产生读写锁冲突的前提下实现分层异步热更新,避免了传统离线全量重建带来的服务中断问题,同时提升了挖掘查询的检索准确率;

6、2.本发明通过构建融合网络传输代价、计算代价与能耗代价的全局代价模型,并结合实时遥测数据自适应判断算子下推收益,使系统能够将高代价算子精准下推至存储侧硬件加速单元就地执行,减少无效数据的网络传输量,缓解长尾查询引发的网络输入输出瓶颈问题,提升系统整体吞吐能力与资源利用效率。

1.基于大数据挖掘的分布式数据处理系统,其特征在于,包括控制节点、计算节点集群、存储节点集群以及部署于所述存储节点集群的硬件加速单元;

2.根据权利要求1所述的基于大数据挖掘的分布式数据处理系统,其特征在于,所述特征值离散化分箱的总数依据数据分片的历史统计特性预先设定,所述灵敏度系数由系统管理员依据业务容忍度预先设定并可动态调整。

3.根据权利要求1所述的基于大数据挖掘的分布式数据处理系统,其特征在于,所述虚拟快照与所述原索引结构在存储层面相互隔离,所述后台异步索引重建过程不占用面向在线读写请求的锁资源,所述原子指针切换操作为单次不可分割的原子操作,切换前后到达的读请求均能够获得一致的服务。

4.根据权利要求1所述的基于大数据挖掘的分布式数据处理系统,其特征在于,所述索引结构为日志结构合并树变体索引与倒排索引两种类型中的,当所述索引结构为日志结构合并树变体索引时,所述后台异步索引重建按照新的合并策略对分层数据块进行重新排序与合并,当所述索引结构为倒排索引时,所述后台异步索引重建依据当前特征分布重新计算词项权重并增量更新倒排列表。

5.根据权利要求1所述的基于大数据挖掘的分布式数据处理系统,其特征在于,所述控制节点还包括实时遥测模块,所述实时遥测模块部署于所述存储节点集群与网络链路,用于采集网络带宽占用率、处理器利用率和硬件加速单元利用率,所述全局代价模型中网络传输代价对应的权重系数、计算代价对应的权重系数和能耗代价对应的权重系数之和等于1,且所述多维代价优化器依据所述实时遥测模块采集的数据动态调整三个权重系数的取值。

6.根据权利要求1所述的基于大数据挖掘的分布式数据处理系统,其特征在于,所述多维代价优化器采用混合整数线性规划的方式,在给定资源约束条件下求解查询执行路径中各算子的执行路径组合,得到所述高代价算子在上拉至计算节点集中处理路径下的总代价与在下推至存储节点本地处理路径下的总代价。

7.根据权利要求1所述的基于大数据挖掘的分布式数据处理系统,其特征在于,所述控制节点将所述高代价算子编译为字节码指令与现场可编程门阵列指令两种类型中的,并下发至目标存储节点的硬件加速单元执行,所述硬件加速单元在数据由存储介质读出并经过网络接口传输之前,对本地数据完成运算。

8.根据权利要求1所述的基于大数据挖掘的分布式数据处理系统,其特征在于,所述存储节点集群中的存储节点还部署有轻量级计算库,在所述硬件加速单元不具备可编程能力时,所述控制节点调用所述目标存储节点已部署的所述轻量级计算库执行下推计算,以实现所述高代价算子的本地处理。

9.漂移感知的分布式索引动态重构方法,应用于包括控制节点和存储节点集群的分布式数据处理系统,其特征在于,包括:

10.多维感知的长尾查询自适应下推调度方法,应用于包括控制节点、计算节点集群和存储节点集群的分布式数据处理系统,其特征在于,包括: