技术新讯 > 电子通信装置的制造及其应用技术 > 分散集群的聚合访问方法、装置、设备、存储介质及产品与流程  >  正文

分散集群的聚合访问方法、装置、设备、存储介质及产品与流程

  • 国知局
  • 2025-01-17 13:12:51

本技术涉及数据访问,尤其涉及分散集群的聚合访问方法、装置、设备、存储介质及产品。

背景技术:

1、目前,对于hdfs(hadoop distributed file system,hadoop分布式文件系统)集群的访问,通常是采用hdfs联邦机制结合viewfs(view file system,视图文件系统)机制,能够显著增加单个hdfs集群的可扩展性和容错性,并为hdfs客户端提供简单的统一访问视图。但由于viewfs机制需要在所有客户端进行配置,管理起来比较复杂,不同的客户端需要不同的配置,新增客户端或者新增用户目录,都需要全量变更客户端的配置,增加了配置管理的管理负担和后期运维的复杂性,并且依旧聚焦在单个hdfs集群,并不能实现对广域分散的多个hdfs集群进行统一访问管理。

2、上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。

技术实现思路

1、本技术的主要目的在于提供一种分散集群的聚合访问方法、装置、设备、存储介质及产品,旨在解决现有技术中传统方式难以实现对广域分散的多个hdfs集群进行统一访问管理的技术问题。

2、为实现上述目的,本技术提供了一种分散集群的聚合访问方法,所述方法包括:

3、基于统一名字空间,对分散的多个hdfs集群进行聚合,得到聚合集群;

4、获取hdfs客户端对所述聚合集群的聚合访问请求,对所述聚合访问请求进行解析,确定所述聚合访问请求的目标数据、目标节点以及请求类型;

5、基于所述聚合访问请求的目标数据、目标节点以及请求类型,将所述聚合访问请求路由至所述聚合集群中对应的目标hdfs集群,对所述目标hdfs集群中的数据块进行访问。

6、在一实施例中,所述基于所述聚合访问请求的目标数据、目标节点以及请求类型,将所述聚合访问请求路由至所述聚合集群中对应的目标hdfs集群,对所述目标hdfs集群中的数据块进行访问的步骤包括:

7、在所述聚合访问请求的目标节点为元数据管理节点时,基于所述聚合访问请求的目标数据的逻辑地址,确定所述目标数据对应目标hdfs集群的物理地址,并对所述聚合访问请求进行调整;

8、基于所述目标hdfs集群的物理地址,将调整后的聚合访问请求路由至对应目标hdfs集群的元数据管理节点,对所述目标hdfs集群的元数据管理节点中的数据块进行访问。

9、在一实施例中,所述基于所述目标数据的逻辑地址,确定所述目标数据对应目标hdfs集群的物理地址的步骤包括:

10、获取所述聚合集群的地址映射表,所述地址映射表存储所述hdfs集群的物理地址以及所述hdfs集群的物理地址映射后的逻辑地址;

11、基于所述目标数据的逻辑地址,在所述地址映射表中确定所述目标数据的逻辑地址匹配的物理地址;

12、将所述匹配的物理地址对应的hdfs集群作为所述目标数据对应的目标hdfs集群,并获取所述目标hdfs集群的物理地址。

13、在一实施例中,所述基于所述聚合访问请求的目标数据、目标节点以及请求类型,将所述聚合访问请求路由至所述聚合集群中对应的目标hdfs集群,对所述目标hdfs集群中的数据块进行访问的步骤包括:

14、在所述聚合访问请求的目标节点为数据存储节点时,获取所述聚合集群中元数据管理节点的请求返回信息;

15、基于所述请求返回信息,确定所述聚合访问请求的目标数据在所述目标节点中的目标数据块以及所述目标数据块对应的目标节点的物理地址;

16、在所述聚合访问请求的请求类型为写请求时,基于所述目标节点的物理地址,确定所述聚合访问请求的目标hdfs集群,并将所述聚合访问请求路由至目标hdfs集群中对应的数据存储节点,对所述目标数据块进行访问。

17、在一实施例中,所述基于所述请求返回信息,确定所述聚合访问请求的目标数据在所述目标节点中的目标数据块以及所述目标数据块对应的目标节点的物理地址的步骤之后还包括:

18、在所述聚合访问请求的请求类型为读请求时,获取所述聚合集群的缓存数据块;

19、在所述聚合访问请求对应的目标数据块符合所述缓存数据块时,确定所述聚合访问请求为缓存命中读请求,基于所述缓存数据块的缓存地址,将所述缓存命中读请求路由至对应的缓存数据块,对所述缓存数据块进行访问;

20、在所述聚合访问请求对应的目标数据块不符合所述缓存数据块时,确定所述聚合访问请求为非缓存命中读请求,基于所述目标节点的物理地址,确定所述缓存命中读请求的目标hdfs集群,将所述非缓存命中读请求路由至目标hdfs集群中对应的数据存储节点,对所述目标数据块进行访问。

21、在一实施例中,所述的方法还包括:

22、获取所述聚合集群中数据存储节点的数据块的状态;

23、将状态为完全写入状态的数据块作为候选数据块;

24、基于所述候选数据块的数据热度,确定所述聚合集群的缓存数据块。

25、此外,为实现上述目的,本技术还提出一种分散集群的聚合访问装置,所述分散集群的聚合访问装置包括:

26、聚合模块,用于基于统一名字空间,对分散的多个hdfs集群进行聚合,得到聚合集群;

27、访问模块,用于获取hdfs客户端对所述聚合集群的聚合访问请求,对所述聚合访问请求进行解析,确定所述聚合访问请求的目标数据、目标节点以及请求类型;

28、所述访问模块,还用于基于所述聚合访问请求的目标数据、目标节点以及请求类型,将所述聚合访问请求路由至所述聚合集群中对应的目标hdfs集群,对所述目标hdfs集群中的数据块进行访问。

29、此外,为实现上述目的,本技术还提出一种分散集群的聚合访问设备,所述分散集群的聚合访问设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上文所述的分散集群的聚合访问方法的步骤。

30、此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上文所述的分散集群的聚合访问方法的步骤。

31、此外,为实现上述目的,本技术还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如上文所述的分散集群的聚合访问方法的步骤。

32、本技术提供了一种分散集群的聚合访问方法,基于统一名字空间,对分散的多个hdfs集群进行聚合,得到聚合集群;获取hdfs客户端对聚合集群的聚合访问请求,对聚合访问请求进行解析,确定聚合访问请求的目标数据、目标节点以及请求类型;基于聚合访问请求的目标数据、目标节点以及请求类型,将聚合访问请求路由至聚合集群中对应的目标hdfs集群,对目标hdfs集群中的数据块进行访问。本技术利用统一名字空间对广域分散的hdfs集群进行聚合,形成简洁、统一的数据访问视图,使hdfs客户端能够简单统一地访问各集群中的数据,通过智能请求分析和路由机制,实时地解析聚合请求的内容,并根据数据实际物理位置和hdfs客户端的需求,将请求路由到合适的hdfs集群,保证数据访问无缝透明,实现数据交互,解决了传统方式难以实现对广域分散的多个hdfs集群进行统一访问管理的技术问题。

本文地址:https://www.jishuxx.com/zhuanli/20250117/356437.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。