一种实现glusterfs文件系统与对象存储s3数据互访方法与流程

1.本发明涉及对象存储技术领域，尤其涉及一种实现glusterfs文件系统与对象存储s3数据互访方法。


背景技术：

2.gluster是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持大存储容量和满足数千客户端同时访问；
3.glusterfs借助tcp/ip将来自多个服务器的磁盘存储资源聚合到一个全局命名空间中，使用全局统一命名空间来管理数据，对上层用户和应用屏蔽了底层的物理硬件；存储资源可以根据需要在虚拟存储池中进行弹性扩展，比如扩容或收缩；能够对外提供多种访问方式，可以通过nfs，smb，http协议等访问，还可以通过gluster本身提供的客户端访问。
4.由于glusterfs是可横向拓展存储解决方案的核心，它是基于弹性哈希算法和stripe数据分布策略，移除了元数据依赖，优化了数据分布，提高数据访问并行性，能够大幅提高大文件存储的性能；对于小文件，无元数据服务设计解决了元数据的问题，但glusterfs并没有在i/o方面作优化，在存储服务器底层文件系统上仍然是大量小文件，本地文件系统元数据访问是一个瓶颈，数据分布和并行性也无法充分发挥作用。
5.因此，需要一种实现glusterfs文件系统与对象存储s3数据互访方法，用以解决glusterfs文件系统对海量小文件存储效率和访问性能都表现不佳的问题。


技术实现要素：

6.本发明提出的一种实现glusterfs文件系统与对象存储s3数据互访方法，解决了glusterfs文件系统对海量小文件存储效率和访问性能都表现不佳的问题。
7.为了实现上述目的，本发明采用了如下技术方案：一种实现 glusterfs文件系统与对象存储s3数据互访方法，包括以下步骤：
8.s1、部署gluster存储软件，每个gluster存储节点以brick方式挂载；
9.s2、将步骤s1中所有存储节点均通过gluster peer probe server 命令方式组成一个群集；
10.s3、将步骤s2上的gluster节点上创建卷，并指定卷名为 vol-name以及底层数据分布模式replica 2；
11.s4、通过gluster volume star命令的方式开启卷，然后通过 nas挂载方式对外提供存储访问；
12.s5、在glusterfs机头节点上部署monio软件。
13.优选的，所述步骤s1中的gluster存储软件包括多个独立的服务器，每个服务器上的磁盘文件格式化处理。
14.优选的，所述步骤s2中的群集包括多个独立的brick，并将群集挂载至glusterfs机头节点上。
15.优选的，所述步骤s5的monio软件对底层文件系统进行封装处理并实现对外提供对象存储s3接口功能。
16.优选的，所述步骤s5的monio软件启动方式通过导入用户key 以及secret key值，通过
‑‑
address ip:port指定提供minio对象访问接口的ip地址跟端口。
17.与现有技术相比，本发明的有益效果是：
18.1、本发明中用户通过输入用户key以及secret key值，通过
ꢀ‑‑
address ip:port指定提供minio对象访问接口的ip地址跟端口，部署机头节点/glusterfs目录为文件共享总nas目录，从而实现文件系统转s3接口互访，实现gluster存储软件文件同时写入 glusterfs、对象存储，glusterfs文件转入到对象存储、对象存储数据转入文件系统的数据互相访问，不同文件接口系统并存且实现文件互访，从而保障了大数据应用下多种复杂应用场景对于不同存储的需求、以及高带宽、高io、低延时、可拓展目的并存的应用需求，从而扩大大数据应用行业加速大数据的发展。
19.2、本发明在glusterfs进行大量小文件、海量图片写入的时候，客户端则直接将文件写入到对象存储minio存储中，利用对象存储扁平化的基于键值对的存储方式消除了元数据的依赖，并且打通了文件系统与对象存储系统之间的壁垒，既满足大文件高带宽的需求，又实现了海量小文件的高性能传输，达到双赢的效果。
20.3、本发明glusterfs文件系统与对象存储s3数据互访打破这种不同文件系统之间的文件互相读取访问的隔离壁垒，实现gluster文件系统glusterfs与对象存储minio数据互相访问读取并共存，让 glusterfs和对象存储优势互补共同促进大数据的发展，扩大大数据应用领域范围。
附图说明
21.图1为本发明提出的一种实现glusterfs文件系统与对象存储 s3数据互访方法的步骤流程框图；
22.图2为本发明提出的一种实现glusterfs文件系统与对象存储 s3数据互访方法的原理框图。
具体实施方式
23.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
24.参照图1-2，一种实现glusterfs文件系统与对象存储s3数据互访方法，包括以下步骤：
25.s1、部署gluster存储软件，每个gluster存储节点以brick方式挂载；
26.s2、将步骤s1中所有存储节点均通过gluster peer probe server 命令方式组成一个群集；
27.s3、将步骤s2上的gluster节点上创建卷，并指定卷名为 vol-name以及底层数据分布模式replica 2；
28.s4、通过gluster volume star命令的方式开启卷，然后通过 nas挂载方式对外提供存储访问；
29.s5、在glusterfs机头节点上部署monio软件。
30.其中步骤s1中的gluster存储软件包括多个独立的服务器，每个服务器上的磁盘文件格式化处理。
31.其中步骤s2中的群集包括多个独立的brick，并将群集挂载至 glusterfs机头节点上。
32.其中步骤s5的monio软件对底层文件系统进行封装处理并实现对外提供对象存储s3接口功能。
33.其中步骤s5的monio软件启动方式通过导入用户key以及 secret key值，通过
‑‑
address ip:port指定提供minio对象访问接口的ip地址跟端口。
34.工作原理：在对glusterfs文件系统与对象存储s3数据互访处理时，实际部署gluster存储大数据环境一套，以及minio环境并提供s3接口支持对象存储服务，由于minio对象存储不仅提供s3接口也兼容aws，而且支持在兼容posix标准的nas系统下，以网关的方式提供基于底层文件系统的对象存储服务；通过部署glusterfs文件系统存储系统，底层由多个独立的服务器组成，每个服务器上的磁盘格式化成文件系统以brick方式挂载，由多个brick组成一个大的 volume，并挂载到glusterfs机头节点，在glusterfs机头节点上部署monio对象存储软件，启动minio服务提供对象访问接口，用户通过输入用户key以及secret key值，通过
‑‑
address ip:port指定提供minio对象访问接口的ip地址跟端口，部署机头节点/glusterfs 目录为文件共享总nas目录，从而实现文件系统转s3接口互访，实现gluster存储软件文件同时写入glusterfs、对象存储，glusterfs 文件转入到对象存储、对象存储数据转入文件系统的数据互相访问，不同文件接口系统并存且实现文件互访，从而保障了大数据应用下多种复杂应用场景对于不同存储的需求、以及高带宽、高io、低延时、可拓展目的并存的应用需求，从而扩大大数据应用行业加速大数据的发展；在glusterfs进行大量小文件、海量图片写入的时候，客户端则直接将文件写入到对象存储minio存储中，利用对象存储扁平化的基于键值对的存储方式消除了元数据的依赖，并且打通了文件系统与对象存储系统之间的壁垒，既满足大文件高带宽的需求，又实现了海量小文件的高性能传输，达到双赢的效果；glusterfs文件系统与对象存储s3数据互访打破这种不同文件系统之间的文件互相读取访问的隔离壁垒，实现gluster文件系统glusterfs与对象存储minio数据互相访问读取并共存，让glusterfs和对象存储优势互补共同促进大数据的发展，扩大大数据应用领域范围。
35.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。