一种通过ranger实现大数据资源隔离的系统及方法
技术领域：
：1.本发明涉及大数据存储
技术领域：
：，具体提供一种通过ranger实现大数据资源隔离的系统及方法。
背景技术：
：：2.多租户是指一个建立在共同底层资源上的环境被多个租户共同使用。如多租户共享大楼基础设施电梯等。通过共享硬件或软件来实现云的规模性成本和安全性，利用多租户技术在多个租户和应用直接安全性地共享it资源是在安全和成本之间的一种妥协；底层资源共享程度越高，运行成本越低、资源利用率越高；多租户是同一个应用上不同用户隔离，典型的saas模型。隔离级别越低会带来更高的高安全风险。3.云平台提供多租户隔离，需企业研究应用系统特征，包括应用系统的功能和重要程度、安全性要求等。数据安全方面，某些类型租户(如银行、政府单位等)对数据安全非常关注，这类用户会选择搭建私有云环境。对于一般用户，选择共享程度高云环境，会带来更好经济性,如公有云。技术实现要素：4.本发明的技术任务是针对上述存在的问题，提供一种能够有效降低基础设施成本，实现租户资源隔离程度高，提高业务和客户数据安全性、且支持kerberos集成和多租户规模横向扩展的通过ranger实现大数据资源隔离的系统。5.本发明进一步的技术任务是提供一种通过ranger实现大数据资源隔离的方法。6.为实现上述目的，本发明提供了如下技术方案：7.一种通过ranger实现大数据资源隔离的系统，包括rangeradmin组件、rangerusersync组件和serviceplugin组件；rangeradmin组件对大数据服务策略提供增、删、改、查操作；rangerusersync组件定期从ldap、linux中加载用户，并同步给rangeradmin组件；serviceplugin组件以插件形式集成到rangeradmin组件和rangerusersync组件中，定期从rangeradmin组件拉取策略，根据用户访问执行策略定期将审计日志存储到solr中。8.作为优选，所述rangeradmin组件提供webui界面和rest接口。9.一种通过ranger实现大数据资源隔离的方法，通过本发明所述通过ranger实现大数据资源隔离的系统来实现，包括以下步骤：10.s1、权限实现：大数据组件开启ranger插件，实现用户/用户组、资源、权限和策略的管理；11.s2、hdfs组件资源隔离实现：hdfs-site.xml设置扩展接口；12.s3、hbase组件资源隔离实现：hbase-site.xml设置扩展接口；13.s4、多租户资源隔离。14.作为优选，权限实现过程中，ranger定义了用户-资源-权限间的关系，ranger基于策略抽象三者间的关系，生成权限模型。15.其中用户:由user或group表达，user代表访问资源的用户，group代表用户所属的用户组，本发明中用户组表示租户空间概念，用户可以加入某一个租户空间下，该租户空间拥有资源，用户都可访问。资源:不同的组件对应的业务资源是不一样的，例如:hdfs的filepath、hbase的table、hive的database、yarn的queue；租户空间下可以包含多个大数据组件资源。权限:由(allowacl,denyacl)表达，同白名单和黑名单机制，allowacl用来描述允许访问的情况，denyacl用来描述拒绝访问的情况，不同组件对应的权限不一样。16.作为优选，hdfs组件资源隔离实现，启动hdfs，由类加载器加载插件代码，同时启动策略获取线程policyrefresher从ranger-admin拉取策略，并在文件和内存各一份，用户访问，hdfsplugin插件记录审计日志audit，存储到solr。17.作为优选，用户访问时，hadoopfs-puttest.txt/file，hdfsplugin插件对用户访问请求鉴权，请求处理到达namenode的checkpermission方法进行权限验证。18.作为优选，hbase组件资源隔离实现启动hmaster和regionserver,由类加载ranger权限实现类，启动拉取策略线程policyrefresher从rangeradmin拉取策略，存在文件和内容各一份，用户发出create或admin请求，hbaseplugin插件对用户访问请求鉴权，具体由hmaster或hregionserver进行权限验证，hbaseplugin插件记录审计日志audit，存储到solr。19.作为优选，多租户资源隔离用户同步到ranger、ldap、kerberos、linux大数据平台用户体系中，缓存用户kerberos票据即可使用hdfsshell、hbaseshell、hivejdbc获取用户有权限的资源数据。20.与现有技术相比，本发明的通过ranger实现大数据资源隔离的方法具有以下突出的有益效果：所述通过ranger实现大数据资源隔离的方法基于ranger提供细粒度级别的权限控制且提供rest接口供二次开发,对接hdfs、hbase、hive等多个大数据组件的serviceplugin，实现租户空间下资源逻辑隔离及权限认证集成机制，通过封装rangerrest接口并提供可视化webui界面，实现多租户共享大数据集群资源隔离。有效降低基础设施成本，实现了租户资源隔离程度高，提高业务和客户数据安全性、且支持kerberos集成和多租户规模横向扩展，具有良好的推广应用价值。附图说明21.图1是本发明所述通过ranger实现大数据资源隔离的方法的流程图。具体实施方式22.下面将结合附图和实施例，对本发明的通过ranger实现大数据资源隔离的系统及方法作进一步详细说明。23.实施例24.本发明的通过ranger实现大数据资源隔离的系统，包括rangeradmin组件、rangerusersync组件和serviceplugin组件；rangeradmin组件对大数据服务策略提供增、删、改、查操作；rangerusersync组件定期从ldap、linux中加载用户，并同步给rangeradmin组件；serviceplugin组件以插件形式集成到rangeradmin组件和rangerusersync组件中，定期从rangeradmin组件拉取策略，根据用户访问执行策略定期将审计日志存储到solr中。25.其中rangeradmin组件提供webui界面和rest接口。26.如图1所示，本发明的通过ranger实现大数据资源隔离的方法，通过所述通过ranger实现大数据资源隔离的系统来实现，包括以下步骤：27.s1、权限实现：大数据组件开启ranger插件，实现用户/用户组、资源、权限和策略的管理。28.权限实现过程中，ranger定义了用户-资源-权限间的关系，ranger基于策略抽象三者间的关系，生成权限模型。29.其中用户:由user或group表达，user代表访问资源的用户，group代表用户所属的用户组，本发明中用户组表示租户空间概念，用户可以加入某一个租户空间下，该租户空间拥有资源，用户都可访问。资源:不同的组件对应的业务资源是不一样的，例如:hdfs的filepath、hbase的table、hive的database、yarn的queue；租户空间下可以包含多个大数据组件资源。权限:由(allowacl,denyacl)表达，同白名单和黑名单机制，allowacl用来描述允许访问的情况，denyacl用来描述拒绝访问的情况，不同组件对应的权限不一样。30.s2、hdfs组件资源隔离实现：hdfs-site.xml设置扩展接口。31.1、启动hdfs、由类加载器加载插件代码rangerhdfsauthorizer；32.2、同时会启动策略获取线程policyrefresher从ranger-admin拉取策略,并在文件和内存各一份；33.3、用户访问例如：hadoopfs–puttest.txt/file,hdfsplugin插件对用户访问请求鉴权，请求处理到达namenode的checkpermission方法进行权限验证；34.4、hdfsplugin插件记录审计日志audit,存储到solr。35.s3、hbase组件资源隔离实现：hbase-site.xml设置扩展接口。36.1、启动hmaster和regionserver，由类加载ranger权限实现类；37.2、启动拉取策略线程policyrefresher从rangeradmin拉取策略，存在文件和内容各一份；38.3、用户发出create或admin请求，hbaseplugin插件对用户访问请求鉴权，具体由hmaster或hregionserver进行权限验证；39.4、hbaseplugin插件记录审计日志audit,存储到solr。40.s4、多租户资源隔离。41.租户同步到ranger、ldap、kerberos、linux大数据平台用户体系中，缓存用户kerberos票据即可使用hdfsshell、hbaseshell、hivejdbc获取用户有权限的资源数据；组策略匹配不成功，认为没有权限，本发明方案将用户加入ranger、ldap等组件的用户组中，在客户端serviceplugin获取策略时，将组权限赋予用户，实现了用户组策略功能。42.通过大数据平台提供统一的身份认证快速集成功能。大数据集群购买成功后，用户会同步到ldap、kerberos、ranger、linux等用户体系中。基于大数据平台将用户加入用户组即租户空间下实现租户级别的资源隔离。通过ranger集成user、group概念，与大数据平台用户体系中ldap、kerberos等组件实现无缝对接。rangerusersync组件是用户信息同步接口，可将unix或ldap或activedirectory中拉取用户和用户组中信息同步存储在ranger中。通过ranger集成hadoop大数据集群组件插件；plugin插件是嵌入每个集群组件进程的轻量级java程序，hadoop大数据集群组件plugin线程每隔一段时间向rangeradmin发送一次消息，同步一次policy信息。当用户请求通过组件时，这些插件拦截请求并根据安全策略进行评估。插件还可从用户请求中收集数据，按照单独的线程将此数据发送回审计服务器。通过加入指定租户空间即大数据用户体系的ranger、ldap、kerberos、linux组中，通过rangerplugin中集成hadoop组件，将大数据资源分配给指定ranger组即租户空间，用户加入指定租户空间后，用户可以访问租户空间下的大数据资源。实现不同租户空间下大数据资源隔离，也可通过配置策略来控制用户访问大数据资源,实现资源访问权限与hadoop无缝对接。43.以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。当前第1页12当前第1页12
技术领域：
：1.本发明涉及大数据存储
技术领域：
：，具体提供一种通过ranger实现大数据资源隔离的系统及方法。
背景技术：
：：2.多租户是指一个建立在共同底层资源上的环境被多个租户共同使用。如多租户共享大楼基础设施电梯等。通过共享硬件或软件来实现云的规模性成本和安全性，利用多租户技术在多个租户和应用直接安全性地共享it资源是在安全和成本之间的一种妥协；底层资源共享程度越高，运行成本越低、资源利用率越高；多租户是同一个应用上不同用户隔离，典型的saas模型。隔离级别越低会带来更高的高安全风险。3.云平台提供多租户隔离，需企业研究应用系统特征，包括应用系统的功能和重要程度、安全性要求等。数据安全方面，某些类型租户(如银行、政府单位等)对数据安全非常关注，这类用户会选择搭建私有云环境。对于一般用户，选择共享程度高云环境，会带来更好经济性,如公有云。技术实现要素：4.本发明的技术任务是针对上述存在的问题，提供一种能够有效降低基础设施成本，实现租户资源隔离程度高，提高业务和客户数据安全性、且支持kerberos集成和多租户规模横向扩展的通过ranger实现大数据资源隔离的系统。5.本发明进一步的技术任务是提供一种通过ranger实现大数据资源隔离的方法。6.为实现上述目的，本发明提供了如下技术方案：7.一种通过ranger实现大数据资源隔离的系统，包括rangeradmin组件、rangerusersync组件和serviceplugin组件；rangeradmin组件对大数据服务策略提供增、删、改、查操作；rangerusersync组件定期从ldap、linux中加载用户，并同步给rangeradmin组件；serviceplugin组件以插件形式集成到rangeradmin组件和rangerusersync组件中，定期从rangeradmin组件拉取策略，根据用户访问执行策略定期将审计日志存储到solr中。8.作为优选，所述rangeradmin组件提供webui界面和rest接口。9.一种通过ranger实现大数据资源隔离的方法，通过本发明所述通过ranger实现大数据资源隔离的系统来实现，包括以下步骤：10.s1、权限实现：大数据组件开启ranger插件，实现用户/用户组、资源、权限和策略的管理；11.s2、hdfs组件资源隔离实现：hdfs-site.xml设置扩展接口；12.s3、hbase组件资源隔离实现：hbase-site.xml设置扩展接口；13.s4、多租户资源隔离。14.作为优选，权限实现过程中，ranger定义了用户-资源-权限间的关系，ranger基于策略抽象三者间的关系，生成权限模型。15.其中用户:由user或group表达，user代表访问资源的用户，group代表用户所属的用户组，本发明中用户组表示租户空间概念，用户可以加入某一个租户空间下，该租户空间拥有资源，用户都可访问。资源:不同的组件对应的业务资源是不一样的，例如:hdfs的filepath、hbase的table、hive的database、yarn的queue；租户空间下可以包含多个大数据组件资源。权限:由(allowacl,denyacl)表达，同白名单和黑名单机制，allowacl用来描述允许访问的情况，denyacl用来描述拒绝访问的情况，不同组件对应的权限不一样。16.作为优选，hdfs组件资源隔离实现，启动hdfs，由类加载器加载插件代码，同时启动策略获取线程policyrefresher从ranger-admin拉取策略，并在文件和内存各一份，用户访问，hdfsplugin插件记录审计日志audit，存储到solr。17.作为优选，用户访问时，hadoopfs-puttest.txt/file，hdfsplugin插件对用户访问请求鉴权，请求处理到达namenode的checkpermission方法进行权限验证。18.作为优选，hbase组件资源隔离实现启动hmaster和regionserver,由类加载ranger权限实现类，启动拉取策略线程policyrefresher从rangeradmin拉取策略，存在文件和内容各一份，用户发出create或admin请求，hbaseplugin插件对用户访问请求鉴权，具体由hmaster或hregionserver进行权限验证，hbaseplugin插件记录审计日志audit，存储到solr。19.作为优选，多租户资源隔离用户同步到ranger、ldap、kerberos、linux大数据平台用户体系中，缓存用户kerberos票据即可使用hdfsshell、hbaseshell、hivejdbc获取用户有权限的资源数据。20.与现有技术相比，本发明的通过ranger实现大数据资源隔离的方法具有以下突出的有益效果：所述通过ranger实现大数据资源隔离的方法基于ranger提供细粒度级别的权限控制且提供rest接口供二次开发,对接hdfs、hbase、hive等多个大数据组件的serviceplugin，实现租户空间下资源逻辑隔离及权限认证集成机制，通过封装rangerrest接口并提供可视化webui界面，实现多租户共享大数据集群资源隔离。有效降低基础设施成本，实现了租户资源隔离程度高，提高业务和客户数据安全性、且支持kerberos集成和多租户规模横向扩展，具有良好的推广应用价值。附图说明21.图1是本发明所述通过ranger实现大数据资源隔离的方法的流程图。具体实施方式22.下面将结合附图和实施例，对本发明的通过ranger实现大数据资源隔离的系统及方法作进一步详细说明。23.实施例24.本发明的通过ranger实现大数据资源隔离的系统，包括rangeradmin组件、rangerusersync组件和serviceplugin组件；rangeradmin组件对大数据服务策略提供增、删、改、查操作；rangerusersync组件定期从ldap、linux中加载用户，并同步给rangeradmin组件；serviceplugin组件以插件形式集成到rangeradmin组件和rangerusersync组件中，定期从rangeradmin组件拉取策略，根据用户访问执行策略定期将审计日志存储到solr中。25.其中rangeradmin组件提供webui界面和rest接口。26.如图1所示，本发明的通过ranger实现大数据资源隔离的方法，通过所述通过ranger实现大数据资源隔离的系统来实现，包括以下步骤：27.s1、权限实现：大数据组件开启ranger插件，实现用户/用户组、资源、权限和策略的管理。28.权限实现过程中，ranger定义了用户-资源-权限间的关系，ranger基于策略抽象三者间的关系，生成权限模型。29.其中用户:由user或group表达，user代表访问资源的用户，group代表用户所属的用户组，本发明中用户组表示租户空间概念，用户可以加入某一个租户空间下，该租户空间拥有资源，用户都可访问。资源:不同的组件对应的业务资源是不一样的，例如:hdfs的filepath、hbase的table、hive的database、yarn的queue；租户空间下可以包含多个大数据组件资源。权限:由(allowacl,denyacl)表达，同白名单和黑名单机制，allowacl用来描述允许访问的情况，denyacl用来描述拒绝访问的情况，不同组件对应的权限不一样。30.s2、hdfs组件资源隔离实现：hdfs-site.xml设置扩展接口。31.1、启动hdfs、由类加载器加载插件代码rangerhdfsauthorizer；32.2、同时会启动策略获取线程policyrefresher从ranger-admin拉取策略,并在文件和内存各一份；33.3、用户访问例如：hadoopfs–puttest.txt/file,hdfsplugin插件对用户访问请求鉴权，请求处理到达namenode的checkpermission方法进行权限验证；34.4、hdfsplugin插件记录审计日志audit,存储到solr。35.s3、hbase组件资源隔离实现：hbase-site.xml设置扩展接口。36.1、启动hmaster和regionserver，由类加载ranger权限实现类；37.2、启动拉取策略线程policyrefresher从rangeradmin拉取策略，存在文件和内容各一份；38.3、用户发出create或admin请求，hbaseplugin插件对用户访问请求鉴权，具体由hmaster或hregionserver进行权限验证；39.4、hbaseplugin插件记录审计日志audit,存储到solr。40.s4、多租户资源隔离。41.租户同步到ranger、ldap、kerberos、linux大数据平台用户体系中，缓存用户kerberos票据即可使用hdfsshell、hbaseshell、hivejdbc获取用户有权限的资源数据；组策略匹配不成功，认为没有权限，本发明方案将用户加入ranger、ldap等组件的用户组中，在客户端serviceplugin获取策略时，将组权限赋予用户，实现了用户组策略功能。42.通过大数据平台提供统一的身份认证快速集成功能。大数据集群购买成功后，用户会同步到ldap、kerberos、ranger、linux等用户体系中。基于大数据平台将用户加入用户组即租户空间下实现租户级别的资源隔离。通过ranger集成user、group概念，与大数据平台用户体系中ldap、kerberos等组件实现无缝对接。rangerusersync组件是用户信息同步接口，可将unix或ldap或activedirectory中拉取用户和用户组中信息同步存储在ranger中。通过ranger集成hadoop大数据集群组件插件；plugin插件是嵌入每个集群组件进程的轻量级java程序，hadoop大数据集群组件plugin线程每隔一段时间向rangeradmin发送一次消息，同步一次policy信息。当用户请求通过组件时，这些插件拦截请求并根据安全策略进行评估。插件还可从用户请求中收集数据，按照单独的线程将此数据发送回审计服务器。通过加入指定租户空间即大数据用户体系的ranger、ldap、kerberos、linux组中，通过rangerplugin中集成hadoop组件，将大数据资源分配给指定ranger组即租户空间，用户加入指定租户空间后，用户可以访问租户空间下的大数据资源。实现不同租户空间下大数据资源隔离，也可通过配置策略来控制用户访问大数据资源,实现资源访问权限与hadoop无缝对接。43.以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
