1.本发明属于安全引擎
技术领域：
：，尤其涉及一种数据仓库函数安全引擎实现的方法。
背景技术：
：：2.随着信息化系统的普及以及大数据技术的发展，数据量呈现几何式的增长，因此保证数据的安全就成了重中之重，信息安全不再局限于系统本身的安全，而是更多的是数据安全。3.数据安全是数据中台首先要解决的问题，数据安全需要从数据加密开始，通常指对称式和非对称式的加密。指的是加密和解密是使用同一个密钥，也是使用同一个算法进行的加密的密钥；对于非对称式的加密，指的是加密和解密所使用的密钥是不一样的，是不对称的，一个是私钥，一个是公钥，它们是配对使用的，要不然是不能打开加密文件的。4.数据加密对于数据安全来说重要程度不言而喻，但是加密/解密函数不能保证函数本身不泄露，且多租户管理授权难度较大，同时不能很好的保证性能支持pb级别的数据，授权给用户的账号秘钥无法做到定期热加载更新，在数据处理过程中，如何解决函数授权的账号秘钥如与计算大数据引擎：hive、spark、impala等打通的大数据领域技术难题。技术实现要素：5.本发明的目的在于：为了解决数据加密对于数据安全来说重要程度不言而喻，但是加密/解密函数不能保证函数本身不泄露，且多租户管理授权难度较大，同时不能很好的保证性能支持pb级别的数据，授权给用户的账号秘钥无法做到定期热加载更新，在数据处理过程中，如何解决函数授权的账号秘钥如与计算大数据引擎：hive、spark、impala等打通的大数据领域技术难题的问题，而提出的一种数据仓库函数安全引擎实现的方法。6.为了实现上述目的，本发明采用了如下技术方案：7.一种数据仓库函数安全引擎实现的方法，具体包括以下步骤：8.s101、搭建数据角色管理平台，定义"用户－资源－权限"的关系；9.s102、搭建分布式配置管理系统对账号密码提供服务；10.s103、搭建函数权限管理平台以及鉴权微服务；11.s104、udf函数开发，获得管理权限。12.作为上述技术方案的进一步描述：13.所述搭建数据角色管理平台具体包括对用户、数据角色和权限三者的管理处理。14.作为上述技术方案的进一步描述：15.所述分布式配置管理系统包括为udf模块提供账号密码服务，数据角色管理平台定义用户、资源和权限信息后，初始化了该数据角色对应的密码信息，将数据角色、密码信息同步到分布式配置管理系统。16.作为上述技术方案的进一步描述：17.所述分布式配置管理系统中本地客户端会缓存上次的配置信息，可以支持高并发的请求。18.作为上述技术方案的进一步描述：19.所述分布式配置管理系统中账号密码的修改也会及时同步到客户端，保证数据及时更新，并且可以防止单点故障。20.作为上述技术方案的进一步描述：21.所述udf函数开发方法包括：22.s201、在udf函数初始化阶段，实现用户获取模块，该模块采用插件化机制，默认获取linux本地用户即数据角色；23.s202、在udf函数初始化阶段，扫描该代码包函数名称，获取本次调用的函数名；24.s203、通过配置中心地址获取数据角色的密码信息；25.s204、在udf函数计算引擎调用阶段，通过“数据角色/密码”和“udf函数”向鉴权服务发起申请。26.作为上述技术方案的进一步描述：27.所述函数权限管理平台包括以下服务模块：udf函数注册模块包括函数名称、类型、调用语法和返回类型的信息，udf函数审计模块：包括访问记录、申请记录和访问频次的信息。28.作为上述技术方案的进一步描述：29.所述鉴权微服务需要传入udf执行的用户即linux本地用户后者数据角色、密码信息和函数信息，返回是否有权限。30.作为上述技术方案的进一步描述：31.所述鉴权微服务通过采用微服务架构体系部署多个服务节点，将地址信息发布到服务注册中心，客户端模块调取之前先从服务注册中心获取服务地址，然后发起调用。32.综上所述，由于采用了上述技术方案，本发明的有益效果是：33.本发明中，通过对udf函数的二次封装，利用微服务和分布式配置系统相结合的方式扩展了函数鉴权模块，使得支持在海量数据计算场景下具备高吞吐高并发高可用能力，udf函数扩展了计算前数据角色获取以及和函数权限鉴权模块，使得计算和鉴权合二为一，同时通过将udf函数的数据角色模块基于分布式配置中心实现，其本地缓存服务可支持大规模数据计算下的高吞吐量，udf函数鉴权模块采用微服务架构，其配置中心、注册中心保证了服务的高可用和数据吞吐量，从而能够有效提高对数据仓库函数的安全调用处理。附图说明34.图1为本发明提出的一种数据仓库函数安全引擎实现的方法的结构示意图。具体实施方式35.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。36.请参阅1，本发明提供一种技术方案：一种数据仓库函数安全引擎实现的方法，具体包括以下步骤：37.s101、搭建数据角色管理平台，定义"用户－资源－权限"的关系，所述搭建数据角色管理平台具体包括对用户、数据角色和权限三者的管理处理；38.其中，用户：由user或group来表达，user代表访问资源的用户，group代表用户所属的用户组。39.资源：不同的组件对应的业务资源是不一样的，比如：hdfs的filepath、hbase的table，column-family，column、hive的database、table、column；yarn的对应的是queue，在本方案中“资源”为udf运行的linux本地用户，并不是真实的数据工作人员。40.权限：由(allowacl,denyacl)来表达，类似白名单和黑名单机制，allowacl用来描述允许访问的情况，denyacl用来描述拒绝访问的情况，不同的组件对应的权限也是不一样的。在本方案中权限为用户有服务器linux本地用户的使用权限。例如：数据工作者用户“张三”，有服务器linux的“work”数据角色的使用权限，该数据角色管理平台主要实现用户、数据角色(linux本地用户)、权限三者的管理；41.其中，udf使用的场景一般是大规模数据的计算，所以需要保证鉴权模块的高可用以及高吞吐能力，整个系统采用微服务提供函数鉴权服务，采用分布式配置系统提供账号密码服务，udf运行的机器默认采用linux本地用户认证，simple模式下，客户端身份由主机的操作系统确定，比如在类unix系统中，用户名为命令whoami的输出，与文件系统默认简单授权模式一致。42.s102、搭建分布式配置管理系统对账号密码提供服务，所述分布式配置管理系统包括为udf模块提供账号密码服务，数据角色管理平台定义用户、资源和权限信息后，初始化了该数据角色对应的密码信息，将数据角色、密码信息同步到分布式配置管理系统，所述分布式配置管理系统中本地客户端会缓存上次的配置信息，可以支持高并发的请求，所述分布式配置管理系统中账号密码的修改也会及时同步到客户端，保证数据及时更新，并且可以防止单点故障；43.s103、搭建函数权限管理平台以及鉴权微服务，所述函数权限管理平台包括以下服务模块：udf函数注册模块包括函数名称、类型、调用语法和返回类型的信息，udf函数审计模块：包括访问记录、申请记录和访问频次的信息，所述鉴权微服务需要传入udf执行的用户即linux本地用户后者数据角色、密码信息和函数信息，返回是否有权限，所述鉴权微服务通过采用微服务架构体系部署多个服务节点，将地址信息发布到服务注册中心，客户端模块调取之前先从服务注册中心获取服务地址，然后发起调用；44.s104、udf函数开发，获得管理权限，所述udf函数开发方法包括：45.在udf函数初始化阶段，实现用户获取模块，该模块采用插件化机制，默认获取linux本地用户即数据角色；46.在udf函数初始化阶段，扫描该代码包函数名称，获取本次调用的函数名；47.通过配置中心地址获取数据角色的密码信息；48.在udf函数计算引擎调用阶段，通过“数据角色/密码”和“udf函数”向鉴权服务发起申请，本发明通过解决在数据加工处理使用函数的场景，存在一些敏感的函数，例如：处理个人隐私数据等，需要进行统一的权限管理，并且不影响函数使用的性能。49.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本
技术领域：
：的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。当前第1页12当前第1页12
技术领域：
：，尤其涉及一种数据仓库函数安全引擎实现的方法。
背景技术：
：：2.随着信息化系统的普及以及大数据技术的发展，数据量呈现几何式的增长，因此保证数据的安全就成了重中之重，信息安全不再局限于系统本身的安全，而是更多的是数据安全。3.数据安全是数据中台首先要解决的问题，数据安全需要从数据加密开始，通常指对称式和非对称式的加密。指的是加密和解密是使用同一个密钥，也是使用同一个算法进行的加密的密钥；对于非对称式的加密，指的是加密和解密所使用的密钥是不一样的，是不对称的，一个是私钥，一个是公钥，它们是配对使用的，要不然是不能打开加密文件的。4.数据加密对于数据安全来说重要程度不言而喻，但是加密/解密函数不能保证函数本身不泄露，且多租户管理授权难度较大，同时不能很好的保证性能支持pb级别的数据，授权给用户的账号秘钥无法做到定期热加载更新，在数据处理过程中，如何解决函数授权的账号秘钥如与计算大数据引擎：hive、spark、impala等打通的大数据领域技术难题。技术实现要素：5.本发明的目的在于：为了解决数据加密对于数据安全来说重要程度不言而喻，但是加密/解密函数不能保证函数本身不泄露，且多租户管理授权难度较大，同时不能很好的保证性能支持pb级别的数据，授权给用户的账号秘钥无法做到定期热加载更新，在数据处理过程中，如何解决函数授权的账号秘钥如与计算大数据引擎：hive、spark、impala等打通的大数据领域技术难题的问题，而提出的一种数据仓库函数安全引擎实现的方法。6.为了实现上述目的，本发明采用了如下技术方案：7.一种数据仓库函数安全引擎实现的方法，具体包括以下步骤：8.s101、搭建数据角色管理平台，定义"用户－资源－权限"的关系；9.s102、搭建分布式配置管理系统对账号密码提供服务；10.s103、搭建函数权限管理平台以及鉴权微服务；11.s104、udf函数开发，获得管理权限。12.作为上述技术方案的进一步描述：13.所述搭建数据角色管理平台具体包括对用户、数据角色和权限三者的管理处理。14.作为上述技术方案的进一步描述：15.所述分布式配置管理系统包括为udf模块提供账号密码服务，数据角色管理平台定义用户、资源和权限信息后，初始化了该数据角色对应的密码信息，将数据角色、密码信息同步到分布式配置管理系统。16.作为上述技术方案的进一步描述：17.所述分布式配置管理系统中本地客户端会缓存上次的配置信息，可以支持高并发的请求。18.作为上述技术方案的进一步描述：19.所述分布式配置管理系统中账号密码的修改也会及时同步到客户端，保证数据及时更新，并且可以防止单点故障。20.作为上述技术方案的进一步描述：21.所述udf函数开发方法包括：22.s201、在udf函数初始化阶段，实现用户获取模块，该模块采用插件化机制，默认获取linux本地用户即数据角色；23.s202、在udf函数初始化阶段，扫描该代码包函数名称，获取本次调用的函数名；24.s203、通过配置中心地址获取数据角色的密码信息；25.s204、在udf函数计算引擎调用阶段，通过“数据角色/密码”和“udf函数”向鉴权服务发起申请。26.作为上述技术方案的进一步描述：27.所述函数权限管理平台包括以下服务模块：udf函数注册模块包括函数名称、类型、调用语法和返回类型的信息，udf函数审计模块：包括访问记录、申请记录和访问频次的信息。28.作为上述技术方案的进一步描述：29.所述鉴权微服务需要传入udf执行的用户即linux本地用户后者数据角色、密码信息和函数信息，返回是否有权限。30.作为上述技术方案的进一步描述：31.所述鉴权微服务通过采用微服务架构体系部署多个服务节点，将地址信息发布到服务注册中心，客户端模块调取之前先从服务注册中心获取服务地址，然后发起调用。32.综上所述，由于采用了上述技术方案，本发明的有益效果是：33.本发明中，通过对udf函数的二次封装，利用微服务和分布式配置系统相结合的方式扩展了函数鉴权模块，使得支持在海量数据计算场景下具备高吞吐高并发高可用能力，udf函数扩展了计算前数据角色获取以及和函数权限鉴权模块，使得计算和鉴权合二为一，同时通过将udf函数的数据角色模块基于分布式配置中心实现，其本地缓存服务可支持大规模数据计算下的高吞吐量，udf函数鉴权模块采用微服务架构，其配置中心、注册中心保证了服务的高可用和数据吞吐量，从而能够有效提高对数据仓库函数的安全调用处理。附图说明34.图1为本发明提出的一种数据仓库函数安全引擎实现的方法的结构示意图。具体实施方式35.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。36.请参阅1，本发明提供一种技术方案：一种数据仓库函数安全引擎实现的方法，具体包括以下步骤：37.s101、搭建数据角色管理平台，定义"用户－资源－权限"的关系，所述搭建数据角色管理平台具体包括对用户、数据角色和权限三者的管理处理；38.其中，用户：由user或group来表达，user代表访问资源的用户，group代表用户所属的用户组。39.资源：不同的组件对应的业务资源是不一样的，比如：hdfs的filepath、hbase的table，column-family，column、hive的database、table、column；yarn的对应的是queue，在本方案中“资源”为udf运行的linux本地用户，并不是真实的数据工作人员。40.权限：由(allowacl,denyacl)来表达，类似白名单和黑名单机制，allowacl用来描述允许访问的情况，denyacl用来描述拒绝访问的情况，不同的组件对应的权限也是不一样的。在本方案中权限为用户有服务器linux本地用户的使用权限。例如：数据工作者用户“张三”，有服务器linux的“work”数据角色的使用权限，该数据角色管理平台主要实现用户、数据角色(linux本地用户)、权限三者的管理；41.其中，udf使用的场景一般是大规模数据的计算，所以需要保证鉴权模块的高可用以及高吞吐能力，整个系统采用微服务提供函数鉴权服务，采用分布式配置系统提供账号密码服务，udf运行的机器默认采用linux本地用户认证，simple模式下，客户端身份由主机的操作系统确定，比如在类unix系统中，用户名为命令whoami的输出，与文件系统默认简单授权模式一致。42.s102、搭建分布式配置管理系统对账号密码提供服务，所述分布式配置管理系统包括为udf模块提供账号密码服务，数据角色管理平台定义用户、资源和权限信息后，初始化了该数据角色对应的密码信息，将数据角色、密码信息同步到分布式配置管理系统，所述分布式配置管理系统中本地客户端会缓存上次的配置信息，可以支持高并发的请求，所述分布式配置管理系统中账号密码的修改也会及时同步到客户端，保证数据及时更新，并且可以防止单点故障；43.s103、搭建函数权限管理平台以及鉴权微服务，所述函数权限管理平台包括以下服务模块：udf函数注册模块包括函数名称、类型、调用语法和返回类型的信息，udf函数审计模块：包括访问记录、申请记录和访问频次的信息，所述鉴权微服务需要传入udf执行的用户即linux本地用户后者数据角色、密码信息和函数信息，返回是否有权限，所述鉴权微服务通过采用微服务架构体系部署多个服务节点，将地址信息发布到服务注册中心，客户端模块调取之前先从服务注册中心获取服务地址，然后发起调用；44.s104、udf函数开发，获得管理权限，所述udf函数开发方法包括：45.在udf函数初始化阶段，实现用户获取模块，该模块采用插件化机制，默认获取linux本地用户即数据角色；46.在udf函数初始化阶段，扫描该代码包函数名称，获取本次调用的函数名；47.通过配置中心地址获取数据角色的密码信息；48.在udf函数计算引擎调用阶段，通过“数据角色/密码”和“udf函数”向鉴权服务发起申请，本发明通过解决在数据加工处理使用函数的场景，存在一些敏感的函数，例如：处理个人隐私数据等，需要进行统一的权限管理，并且不影响函数使用的性能。49.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本
技术领域：
：的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
