用于PAAS平台的路由服务发现装置及方法与流程

用于paas平台的路由服务发现装置及方法
技术领域
1.本发明涉及大数据技术领域，尤其涉及一种用于paas平台的路由服务发现装置及方法。


背景技术：

2.大数据组件的系统架构基本以主从(master
‑
slave)架构为主，如hdfs、kafka、elasticsearch、druid等主流基础组件。均通过主节点服务处理用户端元数据请求，同时与集群本身内部节点进行通讯交互，处理从节点的汇报请求，负责元数据的存储和管理，平台规模受限于master节点的物理资源。用户端的rpc请求压力会集中在唯一的active主节点上，影响用户的读写请求和后端服务的水平扩展能力。


技术实现要素：

3.本发明的目的在于提供一种用于paas平台的路由服务发现装置及方法，能够降低单一集群主节点的性能压力，提升了集群的水平扩展能力。
4.为了实现上述目的，本发明的第一方面提供一种用于paas平台的路由服务发现装置，包括用户端、路由发现服务层和paas平台，用户端通过路由发现服务层提供的路由发现服务与paas平台访问连接；
5.路由发现服务层接收并解析用户端发送的数据请求获取数据路径，并基于所述数据路径从对应的目标paas平台获取目标数据，将所述目标数据反馈至对应的用户端。
6.优选地，所述路由发现服务层包括至少一个路由节点，所述路由节点中包括服务端和客户端；
7.所述服务端用于提供对数据请求解析处理的主服务；
8.所述客户端用于转发数据请求至目标paas平台获取目标数据。
9.较佳地，所述路由发现服务层中还包括状态存储器和定时检测器：
10.所述状态存储器用于通过各路由节点接收存储并定时更新各paas平台主节点的状态信息；
11.所述定时检测器用于通过各路由节点检查各paas平台的存活状态，并判定各paas平台服务是否可用。
12.进一步地，服务端提供的数据请求处理的主服务包括：
13.解析数据请求的数据路径，基于数据路径匹配从多个paas平台中匹配出目标paas平台；
14.服务端从所述状态存储器中的缓存查找目标paas平台主节点的状态信息，以及从定时检测器中的缓存查找目标paas平台服务的可用信息；
15.当目标paas平台的主节点状态信息正常且目标paas平台服务可用时，由服务端将数据请求发送至目标paas平台的主节点，并由目标paas平台主节点基于数据路径从子节点中获取相应的目标数据通过服务端反馈至对应的用户端。
16.优选地，所述路由发现服务层中还包括用于提供授权管理服务和鉴权管理服务的安全管理模块；
17.所述授权管理服务用于增减修改用户端与paas平台的访问权限策略，并将增减修改后的访问权限策略数据保存于数据库中；
18.所述鉴权管理服务是指在接收到用户端发送的数据请求时，基于当前数据请求的内容、以及用户端信息和目标paas平台信息，从数据库中检索发出当前数据请求的用户端的是否有权限访问目标paas平台。
19.较佳地，还包括：
20.利用路由节点将属于同一目标paas平台的数据请求分发至不同的rpc队列并发转发至目标paas平台进行处理。
21.较佳地，还包括：
22.针对任一rpc队列通过参数配置进行限流操作。
23.与现有技术相比，本发明提供的用于paas平台的路由服务发现方法具有以下有益效果：
24.本发明提供的用于paas平台的路由服务发现装置，所采用的系统架构包括用户端、路由发现服务层和底层paas平台三个部分，多个用户端分别通过路由发现服务层与多个paas平台联网，当任一用户端需要向目标paas平台请求目标数据时，首先通过用户端向路由发现服务层发送数据请求，并由路由发现服务层解析数据请求中的数据路径，以寻找目标数据所在的paas平台，最终由路由发现服务层基于数据路径从对应的目标paas平台获取目标数据，并将目标数据原路反馈至对应的用户端。
25.可见，本发明通过路由发现服务层实现全局统一路由转发的功能，通过联邦制提升后台服务的水平扩展能力，能够降低单一集群主节点的性能压力，提升了集群的水平扩展能力。
26.本发明的第二方面提供一种用于paas平台的路由服务发现方法，应用于上述技术方案所述的用于paas平台的路由服务发现装置中，所述装置包括：
27.通过路由发现服务层接收用户端发送的数据请求，解析所述数据请求获取数据路径；
28.路由发现服务层接收用户端发送的数据请求，解析所述数据请求获取数据路径。
29.优选地，所述路由发现服务层包括至少一个路由节点、状态存储器和定时检测器，所述路由节点中包括服务端、客户端；
30.所述服务端用于提供对数据请求解析处理的主服务；
31.所述客户端用于转发数据请求至目标paas平台获取目标数据；
32.所述状态存储器用于通过各路由节点接收存储并定时更新各paas平台主节点的状态信息；
33.所述定时检测器用于通过各路由节点检查各paas平台的存活状态，并判定各paas平台服务是否可用。
34.与现有技术相比，本发明提供的用于paas平台的路由服务发现方法的有益效果与上述技术方案提供的用于paas平台的路由服务发现装置的有益效果相同，在此不做赘述。
35.本发明的第三方面提供一种计算机可读存储介质，计算机可读存储介质上存储有
计算机程序，计算机程序被处理器运行时执行上述用于paas平台的路由服务发现方法的步骤。
36.与现有技术相比，本发明提供的计算机可读存储介质的有益效果与上述技术方案提供的用于paas平台的路由服务发现方法的有益效果相同，在此不做赘述。
附图说明
37.此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
38.图1为本发明实施例中用于paas平台的路由服务发现方法的流程示意图；
39.图2为本发明实施例中用于paas平台的路由服务发现装置运行时所采用的系统架构图；
40.图3为本发明实施例中状态存储器更新各paas平台主节点状态信息的交互示意图；
41.图4为本发明实施例中通过安全管理模块实现授权管理和鉴权管理的逻辑示意图；
42.图5为本发明实施例中用于paas平台的路由服务发现方法实施流程一种示例图。
具体实施方式
43.为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。
44.实施例一
45.请参阅图1和图2，本实施例提供一种用于paas平台的路由服务发现方法，包括用户端、路由发现服务层和paas平台，用户端通过路由发现服务层提供的路由发现服务与paas平台访问连接；路由发现服务层接收并解析用户端发送的数据请求获取数据路径，并基于所述数据路径从对应的目标paas平台获取目标数据，将所述目标数据反馈至对应的用户端。
46.本实施例提供的用于paas平台的路由服务发现装置，所采用的系统架构包括用户端、路由发现服务层和底层paas平台三个部分，多个用户端分别通过路由发现服务层与多个paas平台联网，当任一用户端需要向目标paas平台请求目标数据时，首先通过用户端向路由发现服务层发送数据请求，并由路由发现服务层解析数据请求中的数据路径，以寻找目标数据所在的paas平台，最终由路由发现服务层基于数据路径从对应的目标paas平台获取目标数据，并将目标数据原路反馈至对应的用户端。
47.可见，本实施例通过路由发现服务层实现全局统一视图和路由转发的功能，通过联邦制提升后台服务的水平扩展能力，能够降低单一集群主节点的性能压力，提升了集群的水平扩展能力。
48.上述实施例中，路由发现服务层包括至少一个路由节点，路由节点中包括服务端
和客户端；服务端用于提供对数据请求解析处理的主服务；客户端用于转发数据请求至目标paas平台获取目标数据。
49.如图2所述，具体实施时，用户端包括用户端1、用户端2至用户端n，路由发现服务层(router)中包括了多个路由节点，分别为路由节点1、路由节点2至路由节点n，且每个路由节点中均包括服务端和客户端，多个paas平台组成分布式集群(cluster)，包括paas平台1、paas平台2至paas平台n，且每个paas平台均包括多个主节点(master)以及多个从节点(slave)。其中，服务端又包括重量级服务端和轻量级服务端，客户端又包括胖客户端和廋客户端，轻量级服务端用于处理元数据，重量级服务端用于处理真实用户数据，廋客户端用于返回给用户端目标数据的地址信息，使得用户端根据地址信息再去目标paas平台请求相应的真实用户数据，胖客户端则用于直接返回给用户端真实用户数据。可见，通过重量级服务端和轻量级服务端、以及胖客户端和廋客户端的区别设置，能够根据数据请求对应的数据量大小调用适配的服务端或客户端做针对性的处理，进而在保证数据处理效率的同时尽量节省系统资源。
50.可以理解的是，router的作用主要是转发用户端的数据请求(rpc读写请求)至目标paas平台的主节点，并返回响应目标数据给用户端；cluster为底层paas平台对应的分布式集群；master为底层paas平台对应的分布式集群的主节点，负责处理客户端rpc读写请求、管理元数据、处理数据节点的汇报请求等；slave为底层paas平台对应的分布式集群的从节点(数据节点)，专用于存储海量数据，是与用户端进行数据交互的节点。
51.上述实施例中，路由发现服务层中还包括状态存储器和定时检测器：状态存储器用于通过各路由节点接收存储并定时更新各paas平台主节点的状态信息；定时检测器用于通过各路由节点检查各paas平台的存活状态，并判定各paas平台服务是否可用。
52.请参阅图3，具体实施时，paas平台的服务发现主要依靠路由发现服务层中的状态存储器和定时检测器来实现，状态存储器分别与各路由节点连接，各路由节点又分别与各paas平台的主节点连接。状态存储器的作用是存储并定时更新各paas平台主节点状态信息；定时检测器的作用是检查所有paas平台存活状态，判定paas平台服务是否可用。在目标paas平台的主节点状态信息正常且目标paas平台服务可用时，由服务端将数据请求发送至目标paas平台的主节点，并由目标paas平台主节点基于数据路径从子节点中获取相应的目标数据通过服务端反馈至对应的用户端。
53.可以理解的是，服务端提供的数据请求处理的主服务包括：解析数据请求的数据路径，基于数据路径匹配从多个paas平台中匹配出目标paas平台；服务端从状态存储器中的缓存查找目标paas平台主节点的状态信息，以及从定时检测器中的缓存查找目标paas平台服务的可用信息；当目标paas平台的主节点状态信息正常且目标paas平台服务可用时，由服务端将数据请求发送至目标paas平台的主节点，并由目标paas平台主节点基于数据路径从子节点中获取相应的目标数据通过服务端反馈至对应的用户端。
54.上述实施例中，路由发现服务层中还包括用于提供授权管理服务和鉴权管理服务的安全管理模块；授权管理服务用于增减修改用户端与paas平台的访问权限策略，并将修改后的访问权限策略数据保存于数据库中；鉴权管理服务是指在接收到用户端发送的数据请求时，基于当前数据请求的内容以及用户端信息和目标paas平台信息，从数据库中检索发出当前数据请求的用户端的是否有权限访问目标paas平台。具体实施时，鉴权管理服务
可通过组件权限管理插件来实现。
55.请参阅图4，具体实施时，授权管理服务通过组件权限管理插件对paas平台用户授权，如组件1权限管理插件、组件2权限管理插件、组件3权限管理插件、组件4权限管理插件以restful形式提供权限策略的增删改查接口，内置一个web管理页面授权操作更加直观简便。实时获取权限是指定期从安全管理模块拉取权限信息，用户端访问paas平台时根据这些权限信息进行鉴权，并记录入审计日志。同步用户是指定期从外部加载用户，上报给安全管理模块。
56.举例来说，不同的组件权限管理插件对应有不同的权限策略，假如用户端1访问paas平台的访问权限对应在组件1权限管理插件中，权限内容为用户端1仅能访问paas平台1和paas平台2，发出的数据请求的访问权限对应在组件2权限管理插件中，权限内容为数据请求仅能访问paas平台1，那么通过组件1权限管理插件和组件2权限管理插件即可获得用户端1发出数据请求的权限策略。
57.上述实施例中还包括：利用路由节点将属于同一目标paas平台的数据请求分发至不同的rpc队列并发转发至目标paas平台进行处理。并且可以针对任一rpc队列通过参数配置进行限流操作。
58.具体实施时，基于用户端和paas平台的qos(用户请求流量)请求隔离，实现限流的作用。来自不同paas平台用户端的数据请求分发到不同的rpc队列，达到请求不同paas平台时互不影响的效果。然后可针对每一个rpc队列，实现可配置的限流。
59.在具体实施的过程中，路由服务发现层中的多节点可同时监控每个paas平台的主节点，通过一致性算法来解决路由服务发现层多节点检测到paas平台主节点状态不一致的情况。而且在路由服务发现层不能和paas平台主节点通信的时候，路由服务发现层会去尝试paas平台备节点，然后再去尝试不可用的主节点，在都失败的情况下抛出异常。另外，在paas平台主备切换或者重启或者出现网络连接问题时，状态存储器会将这台paas平台主节点设置为“过期”状态，当该主节点心跳到达的时候，状态存储器会重新恢复这个状态。
60.综上，本实施例方案实现了统一路由层对多paas平台的自动监测和服务发现功能，将用户端的请求转发到对应的paas平台中，降低单一集群的主节点的性能压力，提升了集群的水平扩展能力。通过统一的多租户系统的权限管理，减少内部各paas平台的权限管控的开发，便于各paas平台的集成，增强了各paas平台的安全管控能力。通过客户端和服务端的解耦，有效的提升了服务的运维效率，有效的避免了扩缩容导致的业务问题。
61.为便于理解，本实施例还通过以下示例方案做进一步地详细说明：
62.s1：通过部署路由服务发现层的元数据存储系统zookeeper集群以及路由服务发现层服务端，搭建一套独立的zookeeper集群，存储挂载表和各paas平台的状态信息，搭建统一路由服务发现层集群，设置统一路由服务发现层的jvm启动参数，每个节点配置自己的域名等信息；启动统一路由服务发现层服务。
63.s2：添加挂载表：dfsrouteradmin
‑
mount<data><paas平台><data>；
64.s3：外围系统或关联组件灰度切换为请求发送给统一路由服务发现层，paas平台外围系统及关联组件jar包切换为访问统一路由服务发现层，重启服务；
65.s4：验证依赖paas平台的任务是否正常运行；
66.s5：检查统一路由服务发现层的审计日志是否符合预期，包含客户端地址、paas平
台、操作类型，访问的具体数据等。
67.请参阅图5，具体实施时，用户端1、用户端2、用户端3、用户端4和用户端n分别与路由发现服务层有连接关系，图中的虚线箭头仅表示一种连接关系，图中的实线箭头表示当前正在进行路由访问的服务，从图中可见，用户端2向路由发现服务层发送一个数据请求，此时由安全管理模块进行多租户统一权限认证管理，然后经由其中一个路由节点进行数据请求处理，通过服务端选择重量级服务端或轻量级服务端，接着利用路由节点从状态存储器中的缓存查找目标paas平台主节点的状态信息，以及从定时检测器中的缓存查找目标paas平台服务的可用信息，将属于同一目标paas平台的数据请求分发至不同的rpc队列请求队列隔离和限流操作，最终再并发转发至目标paas平台(图中的paas平台1)进行处理。进而实现以下创新点：
68.1、通过路由发现服务层，实现了对用户端高并发请求的分流和限流，通过提供统一视图，提升后端服务的水平扩展能力。
69.2、有效的降低了paas平台的性能压力，解决了集群规模过大的性能瓶颈。
70.3、简化了paas平台多集群的管理及数据交互链路。
71.4、降低了paas平台与外围系统的耦合度，避免了paas平台扩缩容对外围系统的影响，进一步提升了paas平台用户体验。
72.5、通过对各paas平台统一的多租户权限认证管理，增强了平台安全管控能力。
73.实施例二
74.本实施例提供一种用于paas平台的路由服务发现方法，包括：
75.通过路由发现服务层接收用户端发送的数据请求，解析所述数据请求获取数据路径；
76.路由发现服务层接收用户端发送的数据请求，解析所述数据请求获取数据路径。
77.优选地，所述路由发现服务层包括至少一个路由节点、状态存储器和定时检测器，所述路由节点中包括服务端、客户端；
78.所述服务端用于提供对数据请求解析处理的主服务；
79.所述客户端用于转发数据请求至目标paas平台获取目标数据；
80.所述状态存储器用于通过各路由节点接收存储并定时更新各paas平台主节点的状态信息；
81.所述定时检测器用于通过各路由节点检查各paas平台的存活状态，并判定各paas平台服务是否可用。
82.与现有技术相比，本发明实施例提供的用于paas平台的路由服务发现方法的有益效果与上述实施例一提供的用于paas平台的路由服务发现装置的有益效果相同，在此不做赘述。
83.实施例三
84.本实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述用于paas平台的路由服务发现方法的步骤。
85.与现有技术相比，本实施例提供的计算机可读存储介质的有益效果与上述技术方案提供的用于paas平台的路由服务发现方法的有益效果相同，在此不做赘述。
86.本领域普通技术人员可以理解，实现上述发明方法中的全部或部分步骤是可以通
过程序来指令相关的硬件来完成，上述程序可以存储于计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而的存储介质可以是：rom/ram、磁碟、光盘、存储卡等。
87.以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。