一种基于多语义表达的模块化数据治理系统的制作方法

1.本发明涉及多语义表达云服务领域，具体而言，涉及一种基于多语义表达的模块化数据治理系统。


背景技术：

2.中国北斗卫星导航系统是中国自行研制的全球卫星导航系统，具备全球导航的能力，北斗卫星导航系统不仅要面对国内用户，也要面对国外用户，通用性、多语言、多地图、可个性化是平台所必须要能提供的功能，因此我们对此做出改进，提出一种基于多语义表达的模块化数据治理系统。


技术实现要素：

3.本发明的目的在于：针对目前存在的背景技术提出的问题，为了实现上述发明目的，本发明提供了以下技术方案：一种基于多语义表达的模块化数据治理系统，以改善上述问题，本技术具体是这样的：包括数据治理建设基础模块，所述数据治理建设基础模块包括云服务器模块和微服务模块，所述云服务器模块和微服务模块数据连接，所述数据治理建设基础模块与数据治理技术支持模块组成多语义表达云数据治理，所述数据治理技术支持模块包括tcp服务模块和数据库模块和缓存模块以及消息队列模块和服务治理模块，所述tcp服务模块与所述数据库模块数据连接，所述数据库模块和所述缓存模块以及所述消息队列模块数据连接，所述缓存模块和所述消息队列模块与所述服务治理模块数据连接。
4.作为本技术优选的技术方案，所述云服务器模块包括虚拟化技术单元和分布式存储单元及其资源调度单元，所述虚拟化技术单元将服务器集群虚拟为多个性能可配的虚拟机(kvm)，对整个集群系统中所有kvm进行监控和管理根据实际资源使用分配和调度资源池，所述分布式存储单元将大量服务器整合为一台超级计算机，提供大量的数据存储和处理服务，所述资源调度单元进行动态的资源调整与分配消除服务器及存储设备的单点故障。
5.作为本技术优选的技术方案，所述微服务模块包括独立开发单元和独立部署单元以及独立调整单元，所述独立开发单元对符合api合同进行独立开发，所述独立部署单元通过微服务架构模式使每个微服务独立部署，所述独立调整单元通过微服务架构模式使每个服务都独立调整。
6.作为本技术优选的技术方案，所述微服务模块将整体应用程序分解成一组服务，应用程序已分解为可管理的块或服务，每个服务都以rpc或消息驱动的 api的形式定义了一个明确的边界；微服务模块架构对应用程序和服务进行模块化管理。
7.作为本技术优选的技术方案，tcp服务模块包括异步非阻塞通信单元和 buffer单元以及内存池单元和无锁化的串行单元，所述异步非阻塞通信单元通过 netty的非阻塞i/o是基于i/o复用模型，io线程由于聚合了多路复用器selector 并发处理客户端连接，所述buffer单元通过在nio中,引入了channel和buffer 的概念.在nio中,只能从channel中读
取数据到buffer中或将数据buffer中写入到channel，所述内存池单元用于缓冲区，所述无锁化的串行单元通过netty 采用了串行无锁化在io线程内部进行串行操作，通过调整nio线程池的线程参数，启动多个串行化的线程并行运行。
8.作为本技术优选的技术方案，数据库模块包括水平分片模式和垂直分片模式，所述水平分片模式以逻辑表中的数据行记录为单位，把原有逻辑数据库切分成多个物理数据库分片，表数据记录分布存储在各个分片上，所述垂直分片以逻辑表为单位把原有数据库切分成多个数据库，切分后不同的表存储在不同的数据库上。
9.作为本技术优选的技术方案，所述缓存模块包括分布式缓存单元当数据库面临大规模数据访问时,磁盘i/o往往成为性能瓶颈,从而导致过高的响应延迟，能够将高速内存作为数据对象的存储介质,数据以key/value形式存储，获得 dram级的读写性能。
10.作为本技术优选的技术方案，所述消息队列模块对系统服务的解耦、数据异步处理、消除数据峰值。
11.作为本技术优选的技术方案，所述服务治理模块包括服务注册中心和服务提供者以及服务消费者，服务端注册中心支持高可用配置，能够集群部署，所述服务提供者配置文件中指定服务命名和服务注册中心的地址，所述服务消费者完成发现服务和消费服务。
12.作为本技术优选的技术方案，还包括rpc服务模块和http服务模块，所述 rpc服务模块传输协议采用rpc，传输效率通过rpc使用自定义的tcp协议，性能消耗通过rpc可高效的二进制传输，所述rpc服务模块设置负载均衡策略，所述http服务模块采用标准的http服务。
13.与现有技术相比，本发明的有益效果：
14.在本技术的方案中：
15.1.通过所述云服务器模块包括虚拟化技术单元和分布式存储单元及其资源调度单元，所述虚拟化技术单元将服务器集群虚拟为多个性能可配的虚拟机 kvm，对整个集群系统中所有kvm进行监控和管理根据实际资源使用分配和调度资源池，所述分布式存储单元将大量服务器整合为一台超级计算机，提供大量的数据存储和处理服务，所述资源调度单元进行动态的资源调整与分配消除服务器及存储设备的单点故障；
16.2.通过所述微服务模块包括独立开发单元和独立部署单元以及独立调整单元，所述独立开发单元对符合api合同进行独立开发，所述独立部署单元通过微服务架构模式使每个微服务独立部署，所述独立调整单元通过微服务架构模式使每个服务都独立调整；
17.3.通过所述微服务模块将整体应用程序分解成一组服务，应用程序已分解为可管理的块或服务，每个服务都以rpc或消息驱动的api的形式定义了一个明确的边界；微服务模块架构对应用程序和服务进行模块化管理；
18.4.通过所述数据库模块包括水平分片模式和垂直分片模式，所述水平分片模式以逻辑表中的数据行记录为单位，把原有逻辑数据库切分成多个物理数据库分片，表数据记录分布存储在各个分片上，所述垂直分片以逻辑表为单位把原有数据库切分成多个数据库，切分后不同的表存储在不同的数据库上。
附图说明：
19.图1为本技术提供的流程图；
20.图2为本技术提供的数据治理技术支持模块流程图；
21.图3为本技术提供的数据治理建设基础模块流程图。
具体实施方式
22.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例是本发明的一种具体实施方式，不限于全部的实施例。
23.因此，以下对本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的部分实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征和技术方案可以相互组合，应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
25.如图1-3，一种基于多语义表达的模块化数据治理系统，包括数据治理建设基础模块，所述数据治理建设基础模块包括云服务器模块和微服务模块，所述云服务器模块和微服务模块数据连接，所述数据治理建设基础模块与数据治理技术支持模块组成多语义表达云数据治理，所述数据治理技术支持模块包括 tcp服务模块和数据库模块和缓存模块以及消息队列模块和服务治理模块，所述tcp服务模块与所述数据库模块数据连接，所述数据库模块和所述缓存模块以及所述消息队列模块数据连接，所述缓存模块和所述消息队列模块与所述服务治理模块数据连接。
26.作为优选的实施方式，在上述方式的基础上，进一步的，所述云服务器模块包括虚拟化技术单元和分布式存储单元及其资源调度单元，所述虚拟化技术单元将服务器集群虚拟为多个性能可配的虚拟机(kvm)，对整个集群系统中所有kvm进行监控和管理根据实际资源使用分配和调度资源池，所述分布式存储单元将大量服务器整合为一台超级计算机，提供大量的数据存储和处理服务，所述资源调度单元进行动态的资源调整与分配消除服务器及存储设备的单点故障。
27.作为优选的实施方式，在上述方式的基础上，进一步的，所述微服务模块包括独立开发单元和独立部署单元以及独立调整单元，所述独立开发单元对符合api合同进行独立开发，所述独立部署单元通过微服务架构模式使每个微服务独立部署，所述独立调整单元通过微服务架构模式使每个服务都独立调整。
28.作为优选的实施方式，在上述方式的基础上，进一步的，所述微服务模块将整体应用程序分解成一组服务，应用程序已分解为可管理的块或服务，每个服务都以rpc或消息驱动的api的形式定义了一个明确的边界；微服务模块架构对应用程序和服务进行模块化管理。
29.作为优选的实施方式，在上述方式的基础上，进一步的，所述tcp服务模块包括异步非阻塞通信单元和buffer单元以及内存池单元和无锁化的串行单元，所述异步非阻塞通信单元通过netty的非阻塞i/o是基于i/o复用模型，io线程由于聚合了多路复用器selector并发处理客户端连接，所述buffer单元通过在 nio中,引入了channel和buffer的概念.在nio中,只能从channel中读取数据到buffer中或将数据buffer中写入到channel，
所述内存池单元用于缓冲区，所述无锁化的串行单元通过netty采用了串行无锁化在io线程内部进行串行操作，通过调整nio线程池的线程参数，启动多个串行化的线程并行运行。
30.作为优选的实施方式，在上述方式的基础上，进一步的，所述数据库模块包括水平分片模式和垂直分片模式，所述水平分片模式以逻辑表中的数据行记录为单位，把原有逻辑数据库切分成多个物理数据库分片，表数据记录分布存储在各个分片上，所述垂直分片以逻辑表为单位把原有数据库切分成多个数据库，切分后不同的表存储在不同的数据库上。
31.作为优选的实施方式，在上述方式的基础上，进一步的，所述缓存模块包括分布式缓存单元当数据库面临大规模数据访问时,磁盘i/o往往成为性能瓶颈, 从而导致过高的响应延迟，能够将高速内存作为数据对象的存储介质,数据以 key/value形式存储，获得dram级的读写性能。
32.作为优选的实施方式，在上述方式的基础上，进一步的，所述消息队列模块对系统服务的解耦、数据异步处理、消除数据峰值。
33.作为优选的实施方式，在上述方式的基础上，进一步的，所述服务治理模块包括服务注册中心和服务提供者以及服务消费者，服务端注册中心支持高可用配置，能够集群部署，所述服务提供者配置文件中指定服务命名和服务注册中心的地址，所述服务消费者完成发现服务和消费服务。
34.作为优选的实施方式，在上述方式的基础上，进一步的，还包括rpc服务模块和http服务模块，所述rpc服务模块传输协议采用rpc，传输效率通过 rpc使用自定义的tcp协议，性能消耗通过rpc可高效的二进制传输，所述 rpc服务模块设置负载均衡策略，所述http服务模块采用标准的http服务。
35.工作原理：所述数据治理建设基础模块包括云服务器模块和微服务模块，所述云服务器模块和微服务模块数据连接，所述数据治理建设基础模块与数据治理技术支持模块组成多语义表达云数据治理，所述数据治理技术支持模块包括tcp服务模块和数据库模块和缓存模块以及消息队列模块和服务治理模块，所述tcp服务模块与所述数据库模块数据连接，所述数据库模块和所述缓存模块以及所述消息队列模块数据连接，所述缓存模块和所述消息队列模块与所述服务治理模块数据连接。
36.所述云服务器模块包括虚拟化技术单元和分布式存储单元及其资源调度单元，所述虚拟化技术单元将服务器集群虚拟为多个性能可配的虚拟机(kvm)，对整个集群系统中所有kvm进行监控和管理根据实际资源使用分配和调度资源池，所述分布式存储单元将大量服务器整合为一台超级计算机，提供大量的数据存储和处理服务，所述资源调度单元进行动态的资源调整与分配消除服务器及存储设备的单点故障。
37.所述微服务模块包括独立开发单元和独立部署单元以及独立调整单元，所述独立开发单元对符合api合同进行独立开发，所述独立部署单元通过微服务架构模式使每个微服务独立部署，所述独立调整单元通过微服务架构模式使每个服务都独立调整。
38.所述微服务模块将整体应用程序分解成一组服务，应用程序已分解为可管理的块或服务，每个服务都以rpc或消息驱动的api的形式定义了一个明确的边界；微服务模块架构对应用程序和服务进行模块化管理。
39.所述tcp服务模块包括异步非阻塞通信单元和buffer单元以及内存池单元和无锁
化的串行单元，所述异步非阻塞通信单元通过netty的非阻塞i/o是基于 i/o复用模型，io线程由于聚合了多路复用器selector并发处理客户端连接，所述buffer单元通过在nio中,引入了channel和buffer的概念.在nio中,只能从channel中读取数据到buffer中或将数据buffer中写入到channel，所述内存池单元用于缓冲区，所述无锁化的串行单元通过netty采用了串行无锁化在io 线程内部进行串行操作，通过调整nio线程池的线程参数，启动多个串行化的线程并行运行。
40.所述数据库模块包括水平分片模式和垂直分片模式，所述水平分片模式以逻辑表中的数据行记录为单位，把原有逻辑数据库切分成多个物理数据库分片，表数据记录分布存储在各个分片上，所述垂直分片以逻辑表为单位把原有数据库切分成多个数据库，切分后不同的表存储在不同的数据库上。
41.所述缓存模块包括分布式缓存单元当数据库面临大规模数据访问时,磁盘 i/o往往成为性能瓶颈,从而导致过高的响应延迟，能够将高速内存作为数据对象的存储介质,数据以key/value形式存储，获得dram级的读写性能。
42.所述消息队列模块对系统服务的解耦、数据异步处理、消除数据峰值。
43.所述服务治理模块包括服务注册中心和服务提供者以及服务消费者，服务端注册中心支持高可用配置，能够集群部署，所述服务提供者配置文件中指定服务命名和服务注册中心的地址，所述服务消费者完成发现服务和消费服务。
44.还包括rpc服务模块和http服务模块，所述rpc服务模块传输协议采用 rpc，传输效率通过rpc使用自定义的tcp协议，性能消耗通过rpc可高效的二进制传输，所述rpc服务模块设置负载均衡策略，所述http服务模块采用标准的http服务。
45.以上实施例仅用以说明本发明而并非限制本发明所描述的技术方案，尽管本说明书参照上述的各个实施例对本发明已进行了详细的说明，但本发明不局限于上述具体实施方式，因此任何对本发明进行修改或等同替换；而一切不脱离发明的精神和范围的技术方案及其改进，其均涵盖在本发明的权利要求范围当中。