基于分布式数据库视图模式建设的数据共享交换平台及其共享交换方法与流程

1.本发明属于大数据与云计算领域，具体涉及一种基于分布式数据库视图模式建设的数据共享交换平台及其共享交换方法。


背景技术：

2.当前政务领域的结构化数据共享，采用etl工具将共享数据上传到私有前置库，大量的数据上传任务，占用较多的业务数据库资源，同时存在数据更新周期慢，数据传输链路长等问题，影响数据共享效率。
3.目前涉及跨地区，跨领域，跨行业共享数据的交换，基于批次号进行全量或批量离线复制，当共享的源端数据发生变化时，对多次执行的数据交换任务，造成更新不及时和数据不一致的问题，影响数据应用结果。


技术实现要素：

4.本发明提供一种基于分布式数据库视图模式建设的数据共享交换平台及其共享交换方法，用以解决数据更新周期慢，数据传输链路长及多次执行的数据交换任务，造成更新不及时和数据不一致的问题。
5.本发明通过以下技术方案实现：
6.一种基于分布式数据库视图模式建设的数据共享交换平台，所述数据共享交换平台包括政务系统生产环境单元、数据共享单元、数据交换单元和共享交换前置区；
7.所述政务系统生产环境包括数据发布方及数据订阅方，所述数据发布方将数据上传后，数据共享单元发布数据并将数据写入共享交换前置区；
8.所述数据订阅方将订阅消息发送到数据交换单元，再根据订阅需求在共享交换前置区创建视图，创建的视图对写入共享交换前置区的数据进行映射，并将其映射后的数据传输回订阅方。
9.一种基于分布式数据库视图模式建设的数据共享交换平台，所述数据共享单元包括日志同步模块和消息队列，所述日志同步模块用于日志传输与日志解析；
10.所述消息队列，用于缓存日志同步模块解析后的信息，被消费程序写入前置库。
11.一种基于分布式数据库视图模式建设的数据共享交换平台，所述数据交换单元包括视图创建模块、加密规则模块和过滤规则模块；所述视图创建模块，用于根据订阅方数据需求，在订阅方前置库创建sql逻辑视图。
12.所述加密规则模块，用于数据发布方对共享数据的加密规则配置和维护。
13.所述过滤规则模块，用于数据发布方对共享数据的筛选规则配置和维护。
14.4.根据权利要求1所述一种基于分布式数据库视图模式建设的数据共享交换平台，所述共享交换前置区具体为，数据发布方将数据在共享交换前置区进行共享；数据订阅方订阅的部分数据形成视图，在共享交换前置区根据数据订阅方的视图找到相应的数据发
布方上传的共享数据进行视图映射，数据订阅方访问共享交换前置区内的视图映射的数据。
15.一种基于分布式数据库视图模式建设的数据共享交换平台的数据共享交换方法，所述数据共享交换方法包括以下步骤：
16.步骤1：数据发布方进行共享数据的发布；
17.步骤2：发布的共享数据经过日志接入存储数据到共享交换平台；
18.步骤3：共享交换平台根据数据订阅的需求将存储的数据进行视图创建；
19.步骤4：创建的视图对发布的数据根据订阅方需求进行共享数据的视图映射，给订阅方查看。
20.一种基于分布式数据库视图模式建设的数据共享交换平台的数据共享交换方法，所述步骤1具体为，数据发布方将共享的结构化数据库表信息发布到数据共享交换平台，并开启数据库日志。
21.一种基于分布式数据库视图模式建设的数据共享交换平台的数据共享交换方法，所述步骤2具体为，数据共享交换平台接入数据发布方的数据库日志，利用tidbdm解析并转化为实时结构化数据；
22.数据共享交换平台将转化后结构化数据，存储到预先分配给数据发布方的分布式关系数据库实例。
23.一种基于分布式数据库视图模式建设的数据共享交换平台的数据共享交换方法，所述步骤3具体为，数据订阅方在数据共享交换平台申请共享已经发布的数据资源，并完成数据共享申请的审批流程；
24.数据共享交换平台根据数据订阅方的订阅请求，完成创建视图的数据加密和数据过滤的规则封装。
25.一种基于分布式数据库视图模式建设的数据共享交换平台的数据共享交换方法，所述步骤4具体为，数据共享交换平台在预先分配给数据订阅方的分布式关系数据库实例中完成视图创建，源端为数据发布方的共享数据；
26.数据订阅方登录订阅前置库，查询订阅完成的逻辑视图，返回从发布前置库共享的订阅结果数据。
27.一种基于分布式数据库视图模式建设的数据共享交换平台的数据共享交换方法，所述日志接入，采集共享数据库的实时变化日志，并解析为可存储的结构化数据；
28.所述数据存储，平台数据集中存储到分布式数据库，单个用户独立分配数据库和账号，单表数据按逻辑或物理主键切分，均匀分布在多个数据库节点；集群服务按存储和计算分离部署，数据按分布式三副本模式，分布到不同的机柜和节点；
29.所述视图创建，在数据订阅方前置库创建加密sql视图，将发布数据中涉及的敏感信息进行加密，同一业务含义敏感信息的加密规则统一；
30.所述逻辑映射，数据订阅方可查询订阅前置库的视图表，但无法修改视图数据，仅限查看和筛选加密后的数据，数据发布方可修改发布前置库的明文数据，并利用视图映射关系，实时转化到订阅前置库的订阅视图表。
31.本发明的有益效果是：
32.本发明的数据复制技术，对数据的实时同步达到毫秒级延迟。
33.本发明的数据交换方式，可减少资源重复使用，提高数据共享效率。
34.本发明对交换的数据保持强一致性，保障业务方应用结果一致。
35.本发明的数据加密和脱敏能力，保证数据安全使用，防止泄露。
附图说明
36.图1是本发明的模块示意图。
37.图2是本发明的方法流程图。
具体实施方式
38.下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.一种基于分布式数据库视图模式建设的数据共享交换平台，所述数据共享交换平台包括政务系统生产环境单元、数据共享单元、数据交换单元和共享交换前置区；
40.所述政务系统生产环境包括数据发布方及数据订阅方，所述数据发布方将数据上传后，数据共享单元发布数据并将数据写入共享交换前置区；
41.所述数据订阅方将订阅消息发送到数据交换单元，再根据订阅需求在共享交换前置区创建视图，创建的视图对写入共享交换前置区的数据进行映射，并将其映射后的数据传输回订阅方。
42.一种基于分布式数据库视图模式建设的数据共享交换平台，所述数据共享单元包括日志同步模块和消息队列，所述日志同步模块用于数据发布方的业务数据库日志传输与日志解析；
43.所述消息队列，用于缓存日志同步模块解析后的信息，被消费程序写入前置库。
44.一种基于分布式数据库视图模式建设的数据共享交换平台，所述数据交换单元包括视图创建模块、加密规则模块和过滤规则模块；所述视图创建模块，用于根据订阅方数据需求，在订阅方前置库创建sql逻辑视图。
45.所述加密规则模块，用于数据发布方对共享数据的加密规则配置和维护。
46.所述过滤规则模块，用于数据发布方对共享数据的筛选规则配置和维护。
47.一种基于分布式数据库视图模式建设的数据共享交换平台，所述共享交换前置区具体为，数据发布方将数据在共享交换前置区进行共享；数据订阅方订阅的部分数据构建视图，在共享交换前置区对数据发布方上传的共享数据进行逻辑映射，数据订阅方访问共享交换前置区内的视图映射的数据。
48.一种基于分布式数据库视图模式建设的数据共享交换平台的数据共享交换方法，所述数据共享交换方法包括以下步骤：
49.步骤1：数据发布方进行共享数据的发布；
50.步骤2：发布的共享数据经过日志接入存储数据到共享交换平台；
51.步骤3：共享交换平台根据数据订阅的需求将存储的数据进行视图创建；
52.步骤4：创建的视图对发布的数据根据订阅方需求进行共享数据的视图映射，给订
阅方查看。
53.一种基于分布式数据库视图模式建设的数据共享交换平台的数据共享交换方法，所述步骤1数据发布方进行共享数据的发布具体为，数据发布方将共享的结构化数据库表信息发布到数据共享交换平台，并开启数据库日志。
54.一种基于分布式数据库视图模式建设的数据共享交换平台的数据共享交换方法，所述步骤2发布的共享数据经过日志接入存储数据到共享交换平台具体为，数据共享交换平台接入数据发布方的数据库日志，利用tidbdm解析并转化为实时结构化数据；
55.数据共享交换平台将转化后结构化数据，存储到预先分配给数据发布方的分布式关系数据库实例(发布前置库)。
56.一种基于分布式数据库视图模式建设的数据共享交换平台的数据共享交换方法，所述步骤3共享交换平台根据数据订阅的需求将存储的数据进行视图创建具体为，数据订阅方在数据共享交换平台申请共享已经发布的数据资源，并完成数据共享申请的审批流程；
57.数据共享交换平台根据数据订阅方的订阅请求，完成创建视图的数据加密和数据过滤的规则封装。
58.一种基于分布式数据库视图模式建设的数据共享交换平台的数据共享交换方法，所述步骤4创建的视图对发布的数据根据订阅方需求进行共享数据的视图映射，给订阅方查看具体为，数据共享交换平台在预先分配给数据订阅方的分布式关系数据库实例(订阅前置库)中完成视图创建，源端为数据发布方的共享数据；
59.数据订阅方登录订阅前置库，查询订阅完成的逻辑视图，返回从发布前置库共享的订阅结果数据。
60.一种基于分布式数据库视图模式建设的数据共享交换平台的数据共享交换方法，所述日志接入，利用cdc和canal等开源技术，采集共享数据库的实时变化日志，并解析为可存储的结构化数据；日志采集可减少对数据库性能开销，实现一次采集多路、多次复用；
61.所述数据存储，平台数据集中存储到分布式数据库，单个用户独立分配数据库和账号，单表数据按逻辑或物理主键切分，均匀分布在多个数据库节点；集群服务按存储和计算分离部署，数据按分布式三副本模式，分布到不同的机柜和节点；
62.所述视图创建，在数据订阅方前置库创建加密sql视图，将发布数据中涉及的敏感信息进行加密，同一业务含义敏感信息的加密规则统一；可实现跨源数据关联分析，加密盐值可实时更换；根据数据订阅方的交换需求，可实现行级别和列级别数据筛选；
63.所述逻辑映射，数据订阅方可查询订阅前置库的视图表，但无法修改视图数据，仅限查看和筛选加密后的数据，数据发布方可修改发布前置库的明文数据，并利用视图映射关系，实时转化到订阅前置库的订阅视图表。
64.基于tidbdm的数据库日志复制和解析技术，将数据库变更日志转化为结构化数据；
65.应用flink实时计算技术，将数据发布方的实时变化数据同步写入到共享前置库；
66.应用tidb分布式数据库技术，实现海量数据的物理集中和逻辑隔离，保障数据安全；
67.应用tidb数据库视图技术，构建数据加密和数据筛选的逻辑视图，保障数据交换
的实时性、一致性、隔离性和安全性。
68.实时性：数据基于日志复制和视图模式，减少数据物理传输环节，缩短数据传输链路，提高数据共享和发布时效性，数据复制延迟可控制到秒级；
69.一致性：不同用户、不同环境、同一时间查询的数据，数据源全部逻辑指向数据发布方的共享数据，真正做到一数一源；
70.隔离性：每个数据共享交换平台用户，独立分配前置数据库和账号，并独立使用、管理和维护，发布的明文数据仅自己可见可维护；
71.安全性：分布式数据库集群采用三副本冗余存储，一份数据可实现多节点、多机架、多机房存储，保障数据存储容灾和数据库服务的多活应用；
72.长期收益：增强数据共享和交换操作的规范化，提升数据共享和交换的效率，减少软硬件和运营维护成本。