基于数据增量的树型级联数据库同步系统和方法与流程

1.本发明涉及数据库与互联网技术领域，具体地，涉及一种基于数据增量的树型级联数据库同步系统和方法。


背景技术：

2.随着信息化数据日益爆发式增长，信息量越来越大，数据库核心数据信息类别多样、数据实体对应关系复杂、数据字典与记录表间有密切约束关联，且数据库规模以及信息体量庞大。数据库作为业务信息系统基础，应用于各级相关单位构成了跨地域、有层级、分散的级联数据库体系结构。
3.从层级上来说，各级联数据库节点自顶向下按权限划分，其各节点数据库信息呈包含关系，及上级节点的数据库信息包含所有下级节点数据库信息，平级节点的数据库中相关业务数据互相独立，形成树型级联数据库体系结构。若不构建有效的数据同步体系，各节点数据库间数据难以共享、快速、全面流动，进而成为信息孤岛，同时这些不同的树型级联数据库节点存在对同一数据记录进行不同dml操作的情况，这会导致各级联数据库节点数据存在不一致的情况，为保持数据的一致性和准确性，树型级联数据库体系中数据同步显得尤为重要。
4.为了解决数据共享问题，多种数据同步方案被提出，并在实际项目中得到了应用。这些数据同步方案可以分为全量同步和增量同步两类。全量同步是指从源数据库中读取所有的数据，然后将这些数据进行一定的转化后应用到目标数据库。它能够实现mysql、oracle、sqlserver等多种异构数据源之间的数据同步功能。全量同步的实现方式较为简单，但是一次全量同步会消耗比较长的时间，不能实现数据的实时一致。增量同步是指每次只同步在上一次同步之后发生变更的数据。
5.专利文献cn107958082b(申请号：cn201711349321.2)公开了一种数据库到数据仓库的离线增量同步方法，包括以下步骤：监听数据库表的变更事件；将变更事件回流到分布式文件系统的目录中，同时将变更事件的增量数据按预设时间周期进行归档；将数据库表全量导入数据仓库表中；响应调度指令后，将时间周期内累加的增量数据与数据仓库表数据合成新的全量表，并用新的全量表覆盖之前表数据。然而该专利经过一次全量同步后，会消耗比较长的时间，不能实现数据的实时一致。


技术实现要素：

6.针对现有技术中的缺陷，本发明的目的是提供一种基于数据增量的树型级联数据库同步系统和方法。
7.根据本发明提供的基于数据增量的树型级联数据库同步系统，包括：
8.数据传输模块：针对各级树型数据库节点在数据同步过程中将同步表范围和待同步增量数据通过以太网媒介和http网络协议传输给各节点；
9.同步范围选择模块：将各级数据库节点按需把数据表纳入到同步表范围，并将同
步范围表逐级下发到各下级节点；
10.备份点更新模块：将各级联数据库通过上级数据库节点下发的数据库数据包生成上下级节点的数据备份点作为增量数据生成的基准点，为差异增量数据生成模块和差异增量数据同步模块提供数据支撑；
11.差异增量数据生成模块：用于各级数据库节点通过本级数据库数据与上下级数据备份点比对生成上下级节点差异数据增量，提供记录级和字段级的分析结果；差异增量数据生成模块接收同步范围选择模块和备份点更新模块输入，生成差异增量数据，通过数据传输模块输出给差异增量数据同步模块；
12.差异增量数据同步模块：用于各级数据库节点将来自上下级的差异增量数据包导入数据库与本级数据库数据比对，生成新的增量数据，以记录级和字段级结果呈现，以进行数据的正确性判断和同步与否的决策。
13.优选的，所述数据传输模块包括：通过消息监听、数据封装、丢包重发和数据解析，为级联数据同步提供数据传输；
14.所述同步范围选择模块包括：进行数据表关联选择，生成同步表范围并导出本级数据库节点同步表数据包，根据导出的同步表数据包按节点权限生成对应上下级节点同步表备份点，通过网络传输将同步表范围和同步表数据包逐层同步至各级联下级节点。
15.优选的，所述备份点更新模块包括：将收到的同步表范围和同步表数据包按节点权限生成初始备份点，在收到同步请求后，将待同步增量数据与初始备份点比对生成备份点同步数据库sql，决策收到同步请求同意与否，若同意同步则执行备份点同步sql，更新备份点数据；
16.比对数据库数据源与备份点，生成待同步增量数据和备份点待同步sql，并发出同步请求，收到发出的同步请求反馈结果后若同意则执行备份点待同步sql完成备份点数据同步。
17.优选的，所述差异增量数据生成模块包括：在本级数据库数据源进行数据操纵语言dml操作发生变化时，通过数据库数据源与备份点数据比对生成差异增量数据、备份点同步sql；
18.在本级收到来自上下级的待同步差异数据增量时，待同步差异数据增量与本级数据库数据源比对生成同步差异增量数据、数据库同步sql，待同步差异数据增量与相应备份点数据源比对生成备份点同步sql；
19.将增量数据转为json格式，提供记录级和字段级差异并展示。
20.优选的，所述差异增量数据同步模块包括：本级按节点权限生成上下级待同步增量数据和与之对应的备份点待同步sql，通过网络传输将待同步增量数据发送到上下级数据库节点；
21.上下级节点接收到待同步增量数据，并将待同步增量数据与数据库数据比对生成同步增量数据和数据库增量同步sql，将待同步增量数据与相应备份点比对生成备份点同步更新sql；
22.根据界面结果决策同意与否，同意则执行数据库同步sql和备份点同步sql完成数据库数据同步；不同意则不做操作，并将结果反馈给上下级节点；
23.上下级节点收到同步反馈结果，若同意则执行备份点sql完成备份点更新。
24.根据本发明提供的基于数据增量的树型级联数据库同步方法，包括：
25.数据传输步骤：针对各级树型数据库节点在数据同步过程中将同步表范围和待同步增量数据通过以太网媒介和http网络协议传输给各节点；
26.同步范围选择步骤：将各级数据库节点按需把数据表纳入到同步表范围，并将同步范围表逐级下发到各下级节点；
27.备份点更新步骤：将各级联数据库通过上级数据库节点下发的数据库数据包生成上下级节点的数据备份点作为增量数据生成的基准点；
28.差异增量数据生成步骤：将各级数据库节点通过本级数据库数据与上下级数据备份点比对生成上下级节点差异数据增量，提供记录级和字段级的分析结果；
29.差异增量数据同步步骤：将各级数据库节点将来自上下级的差异增量数据包导入数据库与本级数据库数据比对，生成新的增量数据，以记录级和字段级结果呈现，以进行数据的正确性判断和同步与否的决策。
30.优选的，所述数据传输步骤包括：通过消息监听、数据封装、丢包重发和数据解析，为级联数据同步提供数据传输；
31.所述同步范围选择步骤包括：进行数据表关联选择，生成同步表范围并导出本级数据库节点同步表数据包，根据导出的同步表数据包按节点权限生成对应上下级节点同步表备份点，通过网络传输将同步表范围和同步表数据包逐层同步至各级联下级节点。
32.优选的，所述备份点更新步骤包括：将收到的同步表范围和同步表数据包按节点权限生成初始备份点，在收到同步请求后，将待同步增量数据与初始备份点比对生成备份点同步数据库sql，决策收到同步请求同意与否，若同意同步则执行备份点同步sql，更新备份点数据；
33.比对数据库数据源与备份点，生成待同步增量数据和备份点待同步sql，并发出同步请求，收到发出的同步请求反馈结果后若同意则执行备份点待同步sql完成备份点数据同步。
34.优选的，所述差异增量数据生成步骤包括：在本级数据库数据源进行数据操纵语言dml操作发生变化时，通过数据库数据源与备份点数据比对生成差异增量数据、备份点同步sql；
35.在本级收到来自上下级的待同步差异数据增量时，待同步差异数据增量与本级数据库数据源比对生成同步差异增量数据、数据库同步sql，待同步差异数据增量与相应备份点数据源比对生成备份点同步sql；
36.将增量数据转为json格式，提供记录级和字段级差异并展示。
37.优选的，所述差异增量数据同步步骤包括：本级按节点权限生成上下级待同步增量数据和与之对应的备份点待同步sql，通过网络传输将待同步增量数据发送到上下级数据库节点；
38.上下级节点接收到待同步增量数据，并将待同步增量数据与数据库数据比对生成同步增量数据和数据库增量同步sql，将待同步增量数据与相应备份点比对生成备份点同步更新sql；
39.根据界面结果决策同意与否，同意则执行数据库同步sql和备份点同步sql完成数据库数据同步；不同意则不做操作，并将结果反馈给上下级节点；
40.上下级节点收到同步反馈结果，若同意则执行备份点sql完成备份点更新。
41.与现有技术相比，本发明具有如下的有益效果：
42.1)本发明通过多备份点的增量数据生成方式，实现基于用户人为决策的树型级联数据库数据同步，解决了同步过程中人为决策上下级意见不一致时，单备份点更新逻辑矛盾的问题；
43.2)本发明通过将增量数据转化为json格式，实现了按dml操作类型展示字段级和记录级的用户友好型交互界面，极大地丰富了用户对待同步增量数据的认知性；
44.3)本发明通过人为决策决定树型级联数据库是否数据同步，解决了级联型数据库数据在层级同步过程中因单一节点数据错误而引起所有节点数据错误的问题，避免单一节点数据错误造成的全局数据损失，极大地提升了数据同步过程的可靠性；
45.4)本发明针对数据库表庞大、字典表很少变动的情况，通过同步表范围选择，将dml操作频繁、重要等级高的数据表纳入到同步表范围，极大提升了数据同步的效率；
46.5)本发明通过将备份点数据存储在备份数据库，实现了备份库和用户数据库物理隔离，在用户库损坏的情况下用备份库数据恢复用户库，提高了数据的安全性和可恢复性。
附图说明
47.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
48.图1为树型级联数据库体系结构图；
49.图2为基于数据增量的树型级联数据库同步总体流程示意图；
50.图3为同步范围选择流程图；
51.图4为增量数据生成流程图；
52.图5为数据库同步流程图；
53.图6为增量数据交互界面示意图。
具体实施方式
54.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
55.实施例1：
56.本发明要解决的技术问题体现在以下几点：
57.1)数据库规模以及信息体量庞大情况下，全量同步的方式同步一次会消耗比较长的时间，增量同步相比全量同步效率有所提升，本发明在增量同步的基础上引入同步范围表选择极大提升了同步效率；
58.2)各树型级联数据库节点数据自动同步至所有节点，若某一节点数据错误导致所有节点数据库崩溃带来巨大数据损失；
59.3)通过数据库数据源与备份点比对生成待同步增量数据，本发明引入人为决策同步与否，在上下级节点不统一时若采用单备份点，则产生备份点同步更新逻辑矛盾问题。
60.根据本发明提供的基于数据增量的树型级联数据库同步系统，提供增量的面向业务的高效的数据同步能力，实现定时、事件触发等方式生成增量数据变化，基于人为决策进行数据分发与同步，基于http等传输协议进行数据传输，满足树型级联数据库各层级间的数据交换与同步需求。基于数据增量的树型级联数据库同步系统包含数据传输模块、同步范围选择模块、备份点更新模块、差异增量数据生成模块和差异增量数据同步模块。
61.基于数据增量的树型级联数据库同步系统，其数据库以树型拓扑连接，数据库连接拓扑如图1所示。顶级数据库包含其所有中间级和下级节点数据，中间级只包含其所有下级节点数据。
62.基于数据增量的树型级联数据库同步系统总体流程如图2所示，数据同步体系通过在树型级联数据库的各级节点上部署数据传输模块、同步范围选择模块、备份点更新模块、差异增量数据生成模块和差异增量数据同步模块等功能模块实现树型级联数据库数据表的定期同步更新，维护重要数据表的一致性。
63.其中，数据传输模块用于各级树型数据库节点在数据同步过程中将同步表范围和待同步增量数据等通过以太网媒介和http网络协议传输给各节点。
64.数据传输基于http协议实现，通过消息监听、数据封装、丢包重发和数据解析等功能为级联数据同步提供易用、可靠的数据传输。
65.同步范围选择模块用于针对数据库表规模庞大的情况，各级数据库节点按需对重要性等级高和变化频繁的数据表纳入到同步表范围，并将同步范围表逐级下发到各下级节点，在提高数据同步效率的同时向差异增量数据生成模块服务。
66.针对级联数据库中各数据表间约束关系复杂情况，在选择过程中动态查询关联关系，将其级联父表同步纳入同步表范围以保证同步数据的完备性。为保证各级数据同步范围的灵活性和扩展性，同步表范围对树型级联数据库体系结构各级节点开放权限，顶级数据库节点确定的同步表范围贯穿数据库同步体系中的所有节点，各级数据库节点收到上级的同步表范围入库存储，并且将上级同步表范围向下级节点转发，逐层灌分支。同时各级节点除了上级下发的同步表范围，还可按需扩展同步表范围，并将扩展的表范围逐级下发到各下级节点。
67.备份点更新模块用于各级联数据库通过上级数据库节点下发的数据库数据包生成上下级节点的数据备份点作为增量数据生成的基准点，为差异增量数据生成模块和差异增量数据同步模块提供数据支撑。
68.备份点作为增量数据生成的基准点，备份点的生成和更新逻辑尤为重要，级联数据库同步采用人为决策的半自动过程，本级数据库同条记录变化产生增量数据差异分别报送给上下级节点，由于人为决策干预上级同意下级拒绝单一备份点会出现备份点更新逻辑矛盾。针对这一矛盾，本专利同步系统采用多备份点逻辑，本级数据库节点按照节点权限生成对应的上下级备份点，人为决策上下级意见不一致时备份点更新逻辑正常。
69.差异增量数据生成模块用于各级数据库节点通过本级数据库数据与上下级数据备份点比对生成上下级节点差异数据增量，提供记录级和字段级的分析结果。差异增量数据生成模块接收同步范围选择模块和备份点更新模块输入，生成差异增量数据，通过数据传输模块输出给差异增量数据同步模块。
70.树型级联数据库体系结构中，数据增量的生成基于多备份点，包含上报数据增量
生成和下发数据增量生成两部分。本级数据库节点同时拥有上级节点备份点和各直接下级节点备份点，上报数据增量生成通过快速比对分析上级同步范围内本节点数据表的当前状态和上级节点备份点状态生成记录级、字段级差异上报数据增量；下发数据增量生成通过筛选下级节点权限过滤下级同步范围内数据表数据和相应下级节点备份点数据快速比对分析生成各直接下级节点的对应的记录级、字段级下发数据增量。
71.差异增量数据同步模块用于各级数据库节点将来自上下级的差异增量数据包导入数据库与本级数据库数据比对，生成新的增量数据，以记录级和字段级结果呈现供人为决策数据的正确性，同步与否。
72.增量数据接收同步更新，本级数据库节点将接收到的某节点待同步增量数据包导入到数据库，通过读取配置表信息，确定此次报送的差异增量数据包中待同步变化数据表范围。由于在收到某节点差异增量数据包的时间段内，本级节点可能会对待同步变化数据表范围内同一张表的同一记录做dml操作，因此待同步增量数据包待同步变化表需按主键分别与本级数据库表和某节点的备份点快速比对，生成新的差异数据增量包。生成的同步增量数据友好的记录级、字段级形式展现，供人为决策同意或拒绝。
73.多备份点更新包含以下三个部分。第一，由同步范围选择模块中同步表范围确定后，级联树中的各级数据库将本级直接上级下发的同步表范围内的数据库表按节点权限生成上级节点和直接下级节点的初始备份点；第二，以差异增量数据生成模块生成的增量数据并与备份点更新模块基准数据比较，在生成上报下发差异增量数据的同时，生成与之对应更新备份点的同步sql，并将同步sql存储到记录表中，待收到报送上下级同意差异增量数据变化更新的反馈时从记录表取出sql进行对应节点备份点的更新；第三，增量数据同步更新模块，本级接收到某节点差异增量数据包与本级数据库和备份点比对生成新的差异增量数据包的同时，也生成更新本级数据库表和某节点备份点的更新sql，人为决策同意后分别执行更新本级数据库表sql和备份点sql完成同步和备份点更新。
74.实施例2：
75.实施例2为实施例1的优选例。
76.本实施例提供一种基于数据增量的树型级联数据库同步系统。该系统数据库以树型网络拓扑连接，连接拓扑如图1所示，顶级数据库包含其所有中间级和下级节点数据，中间级只包含其所有下级节点数据，为保证各级数据库在一定时间内重要数据表的同步性，设计数据同步体系。基于数据增量的树型级联数据库同步总体流程示意图如图2所示，数据同步体系通过在树型级联数据库的各级节点上部署数据同步模块，利用数据同步模块的同步范围选择、差异增量数据生成、差异增量数据同步更新、备份点更新功能实现树型级联数据库数据表的定期同步更新，维护重要数据表的一致性。
77.数据传输模块：数据传输基于http协议实现，通过消息监听、数据封装、丢包重发、数据解析等功能为级联数据同步提供易用、可靠的数据传输。
78.同步范围选择模块：数据同步范围选择流程图如图3所示，主要流程如下：
79.(1)用户在同步范围选择模块进行数据表关联选择；
80.(2)生成同步表范围并导出本级数据库节点同步表数据包；
81.(3)本级数据库节点根据导出的同步表数据包按节点权限生成对应上下级节点同步表备份点。
82.(4)通过网络传输将同步表范围和同步表数据包逐层同步至各级联下级节点。
83.备份点更新模块，具体实施过程如下：
84.(1)将收到的同步表范围和同步表数据包按节点权限生成初始备份点。
85.(2)在收到同步请求后，将待同步增量数据与初始备份点比对生成备份点同步sql，人为决策收到同步请求同意与否，若同意同步则执行备份点同步sql，更新备份点数据。
86.(3)数据库数据源与备份点比对生成待同步增量数据和备份点待同步sql，并发出同步请求，收到发出的同步请求反馈结果后若同意则执行备份点待同步sql完成备份点数据同步。
87.差异增量数据生成模块，差异增量数据生成流程图如图4所示，具体实施过程如下：
88.(1)本级数据库数据源进行dml操作发生变化时，通过数据库数据源与备份点数据快速比对生成差异增量数据、备份点同步sql。
89.(2)本级收到来自上下级的待同步差异数据增量时，待同步差异数据增量与本级数据库数据源快速比对生成同步差异增量数据、数据库同步sql，待同步差异数据增量与相应备份点数据源快速比对生成备份点同步sql。
90.(3)增量数据转为json格式，提供记录级和字段级差异友好展示。增量数据交互界面示意图如图6所示。
91.差异增量数据同步模块，差异增量数据同步流程图如图5所示，主要流程如下：
92.(1)本级按节点权限生成上下级待同步增量数据和与之对应的备份点待同步sql，通过网络传输将待同步增量数据发送到上下级数据库节点。
93.(2)上下级节点接收到待同步增量数据，并将待同步增量数据与数据库数据比对生成同步增量数据和数据库增量同步sql，将待同步增量数据与相应备份点比对生成备份点同步更新sql。
94.(3)用户根据界面结果人为决策同意与否，同意则执行数据库同步sql和备份点同步sql完成数据库数据同步，拒绝则不做操作，并将结果反馈给上下级节点。
95.(4)上下级节点收到同步反馈结果，若同意则执行备份点sql完成备份点更新。
96.实施例3：
97.实施例3为实施例1的优选例。
98.以上中下三级节点为例，同步范围选择模块具体实施过程如图3所示：
99.(1)上级节点：上级节点n1选择同步表，选择同步表时自动将级联父表纳入到同步表范围中，选择好同步表范围a1，将a1存储到范围表中，并导出数据库表范围a1的数据包d1。上级节点n1根据数据包d1按节点权限生成中间级节点n2的备份点ubn2，通过网络传输把同步表范围a1和同步表数据d1下发给中间级节点n2。
100.(2)中间级节点：中间级节点n2接收到上级节点n1下发的同步表范围a1和同步表数据d1后，先将a1和d1转发给下级节点n3，再将a1存储到范围表中，将d1数据包循环导入到备份库中按节点权限过滤数据生成上级节点n1的备份点mbn1和下级节点n3的备份点mbn3。中间级节点n2和顶级节点n1因权限等级的不同需要同步的表范围可能存在差异，因此中间级节点n2可按需扩展同步表范围，中间级节点n2选择同步表范围a2存储到范围表中，并导
出同步表范围a2的数据包d2，中间级节点n2导入数据包d2到备份库按节点n3权限过滤数据更新备份点mbn3。此时中间级节点n2的上级节点n1同步表范围a1，n2节点的下级节点n3的同步表范围a1 a2，将a2和d2下发给下级节点n3。
101.(3)下级节点：下级节点n3收到中间级n2转发的同步表范围a1和同步表数据包d1，将a1存储到范围表中，循环导入数据包d1按节点权限过滤数据生成中间级节点n2的备份点dbn2。下级节点n3收到中间级n2扩充下发的同步表范围a2和同步表数据包d2，将a2存储到范围表中，循环导入数据包d2按节点权限过滤数据更新其中间级节点n2的备份点dbn2。
102.实施例4：
103.实施例4为实施例1的优选例。
104.以上中下三级节点为例，差异增量数据同步模块具体实施过程如图5所示：
105.(1)中间级节点n2在t1-t2时间段内用户对数据库数据源进行dml操作，在t3时刻数据库数据源上级节点n1备份点进行快速比对，生成n1待节点同步增量数据d1和n1备份点同步sql并将其通过网络传输上报给上级节点n1发出同步请求。同理在t4时刻数据库数据源按节点权限与下级节点n3备份点进行快速比对，生成n3待节点同步增量数据d3和n3备份点待同步sql并将其通过网络传输下发给下级节点n3发出同步请求。中间级节点n2收到上级节点n1同步反馈结果若结果为同意则执行n1备份点同步sql，若不同意和上级节点n1沟通确认不合格数据，修改合格后再发起同步请求；中间级节点n2收到下级节点n3同步反馈结果若结果为同意则执行n3备份点同步sql，若不同意和下级节点n3沟通确认不合格数据，修改合格后再发起同步请求。
106.(2)上级节点n1收到n2同步请求将待同步增量数据文件d1入库载入待同步增量数据，并将待同步增量数据分别与数据库数据和n2节点备份点比对生成同步增量数据、数据库同步sql、n2备份点同步sql。通过json格式增量数据在界面的友好显示如图6，按照数据正确性等人为决策同步与否，若n1节点同意n2节点的同步请求则执行数据库同步sql和n2备份点同步sql完成同步并将结果通过网络反馈给n2，若n1节点不同意同步请求则和n2节点沟通告知原因，以便下次同步。
107.(3)下级节点n3收到n2同步请求将待同步增量数据文件d3入库载入待同步增量数据，并将待同步增量数据分别与数据库数据和n2节点备份点比对生成同步增量数据、数据库同步sql、n2备份点同步sql。通过json格式增量数据在界面的友好显示如图6，按照数据正确性等人为决策同步与否，若n3节点同意n2节点的同步请求则执行数据库同步sql和n2备份点同步sql完成同步并将结果通过网络反馈给n2，若n3节点不同意同步请求则和n2节点沟通告知原因，以便下次同步。
108.本发明提供一种基于数据增量的树型级联数据库同步系统，节点数据库数据源与备份库数据源比对生成增量数据，并向其它节点发出同步请求，在数据同步过程中本发明采用了人为决策来确定各级节点数据库数据是否同步，避免因某一节点数据库数据错误自动同步至所有节点带来的数据库崩溃等数据损失，维护了数据的一致性和正确性。
109.本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为
是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
110.以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。