一种数据库的同步方法、装置、系统、设备及介质与流程

1.本公开实施例涉及数据库技术领域，尤其涉及一种数据库的同步方法、装置、系统、设备及介质。


背景技术：

2.为了防止数据库中的数据丢失，可以通过将数据写入到多个副本中来保证数据的安全，而多副本中数据的强一致性实现，即同步实现，是一个重要的问题。
3.目前，数据库管理系统中一般是通过自身的插件或第三方提供的工具实现多副本中数据的强一致性，但是上述方式中插件或工具专用于某一个数据库管理系统，其他数据库管理系统不能使用，每个数据库管理系统均需要开发对应的插件或工具来实现数据的强一致性，成本较高。


技术实现要素：

4.为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种数据库的同步方法、装置、系统、设备及介质。
5.本公开实施例提供了一种数据库的同步方法，所述方法应用于第一一致性组件，包括：
6.接收主数据库的数据库日志，并将所述数据库日志发送至从数据库，其中，所述第一一致性组件与所述主数据库相对应，所述从数据库的数量为至少一个；
7.如果确定各所述从数据库均成功同步所述数据库日志，则发送存储指令给所述主数据库，以使所述主数据库存储所述数据库日志。
8.本公开实施例还提供了一种数据库的同步装置，所述装置设置于第一一致性组件，包括：
9.日志发送模块，用于接收主数据库的数据库日志，并将所述数据库日志发送至从数据库，其中，所述第一一致性组件与所述主数据库相对应，所述从数据库的数量为至少一个；
10.日志同步模块，用于如果确定各所述从数据库均成功同步所述数据库日志，则发送存储指令给所述主数据库，以使所述主数据库存储所述数据库日志。
11.本公开实施例还提供了一种数据库的同步系统，所述系统包括主数据库、至少一个从数据库以及所述主数据库对应的第一一致性组件，所述第一一致性组件用于：接收所述主数据库的数据库日志，并将所述数据库日志发送至所述从数据库；如果确定各所述从数据库均成功同步所述数据库日志，则发送存储指令给所述主数据库，以使所述主数据库存储所述数据库日志。
12.本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的数据库的同步方法。
13.本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的数据库的同步方法。
14.本公开实施例提供的技术方案与现有技术相比具有如下优点：本公开实施例提供的数据库的同步方案，第一一致性组件接收主数据库的数据库日志，并将数据库日志发送至从数据库，其中，第一一致性组件与主数据库相对应，从数据库的数量为至少一个；如果确定各从数据库均成功同步数据库日志，则发送存储指令给主数据库，以使主数据库存储数据库日志。采用上述技术方案，主数据库接收到对应的第一一致性组件确定各从数据库均成功同步数据库日志之后发送的存储指令时，才存储数据库日志，实现了主从数据库之间的日志的一致性，进而基于日志可以实现数据的强一致性，由于第一一致性组件具备通用性，能够应用在不同的数据库管理系统中，避免了不同数据库管理系统均需要开发一致性工具，节省了成本。
附图说明
15.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
16.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
17.图1为本公开实施例提供的一种数据库的同步方法的流程示意图；
18.图2为本公开实施例提供的另一种数据库的同步方法的流程示意图；
19.图3为本公开实施例提供的一种数据库的同步系统的结构示意图；
20.图4为本公开实施例提供的一种数据库的同步装置的结构示意图；
21.图5为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
22.为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
23.在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
24.传统关系型数据库的一致性是指数据库中acid(atomic、consistency、isolation和durability)特性中的一致性。但是在现在的更多场景和应用中，数据的安全不再简单地由硬件保证，而是通过软件控制，即将数据写入到多个副本中来保证数据的安全。所以，一致性也可以是指数据库的多副本问题中的数据一致性。强一致性要求更新过的数据能够被后续的访问都能看到，即任何的一次读操作，都能查询到该数据的最新版本的数据。强一致性的目的在于保证数据的安全，即要求在任何情况下，都访问的是最近一次写入的数据，不存在数据丢失。
25.目前，数据库领域在实现强一致性时一般是通过自身的插件或第三方提供的工具
实现，例如mysql数据库实现强一致性是依赖于自身的全同步复制(mysql group replication，mgr)插件；postgres数据库是通过第三方提供的工具实现强一致性。但是上述mgr插件只能用于mysql数据库，postgres数据库应用的第三方提供的工具也只能自身使用，均不能应用在其他数据库上，不具有通用性，每种数据库在实现强一致性时均需要开发对应的插件或工具，成本较高。基于上述缺陷，本公开实施例提供了一种数据库的同步方法，可以实现不同类型的数据库的强一致性。
26.图1为本公开实施例提供的一种数据库的同步方法的流程示意图，该方法可以由数据库的同步装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电子设备中。如图1所示，该方法应用于第一一致性组件，包括：
27.步骤101、接收主数据库的数据库日志，并将数据库日志发送至从数据库，其中，第一一致性组件与主数据库相对应，从数据库的数量为至少一个。
28.其中，一致性组件是本公开实施例中新增的用于实现数据库实例之间数据的强一致性的通用组件，该一致性组件对接收的数据不进行任何处理，即不进行识别和分析，仅仅传输数据。一致性组件为嵌入式通用组件，支持部署在不同的数据库管理系统中。第一一致性组件是与主数据库一一对应的一致性组件。
29.为了保证数据的安全，本公开实施例采用多个数据库存储数据。对数据库的管理和操作是通过数据库实例实现的，数据库实例是用于管理数据库文件的内存结构，本公开实施例可以采用主从架构的多个数据库实例，具体可以包括一个主数据库实例和至少一个从数据库实例，主数据库实例可以负责提供正常的数据库访问功能，同时可以将数据同步到从数据库实例，以保证数据的强一致性。如果主数据库实例因为故障不能正常使用，则可以在多个从数据库实例中选举出一个新的主数据库实例。因此，主数据库实例中的数据库称为主数据库，从数据库实例中的数据库称为从数据库。
30.具体的，数据库产生数据库日志之后，可以将该数据库日志发送给第一一致性组件，第一一致性组件接收主数据库的数据库日志，并将数据库日志发送至每个从数据库。其中，数据库日志可以为数据库中记录所有事务以及每个事务对数据库所做的修改的日志，通过重做数据库日志可以实现数据的复制。
31.第一一致性组件可以发送数据库至第一数据复制模块；第一数据复制模块可以将数据库日志传输给每个从数据库对应的第二数据复制模块，以使第二数据复制模块将数据库日志传输至对应的从数据库存储。其中，第一数据复制模块和第二数据复制模块均基于一致性协议(raft协议)实现。一致性协议，又称数据复制协议，是一种用于实现数据库实例之间数据一致性的协议。
32.步骤102、如果确定各从数据库均成功同步数据库日志，则发送存储指令给主数据库，以使主数据库存储数据库日志。
33.本公开实施例中，确定各从数据库均成功同步日志，可以包括：接收各从数据库发送的日志同步反馈消息，其中，日志同步反馈消息包括日志同步成功消息和/或日志同步失败消息；如果每个日志同步反馈消息均为日志同步成功消息，则确定各从数据库均成功同步数据库日志。
34.其中，日志同步成功信息是用于表示日志确认接收成功的信息，具体可以通过确认字符(acknowledge character，ack)来表示。当各从数据库对应的第二复制模块接收到
数据库日志之后，可以传输至对应从数据库存储，从数据库可以返回一个日志同步成功信息给主数据库对应的第一复制模块；第一复制模块可以将各从数据库发送的日志同步成功消息发送给第一一致性组件。如果第一一致性组件接收到每个从数据库的日志同步反馈消息均为日志同步成功消息，则确定日志同步成功，发送存储指令给主数据库，以使主数据库存储数据库日志，即主数据库将数据库日志写入本地磁盘。至此，主数据库实现了与从数据库之间的日志同步，进而基于日志可以执行数据操作重现，实现数据的强一致性。
35.本公开实施例中，第一一致性组件将数据库日志发送至从数据库之后，还包括：如果确定各从数据库中有任意一个未成功同步数据库日志，则发送同步失败指令给主数据库。也即，第一一致性组件如果接收到任意一个从数据库发送的日志同步失败信息，则确定日志同步失败，即并非全部的从数据库复制了主数据库的数据库日志，可以发送同步失败指令给主数据库，使主数据库不进行数据库日志的存储，以与从数据库的日志保持一致。日志同步失败信息是用于表示日志确认接收失败或有误的信息，具体可以通过否认字符(negative acknowledge，nak)来表示。
36.本公开实施例中，通过通用组件的形式实现数据库的强一致性，能够屏蔽数据库对强一致性的影响，可以保证强一致性不依赖于数据库，并且由于组件的通用性，能够在不同的数据库上使用，实用性和扩展性较强。
37.本公开实施例提供的数据库的同步方案，第一一致性组件接收主数据库的数据库日志，并将数据库日志发送至从数据库，其中，第一一致性组件与主数据库相对应，从数据库的数量为至少一个；如果确定各从数据库均成功同步数据库日志，则发送存储指令给主数据库，以使主数据库存储数据库日志。采用上述技术方案，主数据库接收到对应的第一一致性组件确定各从数据库均成功同步数据库日志之后发送的存储指令时，才存储数据库日志，实现了主从数据库之间的日志的一致性，进而基于日志可以实现数据的强一致性，由于第一一致性组件具备通用性，能够应用在不同的数据库管理系统中，避免了不同数据库管理系统均需要开发一致性工具，节省了成本。
38.在一些实施例中，将数据库日志发送至从数据库之前，还包括：对数据库日志进行封装和校验。
39.对于一致性组件而言，不同数据库管理系统中不同格式或类型的数据库日志均是普通的字符串，不对内容进行识别，因此具备通用性。本公开实施例中，主数据库对应的第一一致性组件接收到数据库日志之后，可以进行一个整体封装和加密，在传输给第一数据复制模块之前，还可以进行解密实现校验，以保证一致性组件传输数据库日志的过程中数据不发生变化，提高安全性。
40.图2为本公开实施例提供的另一种数据库的同步实现方法的流程示意图，本实施例在上述实施例的基础上，进一步对上述数据库的同步实现方法进行具体说明。如图2所示，该方法包括：
41.步骤201、接收主数据库的数据库日志。
42.步骤202、对数据库日志进行封装和校验，并将数据库日志发送至从数据库。
43.其中，第一一致性组件与主数据库相对应，从数据库的数量为至少一个。
44.步骤203、确定各从数据库是否均成功同步数据库日志，若是，则执行步骤204；否则，执行步骤205。
45.如果第一一致性组件接收到的各从数据库发送的日志同步反馈消息均为日志同步成功消息，则确定各从数据库均成功同步数据库日志，执行步骤204；如果第一一致性组件接收到的各从数据库发送的日志同步反馈消息中任意一个为日志同步失败消息，则执行步骤205。
46.步骤204、发送存储指令给主数据库，以使主数据库存储数据库日志。
47.第一一致性组件发送存储指令给主数据库，以使主数据库存储数据库日志，即数据库将数据库日志写入本地磁盘。
48.步骤205、发送同步失败指令给主数据库。
49.第一一致性组件确定日志同步失败，即并非全部的从数据库复制了主数据库的数据库日志，可以发送同步失败指令给主数据库，使主数据库不进行数据库日志的存储。
50.本公开实施例中通过一个一致性组件可以实现数据库之间数据的强一致性，并且由于该一致性组件的通用性，可以快速部署在不同的数据库管理系统中，减少了多款数据库管理系统在实现强一致性上的各自的开发成本。
51.本公开实施例提供的数据库的同步方案，第一一致性组件接收主数据库的数据库日志，对数据库日志进行封装和校验，并将数据库日志发送至从数据库，确定各从数据库是否均成功同步数据库日志，若是，则发送存储指令给主数据库，以使主数据库存储数据库日志；否则发送同步失败指令给主数据库。采用上述技术方案，主数据库接收到对应的第一一致性组件确定各从数据库均成功同步数据库日志之后发送的存储指令时，才存储数据库日志，实现了主从数据库之间的日志的一致性，进而基于日志可以实现数据的强一致性，由于第一一致性组件具备通用性，能够应用在不同的数据库管理系统中，避免了不同数据库管理系统均需要开发一致性工具，节省了成本。
52.图3为本公开实施例提供的一种数据库的同步系统的结构示意图。如图3所示，该数据库的同步系统可以包括主数据库11、至少一个从数据库以及主数据库11对应的第一一致性组件12，第一一致性组件12用于：接收主数据库11的数据库日志，并将数据库日志发送至从数据库；如果确定各从数据库均成功同步数据库日志，则发送存储指令给主数据库11，以使主数据库11存储数据库日志。
53.参见图3，图中示例性的示出了两个从数据库，从数据库位于从数据库实例中，从数据库21位于从数据库实例20中，从数据库31位于从数据库实例30，主数据库11和第一一致性组件12位于主数据库实例10中。数据库的同步系统中还可以包括第二一致性组件，如图3中第二一致性组件22和第二一致性组件32，第二一致性组件与从数据库对应，第二一致性组件22位于从数据库实例20中，与从数据库21对应，第二一致性组件32位于从数据库实例30中，与从数据库31对应。第一一致性组件12用于将数据库日志发送至第二一致性组件；第二一致性组件用于接收第一一致性组件12发送的数据库日志，并将数据库日志发送给从数据库。
54.主数据库实例10中还可以包括第一数据复制模块13，从数据库实例中还可以包括第二数据复制模块，如图3中第二数据复制模块23和第二数据复制模块33，第一数据复制模块和第二数据复制模块均基于一致性协议(raft协议)实现数据同步。
55.第二一致性组件还用于如果从数据库切换为新的主数据库，则执行本公开实施例中的数据库的同步方法。如图3所示，当主数据库11发生故障，从数据库实例20切换为新的
主数据库实例，其中的从数据库21切换为新的主数据库时，其中的第二一致性组件22可以执行：接收主数据库的数据库日志，并将数据库日志发送至从数据库；如果确定各从数据库均成功同步数据库日志，则发送存储指令给主数据库，以使主数据库存储数据库日志。
56.图3中的箭头可以表示日志同步的具体流程，具体可以包括：主数据库实例10中的主数据库11在日志内存中生成数据库日志，并将数据库日志传递给第一一致性组件12；第一一致性组件12将数据库日志发送给第一数据复制模块13；第一数据复制模块13基于一致性协议将数据库日志写入本地磁盘，如图中的日志文件，并且将数据库日志传输给第二数据复制模块23和第二数据复制模块33；第二数据复制模块23和第二数据复制模块33接收到数据库日志之后，可以将数据库日志存储在对应的从数据库21和从数据库31中，如图中从数据库21和从数据库31中的数据库日志文件，并且回复一个日志同步成功消息给第一数据复制模块13；第一数据复制模块13将接收到的日志同步成功消息发送给第一一致性组件12，第一一致性组件12接收到全部从数据库实例(即图中的从数据库实例20和从数据库实例30)的日志同步成功信息之后，确定日志同步成功，发送存储指令给主数据库11，以使主数据库11将数据库日志写入磁盘中。
57.本公开实施例提供的数据库的同步系统，通过引入通用的一致性组件，可以实现数据库之间日志同步，主数据库对应的第一一致性组件接收主数据库的数据库日志，并将数据库日志发送至从数据库；如果确定各从数据库均成功同步数据库日志，则发送存储指令给主数据库，以使主数据库存储数据库日志。采用上述技术方案，主数据库接收到对应的第一一致性组件确定各从数据库均成功同步数据库日志之后发送的存储指令时，才存储数据库日志，实现了主从数据库之间的日志的一致性，进而基于日志可以实现数据的强一致性，由于第一一致性组件具备通用性，能够应用在不同的数据库管理系统中，避免了不同数据库管理系统均需要开发一致性工具，节省了成本。
58.图4为本公开实施例提供的一种数据库的同步装置的结构示意图，该装置可由软件和/或硬件实现，一般可集成在电子设备中。如图4所示，该装置设置于第一一致性组件，包括：
59.日志发送模块301，用于接收主数据库的数据库日志，并将所述数据库日志发送至从数据库，其中，所述第一一致性组件与所述主数据库相对应，所述从数据库的数量为至少一个；
60.日志同步模块302，用于如果确定各所述从数据库均成功同步所述数据库日志，则发送存储指令给所述主数据库，以使所述主数据库存储所述数据库日志。
61.本公开实施例提供的数据库的同步方案，第一一致性组件接收主数据库的数据库日志，并将数据库日志发送至从数据库，其中，第一一致性组件与主数据库相对应，从数据库的数量为至少一个；如果确定各从数据库均成功同步数据库日志，则发送存储指令给主数据库，以使主数据库存储数据库日志。采用上述技术方案，主数据库接收到对应的第一一致性组件确定各从数据库均成功同步数据库日志之后发送的存储指令时，才存储数据库日志，实现了主从数据库之间的日志的一致性，进而基于日志可以实现数据的强一致性，由于第一一致性组件具备通用性，能够应用在不同的数据库管理系统中，避免了不同数据库管理系统均需要开发一致性工具，节省了成本。
62.可选的，所示日志同步模块302具体用于：
63.接收各所述从数据库发送的日志同步反馈消息，其中，所述日志同步反馈消息包括日志同步成功消息和/或日志同步失败消息；
64.如果每个所述日志同步反馈消息均为所述日志同步成功消息，则确定各所述从数据库均成功同步所述数据库日志。
65.可选的，所述装置还包括同步失败模块，具体用于：
66.如果确定各所述从数据库中有任意一个未成功同步所述数据库日志，则发送同步失败指令给所述主数据库。
67.可选的，所述装置还包括校验模块，具体用于：将所述数据库日志发送至从数据库之前，
68.对所述数据库日志进行封装和校验。
69.本公开实施例所提供的数据库的同步装置可执行本发明任意实施例所提供的数据库的同步方法，具备执行方法相应的功能模块和有益效果。
70.图5为本公开实施例提供的一种电子设备的结构示意图。如图5所示，电子设备400包括一个或多个处理器401和存储器402。
71.处理器401可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备400中的其他组件以执行期望的功能。
72.存储器402可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器401可以运行所述程序指令，以实现上文所述的本公开的实施例的数据库的同步方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
73.在一个示例中，电子设备400还可以包括：输入装置403和输出装置404，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
74.此外，该输入装置403还可以包括例如键盘、鼠标等等。
75.该输出装置404可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置404可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
76.当然，为了简化，图5中仅示出了该电子设备400中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备400还可以包括任何其他适当的组件。
77.除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的数据库的同步方法。
78.所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c 等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软
件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
79.此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的数据库的同步方法。
80.所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
81.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
82.以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。