一种数据库系统的制作方法

1.本发明涉及数据库领域，特别是涉及一种数据库系统。


背景技术：

2.数据库备份通常分为逻辑备份和物理备份。逻辑备份是通过数据库系统提供的工具，将数据内容导出为sql结构化语言(structured query language)形式的备份方法。物理备份是以物理文件作为基本操作对象，将数据库系统包含的数据进行拷贝的备份方法。数据库系统的物理备份，是重要的维持数据冗余的手段之一。
3.常见的备份管理基本都是一对一，即一个数据库实例对应一个备份服务器。因为备份工具总是内嵌于数据库系统中，跟数据库系统本身具有很强的耦合性，通常一个数据库实例对应一个备份服务器，其对应逻辑由数据库实例来维护，若干数量的数据库实例需要分别进行管理。因为物理备份这一事件的触发点，由数据库实例来掌控，在不同数据库实例需要不同的备份策略的情况下，需要管理员人为地分别不同的数据库实例，逐个管理、逐个配置，容易发生人为错误和遗漏。


技术实现要素：

4.本发明的一个目的是要提供一种能够解决上述任一技术问题的数据库系统。
5.本发明一个进一步的目的是要协调若干数据库实例备份诉求。
6.本发明另一个进一步的目的是要不影响数据库的对外服务。
7.本发明又一个进一步的目的是要提高针对多数据库场景的备份效率。
8.特别地，本发明提供了一种数据库系统，该数据库系统包括：
9.多个数据库实例；
10.至少一个数据库集群；
11.备份管理中心，包括备份工具以及至少一个备份服务器；
12.备份工具被配置为根据每个数据库实例的备份策略将物理备份的备份集引导到备份策略对应的备份服务器，物理备份的备份集通过对数据库集群进行数据拷贝得到。
13.可选的，备份策略包括备份周期、备份形式以及备份目标；
14.其中备份周期包括增量备份周期和\或全量备份周期；
15.备份形式包括增量备份、全量备份、块级别增量备份；
16.备份目标用于指定一个或多个备份服务器。
17.可选的，备份工具还被配置为在每次备份周期轮询开始时读取配置文件，并对配置文件进行解析以执行与配置文件对应的备份策略。
18.可选地，备份工具还被配置为将预写日志归档至多个不同的备份服务器。
19.可选地，数据库集群包括至少一个备节点；
20.备份工具还被配置从备节点拷贝数据文件以得到物理备份的备份集。
21.可选地，备份工具还被配置为在物理备份过程中断时记录数据传输中断位置，并
在重启物理备份过程时从传输中断位置继续进行。
22.可选地，备份工具还被配置为根据预设的带宽阈值限制数据传输速度。
23.可选地，备份工具还被配置为将物理备份的任务分配至多个子进程中；
24.任一子进程用于负责一个数据文件的物理备份的任务。
25.可选地，备份工具还被配置为对物理备份的备份集进行压缩。
26.可选地，备份工具还被配置为对物理备份的备份集进行加密。
27.本发明的数据库系统包括多个数据库实例、至少一个数据库集群以及备份管理中心。备份管理中心包括备份工具以及至少一个备份服务器。备份工具被配置为根据每个数据库实例的备份策略将物理备份的备份集引导到备份策略对应的备份服务器，物理备份的备份集通过对数据库集群进行数据拷贝得到。本发明的数据库系统的备份管理中心串联起多个具有不同备份诉求的数据库实例，数据库实例将物理备份的触发能力转交给备份管理中心统一管理和调度，并根据各数据库实施例的不同诉求，将物理备份的备份集引导到多个不同的备份服务器，协调若干数据库实例备份诉求以及对应的若干备份服务器，非常高效的实现了多数据库实例的物理备份。
28.进一步地，本发明的数据库系统的备份工具还被配置为在每次备份周期轮询开始时读取配置文件，并对配置文件进行解析以执行与配置文件对应的备份策略。本发明的数据库系统在每次备份周期轮询开始时，首先读取配置文件，如果当前时间段有需要进行物理备份的数据实例，则读取该数据库实例对应的备份策略，根据配置文件动态执行不同的备份策略，动态配置不影响数据的对外服务，且提高了备份效率。
29.根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
30.后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
31.图1是根据本发明一个实施例的数据库系统的示意性架构图；
32.图2是根据本发明另一个实施例的数据库系统的示意性架构图；
33.图3是根据本发明另一个实施例的数据库系统的数据传输的示意性图；
34.图4是根据本发明另一个实施例的数据库系统的数据传输的示意性图。
具体实施方式
35.图1是根据本发明一个实施例的数据库系统的示意性架构图。图2是根据本发明另一个实施例的数据库系统的示意性架构图。如图1-图2所示，本实施例的数据库系统包括多个数据库实例、至少一个数据库集群200以及备份管理中心100。备份管理中心100，包括备份工具110以及至少一个备份服务器120。备份工具110被配置为根据每个数据库实例的备份策略将物理备份的备份集引导到备份策略对应的备份服务器120。物理备份的备份集通过对数据库集群200进行数据拷贝得到。每个数据库集群200都包括一个主节点210以及至少一个备节点220。
36.本实施例的备份管理中心100统一管理若干数量的数据库实例的物理备份。备份管理中心100串联起多个具有不同备份诉求的数据库实例。数据库实例将物理备份的出发能力转交给备份管理中心100统一管理和调度，并根据各数据库实例的不同诉求，将物理备份的备份集引导到多个不同的备份服务器120，实现了协调若干数据库实例备份诉求以及对应的若干备份服务器120，非常高效的实现了多数据库实例的物理备份。
37.备份策略包括备份周期、备份周期以及备份目标。其中备份周期包括增量备份周期和\全量备份周期。备份形式包括增量备份、全量备份、块级别增量备份。备份目标用于指定一个或多个备份服务器120。在优选的实施例中，备份周期可以为每天一次增量备份的同时进行一周一次的全量备份。在一些其他实施例中，备份周期可以为一天进行一次全量备份。
38.备份工具110还可以被配置为在每次备份周期轮询开始时读取配置文件，并对配置文件进行解析以执行与所述配置文件对应的备份策略。为了实现备份策略的动态调整，备份工具110具有动态配置的特性。备份策略通过外部的配置文件来包含，通过这样的方法，可以针对不同的数据库实例在配置文件中，分别给与不同的备份策略。每次备份周期轮询开始时，首先读取配置文件，如果当前时间段有需要进行物理备份的数据库实例，读取该数据库实例对应的策略，根据配置文件动态执行不同的备份策略。备份管理中心100可以根据需要去调整配置文件。
39.备份工具110还可以被配置为将预写日志归档(wal,write ahead log)至多个不同的备份服务器120。预写日志对数据库非常重要。预写日志是关系型数据库中实现事务性和持久性的一系列技术。物理备份所需要的预写日志归档构成了备份的定点还原能力。本实施例的备份工具110，具有多目标归档的能力，不影响数据库现有对外服务的情况下，可以实时调整归档的目标。从单独的数据库实例，可以将预写日志归档到多个不同的备份服务器120，建立起一对多的物理备份关系。
40.备份工具110还可以被配置为从备节点220拷贝数据文件以得到物理备份的备份集。在备份过程中，可以从集群中的备节点220拷贝数据文件，这样的配置清下，对数据库实例的对外服务和在线业务能力，影响近乎下降到零，对整个数据库集群200的性能损耗几乎可以忽略不计。在主备集群实例中，备节点220作为后备实例，除了接受主节点210的同步数据外，其节点本身的性能有很多冗余性。在物理备份时，将备节点220作为数据文件的拷贝来源，将极大地降低屋里备份这一辅助动作对整体集群的性能损耗。
41.备份工具110还可以被配置为在物理备份中断时记录数据传输中断位置，并在重启传输过程时从传输中断位置继续进行。因为意外中断的数据传输过程，可以在下一次备份时，准确找到数据传输中断位置，继续启动上一次备份，这会极大地节约时间资源，快速地达到备份的实际效果。该过程的实现可以分为两部分：一部分是断点，另一部分是续传。断点的由来是在执行物理备份的过程中，讲一个数据库的数据备份到指定服务器时，中途意外停止了，备份工具110自动记录数据传输中断位置，并维护已经备份成功的文件列表。续传就是当再一次的物理备份任务开始的时候，如果有前一次的数据传输中断位置，根据已经完成备份的文件列表，继续从上次的数据传输中断位置继续物理备份的过程。
42.备份工具110还可以被配置为根据预设的带宽阈值限制数据传输速度。为了降低物理备份功能对数据库实例对外服务能力的网络带宽的影响，可以对备份功能可以使用的
带宽进行限制，通过配置，将备份工具110对网络带宽的使用限制在设定的带宽阈值以下。
43.备份工具110还被配置为将物理备份的任务分配至多个子进程中。任一子进程用于负责一个数据文件的物理备份的任务。在物理备份过程中，充分利用服务器多cpu(中央处理器)多内核的特点，开展多进程的并行备份，极大地提高了物理备份大容量数据库实例时的效率。物理备份过程中，在一个数据库实例的范围内，就需要处理数量较大的数据文件。备份工具110以数据文件为单位，将其物理备份任务分配到不同的子进程中。任一时刻一个子进程仅负责一个数据文件。由主进程汇总物理备份的进度和任务的调度。图3是根据本发明另一个实施例的数据库系统的数据传输的示意性图。图4是根据本发明另一个实施例的数据库系统的数据传输的示意性图。如图3-图4所示，本分工具将物理备份任务拆分成多个子任务，即图中所示job-n(n＝1，2，3
……
99)。每个子任务对应一个数据文件。子进程为图中所示porocess-1，porocess-2，porocess-3，porocess-4。busy表示其正在进行。备份工具110为将物理备份的任务分配至多个子进程中。在任一子任务完成后，将后续的子任务分配至已经执行完任务的子进程中，以保证工作效率。
44.备份工具110还被配置为对物理备份的备份集进行压缩。本实施例的数据库系统支持在指定的目标备份服务器120的物理存储层面，开启压缩。备份服务器120可以根据实际需要选择是否开启压缩。物理备份要考虑两个重要的因素：时间和空间。开启压缩将节约空间，消耗更多的时间。不开启压缩，将消耗更多的空间，节约时间。
45.备份工具110还被配置为对物理备份的备份集进行加密。加密是为了保护备份集的信息安全，即使备份集被非授权拷贝，也不能直接作为数据库实例的源头来获取内部信息。
46.本实施例的数据库系统通过备份管理中心100对大型数据中心进行集中化管理，在数据冗余安全领域，带来极大的效率提升，提高了对整个数据库系统的数据的安全保障。
47.本实施例的数据库系统包括多个数据库实例、至少一个数据库集群200以及备份管理中心100。备份管理中心100包括备份工具110以及至少一个备份服务器120。备份工具110被配置为根据每个数据库实例的备份策略将物理备份的备份集引导到备份策略对应的备份服务器120，物理备份的备份集通过对数据库集群200进行数据拷贝得到。本发明的数据库系统的备份管理中心100串联起多个具有不同备份诉求的数据库实例，数据库实例将物理备份的触发能力转交给备份管理中心100统一管理和调度，并根据各数据库实施例的不同诉求，将物理备份的备份集引导到多个不同的备份服务器120，协调若干数据库实例备份诉求以及对应的若干备份服务器120，非常高效的实现了多数据库实例的物理备份。
48.进一步地，本实施例的数据库系统的备份工具110还被配置为在每次备份周期轮询开始时读取配置文件，并对配置文件进行解析以执行与配置文件对应的备份策略。本发明的数据库系统在每次备份周期轮询开始时，首先读取配置文件，如果当前时间段有需要进行物理备份的数据实例，则读取该数据库实例对应的备份策略，根据配置文件动态执行不同的备份策略，动态配置不影响数据的对外服务，且提高了备份效率。
49.至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。