一种时序数据库快照数据归档方法及系统与流程

1.本发明属于计算机数据处理领域，具体涉及一种时序数据库快照数据归档方法及系统。


背景技术：

2.数据归档(data archiving)是将不再经常使用的数据移到一个单独的存储设备来进行长期保存的过程。数据存档由历史数据组成，为方便后期的数据查询检索，其数据必须遵从一定的规则来存储。
3.在时序数据库中，快照服务完成数据在内存中的处理和管理，历史服务完成数据在磁盘中的处理和管理。时序数据一般是按照时间顺序入库的，时序数据从入库到归档存储需要经由快照在内存中的排序、整理、批量整合后再通知历史服务接管，并按照顺序落盘存档。
4.现有的数据存档由快照服务按照时间顺序写满内存中的各个数据页，满足归档条件时通知历史服务直接归档内存中的数据页，但如果此时要求执行补录一批历史数据，正好这批数据需要插入到正在归档的数据页中，插入数据会由于数据页写满造成数据溢出，这必将导致此数据页之后的数据页都将发生数据移动，产生大量的插入和拷贝操作，这种处理方式不仅复杂而且势必会影响数据归档效率。


技术实现要素：

5.本发明的目的在于针对上述现有技术中的问题，提供一种时序数据库快照数据归档方法及系统，避免快照数据与补录数据同时入库时在内存中产生冲突，简化快照服务对补录数据在内存中的处理流程，使得数据处理归档简单和高效。
6.为了实现上述目的，本发明有如下的技术方案：
7.第一方面，提供一种时序数据库快照数据归档方法，包括以下步骤：
8.快照服务从归档队列中取出内存页，拷贝到交换内存中，并释放当前内存页；
9.调用历史服务相应接口归档，在归档结束后，返回处理结果至快照服务。
10.作为本发明时序数据库快照数据归档方法的一种优选方案，所述快照服务从归档队列中取出内存页，拷贝到交换内存中具体包括以下步骤：
11.所述的归档队列为历史内存页信息队列，快照服务从历史内存页信息队列中取出数据页的页码，通过页码在历史数据内存共享内存池中获取数据页；然后进行数据页有效性判断，将无效的数据页写入内存文件，将有效的数据页拷贝到交换内存共享内存中。
12.作为本发明时序数据库快照数据归档方法的一种优选方案，所述快照服务从归档队列中取出内存页时每次取出m个页进行批量归档，如果不足m页则等待s秒，若队列中仍没有内存页，则直接将当前的所有数据拷贝到交换内存中，并通知历史服务；
13.所述的m、s为设定值，且m、s的取值由快照服务进行设定。
14.作为本发明时序数据库快照数据归档方法的一种优选方案，所述调用历史服务相
应接口归档时，当历史服务收到接口调用的通知后，遍历存档文件以及归档数据页，将存档文件与归档数据页的时间范围逐个进行比较，将归档数据页中所有落在当前存档文件时间范围内的数据进行汇总，最终写入存档文件中，然后遍历下一个存档文件。
15.作为本发明时序数据库快照数据归档方法的一种优选方案，所述将存档文件与归档数据页的时间范围逐个进行比较时，若归档数据页的时间范围和存档文件的时间范围出现交叉，则根据归档数据页和存档文件的起始时间以及结束时间进行数据页分割。
16.作为本发明时序数据库快照数据归档方法的一种优选方案，当归档数据页的起始时间》存档文件的起始时间，且归档数据页的结束时间》存档文件的结束时间，则表示存档文件不是时间最新的存档文件，对存档文件进行数据页拆分，并将落在存档时间范围内的拆分数据页写入存档文件进行归档；将没有对应时间的存档文件写入未存档数据内存文件中。
17.作为本发明时序数据库快照数据归档方法的一种优选方案，当归档数据页的起始时间》存档文件的起始时间，且归档数据页的结束时间≤存档文件的结束时间，则不能判断存档文件是不是时间最新的存档文件，该归档数据页时间全部落在存档文件时间范围内，整个数据页写入存档文件进行归档。
18.作为本发明时序数据库快照数据归档方法的一种优选方案，当归档数据页的结束时间≤存档文件的起始时间，表示归档数据页时间未落在存档文件时间范围内，则等待与下一个存档文件进行比较。
19.作为本发明时序数据库快照数据归档方法的一种优选方案，当归档数据页的起始时间《存档文件的起始时间，且归档数据页的结束时间》存档文件的起始时间，则对存档文件进行数据页拆分，将没有落在存档文件时间范围内的拆分数据页，等待与下一个存档文件进行比较；将落在存档文件时间范围内的拆分数据页，写入存档文件归档。
20.第二方面，提供一种时序数据库快照数据归档系统，包括：
21.内存页释放模块，用于快照服务从归档队列中取出内存页，拷贝到交换内存中，并释放当前内存页；
22.归档模块，用于调用历史服务相应接口归档，在归档结束后，返回处理结果至快照服务。
23.相较于现有技术，本发明至少具有如下的有益效果：
24.本发明采用快照服务从归档队列中取出内存页，拷贝到交换内存中，并释放当前内存页。通过调用历史服务相应接口归档，在归档结束后，返回处理结果至快照服务。本发明的时序数据库快照数据归档方法，简化了在历史服务中直接归档历史内存中的数据页的步骤，能够解决快照数据与补录数据同时入库时在内存中产生的冲突，使得数据处理存储简单化。
25.进一步的，当历史服务收到接口调用的通知后，先遍历存档文件，然后再遍历归档数据页，将存档文件与归档数据页的时间范围逐个进行比较，必要时进行数据页分割，将归档数据页中所有落在当前存档文件时间范围内的数据进行汇总，最终写入到存档文件中，然后遍历下一个存档文件，通过将存档文件与归档数据页的时间范围逐个进行比较，且在必要时进行数据页拆分的方式，使得可以将归档数据页中所有落在当前存档文件时间范围内的数据进行汇总，按照存档文件时间范围进行数据归档，便于后期数据的提取与检索。
附图说明
26.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
27.图1为本发明时序数据库快照数据归档方法的流程示意图；
28.图2为本发明数据页归档过程情况1的流程示意图；
29.图3为本发明数据页归档过程情况2的流程示意图；
30.图4为本发明数据页归档过程情况3的流程示意图；
31.图5为本发明数据页归档过程情况4的流程示意图；
32.图6为本发明数据页归档过程情况5的流程示意图。
具体实施方式
33.为使本发明的目的、技术方案及优点更加清楚、明确，以下结合具体实施方式与附图对本发明进一步详细说明。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
34.实施例1
35.参见图1，本发明的一种时序数据库快照数据归档方法，包括以下步骤：
36.快照服务从归档队列中取出内存页，拷贝到交换内存中，并释放当前内存页；
37.然后调用历史服务相应接口归档，在归档结束后，返回处理结果至快照服务。
38.在一种实施方式中，快照服务的处理流程包括：
39.需要说明的是，快照服务将待归档的历史数据页的页码放入历史内存页信息队列中，在初始化时启动归档线程；其中，在归档线程中进行如下操作：
40.步骤一：从历史内存页信息队列中取出数据页的页码，通过页码在历史数据内存共享内存池中获取数据页；
41.步骤二：进行数据页有效性判断，将无效的数据页写入内存文件，将有效的数据页拷贝到交换内存共享内存中；
42.步骤三：每次取出1024个页进行批量归档，不足1024页的，等待1秒后，队列中仍没有内存页，则直接将当前的所有数据拷贝到交换内存中，并通知历史进程；
43.在一种实施方式中，历史服务的处理过程包括：
44.历史服务收到通知后，先遍历存档文件，然后再遍历归档数据页，将存档文件与归档数据页的时间范围逐个进行比较，必要时进行数据页拆分，将归档数据页中所有落在当前存档文件时间范围内的数据进行汇总，最终写入存档文件中，然后遍历下一个存档文件；
45.在一种实施方式中，数据页归档过程：
46.在归档过程中，数据页的时间范围和存档文件的时间范围会出现交叉，这就涉及到数据页的拆分，具体的，数据页在归档过程中可能存在的几种情况有以下几种：
47.如图2所示，情况1：数据页的起始时间》存档文件的结束时间，则表示存档文件arc
不是时间最新的存档文件，则表示该数据页没有对应的存档文件，将数据页写入no_arc_data内存文件中；
48.如图3所示，情况2：数据页的起始时间》存档文件的起始时间，且数据页的结束时间》存档文件的结束时间，则表示存档文件arc不是时间最新的存档文件，且需要对存档文件arc进行数据页拆分，将落在存档时间范围内的拆分数据页写入存档文件arc进行归档；将没有对应时间的存档文件，写入no_arc_data内存文件中；
49.如图4所示，情况3：数据页的起始时间》存档文件的起始时间，数据页的结束时间≤存档文件的结束时间，则不能判断存档文件arc是不是时间最新的存档文件，将该数据页时间全部落在存档文件时间范围内，整个数据页写入存档文件归档；
50.如图5所示，情况4：数据页的结束时间≤存档文件的起始时间，表示该数据页时间未落在存档文件时间范围内，则等待与下一个存档文件进行比较；
51.如图6所示，情况5：数据页的起始时间《存档文件的起始时间，数据页的结束时间》存档文件的起始时间，对存档文件arc进行数据页拆分，将数据时间没有落在存档文件时间范围内的拆分数据页，等待与下一个存档文件进行比较；将数据时间落在存档文件时间范围内的拆分数据页，写入存档文件归档。
52.实施例2
53.本发明的另一实施例提供一种时序数据库快照数据归档系统，包括：
54.内存页释放模块，用于快照服务从归档队列中取出内存页，拷贝到交换内存中，并释放当前内存页；
55.归档模块，用于调用历史服务相应接口归档，在归档结束后，返回处理结果至快照服务。
56.本发明能够解决快照数据与补录数据同时入库时在内存中产生的冲突，简化了快照服务对补录数据在内存中的处理流程，使得数据处理归档简单和高效。本发明采用快照服务从归档队列中取出内存页，拷贝到交换内存中，并释放当前内存页；然后调用历史服务相应接口归档，在归档结束后，返回处理结果至快照服务；且在必要时进行数据页拆分的方式，可以将归档数据页中所有落在当前存档文件时间范围内的数据进行汇总，从而按照存档文件时间范围进行数据归档，使得数据处理存储简单化，也便于后期数据的高效检索。
57.在本发明所提供的上述实施例中，应该理解的是，所揭露的方法和系统，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方法的目的。
58.另，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
59.因此，无论从哪一点来看，均应将以上实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明书内容限定，因此，上述说明书内容旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。
60.此外，“包括”一词不排除其他模块或步骤，单数不排除复数。系统权利要求中陈述
的多个模块也可以由一个单元或装置通过软件或者硬件来实现。
[0061]“第一”、“第二”等词语用来表示名称区分，而并不表示任何特定的顺序。
[0062]
最后应当说明的是，以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。