一种基于Oracle数据库对特大表数据生命周期的管理方法与流程

一种基于oracle数据库对特大表数据生命周期的管理方法
技术领域
1.本技术涉及电力数据管理技术领域，特别涉及一种基于oracle数据库对特大表数据生命周期的管理方法。


背景技术：

2.电网计量自动化主站系统负责存储和管理远程采集到的计量数据，能够根据电网模型进行分析和汇总。电能量计量要求准确、及时地反映出电网中上下网关口的电能量活动情况，为电力市场、营销管理等系统提供数据支撑，保证结算、考核、线损管理、平衡分析、盈亏分析等业务的开展。
3.在广西电网计量自动化主站系统中，随着使用时间的推移，其系统中大表的记录数会几何级增长，如果不对这些大表进行有效的数据生命周期管理，会导致系统查询、分析速度变慢，数据的备份和恢复变的更困难。


技术实现要素：

4.本技术提供了一种基于oracle数据库对特大表数据生命周期的管理方法，通过将当前特大表的数据通过分区交换技术将数据存入历史特大表，使得当前特大表数据量的相对稳定，进而保证系统的稳定，进一步的对历史特大表进行压缩提高了存储的使用率，且可以根据周期控制表快速的选择查询路径提高查询效率。
5.本技术提供了一种基于oracle数据库对特大表数据生命周期的管理方法，包括：
6.创建当前特大表、历史特大表以及周期控制表；
7.根据所述周期控制表获取保留周期；
8.结合所述保留周期与分区交换技术将当前特大表的数据存入所述历史特大表；
9.将所述历史特大表进行分区压缩获取压缩数据。
10.可选的，所述将所述历史特大表进行分区压缩获取压缩数据，包括：
11.将所述历史特大表按照预设压缩级别进行分区压缩获取压缩数据。
12.可选的，所述结合所述保留周期与分区交换技术将当前特大表的数据存入所述历史特大表，包括：
13.依据分区交换技术创建交换表；
14.结合所述保留周期、交换表以及分区交换技术将所述当前特大表的数据存入历史特大表。
15.可选的，所述当前特大表与所述历史特大表为日分区表。
16.可选的，所述将所述历史特大表进行分区压缩获取压缩数据之后，所述方法还包括：
17.检索和重建所述历史特大表的索引。
18.从以上技术中：创建当前特大表、历史特大表以及周期控制表；根据所述周期控制表获取保留周期；结合所述保留周期与分区交换技术将当前特大表的数据存入所述历史特
大表；将所述历史特大表进行分区压缩获取压缩数据。本发明通过将当前特大表的数据通过分区交换技术将数据存入历史特大表，使得当前特大表数据量的相对稳定，进而保证系统的稳定，进一步的对历史特大表进行压缩提高了存储的使用率，且可以根据周期控制表快速的选择查询路径提高查询效率。
附图说明
19.图1为本技术中基于oracle数据库对特大表数据生命周期的管理方法一个实施例流程示意图。
具体实施方式
20.本技术实施例提供了一种基于oracle数据库对特大表数据生命周期的管理方法，通过将当前特大表的数据通过分区交换技术将数据存入历史特大表，使得当前特大表数据量的相对稳定，进而保证系统的稳定，进一步的对历史特大表进行压缩提高了存储的使用率，且可以根据周期控制表快速的选择查询路径提高查询效率。
21.请参阅图1，本技术实施例中基于oracle数据库对特大表数据生命周期的管理方法一个实施例包括：
22.101、创建当前特大表、历史特大表以及周期控制表；
23.在本技术中，搭建好电网计量自动化主站系统后，在电网计量自动化主站系统上创建当前特大表、历史特大表、周期控制表以及分区交换技术所使用到交换表，其中当前特大表与历史特大表都为日分区表，周期控制表和交换表普通表；日分区的分区名含有日期字符(如yyyymmdd，格式不限，只要满足精度到日即可，优先考虑yyyymmdd格式)。而周期控制表中保存着当前特大表的表名、历史特大表的表名、以及交换表的表明、保留周期、周期单位以及有效标识等，如表1：
24.表1
25.字段名类型默认值注释cur_tabvarchar2(30) 当前表表名，全大写tran_tabvarchar2(30) 交换表表名，全大写his_tabvarchar2(30) 历史表表名，全大写periodsnumber(3) 保留周期period_unitvarchar2(10)日周期单位flagnumber(1)1是否有效，0否1是
26.102、根据周期控制表获取保留周期；
27.由于周期控制表上存储有保留周期等其他数据，所以当周期控制表被建设完成后，用户可以通过周期控制表来获取到保留周期，该保留周期和周期单位用于控制当前特大表的数据保留时间，例如，保留周期为10，周期单位是天，则当前特大表的数据保留时间为10天；保留周期为10，周期单位为小时，则当前特大表的数据保留时间为10小时。
28.在本实施例中保留周期可以是任一一时间段，具体此处不做具体限定。
29.103、结合保留周期与分区交换技术将当前特大表的数据存入历史特大表；
30.在本实施例中，由于当前特大表与历史特大表均分日分区表，所以当存储数据的
时候，每一张小表是通过一天来区分的，因此在本实施例中，保留周期相对应的周期单位设置为天；若当前特大表和历史特大表为月分区表，则保留周期的周期单位设置为月，具体此处不做具体限定。
31.当获取到保留周期后，判断当前特大表的保留时间是否达到保留周期，若未达到保留周期，则当前特大表继续用于存储数据；若达到保留保留周期，则标识当前特大表的存储数据较大，此时需要将当前特大表存储的数据转移至历史特大表中。将当前特大表的数据存入历史特大表中，具体的：
32.判断当前特大表与历史特大表对应的分区是否存在以及分区名是否满足预设分区名格式，均满足的情况下调用分区交换技术对当前特大表的过期数据进行迁移至历史特大表中，具体的：依据分区交换技术创建交换表，分区交换技术利用交换表将当前特大表的数据交换至历史特大表中。
33.例如：保留周期为三个月，则当前特大表存储中三个月前的数据(未转存至历史特大表的)则为过期数据，此时使用分区交换技术将该过期数据迁移至历史特大表中；迁移完成后，从当前特大表中删除过期数据，以使得当前特大表的数据量相对稳定，进而保证系统的稳定。
34.104、将历史特大表进行分区压缩获取压缩数据；
35.当过期的数据被不断的从当前特大表中转存至历史特大表上时，历史特大表的数据就会越来越多，使得历史特大表越来越大，为了缓解电网计量自动化主站系统的负担，且历史特大表也是日分区表，所以在本实施例中，对历史特大表进行压缩也是采用分区压缩，即一张小表作为压缩单位。对历史特大表进行压缩，可以提高存储的使用率，分表后降低备份和恢复的难度。
36.在本实施例中，对历史特大表的压缩存在压缩等级，而压缩等级可以包括一般压缩、标准压缩以及超级压缩等，在压缩历史特大表的时候可以根据需求选择不同的压缩等级对日分区表的数据进行压缩，具体此处不做具体限定。
37.105、检索和重建历史特大表的索引。
38.当当前特大表的过期数据被成功迁移至历史特大表后，系统对历史特大表进行索引检索，若检索到存在失效的索引，则对失效的索引进行重建，最后对历史特大表的新分区进行存储下一个分区的数据，以提高历史特大表的完整性和有效性。
39.本发明通过将当前特大表的数据通过分区交换技术将数据存入历史特大表，使得当前特大表数据量的相对稳定，进而保证系统的稳定，进一步的对历史特大表进行压缩提高了存储的使用率，且可以根据周期控制表快速的选择查询路径提高查询效率。
40.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
41.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
42.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
43.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
44.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。