一种动态调整数据库存储信息的方法和系统与流程

1.本发明涉及数据库技术，尤其涉及了一种动态调整数据库存储信息的方法和系统。


背景技术：

2.数据库一直以来都是各个企业和组织的核心系统，特别是信息化和互联网时代的到来，带来业务爆炸式增长的同时也带来了数据量的急剧增长和各种不同的需求增加。
3.因此一个企业或组织会有各种不同的数据库系统：对于承载数据仓库业务的数据库，它需要存储具有较大的容量和较好的性能；对于承载核心业务的数据库，它需要存储具有较高的性能和较长的寿命；对于承载备份等边缘业务的数据库，它一般仅需要存储有较大的容量；数据库系统的构建一般是根据需求规划来选择存储硬件的配置，硬件选择完成后就搭建os、数据库等软件环境。在数据库系统稳定运行一段时间后，当需求发生变化，很多时候只能通过增加硬件来满足新的需求。
4.数据库稳定运行一段时候后，由于数据量的增加导致空间不足需要扩容，此时唯一的选择就是通过采购新的存储硬件来达到容量扩大的效果。
5.备份数据库由于业务调整导致不再需要，另外一套数据仓库却急需要扩容，此时最好的办法就是将备份数据库的存储直接加到数据仓库的数据库中，但是由于数据仓库数据库对存储性能和寿命有一定要求，导致备份数据库中的存储硬件无法加入，只能重新采购新的存储硬件。
6.现有技术中对于数据库容量的调整是基于数据库应用层面进行调整，不能很好的调节存储信息。


技术实现要素：

7.本发明针对现有技术中对于数据库存储信息的调整是采购新的存储硬件来达到容量扩大的问题，提供了一种动态调整数据库存储信息的方法和系统。
8.为了解决上述技术问题，本发明通过下述技术方案得以解决：
9.一种动态调整数据库存储信息的方法，包括物理存储层、中间存储层和数据库存储层，数据库存储层包括asm，其方法包括，
10.数据库存储层的迁移，通过压缩比抽样探测法确定数据库存储层 asm的压缩比，确定数据库存储层，并将确定后的数据库存储层进行迁移；
11.中间存储层创建，通过软件创建中间存储层；且中间存储层位于物理存储层和迁移后的数据库存储层中间；
12.数据库存储层容量动态的调整，中间存储层对确定压缩比后的数据库存储层的存储信息进行动态调整。
13.通过对asm进行压缩比抽样探测，其对于上层的应用无改动无感知；通过中间存储层实现对数据库存储层存储信息的调整，能更加高效的利用存储硬件，减少数据库在存储
层面的开销，满足业务的要求。
14.作为优选，压缩比抽样探测法包括；
15.(1)收集环境信息，收集数据库存储层的环境信息；
16.(2)探测模型的构建，依据步骤(1)数据库存储层的环境信息进行探测模型的构建；
17.(3)参数确定，依据步骤(2)构建的探测模型从而确定压缩比参数；
18.(4)压缩比的计算，依据步骤(3)压缩比参数进行压缩比的计算；
19.(5)压缩比的输出，输出数据库存储层的压缩比。
20.对于数据库存储层的数据总量大，通过抽样探测法进行压缩比的探测，其可行性强。
21.作为优选，还包括中间存储层的加速，通过fpga加速卡对中间存储层进行加速压缩和/或解压。
22.通过fpga加速卡对中间存储层进行加速处理，其能够满足超出硬件性能的需求，减少数据库在存储层面的开销，满足业务的要求，进一步提高数据库的性能。
23.作为优选，探测方法包括顺序探测法、随机探测模法和混合探测模法。
24.作为优选，压缩比参数包括抽样比、样本大小和抽样间隔。
25.作为优选，中间存储层包括存储池、至少1个逻辑卷和至少1个压缩单元；中间存储层的创建包括逻辑卷获取数据库存储层的存储信息；存储池获取物理存储层的信息；压缩单元获取逻辑卷的存储信息和存储池的容量信息。
26.作为优选，存储池的信息包括容量信息、性能信息和寿命信息。
27.为了解决上述技术问题，本发明还提供了一种动态调整数据库存储信息的系统，包括物理存储层和数据库存储层，其特征在于，还包括中间存储层，中间存储层位于物理存储层和数据库存储层中间。
28.作为优选，还包括fpga加速卡，fpga加速卡与中间存储层连接，对中间存储层进行加速。
29.作为优选，中间存储层包括存储池、至少1个逻辑卷和至少1个压缩单元；逻辑卷，用于获取数据库存储层的存储信息；存储池，用于获取物理存储层的信息；压缩单元，用于获取逻辑卷的存储信息和存储池的容量信息。
30.本发明由于采用了以上技术方案，具有显著的技术效果：本发明通过对asm进行要压缩比抽样探测，其对于上层的应用无改动无感知。
31.本发明通过中间存储层实现对数据库存储层存储信息的调整，能更加高效的利用存储硬件，减少数据库在存储层面的开销，满足业务的要求。
32.在需要高寿命的场景下，对数据库展示和存储硬件一样的容量，内部则通过开启压缩减少写入数据实际占用的空间，从而达到相同物理硬件条件下更多的擦写次数，提高使用寿命。
33.本发明通过fpga加速卡对中间存储层进行加速处理，其能够满足超出硬件性能的需求，减少数据库在存储层面的开销，满足业务的要求，进一步提高数据库的性能。
附图说明
34.图1是本发明的系统图。
具体实施方式
35.下面结合附图与实施例对本发明作进一步详细描述。
36.实施例1
37.一种动态调整数据库存储信息的方法，包括物理存储层、中间存储层和数据库存储层，数据库存储层包括asm，其方法包括，
38.数据库存储层的迁移，通过压缩比抽样探测法确定数据库存储层 asm的压缩比，确定数据库存储层，并将确定后的数据库存储层进行迁移；
39.中间存储层创建，通过软件创建中间存储层；且中间存储层位于物理存储层和迁移后的数据库存储层中间；
40.数据库存储层容量的调整，中间存储层对确定压缩比后的数据库存储层的存储信息进行动态调整。
41.通过对块设备进行压缩比抽样探测，其对于上层的应用无改动无感知；通过中间存储层实现对数据库存储层存储信息的动态调整，能更加高效的利用存储硬件，减少数据库在存储层面的开销，满足业务的要求。
42.通过块设备进行压缩比抽样探测在块设备层面提供数据的压缩能力，对上层应用无改动无感知。当上层应用写io下发到块设备时，对收到的io以数据块为单位进行压缩合并，合并后的数据块再继续写入到物理存储设备中。
43.压缩比抽样探测法包括；
44.(1)收集环境信息，收集数据库存储层的环境信息；
45.(2)探测模型的构建，依据步骤(1)数据库存储层的环境信息进行探测模型的构建；
46.(3)参数确定，依据步骤(2)构建的探测模型从而确定压缩比参数；
47.(4)压缩比的计算，依据步骤(3)压缩比参数进行压缩比的计算；
48.(5)压缩比的输出，输出数据库存储层的压缩比。
49.对于数据库存储层的数据总量大，通过抽样探测法进行压缩比的探测，其可行性强。
50.实施例2
51.在实施例1基础上，本实施例还包括中间存储层的加速，通过 fpga加速卡对中间存储层进行加速压缩和/或解压。
52.通过fpga加速卡对中间存储层进行加速处理，其能够满足超出硬件性能的需求，减少数据库在存储层面的开销，满足业务的要求。
53.探测方法包括顺序探测法、随机探测模法和混合探测模法。
54.压缩比参数包括抽样比、样本大小和抽样间隔。
55.中间存储层包括存储池、至少1个逻辑卷和至少1个压缩单元；中间存储层的创建包括逻辑卷获取数据库存储层的存储信息；存储池获取物理存储层的信息；压缩单元获取逻辑卷的存储信息和存储池的容量信息。
56.存储池的信息包括容量信息、性能信息和寿命信息。
57.实施例3
58.在上述实施例基础上，本实施例一种动态调整数据库存储信息的系统，包括物理存储层和数据库存储层，还包括中间存储层，中间存储层位于物理存储层和数据库存储层中间。
59.中间存储层包括存储池、至少1个逻辑卷和至少1个压缩单元；逻辑卷，用于获取数据库存储层的存储信息；存储池，用于获取物理存储层的信息；压缩单元，用于获取逻辑卷的存储信息和存储池的容量信息。
60.实施例4
61.在上述实施例基础上，本实施例还包括fpga加速卡，fpga加速卡与中间存储层连接，对中间存储层进行加速。
62.实施例5
63.在上述实施例基础上，本实施例oracle asm会对所有io做平衡，每个存储设备上的io是均匀一致的，因此探测一个存储设备上的数据来确定压缩比。同时通过在存储设备中创建文件的方式给数据库使用，不同的文件对应不同的功能，比如：redo日志文件用来存放redo 日志顺序，data文件用来存放数据随机。通过文件的分布来确认随机数据和顺序数据的布局。而文件在存储设备上的分布区域取决于大小和创建时间。得到文件分布区域后，查询文件的真实写入空间大小，确定最终需要探测的区域范围。通过以上操作和处理就可以得到 oracle asm中的数据布局并确定探测区域不同的数据区域采用合适的方法进行探测顺序区域的数据采用顺序压缩比探测方法，随机区域的数据采用随机压缩比探测方法。根据数据区域的大小，加权平均得到最终压缩比。
64.抽样间隔＝抽样比*样本大小；在第一个抽样间隔中随机选取第n个样本大小的区域作为样本进行块压缩合并，之后的抽样间隔同样选取第 n个样本大小的区域作为样本进行块压缩合并，最终以所有样本群的平均压缩比，作为顺序压缩比。
65.顺序压缩探测方法，结合数据库场景选择使用整群抽样方法和系统抽样方法结合方式，并利用oracle asm的au来确定样本大小，利用oracle data_block_size确定压缩块大小；顺序压缩比的计算方式为，顺序压缩比＝样本压缩比之和/样本数；
66.随机压缩探测方法，选择使用系统抽样方法并引入多次随机重复测试提高准确度，利用oracle data_block_size确定压缩块大小；随机压缩比的计算方式为，随机压缩比＝单次压缩比之和/测试的次数；
67.混合压缩探测方法，利用oracle asm的特点，确定顺序数据和随机数据的分布情况，不同区域采用适合的探测方式，同时也确定各个区域数据写入量，仅探测区域内写入数据的空间。最终得到混合场景下准确的压缩比。对于混合压缩比的计算方式为，混合压缩比＝随机空间*随机压缩比/总空间 顺序空间*顺序压缩比/总空间。
68.例如抽样比为10；样本大小为1m；抽样间隔为10m；每10m数据中选取第n个1m数据作为样本，每个样本以块8k为单位进行压缩合并，最终算出所有1m的压缩比的平均值，作为数据的顺序压缩比。
69.例如数据分布redo占10％、data占60％、archive占30％；真实数据分布：|redo 10％|data 40％剩余20％|archive 30％|；redo 日志采用顺序压缩比探测，压缩比为5；
archive日志采用顺序压缩比探测，压缩比为5；data采用随机压缩比探测，压缩比为3；通过计算可得最终的压缩比为：5*0.1 3*0.6 5*0.3＝3.8。对于计算出的压缩比为3.8，则针对数据库存储层其弹性的存储容量为原来的 3.8倍。
70.实施例6
71.在上述实施例基础上，本实施例对于高容量场景；探测压缩比为 n；根据压缩比，创建中间存储层的逻辑块设备，逻辑块设备大小为 n倍的物理块设备大小；迁移数据到中间存储层，数据库得到容量为物理块存储设备n倍的逻辑块设备；数据库数据写入逻辑块设备，逻辑块设备对收到的数据块进行压缩合并，将压缩合并后的块写入物理块设备。在物理存储设备不变的情况下得到更大的存储空间。
72.实施例7
73.在上述实施例基础上，本实施例对于高容量场景；数据库运行一段时间后发现数据压缩比n1，且数据压缩比高于预设压缩比n；修改中间存储层的逻辑块设备大小，设置为n1倍物理块设备大小；调整逻辑块设备对应数据库asm中磁盘组大小；在实际压缩比较高的情况下，业务无感知的动态扩展数据库的存储空间。
74.实施例8
75.在上述实施例基础上，本实施例对于高寿命场景，探测压缩比为n；根据压缩比，创建中间存储层的逻辑块设备，逻辑块设备大小和物理块设备一样，并将物理块设备分成n个区域，每个物理设备区域都可以完整的承载逻辑块设备的读写迁移数据到中间存储层；数据库数据写入逻辑块设备，逻辑块设备对收到的数据块进行压缩合并，将压缩合并后的块，平衡的分配给n个物理设备区域。在物理存储设备不变的情况下，提高存储设备的寿命(擦写次数)，数据库能够进行更多次擦写。