数据块大小调整方法及系统与流程

本发明涉及数据存储与数据库，特别涉及数据块大小调整方法及系统。

背景技术：

1、目前大部分系统都使用数据库来存储数据，数据库系统通常采用按块写入方式将内存中的数据落盘，以降低随机输入输出并提高写入吞吐。实际工程中，数据块大小是影响系统性能的关键参数。

2、现有技术中，数据库系统通常通过分块方式写入数据，一次写入一个数据块到磁盘。然而，当数据块较小时，虽然能够减少写入内存的占用，但会产生大量小文件，每个小文件都需要一个索引来记录位置，当需要获取的数据分布在多个小文件中时，需要启用大量文件句柄，从而占用大量输入输出资源与内存。针对这一问题，数据库通常会定时对小文件进行自动合并操作，但合并操作本身又会消耗大量输入输出资源与内存。

3、因此，现有技术普遍存在以下不足：数据块过小导致落盘次数增加、元数据管理开销升高，进而增加内存占用与调度成本；数据块过大虽然可减少写入频次，但会增加后台合并操作的资源消耗，造成中央处理器、内存和输入输出压力上升；传统调优多依赖人工经验或离线统计，且调优过程直接作用于生产系统，存在性能扰动与安全风险；现有方案仅关注单一指标，无法同时量化写入收益和合并代价，缺少明确的数学判定条件，难以稳定收敛到可复现的最优参数。

4、由此，如何在避免扰动生产系统运行的前提下，动态确定最优数据块大小，以平衡写入收益与合并代价，是本领域亟待解决的技术问题。

技术实现思路

1、本发明所要解决的技术问题是：提供数据块大小调整方法及系统，以在不扰动生产系统运行的前提下动态确定数据块大小，使数据写入效率达到最优。

2、为了解决上述技术问题，本发明采用的技术方案为：

3、一种数据块大小调整方法，包括：

4、将待调整系统中的测试数据复制到预设的独立验证环境，得到验证数据；

5、根据所述验证数据中每一候选数据块大小下的内存使用率，构建第一曲线；

6、根据所述验证数据中每一候选数据块大小下合并数据块的资源开销，构建第二曲线；

7、计算所述第一曲线与所述第二曲线的交汇点坐标，确定所述交汇点坐标对应的数据块大小为目标数据块大小；

8、将所述目标数据块大小应用于所述待调整系统。

9、为了解决上述技术问题，本发明采用的另一种技术方案为：

10、一种数据块大小调整系统，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的一种数据块大小调整方法中的各个步骤。

11、本发明的有益效果在于：通过将待调整系统中的测试数据复制到预设的独立验证环境，根据验证数据构建内存使用率的下降趋势线（第一曲线）和综合开销指标的上升趋势线（第二曲线），计算两条趋势线的交汇点坐标并确定目标数据块大小，实现了在不扰动生产系统运行的前提下自动寻优数据块大小，避免了直接在生产系统上试验带来的性能扰动风险，同时通过双路趋势线同时量化写入收益与合并代价，使确定的目标数据块大小能够平衡写入效率与资源消耗。

1.一种数据块大小调整方法，其特征在于，包括：

2.根据权利要求1所述的一种数据块大小调整方法，其特征在于，将待调整系统中的测试数据复制到预设的独立验证环境，得到验证数据，包括：

3.根据权利要求1所述的一种数据块大小调整方法，其特征在于，根据所述验证数据中每一候选数据块大小下的内存使用率之前，还包括：

4.根据权利要求3所述的一种数据块大小调整方法，其特征在于，构建第一曲线，包括：

5.根据权利要求1所述的一种数据块大小调整方法，其特征在于，根据所述验证数据中每一候选数据块大小下合并数据块的资源开销，包括：

6.根据权利要求5所述的一种数据块大小调整方法，其特征在于，根据所述验证数据中每一候选数据块大小下合并数据块的资源开销，构建第二曲线，还包括：

7.根据权利要求6所述的一种数据块大小调整方法，其特征在于，计算所述第一曲线与所述第二曲线的交汇点坐标，包括：

8.根据权利要求7所述的一种数据块大小调整方法，其特征在于，判定当前候选数据块大小为交汇点坐标的横坐标之后，还包括：

9.根据权利要求1所述的一种数据块大小调整方法，其特征在于，还包括：

10.一种数据块大小调整系统，其特征在于，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至9中任一所述的一种数据块大小调整方法中的各个步骤。