一种表分组部署方法、装置、设备、介质及产品与流程
本发明涉及计算机系统应用,尤其涉及一种表分组部署方法、装置、设备、介质及产品。
背景技术:
1、在 oracle 向分布式数据库迁移过程中,分片设计直接影响系统性能与可维护性。传统依靠数据库管理员经验的表分组方式效率低、易遗漏隐性关联,难以同时满足存储均衡与业务负载均衡。
技术实现思路
1、本发明提供了一种表分组部署方法、装置、设备、介质及产品,以提高表分组部署效率,加速将传统单体 oracle 数据库迁移至分布式数据库的速率。
2、根据本发明的一方面,提供了一种表分组部署方法,该方法包括:
3、基于sql过滤规则对初始sql语句进行过滤,得到有效sql语句;
4、提取所述有效sql语句中操作关联的初始关联表对集;所述初始关联表对集中包括至少一个初始关联表对;
5、根据表数据量和dml操作频次对所述初始关联表对集进行筛选,得到目标关联表对集和复制表集;所述目标关联表对集中包括至少一个目标关联表对;
6、提取所述目标关联表对的权重贡献因子;其中,所述权重贡献因子包括所述有效sql语句的更新频次和i/o消耗量;
7、根据所述权重贡献因子和增强系数确定所述目标关联表对的目标关联权重;
8、根据所述目标关联权重对所述目标关联表对集中目标关联表对进行聚类,得到至少一个表族;
9、对所述复制表集和所述至少一个表族进行分片部署。
10、根据本发明的另一方面,提供了一种表分组部署装置,该装置包括:
11、有效sql确定模块,用于基于sql过滤规则对初始sql语句进行过滤,得到有效sql语句;
12、初始关联表对确定模块,用于提取所述有效sql语句中操作关联的初始关联表对集;所述初始关联表对集中包括至少一个初始关联表对;
13、表对筛选模块,用于根据表数据量和dml操作频次对所述初始关联表对集进行筛选,得到目标关联表对集和复制表集;所述目标关联表对集中包括至少一个目标关联表对;
14、权重贡献值确定模块,用于提取所述目标关联表对的权重贡献因子;其中,所述权重贡献因子包括所述有效sql语句的更新频次和i/o消耗量;
15、目标关联权重确定模块,用于根据所述权重贡献因子和增强系数确定所述目标关联表对的目标关联权重;
16、表族确定模块,用于根据所述目标关联权重对所述目标关联表对集中目标关联表对进行聚类,得到至少一个表族;
17、分片部署模块,用于对所述复制表集和所述至少一个表族进行分片部署。
18、根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
19、至少一个处理器;以及
20、与所述至少一个处理器通信连接的存储器;其中,
21、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的表分组部署方法。
22、根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的表分组部署方法。
23、根据本发明的另一方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序在被处理器执行时实现根据本发明任一实施例所述的表分组部署方法。
24、本发明实施例的技术方案,通过基于sql过滤规则对初始sql语句进行过滤,得到有效sql语句;提取有效sql语句中操作关联的初始关联表对集;初始关联表对集中包括至少一个初始关联表对;根据表数据量和dml操作频次对初始关联表对集进行筛选,得到目标关联表对集和复制表集;目标关联表对集中包括至少一个目标关联表对;提取目标关联表对的权重贡献因子;其中,权重贡献因子包括有效sql语句的更新频次和i/o消耗量;根据权重贡献因子和增强系数确定目标关联表对的目标关联权重;根据目标关联权重对目标关联表对集中目标关联表对进行聚类,得到至少一个表族;对复制表集和至少一个表族进行分片部署。上述技术方案,通过对初始关联表对筛选得到复制表和目标关联表对,确保了复制操作带来的查询性能收益(避免跨分片连接)远高于其存储与同步成本,实现了存储效率与查询性能的最优平衡;同时,基于目标关联表对的目标关联权重进行聚合后部署,保障了历史高频关联查询在未来分布式架构下仍能最大限度地以单分片查询或同分片join的形式执行,避免了分布式查询带来的网络延迟与协调开销。
25、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
1.一种表分组部署方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,sql过滤规则包括过滤掉数据定义语言语句、针对表单不涉及join的查询语句、系统查询语句、以及执行频率小于设定频率和i/o消化量小于设定值的sql。
3.根据权利要求1所述的方法,其特征在于,根据所述权重贡献因子和增强系数确定所述目标关联表对的目标关联权重,包括:
4.根据权利要求3所述的方法,其特征在于,根据所述更新频次和所述i/o消耗量,确定所述目标关联表对的初始关联权重,包括:
5.根据权利要求1所述的方法,其特征在于,根据表数据量和dml操作频次对所述初始关联表对集进行筛选,得到目标关联表对集和复制表集,包括:
6.根据权利要求1所述的方法,其特征在于,根据所述目标关联权重对所述目标关联表对集中目标关联表对进行聚类,得到至少一个表族,包括:
7.根据权利要求1所述的方法,其特征在于,对所述复制表和所述至少一个表族进行分片部署,包括:
8.一种表分组部署装置,其特征在于,包括:
9.一种电子设备,其特征在于,所述电子设备包括:
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的表分组部署方法。
11.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的表分组部署方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com