通过根据查询模式程序化生成数据表实现自动查询和数据检索优化的制作方法

摘要: 本申请总体涉及数据库查询和数据检索,更具体地涉及通过利用查询优化规则过程化生成预聚合数据表来优化数据检索。背景技术:1、用户可以利用在线服务提供商以及相应的计算...
通过根据查询模式程序化生成数据表实现自动查询和数据检索优化的制作方法

本申请总体涉及数据库查询和数据检索,更具体地涉及通过利用查询优化规则过程化生成预聚合数据表来优化数据检索。

背景技术:

1、用户可以利用在线服务提供商以及相应的计算系统和服务来执行各种计算操作并查看可用数据。通常,此类计算操作由在线平台和系统提供,这些平台和系统可以提供用于账户建立和访问、消息通讯和通信、电子交易处理以及其他可用服务类型的应用和服务。在执行这些操作期间,服务提供商可以利用一个或更多个应用来检索、处理和/或显示数据,这可以包括向内部用户、管理员、销售人员等检索、处理和显示度量指标。例如,内部仪表板可以显示关于交易和用户行为的各种度量指标,例如随时间推移跨不同区域和产品的总交易量、交易笔数以及用户增长率。

2、然而,在生产计算环境中从大数据源检索和处理数据可能较慢,从而导致较长的排队时间和响应时间。对大数据存储装置的较慢查询处理和响应还可能导致故障或超时,以及不准确或不可靠的数据和计算服务。为了加速在线查询,数据工程师可能会构建不同的预聚合表。然而,为了实现更快的查询响应而人工生成此类数据表是较慢的,需要人工劳动,并且会导致重复或相似的数据表和/或具有重叠数据和特征的表。此外,数据工程师可能不知道用户实际可能查询什么数据,从而导致冗余的预聚合表并对查询性能和存储量大小两者产生影响。此外,查询模式可能会随着时间推移而改变,并且数据表可能无法针对查询模式的变化进行优化。而且,在构建数据表时需要确保不同数据源之间的数据一致性。因此,需要以更可靠、自动化且更快的方式创建预聚合表,以优化查询时间和存储空间。

技术实现思路

1.一种方法,所述方法包括:

2.根据权利要求1所述的方法,其中,在接收所述查询之前,所述方法还包括:

3.根据权利要求2所述的方法,其中,生成所述数据表是基于由日志分析系统执行的周期性作业而触发的,所述日志分析系统将所述查询模式与所述多个预计算规则进行匹配。

4.根据权利要求1所述的方法,其中,建立所述多个预计算规则,以用于对来自使用各个所述独立的查询结构和所述独立的存储格式的所述多个独立的数据存储装置的数据进行离线聚合,并且其中,建立所述多个查询优化规则,以用于至少使用所述数据表对至少查询响应时间进行在线优化,而不依赖于对所述多个独立的数据存储装置中的每一个数据存储装置进行查询。

5.根据权利要求1所述的方法,其中,在接收所述查询之前,所述方法还包括:

6.根据权利要求5所述的方法,其中,利用用于所述数据表的元数据创建所述数据表,所述元数据用于向所述数据表和所述数据库系统查询所述数据。

7.根据权利要求5所述的方法,所述方法还包括:

8.根据权利要求7所述的方法,所述方法还包括:

9.根据权利要求5所述的方法,其中,建立所述预计算规则以用于离线预计算组件在离线环境中生成所述数据表,并且其中,建立所述多个查询优化规则以用于在线查询优化组件在在线环境中利用所述数据表处理所述查询。

10.一种系统,所述系统包括:

11.根据权利要求10所述的系统,其中,所述预聚合数据表是使用所述系统的离线预计算组件利用预计算规则生成的多个预聚合数据表中的一个预聚合数据表。

12.根据权利要求11所述的系统,其中,在接收所述查询之前,执行所述指令还使所述系统:

13.根据权利要求10所述的系统,其中,所述查询优化规则被建立用于至少使用所述数据表对至少查询响应时间进行在线优化,而不依赖于对所述多个独立的数据存储装置中的每一个数据存储装置进行查询。

14.根据权利要求10所述的系统,其中,在接收所述查询之前,执行所述指令还使所述系统:

15.根据权利要求14所述的系统,其中,执行所述指令还使所述系统:

16.根据权利要求15所述的系统,其中,所述映射与所述响应一起被提供给所述客户端。

17.根据权利要求10所述的系统,其中,所述预聚合数据表被存储在在线服务器存储装置中,所述在线服务器存储装置在处理所述查询的在线计算环境中是可访问的。

18.根据权利要求10所述的系统,其中,所述至少两个维度与所述预聚合数据表中具有针对不同数据记录的值的独立数据参数相关联。

19.一种非暂态机器可读介质,在所述非暂态机器可读介质上存储有机器可读指令,所述机器可读指令能被执行以使机器执行包括以下各项的操作:

20.根据权利要求19所述的非暂态机器可读介质,其中,所述查询优化规则由预计算系统基于所述至少两个维度以及对来自所述数据库系统的数据的聚合而程序化地生成。