数据查询方法、装置、电子设备及存储介质与流程

技术特征：
1.一种数据查询方法，其特征在于，所述方法包括：获取查询请求，解析所述查询请求中的查询元数据，将所述查询元数据与元数据集进行匹配；根据所述查询元数据与所述元数据集的匹配结果，确定目标查询计划；执行所述目标查询计划，以查询与所述查询请求对应的数据。2.根据权利要求1所述的方法，其特征在于，所述根据所述查询元数据与所述元数据集的匹配结果，确定目标查询计划，包括：如果所述匹配结果为全部所述查询元数据与所述元数据集中的第一元数据匹配，则查找所述第一元数据对应的物化视图；确定所述目标查询计划为从所述物化视图中查询与所述查询请求对应的数据；所述执行所述目标查询计划，以查询与所述查询请求对应的数据，包括：从所述物化视图中查询与所述查询请求对应的数据。3.根据权利要求1所述的方法，其特征在于，所述根据所述查询元数据与所述元数据集的匹配结果，确定目标查询计划，包括：如果所述匹配结果为所述查询元数据中的部分查询元数据与所述元数据集中的第二元数据匹配，则查找所述第二元数据对应的物化视图；对所述查询请求进行处理，得到第一查询请求以及第二查询请求；确定所述目标查询计划为从所述物化视图中查询与所述第一查询请求对应的第一数据，以及从缓存中查询与所述第二查询请求对应的第二数据；所述执行所述目标查询计划，以查询与所述查询请求对应的数据，包括：从所述物化视图中查询与所述第一查询请求对应的第一数据；将所述第二查询请求转变为析取范式，从所述缓存中查找与所述析取范式对应的目标缓存块；从所述目标缓存块中查询与所述第二查询请求对应的第二数据；确定所述第一数据和所述第二数据的并集为与所述查询请求对应的数据。4.根据权利要求1所述的方法，其特征在于，所述根据所述查询元数据与所述元数据集的匹配结果，确定目标查询计划，包括：如果所述匹配结果为全部所述查询元数据与所述元数据集中的任一元数据均不匹配，则确定所述目标查询计划为从缓存中查询与查询请求对应的数据；所述执行所述目标查询计划，以查询与所述查询请求对应的数据，包括：将所述查询请求转变为析取范式，从缓存中查找与所述析取范式对应的目标缓存块；从所述目标缓存块中查询与所述查询请求对应的数据。5.根据权利要求2所述的方法，其特征在于，在所述物化视图的数量为多个的情况下，所述确定所述目标查询计划为从所述物化视图中查询与所述查询请求对应的数据，包括：根据各物化视图的统计信息，计算各物化视图的查询变换代价；根据所述查询变换代价，从各物化视图中确定目标物化视图；确定所述目标查询计划为从所述目标物化视图中查询与所述查询请求对应的数据；所述从所述物化视图中查询与所述查询请求对应的数据，包括：从所述目标物化视图中查询与所述查询请求对应的数据。
6.根据权利要求3所述的方法，其特征在于，在所述物化视图的数量为多个的情况下，所述确定所述目标查询计划为从所述物化视图中查询与所述第一查询请求对应的第一数据，包括：根据各物化视图的统计信息，计算各物化视图的查询变换代价；根据所述查询变换代价，从各物化视图中确定目标物化视图；所述确定所述目标查询计划为从所述目标物化视图中查询与所述第一查询请求对应的第一数据；所述从所述物化视图中查询与所述第一查询请求对应的第一数据，包括：从所述目标物化视图中查询与所述第一查询请求对应的第一数据。7.根据权利要求5或6任一所述的方法，其特征在于，所述统计信息至少包括下述之一：每个列的最大值、最小值，行平均值和行数，列值的直方图；所述根据各物化视图的统计信息，计算各物化视图的查询变换代价，包括：获取所述统计信息的加权和；确定所述加权和为各物化视图的查询变换代价。8.根据权利要求5或6任一所述的方法，其特征在于，所述方法还包括：接收物化视图生成请求，所述物化视图生成请求携带原始数据标识；从所述物化视图生成请求中解析出所述原始数据标识，获取所述原始数据标识对应的原始数据；根据所述原始数据，构建物化视图，并将物化视图对应的原始数据标识作为元数据存储在所述元数据集中；获取所述物化视图对应的原始数据增量；根据所述增量对所述物化视图进行更新。9.根据权利要求3或4任一所述的方法，其特征在于，所述方法还包括：获取各个缓存块的历史访问次数以及各个缓存块中存储数据的获取代价；根据历史访问次数以及存储数据的获取代价，确定被淘汰的缓存块，并从各个缓存块淘汰所述被淘汰的缓存块。10.一种数据查询装置，其特征在于，所述装置包括：匹配模块，用于获取查询请求，解析所述查询请求中的查询元数据，将所述查询元数据与元数据集进行匹配；确定模块，用于根据所述查询元数据与元数据集的匹配结果，确定目标查询计划；执行模块，用于执行所述目标查询计划，以查询与所述查询请求对应的数据。11.一种电子设备，其特征在于，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的数据查询程序，以实现权利要求1～9中任一项所述的数据查询方法。12.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1～9中任一项所述的数据查询方法。

技术总结
本发明实施例涉及一种数据查询方法、装置、电子设备及存储介质，所述方法包括：获取查询请求，解析所述查询请求中的查询元数据，将所述查询元数据与元数据集进行匹配；根据所述查询元数据与所述元数据集的匹配结果，确定目标查询计划；执行所述目标查询计划，以查询与所述查询请求对应的数据。由此，可以实现大大降低了数据湖数据获取的延迟，进一步提高数据湖分析的性能，实现实时数据湖分析。实现实时数据湖分析。实现实时数据湖分析。


技术研发人员：郑志铨
受保护的技术使用者：北京镜舟科技有限公司
技术研发日：2022.08.05
技术公布日：2022/11/22