物化视图刷新方法、装置、计算机设备及存储介质与流程
本发明涉及数据库,具体涉及一种物化视图刷新方法、装置、计算机设备及计算机可读存储介质。
背景技术:
1、物化视图是数据库中用于存储预计算查询结果的数据库对象,能够将基表的查询结果持久化存储,大幅降低复杂查询场景下的实时计算开销,广泛应用于数据分析、业务报表、实时指标统计等业务场景。基表数据发生变更之后,需要对物化视图执行刷新操作,使物化视图内部保存的数据与基表数据保持一致。当前物化视图刷新主要分为全量刷新模式与增量刷新模式,全量刷新模式会重新执行完整查询并覆盖物化视图全部数据,在大数据量场景下会消耗大量cpu、io资源,刷新耗时较长;增量刷新模式依托物化视图日志捕获基表变更记录,仅基于变更记录完成物化视图的数据更新,资源开销更小,更适配高频刷新业务需求。
2、目前,现有基于物化视图日志的增量刷新方案,接收客户端下发的刷新请求之后,通常直接读取物化视图日志开展增量刷新。在实际应用过程中,现有技术存在多方面缺陷:第一,缺少对刷新请求以及刷新前置条件的系统性校验,未充分结合物化视图对应的预存元数据综合校验当前刷新场景是否满足增量刷新模式执行条件,容易在不具备增量刷新条件的场景下错误执行增量刷新流程,引发数据错乱;第二,不同视图类型的刷新逻辑存在本质差异,现有方案大多采用统一的查询重写与数据更新逻辑,没有基于视图定义信息区分视图类型来重写查询语句,容易照成物化视图更新差错;第三,增量刷新过程事务边界管控不足,无法依托事务快照划定增量日志的可见范围,容易误处理快照时间点之后产生的变更日志,出现重复刷新或者增量数据漏处理的问题。
3、综上所述,现有物化视图增量刷新技术,存在刷新场景判定可靠性不足、不同视图类型适配性差、快照边界控制不严谨、异常日志易引发数据不一致的技术问题,难以同时满足高并发业务场景下物化视图刷新的数据正确性与执行稳定性要求。因此,亟需提出一种新的物化视图刷新方法,以解决上述技术缺陷。
技术实现思路
1、鉴于上述现有技术的不足之处,本发明的目的在于提供一种物化视图刷新方法、装置、计算机设备及计算机可读存储介质,旨在解决如何能够提升物化视图刷新的数据正确性与执行稳定性的问题。
2、为了达到上述目的,本发明采取了以下技术方案:
3、第一方面,本发明提供了一种物化视图刷新方法,其中,包括:
4、获取客户端发送的针对目标数据库的物化视图刷新请求,对所述物化视图刷新请求进行解析,从请求解析结果中提取所述目标数据库中待刷新的目标物化视图以及与所述目标物化视图关联的刷新模式;其中,所述刷新模式至少包括增量刷新模式;
5、当所述目标物化视图未处于正在刷新状态时,获取所述目标物化视图的预存元数据,并基于所述预存元数据对所述目标物化视图的刷新场景进行校验,判断所述刷新场景是否符合所述增量刷新模式的执行条件;
6、当所述刷新场景符合所述增量刷新模式的执行条件时,开启独立读写事务,并获取所述独立读写事务的数据库一致性快照信息,基于所述预存元数据中的视图定义信息进行查询语句重写处理,生成增量刷新查询语句;
7、基于所述增量刷新查询语句和所述数据库一致性快照信息,从所述目标数据库的物化视图日志中筛选出目标增量数据,并基于所述目标增量数据对所述目标物化视图进行刷新处理。
8、第二方面,本发明提供了一种物化视图刷新装置,其中,包括:
9、解析模块,用于获取客户端发送的针对目标数据库的物化视图刷新请求,对所述物化视图刷新请求进行解析,从请求解析结果中提取所述目标数据库中待刷新的目标物化视图以及与所述目标物化视图关联的刷新模式;其中,所述刷新模式至少包括增量刷新模式;
10、判断模块,用于当所述目标物化视图未处于正在刷新状态时,获取所述目标物化视图的预存元数据,并基于所述预存元数据对所述目标物化视图的刷新场景进行校验,判断所述刷新场景是否符合所述增量刷新模式的执行条件;
11、重写模块,用于当所述刷新场景符合所述增量刷新模式的执行条件时,开启独立读写事务,并获取所述独立读写事务的数据库一致性快照信息,基于所述预存元数据中的视图定义信息进行查询语句重写处理,生成增量刷新查询语句;
12、筛选模块,用于基于所述增量刷新查询语句和所述数据库一致性快照信息,从所述目标数据库的物化视图日志中筛选出目标增量数据,并基于所述目标增量数据对所述目标物化视图进行刷新处理。
13、第三方面,本发明提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如上所述的物化视图刷新方法。
14、第四方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其中,所述计算机程序被处理器执行时实现如上所述的物化视图刷新方法。
15、相较于现有技术,本发明提供了一种物化视图刷新方法、装置、计算机设备及计算机可读存储介质,其中,包括:获取客户端发送的针对目标数据库的物化视图刷新请求,对所述物化视图刷新请求进行解析,从请求解析结果中提取所述目标数据库中待刷新的目标物化视图以及与所述目标物化视图关联的刷新模式;其中,所述刷新模式至少包括增量刷新模式;当所述目标物化视图未处于正在刷新状态时,获取所述目标物化视图的预存元数据,并基于所述预存元数据对所述目标物化视图的刷新场景进行校验,判断所述刷新场景是否符合所述增量刷新模式的执行条件;当所述刷新场景符合所述增量刷新模式的执行条件时,开启独立读写事务,并获取所述独立读写事务的数据库一致性快照信息,基于所述预存元数据中的视图定义信息进行查询语句重写处理,生成增量刷新查询语句;基于所述增量刷新查询语句和所述数据库一致性快照信息,从所述目标数据库的物化视图日志中筛选出目标增量数据,并基于所述目标增量数据对所述目标物化视图进行刷新处理。从而本发明能够提升物化视图刷新的数据正确性与执行稳定性。
1.一种物化视图刷新方法,其特征在于,包括:
2.根据权利要求1所述的物化视图刷新方法,其特征在于,所述获取客户端发送的针对目标数据库的物化视图刷新请求,对所述物化视图刷新请求进行解析,从请求解析结果中提取所述目标数据库中待刷新的目标物化视图以及与所述目标物化视图关联的刷新模式,包括:
3.根据权利要求2所述的物化视图刷新方法,其特征在于,所述当所述目标物化视图未处于正在刷新状态时,获取所述目标物化视图的预存元数据,并基于所述预存元数据对所述目标物化视图的刷新场景进行校验,判断所述刷新场景是否符合所述增量刷新模式的执行条件,包括:
4.根据权利要求1所述的物化视图刷新方法,其特征在于,所述当所述刷新场景符合所述增量刷新模式的执行条件时,开启独立读写事务,并获取所述独立读写事务的数据库一致性快照信息,基于所述预存元数据中的视图定义信息进行查询语句重写处理,生成增量刷新查询语句,包括:
5.根据权利要求4所述的物化视图刷新方法,其特征在于,所述基于所述增量刷新查询语句和所述数据库一致性快照信息,从所述目标数据库的物化视图日志中筛选出目标增量数据,并基于所述目标增量数据对所述目标物化视图进行刷新处理,包括:
6.根据权利要求5所述的物化视图刷新方法,其特征在于,所述利用所述目标增量数据,对所述目标物化视图进行刷新处理,生成物化视图刷新结果,并将所述物化视图刷新结果发送给所述客户端,包括:
7.根据权利要求6所述的物化视图刷新方法,其特征在于,所述确定识别到的所述目标物化视图对应的所述视图类型,并利用所述目标增量数据按照与所述视图类型匹配的数据变更逻辑,对所述目标物化视图进行数据更新处理,得到原始刷新执行结果之后,还包括:
8.一种物化视图刷新装置,其特征在于,包括:
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的物化视图刷新方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的物化视图刷新方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com