数据同步方法、装置、计算机设备及存储介质与流程
本发明涉及数据库,具体涉及一种数据同步方法、装置、计算机设备及计算机可读存储介质。
背景技术:
1、目前,随着企业数字化转型的深入,数据库应用场景日益广泛。在跨地域容灾备份、异构数据集成、读写分离、业务解耦与实时订阅等多场景驱动下,数据库间的增量数据同步已成为核心基础设施。然而在实际业务中,并非源端数据库产生的所有数据都是待同步、待订阅或待备份的核心数据,往往仅部分关键表或特定业务数据需要被下游消费;同时,在低时延同步要求极高的场景下,对全量增量日志的串行化消费会引入显著的排队与处理时延,大量无关日志阻塞链路,使系统无法做到稳定可靠的低时延同步。
2、当前,现有增量数据同步方案主要分为两类。第一类为远端过滤方案,即主流的“全量日志拉取+消费端解析过滤”的模式,源端数据库向外输出完整的增量日志,过滤判断逻辑全部放置于下游消费端执行;该模式存在三重显著浪费:其一,大量无关日志被全量传输,严重占用出口带宽,在跨地域或云环境下成本高昂;其二,下游消费端需对每一条日志进行完整解析后方能判断是否丢弃,这种“为过滤而解析”的行为消耗了大量cpu资源;其三,串行化的解析过滤流程在日志量大时引入显著的处理时延,影响同步实时性。第二类为源端本地过滤方案,该类方案将过滤逻辑部署在源端数据库一侧,提前筛除不需要同步的日志,以此降低网络传输开销,但现有源端本地过滤方案仍然需要对日志内容进行解析处理,需要解析日志事件体内容提取数据表相关信息才能完成过滤判断,依然会带来额外的cpu计算开销,影响数据同步的效率。
3、基于此,如何提供一种数据同步方法、装置、计算机设备及计算机可读存储介质,能够有效提升数据同步效率与资源利用率,是目前本领域技术人员亟待解决的问题。
技术实现思路
1、鉴于上述现有技术的不足之处,本发明的目的在于提供一种数据同步方法、装置、计算机设备及计算机可读存储介质,旨在解决如何能够有效提升数据同步效率与资源利用率的问题。
2、为了达到上述目的,本发明采取了以下技术方案:
3、第一方面,本发明提供了一种数据同步方法,其中,所述方法包括:
4、构建目标端数据库与源端数据库的同步链路,通过所述同步链路获取预先配置的数据表白名单并发送至所述源端数据库;
5、对所述源端数据库中的所述数据表白名单进行解析,从白名单解析结果中提取数据表实体集合,基于所述数据表实体集合生成所述数据表白名单对应的数据表实体标识符集合,并将所述数据表实体标识符集合存储至所述源端数据库的内存缓存区;
6、当所述源端数据库中目标事务执行时生成的dml操作日志已被写入所述内存缓存区时,在所述内存缓存区获取所述dml操作日志中发生数据变更的目标数据表以及与所述目标数据表关联的目标标识符;其中,在所述内存缓存区不解析所述dml操作日志的事件体内容,通过所述内存缓存区中关联的所述目标数据表所对应的内存表对象读取所述目标标识符;
7、在所述内存缓存区中将所述目标标识符与所述数据表实体标识符集合进行比对匹配,根据匹配结果确定数据同步策略,并根据所述数据同步策略,将所述目标事务在所述源端数据库中执行时产生的增量数据同步至所述目标端数据库。
8、第二方面,本发明提供了一种数据同步装置,其中,所述装置包括:
9、构建模块,用于构建目标端数据库与源端数据库的同步链路,通过所述同步链路获取预先配置的数据表白名单并发送至所述源端数据库;
10、解析模块,用于对所述源端数据库中的所述数据表白名单进行解析,从白名单解析结果中提取数据表实体集合,基于所述数据表实体集合生成所述数据表白名单对应的数据表实体标识符集合,并将所述数据表实体标识符集合存储至所述源端数据库的内存缓存区;
11、获取模块,用于当所述源端数据库中目标事务执行时生成的dml操作日志已被写入所述内存缓存区时,在所述内存缓存区获取所述dml操作日志中发生数据变更的目标数据表以及与所述目标数据表关联的目标标识符;其中,在所述内存缓存区不解析所述dml操作日志的事件体内容,通过所述内存缓存区中关联的所述目标数据表所对应的内存表对象读取所述目标标识符;
12、比对模块,用于在所述内存缓存区中将所述目标标识符与所述数据表实体标识符集合进行比对匹配,根据匹配结果确定数据同步策略,并根据所述数据同步策略,将所述目标事务在所述源端数据库中执行时产生的增量数据同步至所述目标端数据库。
13、第三方面,本发明提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如上所述的数据同步方法。
14、第四方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其中,所述计算机程序被处理器执行时实现如上所述的数据同步方法。
15、相较于现有技术,本发明提供了一种数据同步方法、装置、计算机设备及计算机可读存储介质,其中,包括:构建目标端数据库与源端数据库的同步链路,通过所述同步链路获取预先配置的数据表白名单并发送至所述源端数据库;对所述源端数据库中的所述数据表白名单进行解析,从白名单解析结果中提取数据表实体集合,基于所述数据表实体集合生成所述数据表白名单对应的数据表实体标识符集合,并将所述数据表实体标识符集合存储至所述源端数据库的内存缓存区;当所述源端数据库中目标事务执行时生成的dml操作日志已被写入所述内存缓存区时,在所述内存缓存区获取所述dml操作日志中发生数据变更的目标数据表以及与所述目标数据表关联的目标标识符;其中,在所述内存缓存区不解析所述dml操作日志的事件体内容,通过所述内存缓存区中关联的所述目标数据表所对应的内存表对象读取所述目标标识符;在所述内存缓存区中将所述目标标识符与所述数据表实体标识符集合进行比对匹配,根据匹配结果确定数据同步策略,并根据所述数据同步策略,将所述目标事务在所述源端数据库中执行时产生的增量数据同步至所述目标端数据库。本发明在源端数据库内存缓存区中,通过目标数据表所对应的内存表对象直接获取目标标识符进行比对匹配,完全避免了对日志事件体内容的解析操作,从根本上消除了传统方案中“为过滤而解析”所导致的不必要cpu开销;同时,日志在落盘前即完成过滤,无关日志不进入后续发送队列,避免了全量日志的网络传输和串行解析排队时延,从cpu、网络带宽和同步时延三个维度实现了数据同步时资源利用率和同步效率的协同优化。
1.一种数据同步方法,其特征在于,所述方法包括:
2.根据权利要求1所述的数据同步方法,其特征在于,所述根据匹配结果确定数据同步策略,并根据所述数据同步策略,将所述目标事务在所述源端数据库中执行时产生的增量数据同步至所述目标端数据库,包括:
3.根据权利要求2所述的数据同步方法,其特征在于,所述根据匹配结果确定数据同步策略,并根据所述数据同步策略,将所述目标事务在所述源端数据库中执行时产生的增量数据同步至所述目标端数据库,还包括:
4.根据权利要求3所述的数据同步方法,其特征在于,所述在所述内存缓存区中将所述目标标识符与所述数据表实体标识符集合进行比对匹配,还包括:
5.根据权利要求4所述的数据同步方法,其特征在于,所述方法还包括:
6.根据权利要求5所述的数据同步方法,其特征在于,所述采用最小化解析方式解析所述物理日志记录中的日志事件体,并提取所述日志事件体中关联的数据表对象以及所述数据表对象的对象标识符,将所述对象标识符与所述数据表实体标识符集合进行比对匹配,根据匹配结果执行对应的事务日志发送策略之后,还包括:
7.根据权利要求1所述的数据同步方法,其特征在于,所述方法还包括:
8.一种数据同步装置,其特征在于,所述装置包括:
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的数据同步方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的数据同步方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com