一种面向多机房的数据解耦同步方法、装置及设备与流程
本发明涉及计算机数据库同步,尤其涉及一种面向多机房的数据解耦同步方法、装置及设备。
背景技术:
1、随着企业信息化建设的不断深入,多机房部署已成为保障业务连续性和数据安全的重要技术手段。在多机房架构中,如何在多个机房的数据库之间实现数据同步是核心技术挑战之一。
2、相关技术中常用的数据同步方式主要包括以下几种。第一种是基于数据库二进制日志的同步方式,通过解析数据库的二进制日志获取数据变更事件,并将变更同步至目标数据库;该方式需要数据库开启二进制日志功能,对数据库性能存在一定影响,且解析二进制日志需要深入理解数据库内部实现细节,技术门槛较高,不同数据库的二进制日志格式存在差异,兼容性较差。第二种是基于变更数据捕获的同步方式,通过专门的数据捕获组件监听数据库变更并将变更事件推送至消息队列或目标数据库;该方式需要部署额外的数据捕获组件,增加了系统复杂度,对源数据库存在侵入性,可能影响业务系统的稳定性,且实时性依赖数据捕获组件的处理能力。第三种是基于消息队列的同步方式,业务系统在执行数据操作时同时向消息队列发送变更消息,由消费端将变更同步至目标数据库;该方式要求业务代码显式编写消息发送逻辑,耦合度较高,消息发送与数据库操作往往不在同一事务中,可能导致数据不一致。第四种是直接数据库访问方式,业务系统直接连接多个机房的数据库并在本地事务中同时写入多个数据源;该方式使业务系统需要维护多个数据库连接,资源消耗较大,跨机房网络延迟影响系统响应时间,且目标数据库故障可能导致业务系统不可用,存在单点故障风险。
3、此外,相关技术方案在多机房同步场景中普遍存在环形同步问题:当数据在多个机房之间相互同步时,容易形成数据循环复制,导致数据重复写入、数据膨胀甚至数据损坏;部分方案虽然通过标记同步来源的方式尝试解决该问题,但实现复杂且可靠性不高。
4、综上,相关技术中的多机房数据同步方式普遍存在同步逻辑与业务代码耦合度高、对业务系统侵入性强、环形同步难以抑制、重复投递导致数据不一致等技术问题,有必要提出一种低耦合、高可靠的多机房数据同步方案。
技术实现思路
1、本发明意在提供一种面向多机房的数据解耦同步方法、装置及设备,以解决现有技术中存在的不足,本发明要解决的技术问题通过以下技术方案来实现。
2、根据本技术的第一方面,提供一种面向多机房的数据解耦同步方法,包括:
3、配置数据库代理组件,所述数据库代理组件接收业务系统的数据操作请求并代理执行结构化查询语言sql语句;
4、配置日志输出规则,所述日志输出规则用于过滤数据操纵语言dml类型的sql语句,并在事务提交成功后将过滤得到的dml类型的sql语句输出至日志文件;
5、当业务系统经所述数据库代理组件执行数据操作时,将事务提交成功的dml类型的sql语句按照所述日志输出规则输出至所述日志文件;
6、实时监听所述日志文件,当检测到新的dml语句写入时,解析所述dml语句并生成结构化同步事件,所述结构化同步事件包含全局唯一的事件标识、原始产生机房标识、当前发送机房标识、已访问机房列表、事务标识、操作序列号及操作内容;
7、根据预设的机房同步映射关系和所述结构化同步事件中的信息,确定所述结构化同步事件对应的目标机房及目标数据库;
8、经预先初始化的数据库连接池向所述目标数据库执行所述结构化同步事件中的操作内容以完成数据同步,其中在执行前检测所述结构化同步事件的事件标识是否已被处理,若已被处理则跳过执行。
9、优选地,解析所述dml语句并生成结构化同步事件,包括:
10、为每个dml语句生成全局唯一的事件标识;
11、记录原始产生该dml语句的机房标识作为原始产生机房标识,所述原始产生机房标识在转发过程中保持不变;
12、记录当前发送该同步事件的机房标识作为当前发送机房标识;
13、维护已访问机房列表,所述已访问机房列表记录该同步事件已经过的机房标识;
14、为同一事务内的多个dml语句分配相同的事务标识,并为每个dml语句分配递增的操作序列号;
15、将该dml语句转换为所述目标数据库可执行的操作内容。
16、优选地,所述在执行前检测所述结构化同步事件的事件标识是否已被处理,包括:
17、在每个机房维护已处理事件标识缓存表,所述已处理事件标识缓存表记录事件标识、接收时间及处理状态;
18、接收到同步事件时,查询所述已处理事件标识缓存表;
19、若所述结构化同步事件的事件标识存在于所述已处理事件标识缓存表中,则判定为已被处理并跳过执行;
20、若所述结构化同步事件的事件标识不存在于所述已处理事件标识缓存表中,则执行所述操作内容,并在执行成功后将所述事件标识写入所述已处理事件标识缓存表。
21、优选地,还包括环形同步检测步骤,包括:
22、在向目标机房转发所述结构化同步事件之前,检测所述结构化同步事件中的已访问机房列表;
23、若所述已访问机房列表中包含当前机房标识,则判定为环形同步并跳过所述结构化同步事件的执行;
24、若所述已访问机房列表中不包含当前机房标识,则将当前机房标识添加到所述已访问机房列表,再向其他目标机房转发所述结构化同步事件。
25、优选地,所述经预先初始化的数据库连接池向所述目标数据库执行所述结构化同步事件中的操作内容,还包括:在执行前根据操作类型进行幂等性控制,具体为:
26、对于插入insert操作,若所述目标数据库已存在相同主键的记录,则转为更新update操作或跳过所述插入操作;
27、对于更新update操作,在执行前读取所述目标数据库中目标记录的版本号或更新时间戳,若所述目标记录的版本号不低于所述结构化同步事件中的版本号,则跳过执行;
28、对于删除delete操作,若所述目标数据库不存在对应记录,则将所述删除操作标记为成功。
29、优选地,还包括日志文件管理步骤与容错处理步骤,其中,
30、所述日志文件管理步骤包括:维护已读取的日志文件的位点信息,所述位点信息包括文件名、文件大小标识及读取偏移量,定期将当前读取位点持久化存储,并在日志文件滚动或监听重启时从持久化的位点信息继续读取;
31、所述容错处理步骤包括:当所述结构化同步事件执行失败时,将所述结构化同步事件持久化存储至重试队列,并记录失败原因、重试次数及下次重试时间,按照预设的重试策略对所述重试队列中的同步事件进行重试执行,当重试次数超过预设阈值时将所述结构化同步事件存入异常队列并生成告警信息。
32、根据本技术的第二方面,提供一种面向多机房的数据解耦同步装置,包括:
33、代理配置模块,被配置为配置数据库代理组件,所述数据库代理组件接收业务系统的数据操作请求并代理执行结构化查询语言sql语句;
34、日志规则配置模块,被配置为配置日志输出规则,所述日志输出规则用于过滤数据操纵语言dml类型的sql语句,并在事务提交成功后将过滤得到的dml类型的sql语句输出至日志文件;
35、日志输出模块,被配置为当业务系统经所述数据库代理组件执行数据操作时,将事务提交成功的dml类型的sql语句按照所述日志输出规则输出至所述日志文件;
36、事件生成模块,被配置为实时监听所述日志文件,当检测到新的dml语句写入时,解析该dml语句并生成结构化同步事件,所述结构化同步事件包含全局唯一的事件标识、原始产生机房标识、当前发送机房标识、已访问机房列表、事务标识、操作序列号及操作内容;
37、路由决策模块,被配置为根据预设的机房同步映射关系和所述结构化同步事件中的信息,确定所述结构化同步事件对应的目标机房及目标数据库;
38、同步执行模块,被配置为经预先初始化的数据库连接池向所述目标数据库执行所述结构化同步事件中的操作内容以完成数据同步,其中在执行前检测所述结构化同步事件的事件标识是否已被处理,若已被处理则跳过执行。
39、优选地,所述装置还包括:
40、环形同步检测模块,被配置为在向目标机房转发所述结构化同步事件之前检测所述结构化同步事件中的已访问机房列表,若所述已访问机房列表中包含当前机房标识则判定为环形同步并跳过执行,否则将当前机房标识添加到所述已访问机房列表后再向其他目标机房转发;
41、幂等性控制模块,被配置为在执行同步操作前根据操作类型进行幂等性检测,所述幂等性检测包括主键冲突检测、版本号比对及记录存在性检测;
42、容错处理模块,被配置为将执行失败的同步事件持久化存储至重试队列并按照预设的重试策略进行重试,当重试次数超过预设阈值时将所述结构化同步事件存入异常队列并生成告警信息。
43、根据本技术的第三方面,提供一种电子设备,所述设备包括:一个或多个处理器;以及
44、存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述面向多机房的数据解耦同步方法。
45、根据本技术的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述面向多机房的数据解耦同步方法。
46、本发明实施例包括以下优点:
47、通过引入数据库代理组件对业务系统的数据操作请求进行代理执行,业务系统仅需连接所述数据库代理组件而无需感知目标机房数据库的存在,在业务系统保持数据库访问接口不变的情况下将数据同步逻辑从业务代码中剥离,降低了同步逻辑与业务代码的耦合度以及业务系统的运维复杂度。
48、通过仅在事务提交成功后将dml类型的sql语句输出至日志文件,避免将未提交或已回滚的事务同步至目标数据库,在日志输出层面保障了源端与目标端的事务一致性。
49、通过将dml语句转换为携带全局唯一事件标识、原始产生机房标识、当前发送机房标识及已访问机房列表的结构化同步事件,为跨机房转发过程中的去重、环形检测与幂等性控制提供了统一的数据载体。
50、通过在每个机房维护已处理事件标识缓存表并在执行前基于事件标识去重,避免同一同步事件被重复执行,为多机房转发与故障恢复场景下的重复投递提供了可靠的去重手段。
51、通过令已访问机房列表随同步事件转发且在转发过程中不断累加,接收端据此判断当前机房是否已处于转发路径中,从而在事件标识去重的基础上进一步抑制跨机房环形复制,降低了数据重复写入与数据膨胀的风险。
52、通过针对插入、更新和删除操作分别进行主键冲突检测、版本号比对及记录存在性检测的幂等性控制,避免重复执行导致的数据不一致,为至少一次投递语义下的数据同步提供了幂等性保障。
53、通过维护并持久化日志文件读取位点以支持断点续读,在日志文件滚动或监听重启后仍能够从上次位置继续读取,避免了日志记录的丢失或重复读取,提升了日志监听的可靠性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com