数据同步方法、设备及介质与流程
本申请涉及数据库数据管理,具体而言,本申请涉及一种数据同步方法、设备及介质。
背景技术:
1、当前,企业数据量呈爆发式增长,为了有效实现数据的存储和使用,数据库(如mysql)被广泛应用于业务系统中,而数据实时同步是企业实现数据价值、支撑业务决策的关键环节。现有技术中,数据同步通常采用基于日志解析的方式进行数据同步。然而,基于日志解析的方式虽然实时性较高,但在面对源端数据库表结构变更、字段类型不匹配或异构数据源同步时,往往缺乏灵活的适配机制,导致同步任务频繁中断或数据丢失,难以满足企业级应用对数据一致性、实时性及灵活性的综合需求。
技术实现思路
1、本申请的目的在于针对现有技术中的不足,提供一种数据同步方法、设备及介质,能够解决现有基于日志解析进行数据同步的方式缺乏灵活的适配机制,容易导致同步任务中断或数据丢失,难以满足数据同步需求的问题。
2、为达到上述目的,本申请采用如下技术方案:
3、本申请一方面提供一种数据同步方法,所述方法用于数据同步系统的数据同步模块,所述数据同步模块是基于flink建立的,所述方法,包括:
4、获取待处理数据,所述待处理数据包括消息队列中的数据变更信息或目标数据库的待同步数据;
5、根据预设的字段类型映射规则生成所述待处理数据对应的同步规则,基于所述待处理数据和所述同步规则进行数据同步。
6、在一种可能的实现方式中,所述数据同步系统包括数据采集模块、消息队列缓存模块,所述数据变更信息的获取,包括:
7、与所述消息队列缓存模块连接,获取所述消息队列缓存模块缓存的数据变更信息,所述数据变更信息是所述数据采集模块向预设数据库发送数据获取请求,根据所述预设数据库反馈的数据变更日志获取数据变更信息并发送至所述消息队列缓存模块的。
8、在一种可能的实现方式中,所述消息队列缓存模块为kafka集群,所述kafka集群接收所述数据变更信息,根据预设的主题接收并持久化所述数据变更信息,所述主题是基于数据库、表名划分的。
9、在一种可能的实现方式中,所述预设数据库为mysql主库,所述数据采集模块模拟mysql从库协议,向mysql主库发送数据获取请求,获取所述mysql主库反馈的数据变更日志,根据所述数据变更日志获取数据变更信息,将所述数据变更信息发送至所述kafka集群对应的主题。
10、在一种可能的实现方式中,所述待同步数据的获取,包括:
11、初始化数据查询接口,通过所述数据查询接口查询所述目标数据库的表元数据,所述表元数据包括表名、字段名称、字段类型、主键信息;
12、根据所述表元数据与历史表元数据的对比结果获取待同步数据。
13、在一种可能的实现方式中,所述根据预设的字段类型映射规则生成所述待处理数据对应的同步规则,包括:
14、确定待同步的数据库,获取所述数据库的字段信息、所述待处理数据的字段信息;
15、基于所述字段类型映射规则、所述数据库的字段信息、所述待处理数据的字段信息进行类型映射,根据映射结果生成同步规则。
16、在一种可能的实现方式中,所述基于所述待处理数据和所述同步规则进行数据同步,包括:
17、根据所述待处理数据和所述同步规则动态拼接flink sql同步脚本;
18、基于所述flink sql同步脚本提交flink同步任务。
19、在一种可能的实现方式中,所述获取待处理数据,包括:
20、确定获取到所述待处理数据,对所述待处理数据进行数据清洗与校验处理,所述数据清洗与校验处理包括过滤无效数据、重复数据以及校验字段类型一致性、主键唯一性;
21、所述数据同步系统还包括监控与告警模块,所述监控与告警模块用于采集所述数据同步模块、所述数据采集模块、所述消息队列缓存模块的运行指标,基于告警阈值以及所述运行指标进行告警。
22、本申请另一方面提供一种电子设备,包括处理器、存储器,所述处理器与所述存储器通信连接,所述存储器存储有程序数据,所述程序数据被处理器执行用于实现上述任一实施例所述的方法。
23、本申请另一方面提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行用于实现上述任一实施例所述的方法。
24、本申请实施例提供的技术方案带来的有益效果是:
25、本申请提供的数据同步方法用于数据同步系统的数据同步模块,数据同步模块是基于flink建立的,该方法,包括:获取待处理数据,待处理数据包括消息队列中的数据变更信息或目标数据库的待同步数据;根据预设的字段类型映射规则生成待处理数据对应的同步规则,基于待处理数据和同步规则进行数据同步。本申请实施例能够有效应对源端数据库表结构变更、字段类型不匹配或异构数据源同步场景,通过动态生成同步规则实现了数据同步过程的字段类型自动化适配与灵活配置,显著降低了同步任务中断风险,保障了数据的一致性与实时性,满足了企业级应用对高效、稳定数据同步的需求。
1.一种数据同步方法,其特征在于,所述方法用于数据同步系统的数据同步模块,所述数据同步模块是基于flink建立的,所述方法,包括:
2.根据权利要求1所述的数据同步方法,其特征在于,所述数据同步系统包括数据采集模块、消息队列缓存模块,所述数据变更信息的获取,包括:
3.根据权利要求2所述的数据同步方法,其特征在于,所述消息队列缓存模块为kafka集群,所述kafka集群接收所述数据变更信息,根据预设的主题接收并持久化所述数据变更信息,所述主题是基于数据库、表名划分的。
4.根据权利要求3所述的数据同步方法,其特征在于,所述预设数据库为mysql主库,所述数据采集模块模拟mysql从库协议,向mysql主库发送数据获取请求,获取所述mysql主库反馈的数据变更日志,根据所述数据变更日志获取数据变更信息,将所述数据变更信息发送至所述kafka集群对应的主题。
5.根据权利要求1所述的数据同步方法,其特征在于,所述待同步数据的获取,包括:
6.根据权利要求1所述的数据同步方法,其特征在于,所述根据预设的字段类型映射规则生成所述待处理数据对应的同步规则,包括:
7.根据权利要求1所述的数据同步方法,所述基于所述待处理数据和所述同步规则进行数据同步,包括:
8.根据权利要求2所述的数据同步方法,所述获取待处理数据,包括:
9.一种电子设备,其特征在于,包括处理器、存储器,所述处理器与所述存储器通信连接,所述存储器存储有程序数据,所述程序数据被用于执行如权利要求1-8任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被用于执行如权利要求1-8任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com