一种数据库数据同步方法与流程

技术特征：
1.一种数据库数据同步方法，其特征在于，包括以下过程：步骤s1，订阅关系型数据库管理系统中需要同步到es的一个或多个表，针对每个同步任务建立转换映射配置；步骤s2，获取同步任务的主表，以表的主键值为输入参数、全量数据为输出参数定义接口结构，建立主表全量接口；步骤s3，数据同步时，收到kafka变更的消息数据，再把消息数据转换成哈希映射结构的第一映射数据；步骤s4，取第一映射数据中表的主键值，通过传入表的主键值远程调用主表全量接口获取全量数据，将全量数据转换成哈希映射结构并赋值给第一映射数据，获取第二映射数据；步骤s5，基于转换映射配置中的映射结构，将第二映射数据转换成es的模型数据。2.如权利要求1所述的数据库数据同步方法，其特征在于，所述步骤s1中关系型数据库管理系统为mysql和/或sql server。3.如权利要求1所述的数据库数据同步方法，其特征在于，所述步骤s1中，针对每个同步任务对应建立kafka的topic和es索引。4.如权利要求1所述的数据库数据同步方法，其特征在于，所述转换映射配置结构包括同步接收端目标、表名、主表、转化规则、映射结构；所述同步接收端目标为es索引名称；表名为源数据库表名；主表的insert操作在同步接收端目标中创建记录；每个表配置一个对应的转换规则；映射结构中key是源数据库表字段，value是目标es索引名称的字段。5.如权利要求1所述的数据库数据同步方法，其特征在于，如配置中包括前置通过前置处理器，则基于第二映射数据执行前置处理器，获取第三映射数据，再把第二映射数据和第三映射数据合并成第四映射数据。6.如权利要求5所述的数据库数据同步方法，其特征在于，若配置的前置处理器为成本价处理器，则从第二映射数据中获取售价p值和折扣回归值d值，计算结果c=p*(1 d)，将结果c值转换成第三映射数据，将第二映射数据和第三映射数据合并成第四映射数据。7.如权利要求5所述的数据库数据同步方法，其特征在于，如配置中包括的类型转换器为时间类型转换器，则从第四映射数据中获取时间字段的时间t值，基于时间类型转换器，计算t值对应的时间戳f，并将第四映射数据中的时间字段的t值替换成f值。8.如权利要求1所述的数据库数据同步方法，其特征在于，当收到kafka大量变更消息数据均是同一数据时，将同一数据下的变更消息数据按相同业务主键合并成一条消息，进行步骤s3-步骤s5的过程。

技术总结
本发明涉及数据处理技术领域，公开了一种数据库数据同步方法，该方法包括：订阅关系型数据库管理系统中需要同步到ES的一个或多个表，针对每个同步任务建立转换映射配置；获取同步任务的主表，以表的主键值为输入参数、全量数据为输出参数定义接口结构，建立主表全量接口；数据同步时，收到KafKa变更的消息数据，再把消息数据转换成哈希映射结构的第一映射数据；取第一映射数据中表的主键值，远程调用主表全量接口获取全量数据，将全量数据转换成哈希映射结构并赋值给第一映射数据，获取第二映射数据；基于转换映射配置中的映射结构，将第二映射数据转换成ES的模型数据。本发明可以重复、有效进行ES同步任务，减少重复开发工作量。量。量。


技术研发人员：蒋松柏 范金龙
受保护的技术使用者：中建电子商务有限责任公司
技术研发日：2022.05.06
技术公布日：2022/6/3