一种基于MySQLbinlog的元数据同步方法与流程

技术特征：
1.一种基于mysql binlog的元数据同步方法，其特征在于：s1、配置源端mysql数据库，开启binlog；s2、采集全量表元数据，获取当前数据库中的库、表、字段等信息；s3、查询并记录当前日志文件，并将日志文件内偏移量作为增量基准；s4、根据增量基准，获取并解析binlog日志文件；s5、将从binlog日志文件中解析出来的sql语句进行解析，并将解析后的sql语句填充到数据结构中；s6、将所获取的增量日志传递到目的端，并在目的端执行同步数据；s7、记录所获取的日志文件及最后的偏移量作为新的增量基准；s8、间隔一定的时间后，重复步骤s4-s7。2.根据权利要求1所述的方法，其特征在于：步骤s1中，配置源端mysql数据库配置过程中，在开启binlog后，还包括配置binlog日志文件名以及binlog日志文件路径，并配置server id。3.根据权利要求2所述的方法，其特征在于：步骤s2中，通过访问information_schema中的表，获取表schemata为库信息，tables为表信息，columns为列信息，views为视图信息；采集全量表元数据时，在内存中记录该表结构数据。4.根据权利要求3所述的方法，其特征在于：步骤s3中，在采集全量表元数据之前需要记录下当前的binlog文件以及当前binlog文件的位置，若开启了gtid，并记录gtid号。5.根据权利要求4所述的方法，其特征在于：步骤s4中，与源端数据库建立数据库连接，向master注册slave，然后发送从某个增量点获取数据的请求(com_binlog_dump)，接收二进制日志数据并逐个解析，直到数据解析完成。6.根据权利要求5所述的方法，其特征在于：步骤s4中，解析binlog过程中需要记录日志文件及位置position，以用于下次增量查询或异常恢复。7.根据权利要求6所述的方法，其特征在于：步骤s5中，在binlog中解析出来的sql语句中包括ddl变更和dwl变更，在解析ddl变更以后，需要将解析后的ddl变更对内存中记录的表元数据进行更新，在解析dwl数据时，需要依照此前记录的表元数据。8.根据权利要求1所述的方法，其特征在于：步骤s6中，源端采集解析的ddl变更数据序列化后传递到目的端，目的端根据requestparam以及自身的数据类型，生成相应操作的sql语句，并执行所生成的语句。

技术总结
本发明公开了一种基于MySQL binlog的元数据同步方法，包括如下步骤：S1、配置源端MySQL数据库，开启binlog；S2、采集全量表元数据，获取当前数据库中的库、表、字段等信息；S3、查询并记录当前日志文件，并将日志文件内偏移量作为增量基准；S4、根据增量基准，获取并解析binlog日志文件。本发明的元数据同步方法，先其中一个时间点作为基准点，记录binlog日志文件名和偏移量作为增量基准，从该增量基准作为起始点获取binlog日志文件数据并解析其中的事件，对于binlog日志文件中解析出来的DDL变更需要解析成中间格式的数据结构，并转换成二进制数据通过MQ发送到目的端，目的端对中间格式的数据结构反序列化，生成SQL语句并执行。生成SQL语句并执行。生成SQL语句并执行。


技术研发人员：方建勋 邓光超 高传集
受保护的技术使用者：浪潮云信息技术股份公司
技术研发日：2022.03.26
技术公布日：2022/7/1