一种MYSQL从库互相切换时采集点位映射处置方法与流程

技术特征：
1.一种mysql从库互相切换时采集点位映射处置方法，其特征在于，包括如下步骤：步骤1：根据采集程序的报错，发现从库异常，定位从库当前消费binlog文件和当前消费日志的位置，找到用户对数据的动作记录；步骤2：根据用户的动作记录，去对应从库的binlog日志文件倒序查找，找到对应的binlog文件及点位信息，进而找到对应的操作记录点位信息；步骤3：查找到对应切换从库的匹配点位时，记录该点位所在的binlog文件及事件时间和日志点位，作为重新启动实时采集的入参，重新运行采集程序；步骤4：实时采集程序获取最新从库的binlog文件、事件时间和日志点位信息即可从该点位断点恢复采集，保障数据采集连续性。2.根据权利要求1所述的一种mysql从库互相切换时采集点位映射处置方法，其特征在于，所述步骤1具体为：当采集程序出现异常的时候，日志会输出异常的binlog文件及其最后的采集点位，系统根据采集到的日志数据，发现从库服务器出现异常，并找到出现异常的从库服务器的当前消费的binlog文件，定位从库当前消费日志的位置，解析异常的binlog文件，根据日志位置和事件找到用户对数据的动作记录。3.根据权利要求1所述的一种mysql从库互相切换时采集点位映射处置方法，其特征在于，所述步骤2中具体为：系统根据异常采集从库binlog解析出来的用户动作，根据倒序查找法，去对应的从库中最新的binlog文件，以及最后写入的binlog日志开始查找相应的数据动作以及数据文件数，进而找到用户对动作的数据记录，找到对应的binlog文件，从而定位binlog文件，得到对应的映射点位信息和对应的操作记录。

技术总结
本发明属于大数据领域中的实时数据采集技术，公开了一种MYSQL从库互相切换时采集点位映射处置方法，其将人工经验抽象成算法解析，通过排序从库BINLOG文件及倒序解析BINLOG内容，从最新的BINLOG文件最新的内容开始检索，查询对应采集点位，从而实现查找BINLOG文件最少，解析BINLOG日志最少的算法，找到对应切换从库的采集点位，实现从库异常切换到其他从库无缝切换，保障业务连续性。保障业务连续性。保障业务连续性。


技术研发人员：周维 杨斌
受保护的技术使用者：四川新网银行股份有限公司
技术研发日：2022.09.23
技术公布日：2022/12/1