基于OTS的数据同步方法、装置、设备、介质及程序产品与流程
本发明涉及数据同步,尤其涉及一种基于ots的数据同步方法、装置、设备、介质及程序产品。
背景技术:
1、随着国家电网“网上国网”业务向区域负载架构演进,为实现第一地点数据中心与第二地点数据中心之间的业务协同与容灾能力,需要将第一地点侧的数据高效、完整地同步至第二地点侧,并在同步完成后进行严格的数据校验,以确保两端数据的一致性与可用性。
2、然而,目前行业内尚未出现一种成熟、可行的方法能够同时满足跨地域ots数据同步与校验的双重需求。
技术实现思路
1、有鉴于此,本发明的目的在于提出一种基于ots的数据同步方法、装置、设备、介质及程序产品。
2、基于上述目的,本发明第一方面提供了一种基于ots的数据同步方法,包括:
3、获取配置文件,对所述配置文件进行解析得到同步任务参数,所述同步任务参数包括:源端ots的源表、目标端ots的目标表、过滤条件;
4、利用所述源端ots的第一预设接口,从所述源表中读取符合所述过滤条件的目标数据,并将所述目标数据存储至内存队列;
5、利用包含多个并发工作线程的线程池,从所述内存队列中异步获取所述目标数据,利用所述目标端ots的第二预设接口,将所述目标数据写入所述目标表中,得到数据写入结果;
6、响应于确定所述数据写入结果为写入失败,对所述目标数据执行递归分割重试操作,直到分割后的单行数据的写入失败次数大于次数阈值,生成同步完成状态信号;
7、响应于接收到所述同步完成状态信号,对所述源表和所述目标表进行数据量校验和内容抽样校验,得到校验结果。
8、在一些示例性实施例中,所述响应于确定所述数据写入结果为写入失败,对所述目标数据执行递归分割重试操作,直到分割后的单行数据的写入失败次数大于次数阈值,生成同步完成状态信号,包括:
9、将所述目标数据按照行数对半分割为第一子批次和第二子批次;
10、调用所述第二预设接口分别重试写入所述第一子批次和所述第二子批次;
11、响应于所述第一子批次和所述第二子批次中的任一子批次写入失败,则作为新的失败批次按照行数对半分割并递归重试,直至被分割的批次仅包含单行数据;
12、响应于所述单行数据的写入失败次数大于次数阈值,生成所述同步完成状态信号。
13、在一些示例性实施例中,所述对所述源表和所述目标表进行数据量校验,包括:
14、采用分页扫描方式分别统计所述源表中符合所述过滤条件的记录总数和所述目标表中符合所述过滤条件的记录总数;
15、比较所述源表的记录总数与所述目标表的记录总数是否一致,计算差异值和差异百分比。
16、在一些示例性实施例中,对所述源表和所述目标表进行内容抽样校验,包括:
17、从所述源表中按照所述过滤条件逐页扫描,收集预设样本数量的行记录作为样本集;
18、对于所述样本集中的每一条样本记录,以所述样本记录的主键为查询条件在所述目标表中执行点查,获取对应的目标端行数据;
19、逐字段比较所述样本记录与所述目标端行数据的一致性。
20、在一些示例性实施例中,所述从所述源表中读取符合所述过滤条件的目标数据的过程中,所述方法还包括:
21、记录每次读取操作完成后的下一次扫描起始主键作为同步位点,并将所述同步位点持久化存储;
22、响应于同步任务中断后重新启动,读取所述同步位点,以所述同步位点作为起始位置继续执行所述从所述源表中读取符合所述过滤条件的所述目标数据的操作。
23、在一些示例性实施例中,所述过滤条件包括时间范围条件和/或属性列内容关键词条件;
24、所述利用所述源端ots的第一预设接口,从所述源表中读取符合所述过滤条件的目标数据,包括:
25、在调用所述第一预设接口时,通过在接口调用参数中构造包含所述时间范围条件和/或所述属性列内容关键词条件的列条件,将所述过滤条件传递给所述源端ots的服务端,以在所述源端ots的服务端完成数据筛选,仅返回符合所述过滤条件的数据行,作为所述目标数据。
26、本发明第二方面提供了一种基于ots的数据同步装置,包括:
27、同步任务参数确定模块,被配置为获取配置文件,对所述配置文件进行解析得到同步任务参数,所述同步任务参数包括:源端ots的源表、目标端ots的目标表、过滤条件;
28、目标数据读取模块,被配置为利用所述源端ots的第一预设接口,从所述源表中读取符合所述过滤条件的目标数据,并将所述目标数据存储至内存队列;
29、目标数据写入模块,被配置为利用包含多个并发工作线程的线程池,从所述内存队列中异步获取所述目标数据,利用所述目标端ots的第二预设接口,将所述目标数据写入所述目标表中,得到数据写入结果;
30、递归分割重试模块,被配置为响应于确定所述数据写入结果为写入失败,对所述目标数据执行递归分割重试操作,直到分割后的单行数据的写入失败次数大于次数阈值,生成同步完成状态信号;
31、数据校验模块,被配置为响应于接收到所述同步完成状态信号,对所述源表和所述目标表进行数据量校验和内容抽样校验,得到校验结果。
32、本发明的第三方面提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的方法。
33、本发明的第四方面提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行第一方面所述的方法。
34、本发明第五方面提供了一种计算机程序产品,包括计算机程序指令,当所述计算机程序指令在计算机上运行时,使得计算机执行如第一方面所述的方法。
35、从上面所述可以看出,本发明提供的基于ots的数据同步方法、装置、设备、介质及程序产品,该方法包括:获取配置文件,对所述配置文件进行解析得到同步任务参数,所述同步任务参数包括:源端ots的源表、目标端ots的目标表、过滤条件;利用所述源端ots的第一预设接口,从所述源表中读取符合所述过滤条件的目标数据,并将所述目标数据存储至内存队列;利用包含多个并发工作线程的线程池,从所述内存队列中异步获取所述目标数据,利用所述目标端ots的第二预设接口,将所述目标数据写入所述目标表中,得到数据写入结果;响应于确定所述数据写入结果为写入失败,对所述目标数据执行递归分割重试操作,直到分割后的单行数据的写入失败次数大于次数阈值,生成同步完成状态信号;响应于接收到所述同步完成状态信号,对所述源表和所述目标表进行数据量校验和内容抽样校验,得到校验结果。其中,提供了高效、可靠的ots数据同步方法,从而满足区域负载建设对数据同步的准确性与鲁棒性需求。
1.一种基于ots的数据同步方法,包括:
2.根据权利要求1所述的方法,所述响应于确定所述数据写入结果为写入失败,对所述目标数据执行递归分割重试操作,直到分割后的单行数据的写入失败次数大于次数阈值,生成同步完成状态信号,包括:
3.根据权利要求1所述的方法,所述对所述源表和所述目标表进行数据量校验,包括:
4.根据权利要求1所述的方法,对所述源表和所述目标表进行内容抽样校验,包括:
5.根据权利要求1所述的方法,所述从所述源表中读取符合所述过滤条件的目标数据的过程中,所述方法还包括:
6.根据权利要求1所述的方法,所述过滤条件包括时间范围条件和/或属性列内容关键词条件;
7.一种基于ots的数据同步装置,包括:
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。
9.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行权利要求1至6任一项所述的方法。
10.一种计算机程序产品,其特征在于,包括计算机程序指令,当所述计算机程序指令在计算机上运行时,使得计算机执行如权利要求1至6任意一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com