基于物理存储特征的数据增量同步方法及系统与流程

摘要: 本公开涉及数据治理,具体涉及一种基于物理存储特征的数据增量同步方法及系统。背景技术:1、参照图1,高校数据治理中,首先通过etl工具对业务系统(比如教务系统、学...
基于物理存储特征的数据增量同步方法及系统与流程

本公开涉及数据治理,具体涉及一种基于物理存储特征的数据增量同步方法及系统。

背景技术:

1、参照图1,高校数据治理中,首先通过etl工具对业务系统(比如教务系统、学工系统、科研系统和图书馆系统)进行数据采集,然后同步至数据治理平台。其中,etl工具基于主键全表扫描,数据传输、处理周期过长,如学生选课记录全量同步需要30分钟以上,无法满足数据实时性需求。并且,大量重复全表扫描将产生海量数据库日志(如归档日志、重做日志),同时占用超额网络带宽和服务器资源,对业务系统和数据治理平台造成双重压力。另外,全表同步引发的系统性能波动、数据一致性问题,导致运维人员工作量激增,数据治理平台的稳定性难以保障。

技术实现思路

1、为克服相关技术中存在的问题,本公开实施例提供一种基于物理存储特征的数据增量同步方法及系统,用以解决相关技术中的缺陷。

2、根据本公开实施例的第一方面,提供一种基于物理存储特征的数据增量同步方法,包括:

3、在数据表无时间戳字段的情况下,基于所述数据表的字段名、字段值分布特征和字段关联信息,确定具有时序特征的目标字段,并基于所述目标字段,确定所述数据表中数据记录的业务时间戳,其中,所述字段关联信息表征所述数据记录中的字段是否指向具有时序特征的其他数据表;

4、基于所述数据表中数据记录的物理存储信息、主键信息和关键业务字段,生成所述数据记录的目标数据指纹,并将所述目标数据指纹与历史同步记录中的历史数据指纹进行比对,得到目标比对结果;

5、根据所述目标比对结果,确定所述数据表中待同步的目标数据记录以及所述目标数据记录对应的场景标签和流水号处理策略,并基于所述流水号处理策略,确定所述目标数据记录的流水号,其中,所述场景标签至少表征数据新增或数据更新;

6、将所述目标数据以及对应的业务时间戳、场景标签和流水号发送至数据治理平台进行增量同步。

7、根据本公开实施例的第二方面,提供一种基于物理存储特征的数据增量同步系统,包括数据采集平台和数据治理平台;

8、所述数据采集平台用于执行第一方面所述的基于物理存储特征的数据增量同步方法;

9、所述数据治理平台用于基于所述数据采集平台发送的目标数据以及对应的业务时间戳、场景标签和流水号进行增量同步。

10、本公开的实施例提供的技术方案可以包括以下有益效果:

11、通过识别数据表中具有时序特征的目标字段,并基于该目标字段确定数据记录的业务时间戳,可以在数据表缺乏时间戳字段的情况下,为每一条数据记录赋予可反映业务发生时间的时间标记。既无需对业务系统进行侵入式改造,又避免了对时间戳字段或自增序列字段的依赖,从而可以更好地满足高校业务系统中无时间戳的业务数据表的增量同步需求。

12、另外,基于目标比对结果确定待同步的目标数据记录及其对应的场景标签和流水号处理策略,能够自动区分新增数据和更新数据等不同业务场景,并对流水号进行适应性处理,从而保证增量数据与全量数据在标识连续性、数据血缘追溯方面的一致性,避免因流水号冲突或场景混淆导致的数据治理平台侧数据混乱,进而提升数据增量同步的准确性。

1.一种基于物理存储特征的数据增量同步方法,其特征在于,包括:

2.根据权利要求1所述的基于物理存储特征的数据增量同步方法,其特征在于,所述基于数据表中的字段名、字段值的分布特征以及字段关联信息,确定所述数据表中具有时序特征的目标字段,包括:

3.根据权利要求2所述的基于物理存储特征的数据增量同步方法,其特征在于,所述数据表中的目标数据记录存在具有时序特征的多个目标字段,所述基于所述目标字段的时序特征,确定所述数据表中数据记录的业务时间戳,包括:

4.根据权利要求1-3任一项所述的基于物理存储特征的数据增量同步方法,其特征在于,所述数据表中的目标数据记录不存在具有时序特征的目标字段,所述方法还包括:

5.根据权利要求4所述的基于物理存储特征的数据增量同步方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的基于物理存储特征的数据增量同步方法,其特征在于,所述方法还包括:

7.根据权利要求1-3任一项所述的基于物理存储特征的数据增量同步方法,其特征在于,所述基于所述数据表中数据记录的物理存储信息、主键信息和关键业务字段,生成所述数据记录的目标数据指纹,包括:

8.根据权利要求1-3任一项所述的基于物理存储特征的数据增量同步方法,其特征在于,所述将所述目标数据指纹与历史同步记录中的历史数据指纹进行比对,得到目标比对结果,包括:

9.根据权利要求8所述的基于物理存储特征的数据增量同步方法,其特征在于,所述根据所述目标比对结果,确定所述数据表中待同步的目标数据记录以及所述目标数据记录对应的场景标签和流水号处理策略,包括:

10.一种基于物理存储特征的数据增量同步系统,其特征在于,包括数据采集平台和数据治理平台;