数据同步方法及系统与流程

技术特征：
1.一种数据同步方法，其特征在于，所述方法包括：从数据源中采集全量数据和增量数据；为采集的每一条数据分配有序且唯一的编号；对所述数据按照所述编号进行全局有序排列和去重处理；及将处理后的数据按顺序写入数据湖表中。2.根据权利要求1所述的数据同步方法，其特征在于，所述方法还包括：根据从所述数据源中采集的至少部分数据与所述数据湖表中对应的至少部分数据，检验数据传输质量。3.根据权利要求1或2所述的数据同步方法，其特征在于，所述从数据源中采集全量数据和增量数据包括：通过快照技术按天采集所述全量数据，通过读取增量日志分钟级采集所述增量数据。4.根据权利要求1或3所述的数据同步方法，其特征在于，所述从数据源中采集全量数据和增量数据包括：针对第一预设类型数据源，基于flink cdc，通过全量快照技术拉取得到所述全量数据，通过读取binlog日志得到所述增量数据。5.根据权利要求4所述的数据同步方法，其特征在于，所述从数据源中采集全量数据和增量数据还包括：针对第二预设类型数据源，通过代理采集从节点的dump文件得到所述全量数据，通过读取binlog日志得到所述增量数据。6.根据权利要求1或2所述的数据同步方法，其特征在于，所述为采集的每一条数据分配有序且唯一的编号包括：记录当前的系统生成时间，作为一个时间戳；生成一个单调递增编号；将所述时间戳加上所述单调递增编号作为所述有序且唯一的编号分配给当前数据。7.根据权利要求1或2所述的数据同步方法，其特征在于，所述方法在所述为采集的每一条数据分配有序且唯一的编号和所述对所述数据按照所述编号进行全局有序排列和去重处理之间还包括：将带有编号的所述数据推送到kafka消息队列中；从所述kafka消息队列中消费当前数据。8.一种数据同步系统，其特征在于，所述系统包括：采集模块，用于从数据源中采集全量数据和增量数据；分配模块，用于为采集的每一条数据分配有序且唯一的编号；处理模块，用于对所述数据按照所述编号进行全局有序排列和去重处理；写入模块，用于将处理后的数据按顺序写入数据湖表中。9.一种电子装置，其特征在于，所述电子装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据同步程序，所述数据同步程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据同步方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据同步程序，所述数据同步程序被处理器执行时实现如权利要求1至7中任一项所述的数据同步
方法。

技术总结
本申请公开了一种数据同步方法，该方法包括：从数据源中采集全量数据和增量数据；为采集的每一条数据分配有序且唯一的编号；对所述数据按照所述编号进行全局有序排列和去重处理；将处理后的数据按顺序写入数据湖表中。本申请还公开了一种数据同步系统、电子装置和计算机可读存储介质。由此，能够对全量数据和增量数据进行一体化打通，并实现分钟级数据同步和一键增量化入仓，还保证了所述全量数据和所述增量数据的有序性和唯一性，保障了数据传输质量。质量。质量。


技术研发人员：肖宇 喻兆靖 白鑫 王翔宇
受保护的技术使用者：上海哔哩哔哩科技有限公司
技术研发日：2021.07.29
技术公布日：2021/10/23