数据同步方法、电子设备及存储介质与流程

技术特征：
1.一种数据同步方法，其特征在于，应用于分布式系统中的第一节点，所述方法包括：通过设定调度器获取待调度的第一数据同步任务；在所述设定调度器调度所述第一数据同步任务的过程中，将所述第一数据同步任务配置为支持flinkx执行的第一任务，并向所述分布式系统中的至少一个第二节点下发所述第一任务。2.根据权利要求1所述的方法，其特征在于，所述将所述第一数据同步任务配置为支持flinkx执行的第一任务，包括：基于所述第一数据同步任务的配置信息和flinkx支持的数据格式，生成第一任务。3.根据权利要求2所述的方法，其特征在于，所述配置信息包括数据源的配置信息、数据目的地的配置信息、系统参数和任务运行参数。4.根据权利要求2或3所述的方法，其特征在于，所述基于所述第一数据同步任务的配置信息和flinkx支持的数据格式，生成第一任务，包括：按照flinkx支持的json数据格式，对所述第一数据同步任务的配置信息进行处理，得到第一任务。5.一种数据同步方法，其特征在于，应用于分布式系统中的第二节点，所述方法包括：接收第一节点下发的第一任务；其中，所述第一任务由所述第一节点在通过设定调度器调度对应的第一数据同步任务的过程中生成；所述第一任务表征由flinkx执行的所述第一数据同步任务；调用flinkx执行所述第一任务。6.根据权利要求5所述的方法，其特征在于，所述第一任务携带所述第一数据同步任务的配置信息，所述调用flinkx执行所述第一任务，包括：通过所述设定调度器基于所述配置信息生成任务描述文件；通过所述设定调度器调用flinkx，基于所述任务描述文件执行所述第一任务。7.根据权利要求5所述的方法，其特征在于，在所述接收第一节点下发的第一任务之后，所述方法还包括：将所述第一任务的日志从yarn重定向至flinkx。8.根据权利5至7任一项所述的方法，其特征在于，所述调用flinkx执行所述第一任务，包括：在所述第一任务为增量同步任务的情况下，基于所述第一任务对应的数据源中最新的同步位置和数据目的地中的最新数据，进行增量同步。9.根据权利要求8所述的方法，其特征在于，所述基于所述第一任务对应的数据源中最新的同步位置和数据目的地中的最新数据，进行增量同步，包括：在数据源中最新的同步位置对应的数据与数据目的地中的最新数据相同的情况下，对所述数据源中位于最新的同步位置之后的数据进行增量同步；或者在数据源中最新的同步位置对应的数据与数据目的地中的最新数据不同的情况下，从所述数据源中确定出与所述最新数据匹配的目标数据，对位于所述目标数据之后的数据进行增量同步。10.一种电子设备，其特征在于，包括：获取单元，用于通过设定调度器获取待调度的第一数据同步任务；
生成单元，用于在所述设定调度器调度所述第一数据同步任务的过程中，将所述第一数据同步任务配置为支持flinkx执行的第一任务；发送单元，用于向所述分布式系统中的至少一个第二节点下发所述第一任务。11.一种电子设备，其特征在于，包括：接收单元，用于接收第一节点下发的第一任务；其中，所述第一任务由所述第一节点在通过设定调度器调度对应的第一数据同步任务的过程中生成；所述第一任务表征由flinkx执行的所述第一数据同步任务；执行单元，用于调用flinkx执行所述第一任务。12.一种电子设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行以下之一：权利要求1至4任一项所述的数据同步方法的步骤；权利要求5至9任一项所述的数据同步方法的步骤。13.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下之一：权利要求1至4任一项所述的数据同步方法的步骤；权利要求5至9任一项所述的数据同步方法的步骤。

技术总结
本申请公开了一种数据同步方法、电子设备及存储介质，应用于分布式系统中的第一节点的数据同步方法包括：通过设定调度器获取待调度的第一数据同步任务；在所述设定调度器调度所述第一数据同步任务的过程中，将所述第一数据同步任务配置为支持FlinkX执行的第一任务，并向所述分布式系统中的至少一个第二节点下发所述第一任务。所述第一任务。所述第一任务。


技术研发人员：赵小雄 林攀学 翟智强
受保护的技术使用者：深信服科技股份有限公司
技术研发日：2021.08.31
技术公布日：2021/11/28