数据同步方法、电子设备及存储介质与流程

1.本发明涉及通信领域，尤其涉及一种数据同步方法、电子设备及存储介质。


背景技术：

2.相关技术中，分布式系统通过自带的任务调度框架或第三方任务调度框架进行任务调度，但在调度任务时，任务调度效率较低。例如，分布式系统在通过海豚调度器(apache dolphinscheduler)调度数据同步任务时，因海豚调度器的数据同步功能仅支持端到端的数据同步，导致分布式系统的任务调度效率较低。


技术实现要素：

3.有鉴于此，本发明实施例提供一种数据同步方法、电子设备及存储介质，以解决现有技术中，在分布式系统中任务调度效率低的问题。
4.为达到上述目的，本发明的技术方案是这样实现的：
5.本技术实施例提供了一种数据同步方法，应用于分布式系统中的第一节点，所述方法包括：
6.通过设定调度器获取待调度的第一数据同步任务；
7.在所述设定调度器调度所述第一数据同步任务的过程中，将所述第一数据同步任务配置为支持flinkx执行的第一任务，并向所述分布式系统中的至少一个第二节点下发所述第一任务。
8.上述方案中，所述将所述第一数据同步任务配置为支持flinkx执行的第一任务，包括：
9.基于所述第一数据同步任务的配置信息和flinkx支持的数据格式，生成第一任务。
10.上述方案中，所述配置信息包括数据源的配置信息、数据目的地的配置信息、系统参数和任务运行参数。
11.上述方案中，所述基于所述第一数据同步任务的配置信息和flinkx支持的数据格式，生成第一任务，包括：
12.按照flinkx支持的json数据格式，对所述第一数据同步任务的配置信息进行处理，得到第一任务。
13.本技术实施例还提供了一种数据同步方法，应用于分布式系统中的第二节点，所述方法包括：
14.接收第一节点下发的第一任务；其中，所述第一任务由所述第一节点在通过设定调度器调度对应的第一数据同步任务的过程中生成；所述第一任务表征由flinkx执行的所述第一数据同步任务；
15.调用flinkx执行所述第一任务。
16.上述方案中，所述第一任务携带所述第一数据同步任务的配置信息，所述调用
flinkx执行所述第一任务，包括：
17.通过所述设定调度器基于所述配置信息生成任务描述文件；
18.通过所述设定调度器调用flinkx，基于所述任务描述文件执行所述第一任务。
19.上述方案中，在所述接收第一节点下发的第一任务之后，所述方法还包括：
20.将所述第一任务的日志从yarn重定向至flinkx。
21.上述方案中，所述调用flinkx执行所述第一任务，包括：
22.在所述第一任务为增量同步任务的情况下，基于所述第一任务对应的数据源中最新的同步位置和数据目的地中的最新数据，进行增量同步。
23.上述方案中，所述基于所述第一任务对应的数据源中最新的同步位置和数据目的地中的最新数据，进行增量同步，包括：
24.在数据源中最新的同步位置对应的数据与数据目的地中的最新数据相同的情况下，对所述数据源中位于最新的同步位置之后的数据进行增量同步；或者
25.在数据源中最新的同步位置对应的数据与数据目的地中的最新数据不同的情况下，从所述数据源中确定出与所述最新数据匹配的目标数据，对位于所述目标数据之后的数据进行增量同步。
26.本技术实施例还提供了一种电子设备，包括：
27.获取单元，用于通过设定调度器获取待调度的第一数据同步任务；
28.生成单元，用于在所述设定调度器调度所述第一数据同步任务的过程中，将所述第一数据同步任务配置为支持flinkx执行的第一任务
29.发送单元，用于向所述分布式系统中的至少一个第二节点下发所述第一任务。
30.本技术实施例还提供了一种电子设备，包括：
31.接收单元，用于接收第一节点下发的第一任务；其中，所述第一任务由所述第一节点在通过设定调度器调度对应的第一数据同步任务的过程中生成；所述第一任务表征由flinkx执行的所述第一数据同步任务；
32.执行单元，用于调用flinkx执行所述第一任务。
33.本技术实施例还提供了一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
34.其中，所述处理器用于运行所述计算机程序时，执行上述应用于分布式系统中的第一节点或第二节点的数据同步方法的步骤。
35.本技术实施例还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述应用于分布式系统中的第一节点或第二节点的数据同步方法的步骤。
36.本技术实施例中，分布式系统中的第一节点在通过设定调度器调度第一数据同步任务的过程中，将第一数据同步任务配置为支持flinkx执行的第一任务，并向分布式系统中的至少一个第二节点下发第一任务，分布式系统中的第二节点接收第一节点下发的第一任务，以便分布式系统中的第二节点调用flinkx执行第一任务，第一任务表征由flinkx执行的第一数据同步任务。这样，第一节点可以并行调度数据同步任务，分布式系统中不同的第二节点可以并行调用flinkx执行通过设定调度器调度的数据同步任务，可实现多端数据同步，提高了数据同步效率。由于flinkx支持增量同步和断点续传，因此，调用flinkx执行
第一任务，还可以提高第一任务的可靠性和灵活性。
附图说明
37.图1为本技术实施例提供的数据同步方法的交互图；
38.图2为本技术应用实施例提供的数据同步方法的示意图；
39.图3为本技术应用实施例提供的flinkxtask实例的示意图；
40.图4为本技术实施例提供的电子设备的结构示意图；
41.图5为本技术另一实施例提供的电子设备的结构示意图；
42.图6为本技术实施例提供的电子设备的组成结构示意图。
具体实施方式
43.相关技术中，任务调度框架主要包括海豚调度器、azkaban、ooize等。通过对比发现海豚调度器具有以下优点：
44.1、高可靠性：去中心化的多master与多worker，采用任务队列来避免过载，不会造成机器的卡死；调度能力随着集群线性增长，且master与worker支持动态上下线；其中，master用于向worker下发任务并获取任务执行结果，worker用于执行任务；
45.2、简单易用：有向无环图(dag，direct acyclic graph)监控界面可视化，通过拖拽定制dag调度任务；
46.3、工作流任务可支持自定义参数，支持shell、mr、spark、sql等十多种任务类型，支持任务优先级的设置；
47.4、工作流任务可支持定时、依赖、手动、暂停、恢复、停止等操作。
48.海豚调度器因具有以上优点而被应用于分布式系统，但是海豚调度器的数据同步功能仅支持端到端的数据同步，不支持多端数据同步，任务调度效率较低。
49.基于此，在本技术的各种实施例中，分布式系统中的第一节点在通过设定调度器调度第一数据同步任务的过程中，将所述第一数据同步任务配置为支持flinkx执行的第一任务，并向分布式系统中的至少一个第二节点下发第一任务，以便第二节点调用flinkx执行第一任务，第一任务表征由flinkx执行的第一数据同步任务。这样，第一节点可以并行调度数据同步任务，分布式系统中不同的第二节点可以并行调用flinkx执行通过设定调度器调度的数据同步任务，可实现多端数据同步，提高了数据同步效率。
50.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
51.图1为本技术实施例提供的数据同步方法的交互图。其中，数据同步方法应用于分布式系统中的第一节点和第二节点，第一节点和第二节点处于同一集群。第一节点运行设定调度器的master进程调度数据同步任务，并向第二节点下发数据同步任务；第二节点运行设定调度器的work进程，执行数据同步任务。如图1示出的，数据同步方法包括：
52.步骤101：分布式系统中的第一节点通过设定调度器获取待调度的第一数据同步任务。
53.分布式系统中包括一个第一节点和多个第二节点，当第一节点发生故障时，从第
二节点中确定出新的第一节点。
54.这里，用户通过终端设备登陆分布式系统的前端页面，在前端页面配置数据同步任务，并触发终端设备向分布式系统中的第一节点提交配置的数据同步任务。其中，终端设备提交的数据同步任务包括配置信息。
55.分布式系统中的第一节点在接收到用户提交的数据同步任务的情况下，对数据同步任务进行校验，以校验数据同步任务中的相关数据是否正确，以及校验是否支持数据同步任务中的数据类型；在对数据同步任务校验通过的情况下，将数据同步任务存储至分布式系统的数据库。在对数据同步任务校验不通过的情况下，丢弃数据同步任务，并向发送该数据同步任务的终端设备发送提示信息，以便用户根据提示信息进行修改。
56.其中，分布式系统的数据库可以为本地数据库，也可以为云端数据库。
57.这里，分布式系统中的第一节点运行设定调度器的master进程，从数据库中获取待调度的第一数据同步任务，得到第一数据同步任务。本实施例中的设定调度器是一个分布式去中心化、易扩展、支持可视化管理的任务调度系统，该设定调度器能够以有向无环图的方式将待调度的任务按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态。在实际应用时，设定调度器可以为海豚设定调度器。
58.这里，运行于分布式系统中的设定调度器可以调度在线的数据同步任务，和/或，离线的数据同步任务。离线的数据同步任务是指定时触发的数据同步任务。实际应用时，设定调度器调度离线的数据同步任务。
59.实际应用时，在第一数据同步任务为离线的数据同步任务的情况下，第一节点中运行的设定调度器的master进程调用定时任务组件quartz，通过quartz从数据库中获取待调度的第一数据同步任务。
60.步骤102：分布式系统中的第一节点在通过所述设定调度器调度所述第一数据同步任务的过程中，将所述第一数据同步任务配置为支持flinkx执行的第一任务，向所述分布式系统中的至少一个第二节点下发所述第一任务。
61.这里，第一数据同步任务携带第一数据同步任务的配置信息，分布式系统中的第一节点在通过设定调度器调度第一数据同步任务的过程中，基于第一数据同步任务的配置信息，生成支持flinkx执行的第一任务。
62.实际应用时，第一节点中运行的设定调度器的master进程，在当前时刻到达第一数据同步任务对应的定时时间的结束时刻的情况下，触发第一数据同步任务，并将第一数据同步任务写入优先级队列；通过设定调度器的master进程中的消费线程，从优先级队列中获取第一数据同步任务，并基于第一数据同步任务携带的第一数据同步任务的配置信息，生成第一数据同步任务对应的第一任务。
63.需要说明的是，进程是任务调度的最小单位，一个进程可以包括多个线程。
64.在一些实施例中，配置信息包括：数据源的配置信息、数据目的地的配置信息、系统参数和任务运行参数。
65.数据源的配置信息包括数据源的连接配置参数和数据源的参数。其中，数据源的连接配置参数包括数据源的地址，还可以包括账户名和密码等。数据源的参数包括：名称、数据类型、字段类型等参数。数据类型包括：mysql、hdfs或hbase。
66.数据目的地的配置信息包括数据目的地的连接配置参数和数据目的地的参数。其
中，数据目的地的连接配置参数包括数据目的地的地址，还可以包括账户名和密码等。数据目的地的参数包括：名称、数据类型、字段类型等参数。
67.系统参数包括数据同步任务的并发度、传输速度和第一指示中的至少之一；其中，第一指示表征是否为增量同步。
68.任务运行参数至少包括：超时时间，还可以包括执行第一数据同步任务的设备的标识。
69.在一些实施例中，所述将所述第一数据同步任务配置为支持flinkx执行的第一任务，包括：
70.基于所述第一数据同步任务的配置信息和flinkx支持的数据格式，生成第一任务。这里，flinkx支持的数据格式中定义了由flinkx执行的数据同步任务所包括的数据和对应的数据类型或数据结构。分布式系统中的第一节点基于flinkx支持的数据格式，对第一任务的配置信息进行转换，基于转换后的配置信息生成第一任务。第一任务携带第一数据同步任务的配置信息。其中，flink支持的数据格式包括json(javascript object notation)数据格式，flink支持java和scala中所有常见的数据类型。进一步地，所述基于所述第一数据同步任务的配置信息和flinkx支持的数据格式，生成第一任务，包括：
71.按照flinkx支持的json数据格式，对所述第一数据同步任务的配置信息进行处理，得到第一任务。
72.这里，第一节点按照flinkx支持的json数据格式中定义的数据对应数据类型和数据结构，对第一数据同步任务的配置信息进行处理，得到第一数据同步任务对应的第一任务。其中，
73.数据类型包括：字符串(string)、数字(number)、对象(object)、数组(array)、布尔(boolean)、对空(null)等。布尔逻辑的值包括true或false。
74.数据结构包括：对象结构和数组结构；一个对象是一组名称和值对；数组是一组值。
75.实际应用时，第一节点通过设定调度器的master进程中的消费线程，基于flinkx支持的数据格式对第一数据同步任务的配置信息进行序列化，生成执行上下文；基于执行上下文生成第一数据同步任务对应的第一任务。
76.本实施例中，基于第一数据同步任务的配置信息和flinkx支持的数据格式，生成第一数据同步任务对应的第一任务，以便flinkx能够识别出第一任务，由此，接收到第一任务的第二节点可以调用flinkx执行第一数据同步任务。
77.步骤103：分布式系统中的第一节点向所述分布式系统中的至少一个第二节点下发所述第一任务。
78.这里，第一节点在通过设定调度器调度第一数据同步任务的过程中，将第一数据同步任务配置为支持flinkx执行的第一任务之后，可以向分布式系统中的任一第二节点下发第一任务，也可以向分布式系统中的至少两个第二节点下发第一任务。实际应用时，可以根据第二节点的数据处理性能和第二任务对应的数据量，确定用于执行第一任务的第二节点。
79.实际应用时，第一节点中运行的设定调度器的master进程，通过远程过程调用(rpc，remote procedure call)服务向第二节点下发第一任务。步骤104：分布式系统中的
第二节点接收第一节点下发的第一任务；其中，所述第一任务由所述第一节点在通过设定调度器调度对应的第一数据同步任务的过程中生成；所述第一任务表征由flinkx执行的所述第一数据同步任务。
80.实际应用时，分布式系统中的第二节点运行设定调度器的work进程，接收第一节点通过rpc服务下发的第一任务。
81.步骤104：分布式系统中的第二节点调用flinkx执行所述第一任务。
82.分布式系统中的第二节点在接收到第一任务的情况下，通过设置于设定调度器中的设定接口调用flinkx，启动flinkx进程基于第一任务携带的配置信息执行第一任务，得到第一任务的执行结果。
83.在一些实施例中，所述第一任务携带所述第一数据同步任务的配置信息，所述调用flinkx执行所述第一任务，包括：
84.通过所述设定调度器基于所述配置信息生成任务描述文件；
85.通过所述设定调度器调用flinkx，基于所述任务描述文件执行所述第一任务。
86.这里，第二节点中运行的设定调度器的work进程，根据第一任务携带的配置信息，构建执行第一数据同步任务的json(javascript object notation)结构体，将构建的json结构体写入json文件，得到第一任务对应的任务描述文件，并存储第一任务对应的任务描述文件。
87.第二节点中运行的设定调度器的work进程，调用flinkx启动flinkx进程；通过设定调度器的work进程基于第一任务对应的任务描述文件对应的存储路径，从对应的文件夹中获取第一任务对应的任务描述文件，将获取到的任务描述文件提交至flinkx进程，即，向flinkx进程提交第一任务。
88.通过运行的flinkx进程，解析第一任务对应的任务描述文件，得到第一数据同步任务的配置信息，基于第一数据同步任务的配置信息执行第一数据同步任务，从而将数据源中待同步的数量，同步至数据目的地中。数据源和数据目的地均指设备。
89.考虑到调用flinkx执行数据同步任务时，同步的数据中存在部分重复数据，为了避免同步重复的数据，以节省系统资源和提高数据同步效率，在一实施例中，所述调用flinkx执行所述第一任务，包括：
90.在所述第一任务为增量同步任务的情况下，基于所述第一任务对应的数据源中最新的同步位置和数据目的地中的最新数据，进行增量同步。
91.这里，数据同步类型包括增量同步和全量同步。
92.在第一任务携带的配置信息中的第一指示表征增量同步的情况下，第二节点基于数据源的地址，从数据源中确定出最新的同步位置；基于数据目的地的地址，从数据目的地中确定出最新数据，基于数据源中最新的同步位置和数据目的地中的最新数据，在数据源中确定出待同步的增量数据，并对确定出的增量数据同步至数据目的地。
93.其中，数据源中的同步位置是在对数据源中的数据进行数据同步的过程中标记的。
94.为了准确地确定出待同步的增量数据，在一些实施例中，所述基于所述第一任务对应的数据源中最新的同步位置和数据目的地中的最新数据，进行增量同步，包括：
95.在数据源中最新的同步位置对应的数据与数据目的地中的最新数据相同的情况
下，对所述数据源中位于最新的同步位置之后的数据进行增量同步；或者
96.在数据源中最新的同步位置对应的数据与数据目的地中的最新数据不同的情况下，从所述数据源中确定出与所述最新数据匹配的目标数据，对位于所述目标数据之后的数据进行增量同步。
97.这里，在数据源中最新的同步位置对应的数据与数据目的地中的最新数据相同的情况下，将数据源中位于最新的同步位置之后的数据，确定为待同步的增量数据，并对确定出的增量数据进行增量同步。
98.在数据源中最新的同步位置对应的数据与数据目的地中的最新数据不同的情况下，从数据源中确定出与最新数据匹配的目标数据，将数据源中位于确定出的目标数据之后的数据，确定为待同步的增量数据，并对确定出的增量数据进行增量同步。
99.步骤105：分布式系统中的第二节点向所述第一节点发送所述第一任务的执行结果。
100.分布式系统中的第二节点在得到第一任务的执行结果的情况下，向第一节点发送第一任务的执行结果。
101.实际应用时，第二节点中设定调度器的work进程在检测到flinkx进程执行结束，或者超时杀死flinkx进程的情况下，通过rpc服务向第一节点中的master进程发送第一任务的执行结果。
102.在一些实施例中，所述接收第一节点下发的第一任务之后，所述方法还包括：
103.将所述第一任务的日志从yarn重定向至flinkx。
104.考虑到第一任务是运行在第二节点中的yarn上，分布式系统中的第二节点在调用flinkx执行第一任务的过程中，将第一任务的日志从yarn重定向至flinkx，以从flinkx拉取第一任务的日志。
105.其中，另一个资源协调器(yarn，yet another resource negotiator)，是一个独立的资源管理系统。
106.本技术实施例中，分布式系统中的第一节点在通过设定调度器调度第一数据同步任务的过程中，将所述第一数据同步任务配置为支持flinkx执行的第一任务，并向分布式系统中的至少一个第二节点下发第一任务，分布式系统中的第二节点接收第一节点下发的第一任务，调用flinkx执行第一任务，第一任务表征由flinkx执行的第一数据同步任务。这样，第一节点可以并行调度数据同步任务，分布式系统中不同的第二节点可以并行调用flinkx执行通过设定调度器调度的数据同步任务，可实现多端数据同步，提高了数据同步效率。由于flinkx支持增量同步和断点续传，因此，调用flinkx执行第一任务，还可以提高第一任务的可靠性和灵活性。
107.图2为本技术应用实施例提供的数据同步方法的示意图，如图2所示，数据同步方法包括：
108.①
用户提交数据同步任务。
109.这里，用户通过终端设备登陆分布式系统的前端页面，在前端页面配置数据同步任务，并触发终端设备向分布式系统中的第一节点提交配置的数据同步任务。
110.②
分布式系统中的第一节点校验并保存数据同步任务。
111.这里，分布式系统中的第一节点对用户提交的数据同步任务进行校验，在对数据
同步任务校验通过的情况下，将数据同步任务保存至数据库。
112.③
分布式系统中的第一节点通过设定调度器的master进程，调用quartz，从数据库中获取待调度的第一数据同步任务，得到第一数据同步任务，并定时触发第一数据同步任务，将已触发的第一数据同步任务写入优先级队列。
113.④
分布式系统中的第一节点通过设定调度器中的消费线程从优先级队列中获取第一数据同步任务，将所述第一数据同步任务配置为支持flinkx执行的第一任务。
114.其中，第一数据同步任务携带第一数据同步任务的配置信息。
115.这里，第一节点运行设定调度器的master进程中的消费线程，基于flinkx支持的数据格式对第一数据同步任务携带的配置信息进行序列化，生成执行上下文；基于执行上下文生成第一任务。其中，第一任务携带执行上下文。
116.⑤
分布式系统中的第一节点运行的设定调度器的master进程，通过rpc服务，向至少一个第二节点下发第一任务。
117.⑥
分布式系统中的第二节点运行设定调度器的work进程，接收第一节点下发的第一任务，将第一任务提交至线程池。
118.这里，在接收到第一节点下发的第一任务的情况下，对第一任务携带的执行上下文进行反序列化，得到对应的配置信息，将携带配置信息的第一任务提交至线程池。
119.⑦
分布式系统中的第二节点通过设定调度器的work进程的taskmanager创建第一任务对应的flinkxtask实例。
120.其中，flinkxtask实例主要负责生成第一任务对应的任务描述文件、启动第一任务、监控第一任务执行以及日志重定向。
121.如图3所示，flinkxtask实例中包括以下对象和接口：
122.taskexecutioncontext：表征接口，用于为flinkxtask实例提供数据同步任务的运行参数。
123.flinkxtasckexecutioncontext:表征对象，用于为flinkxtask实例提供数据源的连接配置参数和数据目的地的连接配置参数。
124.flinkxparameters:表征对象，用于为flinkxtask实例提供数据同步任务的系统参数，数据源的参数和数据目的地的参数。
125.设定调度器的work进程运行flinkxtask实例生成第一任务对应的任务描述文件。
126.这里，flinkxtask实例根据第一任务携带的配置信息，构建执行第一数据同步任务的json(javascript object notation)结构体，将构建的json结构体写入json文件，得到第一任务对应的任务描述文件，并存储第一任务对应的任务描述文件。
127.⑧
flinkxtask实例启动flinkx进程，基于任务描述文件执行第一任务。
128.这里，设定调度器的work进程中运行的flinkxtask实例，调用flinkx并启动flinkx进程；运行的flinkxtask实例基于第一任务对应的任务描述文件对应的存储路径，从对应的文件夹中获取第一任务对应的任务描述文件，将获取到的任务描述文件提交至flinkx进程，即，向flinkx进程提交第一任务。
129.通过运行的flinkx进程，解析第一任务对应的任务描述文件，得到第一数据同步任务的配置信息，基于第一数据同步任务的配置信息执行第一数据同步任务，从而将数据源中待同步的数量，同步至数据目的地中。
130.实际应用时，第二节点通过flinkxtask实例，执行/bin/flink
‑
fg
‑
flinkconf path
‑
mode yarn
‑
per
‑
job job_path，获取第一任务对应的json任务描述文件，将获取到的任务描述文件提交至flinkx进程。其中，job_path是指json任务描述文件的存储路径。
131.⑨
flinkxtask实例将第一任务的日志从yarn重定向至flinkx。
132.⑩
flinkxtask实例向分布式系统中的第一节点上报第一任务对应的执行结果。
133.这里，flinkxtask实例等待flinkx进程执行结束，或者在超时的情况下，杀死flinkx进程；flinkxtask实例将执行结果通过rpc服务上报至分布式系统中的第一节点的设定调度器的master进程；通过设定调度器的master进程将第一任务对应的执行结果写入分布式系统的数据库。
134.为实现本技术实施例的应用于分布式系统的第一节点的数据同步方法，本技术实施例还提供了一种电子设备，如图4所示，该电子设备包括：
135.获取单元41，用于通过设定调度器获取待调度的第一数据同步任务；
136.生成单元42，用于在所述设定调度器调度所述第一数据同步任务的过程中，将所述第一数据同步任务配置为支持flinkx执行的第一任务；
137.发送单元43，用于向所述分布式系统中的至少一个第二节点下发所述第一任务。
138.在一些实施例中，生成单元42具体用于：基于所述第一数据同步任务的配置信息和flinkx支持的数据格式，生成第一任务。
139.在一些实施例中，所述配置信息包括数据源的配置信息、数据目的地的配置信息、系统参数和任务运行参数。
140.在一些实施例中，生成单元42具体用于：按照flinkx支持的json数据格式，对所述第一数据同步任务的配置信息进行处理，得到第一任务。
141.实际应用时，获取单元41、生成单元42和发送单元43可通过电子设备中的处理器，比如中央处理器(cpu，central processing unit)、数字信号处理器(dsp，digital signal processor)、微控制单元(mcu，microcontroller unit)或可编程门阵列(fpga，field－programmable gate array)等实现。
142.需要说明的是：上述实施例提供的电子设备在进行数据同步时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的电子设备与数据同步方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
143.为实现本技术实施例的应用于分布式系统的第二节点的数据同步方法，本技术实施例还提供了一种电子设备，如图5所示，该电子设备包括：
144.接收单元51，用于接收第一节点下发的第一任务；其中，所述第一任务由所述第一节点通过设定调度器调度对应的第一数据同步任务的过程中生成；所述第一任务表征由flinkx执行的所述第一数据同步任务；
145.执行单元52，用于调用flinkx执行所述第一任务。
146.在一些实施例中，执行单元52具体用于：
147.通过所述设定调度器基于所述配置信息生成任务描述文件；
148.通过所述设定调度器调用flinkx，基于所述任务描述文件执行所述第一任务。
memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram，static random access memory)、同步静态随机存取存储器(ssram，synchronous static random access memory)、动态随机存取存储器(dram，dynamic random access memory)、同步动态随机存取存储器(sdram，synchronous dynamic random access memory)、双倍数据速率同步动态随机存取存储器(ddrsdram，double data rate synchronous dynamic random access memory)、增强型同步动态随机存取存储器(esdram，enhanced synchronous dynamic random access memory)、同步连接动态随机存取存储器(sldram，synclink dynamic random access memory)、直接内存总线随机存取存储器(drram，direct rambus random access memory)。本技术实施例描述的存储器63旨在包括但不限于这些和任意其它适合类型的存储器。
163.上述本技术实施例揭示的方法可以应用于处理器62中，或者由处理器62实现。处理器62可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器62中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器62可以是通用处理器、dsp，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器62可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器63，处理器62读取存储器63中的程序，结合其硬件完成前述方法的步骤。
164.可选地，所述处理器62执行所述程序时实现本技术实施例的各个方法中由终端实现的相应流程，为了简洁，在此不再赘述。
165.在示例性实施例中，本技术实施例还提供了一种存储介质，即计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的第一存储器63，上述计算机程序可由终端的处理器62执行，以完成前述方法所述步骤。计算机可读存储介质可以是fram、rom、prom、eprom、eeprom、flash memory、磁表面存储器、光盘、或cd
‑
rom等存储器。
166.在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
167.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
168.另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
169.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序
在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
170.需要说明的是，本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
171.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。