数据处理平台的处理方法、计算机设备及存储装置与流程

1.本技术涉及数据处理平台技术领域，特别是涉及一种数据处理平台的处理方法、计算机设备及存储装置。


背景技术：

2.随着信息科学的不断发展，数据进入了海量倍增时代，对数据处理分析的分布式计算平台也越来越多。
3.现有的大数据处理平台都提供了数据流处理模型，可以进行数据处理、任务调度、数据缓存、数据通信等功能。分布式数据处理系统例如mapreduce、spark等，由于mapreduce的大量中间结果需要通过网络传输，当计算量大时，会增加网络传输压力，从而降低数据处理平台对任务的处理效率。


技术实现要素：

4.本技术主要解决的技术问题是提供一种数据处理平台的处理方法、计算机设备及存储装置，能够提升任务的执行效率。
5.为了解决上述问题，本技术第一方面提供了一种数据处理平台的处理方法，该方法包括：接收对待处理数据的任务处理请求；确定满足任务处理请求的管控执行节点；基于管控执行节点，对执行任务处理请求的第一任务进行亲和性调度，以分配第一执行节点；利用第一执行节点对待处理数据执行第一任务，得到中间处理数据；基于管控执行节点，对执行任务处理请求的第二任务进行亲和性调度，以分配第二执行节点；利用第二执行节点对中间处理数据执行第二任务，得到处理结果。
6.为了解决上述问题，本技术第二方面提供了一种计算机设备，该计算机设备包括相互耦接的存储器和处理器，存储器中存储有程序数据，处理器用于执行程序数据以实现上述数据处理平台的处理方法的任一步骤。
7.为了解决上述问题，本技术第三方面提供了一种存储装置，该存储装置存储有能够被处理器运行的程序数据，程序数据用于实现上述数据处理平台的处理方法的任一步骤。
8.上述方案，通过接收对待处理数据的任务处理请求，确定满足任务处理请求的管控执行节点；基于管控执行节点，对执行任务处理请求的第一任务进行亲和性调度，以分配第一执行节点；利用第一执行节点对待处理数据执行第一任务，得到中间处理数据；基于管控执行节点，对执行任务处理请求的第二任务进行亲和性调度，以分配第二执行节点；利用第二执行节点对中间处理数据执行第二任务，得到处理结果。由于在管控执行节点满足第一任务和第二任务时，将第一任务和第二任务调度在管控执行节点上，从而可以使得第一任务和第二任务在同一节点上执行，从而减少通过网络传输中间处理数据，减少在磁盘对中间处理数据的读写，能够提升任务的执行效率。
附图说明
9.为了更清楚地说明本技术中的技术方案，下面将对实施例描述中所需要的附图作简单的介绍，显而易见地，下面描述的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
10.图1是本技术数据处理平台的处理方法一实施例的流程示意图；
11.图2是本技术图1中步骤s12一实施例的流程示意图；
12.图3是本技术图1中步骤s13一实施例的流程示意图；
13.图4是本技术图1中步骤s15一实施例的流程示意图；
14.图5是本技术图1中步骤s16一实施例的流程示意图；
15.图6是本技术数据处理平台的处理装置一实施例的结构示意图；
16.图7是本技术计算机设备一实施例的结构示意图；
17.图8是本技术存储装置一实施例的结构示意图。
具体实施方式
18.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
19.本技术中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
20.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
21.经过本技术的发明人长期研究发现，以数据处理平台mapreduce为例，mapreduce是面向大数据并行处理的计算模型、框架和平台，用于大规模数据集(大于1tb)的并行运算，可以分为map(映射)和reduce(归约)两个阶段，mapreduce可以将数据处理复杂的计算过程抽象为多组map和reduce步骤，map和reduce各由多个mapper和reducer函数执行，将不同mapper和reducer分配至不同的计算节点，实现了在大型计算集群上的高效分布式计算处理。
22.在mapreduce进行数据处理时，在执行完map任务后，会将得到的中间处理数据存储在计算节点的本地存储空间，在执行reduce任务时，该阶段的计算节点会通过http(hyper text transfer protocol，超文本传输协议)将各个map任务的中间处理数据复制到该节点的本地存储空间，再执行reduce任务对中间处理数据进行计算，当处理的数据量
大时，会受限于环境的网络宽带和磁盘i/o(输入/输出)的性能，从而降低数据处理平台对数据的处理效率。
23.为了解决上述问题，本技术提供以下实施例，下面对各实施例进行具体说明。
24.请参阅图1，图1是本技术数据处理平台的处理方法一实施例的流程示意图。该方法可以包括以下步骤：
25.s11：接收对待处理数据的任务处理请求。
26.客户端可以向数据处理平台发送对待处理数据的任务处理请求，数据处理平台接收到对待处理数据的任务处理请求，使得数据处理平台对待处理数据进行处理。
27.在一些实施方式中，数据处理平台可以包括数据处理的编程模型平台，也可以是并行计算的模型，数据处理平台对数据处理的过程可以分为第一任务和第二任务，例如mapreduce、spark等，可以包括map任务和reduce任务，本技术的数据处理平台还是可以是其他并行计算的数据处理平台，本技术对此不做限制。
28.在一些实施方式中，任务处理请求可以包括并列计算的多项任务，例如可以包括第一任务和第二任务，第一任务包括进行映射处理，第二任务包括进行归约计算。例如第一任务为map任务，第二任务为reduce任务。本技术的第一任务和第二任务还可以是其他并行处理任务，本技术对此不做限制。
29.s12：确定满足任务处理请求的管控执行节点。
30.客户端可以向数据处理平台发送对待处理数据的任务处理请求，数据处理平台接收到客户端发送的任务处理请求后，可以确定满足任务处理请求的管控执行节点，管控执行节点可以管控mapreduce的运行。
31.s13：基于管控执行节点，对执行任务处理请求的第一任务进行亲和性调度，以分配第一执行节点。
32.在启动第一任务后，可以发起第一任务请求，基于管控执行节点，对执行任务处理请求的第一任务进行亲和性调度，从而可以分配用于执行第一任务的第一执行节点。
33.在一些实施方式中，可以基于管控执行节点的亲和性信息，对执行任务处理请求的第一任务进行亲和性调度。
34.在一些实施方式中，若管控执行节点满足第一任务，则将管控执行节点作为第一执行节点。其中，满足第一任务可以是管控执行节点的资源满足第一任务所需的计算资源，可以是管控执行节点的亲和性信息满足第一任务的处理要求，则可以将第一任务调度在管控执行节点上，也即是将管控执行节点作为第一执行节点。
35.在一些实施方式中，若管控执行节点不满足第一任务，还可以将第一任务调度在其他节点，将其他节点作为第一执行节点。
36.在一些实施方式中，若管控执行节点包括多个节点，至少部分管控执行节点满足第一任务，则可以将至少部分管控执行节点作为第一执行节点，若至少部分管控执行节点的资源不满足第一任务，还可以将至少部分管控执行节点与其他节点共同作为第一执行节点。
37.s14：利用第一执行节点对待处理数据执行第一任务，得到中间处理数据。
38.利用第一执行节点对待处理数据执行第一任务，例如第一任务为map任务，则可以对待处理数据进行映射处理，得到中间处理数据。
39.在一些实施方式中，利用第一执行节点执行第一任务，以得到中间处理数据，并将中间处理数据存储在第一执行节点的本地路径下。其中，本地路径也即包括第一执行节点的本地路径，例如利用第一执行节点对待处理数据进行映射处理，可以将得到的中间处理数据存储在第一执行节点的本地存储空间。
40.s15：基于管控执行节点，对执行任务处理请求的第二任务进行亲和性调度，以分配第二执行节点。
41.在启动第二任务后，可以发起第二任务请求，基于管控执行节点，对执行任务处理请求的第二任务进行亲和性调度，从而可以分配用于执行第二任务的第二执行节点。
42.在一些实施方式中，可以基于管控执行节点的亲和性信息，对执行任务处理请求的第二任务进行亲和性调度。
43.在一些实施方式中，若管控执行节点满足第二任务，则将管控执行节点作为第二执行节点。其中，满足第二任务可以是管控执行节点的资源满足第二任务所需的计算资源，可以是管控执行节点的亲和性信息满足第二任务的处理要求，则可以将第二任务调度在管控执行节点上，也即是将管控执行节点作为第二执行节点。
44.在一些实施方式中，若管控执行节点不满足第二任务，还可以将第二任务调度在其他节点，将其他节点作为第二执行节点。
45.在一些实施方式中，若管控执行节点包括多个节点，至少部分管控执行节点满足第二任务，则可以将至少部分管控执行节点作为第二执行节点，若至少部分管控执行节点的资源不满足第二任务，还可以将至少部分管控执行节点与其他节点共同作为第二执行节点。
46.s16：利用第二执行节点对中间处理数据执行第二任务，得到处理结果。
47.利用第二执行节点对待处理数据执行第二任务，例如第二任务为reduce任务，则可以对待处理数据进行归约计算，得到处理结果。
48.在一些实施方式中，第二执行节点可以获取执行第二任务所需的中间处理数据，其中，中间处理数据是第一执行节点对待处理数据进行映射处理得到。
49.在一些实施方式中，在管控执行节点满足第一任务和第二任务时，可以将第一任务和第二任务调度都在管控执行节点上，从而可以使得第一任务和第二任务在同一节点上执行，此时可以利用第二执行节点直接读取中间处理数据执行第二任务。
50.本实施例中，通过接收对待处理数据的任务处理请求，确定满足任务处理请求的管控执行节点；基于管控执行节点，对执行任务处理请求的第一任务进行亲和性调度，以分配第一执行节点；利用第一执行节点对待处理数据执行第一任务，得到中间处理数据；基于管控执行节点，对执行任务处理请求的第二任务进行亲和性调度，以分配第二执行节点；利用第二执行节点对中间处理数据执行第二任务，得到处理结果。由于在管控执行节点满足第一任务和第二任务时，将第一任务和第二任务调度在管控执行节点上，从而可以使得第一任务和第二任务在同一节点上执行，从而减少通过网络传输中间处理数据，减少在磁盘对中间处理数据的读写，能够提升任务的执行效率。
51.在一些实施例中，请参阅图2，上述步骤s12，确定满足任务处理请求的管控执行节点，可以包括以下步骤：
52.s121：利用任务管理器调用任务处理请求对应的管理容器，对管理容器设置节点
的亲和性信息。
53.在一些实施方式中，可以使用yarn在kubernetes运行mapreduce，其中，yarn是hadoop的集群资源管理系统，kubernetes是一种容器编排框架，也即是容器集群管理系统。
54.客户端可以向数据处理平台发送对待处理数据的任务处理请求，数据处理平台接收到客户端发送的任务处理请求后，可以利用节点管理器(nodemanager)调用kubernetes的接口拉起任务，也即启动任务管理器(mrappmaster)的管理容器。其中，任务管理器是mapreduce运行过程中的一个角色，可以用于管控mapreduce的运行。nodemanager可以用于管理任务的运行，nodemanager是每台机器(或节点)的代理，监控应用程序的资源使用情况，并汇报给mrappmaster。
55.在一些实施方式中，可以对管理容器设置节点的亲和性信息，也即是在管理容器加上节点的亲和性信息。
56.s122：利用节点的亲和性信息，调用满足预设条件的节点作为满足任务处理请求的管控执行节点。
57.可以利用节点的亲和性信息，调用满足预设条件的节点作为满足任务处理请求的管控执行节点。由于此时kubernetes上没有该亲和性信息的容器，则可以将此管理容器/任务管理器调度在任意一个满足预设条件的节点上。
58.在一些实施方式中，预设条件包括满足亲和性调度条件的同一个节点，和/或，满足资源调度条件的不同节点。例如可以将任务管理器调度在满足预设条件的节点上，若满足资源调度条件的节点，也即是节点的资源满足任务处理请求，若满足亲和性调度的节点等，可以将节点作为管控执行节点，满足亲和性调度条件的可以是同一个节点，也可以是多个节点，满足亲和性调度条件的多个不同节点，满足资源调度的多个不同节点等。本技术对此不做限制。
59.在一些实施方式中，可以将任务管理器调度到管控执行节点上，以利用管控执行节点启动任务管理器/管理容器等。
60.在一些实施例中，请参阅图3，上述步骤s13中，若管控执行节点满足第一任务，则将管控执行节点作为第一执行节点，可以包括以下步骤：
61.s131：利用任务管理器发起第一任务，以调用第一任务容器，并对第一任务容器设置节点的亲和性信息。
62.任务管理器启动后，可以利用任务管理器向节点管理器发起运行第一任务的请求，也即是发起maptask(mapreduce中的map任务)，节点管理器收到该请求后，可以调用kubernetes的接口拉起第一任务容器，第一任务容器是maptask的容器，可以对第一任务容器加上节点的亲和性信息。
63.s132：若任务管理器对应的管控执行节点满足第一任务，则将第一任务调度到管控执行节点，以将管控执行节点作为第一执行节点。
64.此时，由于在kubernetes上已经有亲和性信息的容器在运行了，也即是有亲和性信息的管理容器在运行，在任务管理器对应的管控执行节点满足第一任务的条件时，也即节点的亲和性信息满足亲和性调度时，管控执行节点的资源能够执行第一任务，或者管控执行节点中的至少部位管控执行节点满足第一任务时，可以将满足第一任务的管控执行节点作为第一执行节点，将第一任务调度到管控执行节点，也即是将第一任务调度在
mrappmaster所在的节点上，使得利用mrappmaster所在的节点执行第一任务。其中，mrappmaster所在的节点可以是多个节点，多个节点可以是满足亲和性调度的所有节点。
65.在一些实施方式中，若任务管控器对应的管控执行节点不满足第一任务，还可以将第一任务调度到其他节点，以使得将其他节点作为第一执行节点，以执行第一任务。
66.在一些实施方式中，第一执行节点对待处理数据执行第一任务完成后，可以将得到的中间处理数据输出到该第一执行节点的本地存储空间/磁盘中，同时，第一执行节点还可以将中间处理数据的存储路径和节点信息发送给任务管理器，其中，节点信息为第一执行节点的节点信息。
67.在一些实施例中，请参阅图4，上述步骤s15，若管控执行节点满足第二任务，则将管控执行节点作为第二执行节点，可以包括以下步骤：
68.s151：利用任务管理器发起第二任务，以调用第二任务容器，并对第二任务容器设置节点的亲和性信息。
69.第一任务运行结束后，可以利用任务管理器向节点管理器发起运行第二任务的请求，也即是向节点管理器发起reducetask(mapreduce中的reduce任务)，节点管理器收到该请求后，可以调用kubernetes的接口拉起第二任务容器，第二任务容器是reducetask的容器，可以对第二任务容器加上节点的亲和性信息。
70.s152：若任务管理器对应的所述管控执行节点满足第二任务，则将第二任务调度到管控执行节点，以将管控执行节点作为第二执行节点。
71.若任务管理器对应的管控执行节点满足第二任务的条件时，也即节点的亲和性信息满足亲和性调度时，管控执行节点的资源能够执行第二任务，或者管控执行节点中的至少部位管控执行节点满足第二任务时，可以将满足第二任务的管控执行节点作为第二执行节点，将第二任务调度到管控执行节点，也即是将第二任务调度在mrappmaster所在的节点上，使得利用mrappmaster所在的节点执行第二任务。其中，mrappmaster所在的节点可以是多个节点，多个节点可以是满足亲和性调度的所有节点。
72.在一些实施方式中，若任务管控器对应的管控执行节点不满足第二任务，还可以将第二任务调度到其他节点，以使得将其他节点作为第二执行节点，以执行第二任务。
73.在一些实施方式中，由于在kubernetes上已经有亲和性信息的容器在运行，即有亲和性信息的管理容器和第一任务容器在运行，若管控执行节点满足第二任务，则将第二任务调度到管控执行节点，以将管控执行节点作为第二执行节点，若第一执行节点满足第二任务，则将第二任务调度到第一执行节点，以将第一执行节点作为第二执行节点执行第二任务。
74.在一些实施方式中，第二执行节点对reducetask启动后，第二执行节点可以向mrappmaster发送该第二执行节点的节点信息，节点信息可以是该第二执行节点的宿主机信息。并还可以向mrappmaster请求对应maptask的中间处理数据的存储路径。
75.本实施例中，通过利用kubernetes的节点的亲和性信息，通过亲和性调度第一任务和第二任务，可以避免数据传输，从而提升任务的执行速度，提高数据处理平台对任务的处理效率。
76.在一些实施例中，请参阅图5，上述步骤s16，利用第二执行节点对中间处理数据执行第二任务，得到处理结果，包括以下步骤：
77.s161：判断第一执行节点与第二执行节点是否为同一节点。
78.在利用第一执行节点执行第一任务完成后，将得到的中间处理数据存储在第一执行节点的本地路径下。并且第一执行节点将中间处理数据的存储路径及节点信息发送给任务管理器。
79.在启动第二任务时，第二执行节点会将第二执行节点的节点信息发送至任务管理器，并且向任务管理器获取中间处理数据的存储信息，其中，存储信息包括存储中间处理数据的第一执行节点的节点信息和中间处理数据的存储路径，以通过存储信息获取中间处理数据。
80.在一些实施方式中，任务管理器可以利用第二执行节点的节点信息、中间处理数据的存储信息，判断第二执行节点与第一执行节点是否为同一节点。其中，若存储信息中的第一执行节点的节点与第二执行节点的节点信息一致，则判断为第二执行节点与第一执行节点为同一节点。若存储信息中的第一执行节点的节点与第二执行节点的节点信息不一致，则判断为第二执行节点与第一执行节点是不同的节点。还可以采用其他的方式判断第一执行节点与第二执行节点是否为同一节点，本技术对此不做限制。
81.若判断为是同一节点，则执行步骤s162。
82.若判断为不是同一节点，则执行步骤s163。
83.s162：向第二执行节点返回中间处理数据的本地路径，以使得第二执行节点访问本地路径，对中间处理数据执行第二任务，得到处理结果。
84.因第二执行节点与第一执行节点为同一节点，任务管理器可以向第二节点返回中间处理数据的本地路径，以使得第二执行节点可以访问本地路径，读取中间处理数据以执行第二任务，得到处理结果。
85.在一些实施方式中，第二执行节点接收到本地路径后，可以读取第二执行节点的本地路径下存储的中间处理数据，也即是读取本地存储空间存储的中间处理数据，利用第二执行节点对中间处理数据执行第二任务，得到处理结果，并输出任务处理请求的处理结果。
86.s163：向第二执行节点返回中间处理数据的网络路径，以使得第二执行节点访问网络路径，对中间处理数据执行第二任务，得到处理结果。
87.因第二执行节点与第一执行节点不是同一节点，任务管理器向第二执行节点返回中间处理数据的网络路径，网络路径可以包含中间处理数据的存储信息。其中，存储信息包括存储中间处理数据的第一执行节点的节点信息和第一执行节点对中间处理数据的本地路径。
88.在一些实施方式中，网络路径可以是访问中间处理数据的http地址，http地址可以表明中间处理数据存储的第一执行节点的节点信息和第一执行节点存储中间处理数据的本地路径。
89.在一些实施方式中，第二执行节点可以利用网络路径获取第一执行节点的本地路径下存储的中间处理数据，并将中间处理数据存储在第二执行节点的本地路径下，也即是通过访问网络路径将中间处理数据拷贝到第二执行节点的本地路径下。
90.第二执行节点读取本地路径下存储的中间处理数据，利用第二执行节点对中间处理数据执行第二任务，也即执行reduce任务后，得到处理结果，并输出任务处理请求的处理
结果。
91.本实施例中，通过判断第一执行节点与第二执行节点是否为同一节点，若是，向第二执行节点返回中间处理数据的本地路径，以使得第二执行节点访问本地路径，对中间处理数据执行第二任务；若否，向第二执行节点返回中间处理数据的网络路径，以使得第二执行节点访问网络路径，对中间处理数据执行第二任务，可以减少中间处理数据在网络中的传输，任务处理请求运行过程中对网络环境造成的压力。另外，减少了第二执行节点在第一执行节点对中间处理的拷贝，可以降低磁盘的读写压力，同时可以提升任务的执行速度，以提高数据处理平台对任务处理效率。
92.对于上述实施例，本技术还提供一种数据处理平台的处理装置，请参阅图6，图6是本技术数据处理平台的处理装置一实施例的结构示意图。该数据处理平台的处理装置20包括接收模块21、确定模块22、调度模块23、第一执行模块24和第二执行模块25。
93.接收模块21用于接收对待处理数据的任务处理请求。
94.确定模块22用于确定满足任务处理请求的管控执行节点。
95.调度模块23用于基于管控执行节点，对执行任务处理请求的第一任务进行亲和性调度，以分配第一执行节点。以及，用于基于管控执行节点，对执行任务处理请求的第二任务进行亲和性调度，以分配第二执行节点。
96.第一执行模块24用于利用第一执行节点对待处理数据执行第一任务，得到中间处理数据。
97.第二执行模块25用于利用第二执行节点对中间处理数据执行第二任务，得到处理结果。
98.在一些实施方式中，数据处理平台包括数据处理的编程模型平台；第一任务包括进行映射处理；第二任务包括进行归约计算。
99.在一些实施方式中，确定模块22用于确定满足任务处理请求的管控执行节点，包括：利用任务管理器调用任务处理请求对应的管理容器，对管理容器设置节点的亲和性信息；利用节点的亲和性信息，调用满足预设条件的节点作为满足任务处理请求的管控执行节点。
100.在一些实施方式中，调度模块23用于基于管控执行节点，对执行任务处理请求的第一任务进行亲和性调度，以分配第一执行节点，包括：若管控执行节点满足第一任务，则将管控执行节点作为第一执行节点。
101.在一些实施方式中，利用任务管理器发起第一任务，以调用第一任务容器，并对第一任务容器设置节点的亲和性信息；若任务管理器对应的管控执行节点满足第一任务，则将第一任务调度到管控执行节点，以将管控执行节点作为第一执行节点。
102.在一些实施方式中，调度模块23用于基于管控执行节点，对执行任务处理请求的第二任务进行亲和性调度，以分配第二执行节点，包括：若管控执行节点满足第二任务，则将管控执行节点作为第二执行节点。
103.在一些实施方式中，利用任务管理器发起所述第二任务，以调用第二任务容器，并对第二任务容器设置节点的亲和性信息；若任务管理器对应的管控执行节点满足第二任务，则将第二任务调度到管控执行节点，以将管控执行节点作为第二执行节点。
104.在一些实施方式中，第一执行模块24用于利用第一执行节点对待处理数据执行第
一任务，得到中间处理数据，包括：利用第一执行节点执行第一任务，以得到中间处理数据，并将中间处理数据存储在第一执行节点的本地路径下。
105.在一些实施方式中，第二执行模块25用于利用第二执行节点对中间处理数据执行第二任务，得到处理结果，包括：判断第一执行节点与第二执行节点是否为同一节点；若是，则向第二执行节点返回中间处理数据的本地路径，以使得第二执行节点访问本地路径，对中间处理数据执行第二任务；若否，则向第二执行节点返回中间处理数据的网络路径，以使得第二执行节点访问网络路径，对中间处理数据执行第二任务。其中，本地路径包括第一执行节点的本地路径。
106.在一些实施方式中，第二执行模块25用于读取第二执行节点的本地路径下存储的中间处理数据；利用第二执行节点对中间处理数据执行第二任务，得到处理结果。
107.在一些实施方式中，第二执行模块25用于利用网络路径获取第一执行节点的本地路径下存储的中间处理数据，并将中间处理数据存储在第二执行节点的本地路径下；利用第二执行节点对中间处理数据执行第二任务，得到处理结果。
108.在一些实施方式中，第二执行模块25用于判断第一执行节点与第二执行节点是否为同一节点，包括：将第二执行节点的节点信息发送至任务管理器；以及，向任务管理器获取中间处理数据的存储信息，其中，存储信息包括存储中间处理数据的第一执行节点的节点信息；利用第二执行节点的节点信息、中间处理数据的存储信息，判断第二执行节点与第一执行节点是否为同一节点；其中，若存储信息中的第一执行节点的节点与第二执行节点的节点信息一致，则判断为第二执行节点与第一执行节点为同一节点。
109.该实施例的具体实施方式可参考上述实施例的实施过程，在此不再赘述。
110.对于上述实施例，本技术提供一种计算机设备，请参阅图7，图7是本技术计算机设备一实施例的结构示意图。该计算机设备30包括存储器31和处理器32，其中，存储器31和处理器32相互耦接，存储器31中存储有程序数据，处理器32用于执行程序数据以实现上述数据处理平台的处理方法任一实施例的步骤。
111.在本实施例中，处理器32还可以称为cpu(central processing unit，中央处理单元)。处理器32可能是一种集成电路芯片，具有信号的处理能力。处理器32还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器32也可以是任何常规的处理器等。
112.该实施例的具体实施方式可参考上述实施例的实施过程，在此不再赘述。
113.对于上述实施例的方法，其可以采用计算机程序的形式实现，因而本技术提出一种存储装置，请参阅图8，图8是本技术存储装置一实施例的结构示意图。该存储装置40中存储有能够被处理器运行的程序数据41，程序数据41可被处理器执行以实现上述数据处理平台的处理方法任一实施例的步骤。
114.该实施例的具体实施方式可参考上述实施例的实施过程，在此不再赘述。
115.本实施例存储装置40可以是u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等可以存储程序数据41的介质，或者也可以为存储有该程序数据41的服务器，该服务器可将存储的程序数据41发送给其他设备运行，或者也可以自运行该存储的程序数据41。
116.在本技术所提供的几个实施例中，应该理解的，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
117.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
118.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
119.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储装置中，该存储装置是一种计算机可读取存储介质。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。
120.显然，本领域的技术人员应该明白，上述的本技术的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本技术不限制于任何特定的硬件和软件结合。
121.以上所述仅为本技术的实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。