数据处理方法、装置、设备和存储介质与流程

1.本技术涉及计算机技术领域，尤其涉及一种数据处理方法、装置、设备和存储介质。


背景技术：

2.随着地理信息系统(geographic information system或geo－information system，gis)和大数据技术的不断发展，可以通过地理信息系统和地理信息系统提供的计算功能，实现对整个或部分地球表层(包括大气层)空间中的有关地理分布数据进行采集、储存、管理、运算、分析、显示和描述的服务需求。
3.目前，可以通过单一的地理信息系统和其提供的计算功能为用户提供地理信息服务。然而，随着服务场景复杂度的提升，在复杂服务场景下，需要多个地理信息系统和其提供的计算功能为用户提供地理信息服务。但是，由于多个地理信息系统和其提供的计算功能之间不能互通，所以，上述为用户提供地理信息服务的方式不适用于复杂服务场景。


技术实现要素：

4.本技术实施例提供一种数据处理方法、装置、设备和存储介质，解决目前多个地理信息系统和其提供的计算功能之间的数据不能互通，无法在复杂服务场景下为用户提供地理信息服务的问题。
5.根据本技术实施例的第一方面，提供一种数据处理方法，包括：
6.获取待执行的任务流，任务流包括任务特征；
7.根据任务特征，确定执行对任务流的逻辑运算指令和执行逻辑运算指令的至少两个算子节点的调度信息，至少两个算子节点包括第一算子节点和第二算子节点，至少两个算子节点的算子类型不同；
8.按照调度信息，通过预设混编算子节点调用第一算子节点和第二算子节点执行逻辑指令，得到任务流的目标任务结果。
9.根据本技术实施例的第二方面，提供一种算子节点生成方法，包括：
10.接收至少两个算子节点的接入请求，至少两个算子节点的算子类型不同；
11.获取至少两个算子节点中每个算子节点的节点特征；
12.根据每个算子节点的节点特征，按照预设集成条件，构建目标混编算子节点；其中，
13.目标混编算子节点用于在任务流执行过程中，根据执行任务流的至少两个目标算子节点中每个目标算子节点的节点特征，转换任务流的任务数据和结果数据，使得任务数据和结果数据在至少两个目标算子节点之间传输，结果数据为每个目标算子节点处理任务数据后得到的数据。
14.根据本技术实施例的第三方面，提供一种数据处理装置，包括：
15.获取模块，用于获取待执行的任务流，任务流包括任务特征；
16.确定模块，用于根据任务特征，确定执行对任务流的逻辑运算指令和执行逻辑运算指令的至少两个算子节点的调度信息，至少两个算子节点包括第一算子节点和第二算子节点，至少两个算子节点的算子类型不同；
17.处理模块，用于按照调度信息，通过预设混编算子节点调用第一算子节点和第二算子节点执行逻辑指令，得到任务流的目标任务结果。
18.根据本技术实施例的第四方面，提供一种算子节点生成装置，包括：
19.接收模块，用于接收至少两个算子节点的接入请求，至少两个算子节点的算子类型不同；
20.获取模块，用于获取至少两个算子节点中每个算子节点的节点特征；
21.构建模块，用于根据每个算子节点的节点特征，按照预设集成条件，构建目标混编算子节点；其中，
22.目标混编算子节点用于在任务流执行过程中，根据执行任务流的至少两个目标算子节点中每个目标算子节点的节点特征，转换任务流的任务数据和结果数据，使得任务数据和结果数据在至少两个目标算子节点之间传输，结果数据为每个目标算子节点处理任务数据后得到的数据。
23.根据本技术实施例的第五方面，提供一种计算机设备，包括：存储器和处理器；
24.存储器，用于存储有计算机程序；
25.处理器，用于执行存储器中存储的计算机程序，计算机程序运行时使得处理器执行如第一方面所示的数据处理方法的步骤，或者执行如第二方面所示的算子节点生成方法的步骤。
26.根据本技术实施例的第六方面，提供一种计算机可读存储介质，计算机可读存储介质上存储程序或指令，在程序或指令被计算机设备执行的情况下，使得计算机设备执行如第一方面所示的数据处理方法的步骤，或者执行如第二方面所示的算子节点生成方法的步骤。
27.根据本技术实施例的第七方面，提供一种计算机程序产品，包括计算机程序，在计算机程序被计算机设备执行的情况下，使得计算机设备执行如第一方面所示的数据处理方法的步骤，或者执行如第二方面所示的算子节点生成方法的步骤。
28.根据本技术实施例中的数据处理方法、装置、设备和存储介质，通过待执行的任务流，抽象各类执行该任务流的地理信息系统、计算功能为至少两个算子节点，并在此基础上扩展集成不同来源、不同类型的至少两个算子节点，接着，定义可以实现转换至少两个算子节点之间传输数据的预设混编算子节点，使得各类算子节点间的数据可以相互传输，然后，按照执行任务流的逻辑迅速按指令和执行运算指令的至少两个算子节点的调度信息，通过预设混编算子节点调用各类算子节点完成待执行的任务流，由此，满足各类算子节点的兼容计算，实现了跨平台、跨语言、跨类型的算子节点的编排、调度和执行，可以有效的在复杂服务场景中通过对不同来源、不同算子类型的节点的混合编排，为用户提供地理信息服务。
附图说明
29.从下面结合附图对本技术的具体实施方式的描述中可以更好地理解本技术其中，相同或相似的附图标记表示相同或相似的特征。
30.图1是示出根据一个实施例的一种数据处理架构示意图；
31.图2是示出根据一个实施例的一种算子编辑器的结构示意图；
32.图3是示出根据一个实施例的一种数据处理方法的流程图；
33.图4是示出根据一个实施例的一种算子节点生成方法的流程图；
34.图5是示出根据一个实施例的一种确定目标任务结果的流程图；
35.图6是示出根据一个实施例的一种数据处理装置的结构示意图；
36.图7是示出根据一个实施例的一种算子节点生成装置的结构示意图；
37.图8是示出根据一个实施例的计算机设备的硬件结构示意图。
具体实施方式
38.下面将详细描述本技术的各个方面的特征和示例性实施例，为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本技术，并不被配置为限定本技术。对于本领域技术人员来说，本技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本技术的示例来提供对本技术更好的理解。
39.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
40.随着gis和大数据技术的不断发展，gis和gis提供的计算功能的来源和类型越来越丰富，例如，gis包括arcgis平台、supermap平台，gis提供的计算功能可以包括各类gis提供的空间算子、空间数据库中的空间计算函数、算法应用等。本技术实施例中涉及的空间算子为以测绘学、地理学和数学公式为基础，通过计算机编程方式，实现对具备地理特征数据进行二、三维计算及分析的函数模型，空间算子包括但不限于地理编码、空间分析、三维计算、投影变换、拓扑检查等的函数模型。
41.在相关技术中，可以通过单一的gis和gis提供的计算功能为用户提供地理信息服务。例如arcgis平台可以提供地理编码、空间分析、三维计算、投影变换、拓扑检查等空间算子，为用户提供数据同步、数据探查、数据质检、数据服务等功能。
42.然而，随着服务场景复杂度的提升，在复杂服务场景下，由于多个地理信息系统和其提供的计算功能之间不能互通，单一的gis平台以及该平台提供的单一空间算子的功能不能满足复杂的服务逻辑，使得无法在复杂服务场景下为用户提供地理信息服务。例如，arcgis平台和supermap平台仅支持arcgis平台内置的空间算子的编排和执行，不支持与其他类型的空间算子的混合编排。
43.因此，如何支持目前多个地理信息系统和其提供的计算功能之间的数据互通，在复杂服务场景下为用户提供地理信息服务成为亟需关注的问题。
44.基于此，本技术实施例提供了一种支持空间算子混编计算的数据处理方法，通过
待执行的任务流，抽象各类执行该任务流的地理信息系统、计算功能为至少两个算子节点，并在此基础上扩展集成不同语言、不同来源、不同标准以及不同用途(空间/非空间)等任意类型的至少两个算子节点，接着，定义可以实现转换至少两个算子节点之间传输数据的预设混编算子节点，使得各类算子节点间的数据可以相互传输，然后，按照执行任务流的逻辑迅速按指令和执行运算指令的至少两个算子节点的调度信息，通过预设混编算子节点调用各类算子节点完成待执行的任务流。
45.由此，满足各类算子节点的兼容计算，实现了跨平台、跨语言、跨类型的算子节点的编排、调度和执行，可以有效的在复杂服务场景中通过对不同来源、不同算子类型的节点的混合编排，实现对复杂服务场景的描述和分析，以为用户提供地理信息服务。基于此，下面结合附图1所示的本技术实施例中的数据处理架构，对本技术实施例提供的数据处理方法进行详细地说明。
46.在一种或者多种可能的实施例中，如图1所示，本技术实施例提出的数据处理架构可以包括数据资源平台，数据资源平台可以为下述至少一种云中的数据资源平台：专有云、私有云、公有云、混合云。
47.本技术实施例为了满足数据资源平台中算子节点的热插拔和可扩展性，数据资源平台中设置算子编辑器10，该算子编辑器中的算子节点的调度和执行采用分层的设计方式，即算子编辑器包括控制台(console)101和服务台(server)102。
48.控制台101用于提供整体任务流的运行框架，以便调度数据资源平台10提供的多个算子节点。在一个示例中，如图2所示，控制台101可以包括单元服务类模块(unit service)1011、数据源服务类模块(data source service)1012、任务流服务模块(work flow service)1013和接口服务模块(api service)1014。
49.具体地，单元服务类模块1011，用于通过配置文件(unit mapper)读取至少两个算子节点的算子信息。数据源服务类模块1012，用于管理数据库结构、结构化查询语言(structured query language，sql)执行如逻辑运算指令、调度信息的字段信息等本技术实施例提供的数据处理方法所需要的数据。任务流服务模块1013，用于编排任务流和调度预设混编算子节点(node)，进一步地，编排任务流可以包括在获取到待执行的任务流的情况下，确定执行对任务流的逻辑运算指令和执行逻辑运算指令的至少两个算子节点的调度信息，调度node可以包括基于单元服务类模块1011读取的接入数据资源平台10的至少两个算子节点的算子信息，构建node，或者，根据执行逻辑运算指令的至少两个算子节点，构建node。接口服务模块1014，用于与服务台102进行通信，即向服务台102发送任务流服务模块1013输出的逻辑运算指令、调度信息、至少两个算子节点的算子信息和node的算子信息，以实现本技术实施例中调用具体的算子实例方法。需要说明的是，本技术实施例为了使各类算子节点间的数据可以相互传输，在一种示例中，可以将算子节点通过接口服务模块1014将算子节点以应用程序接口(application programming interface，api)的方式进行封装，以api的方式实现各类算子节点跨平台的访问和调用，可以有效的在复杂服务场景中通过对不同来源、不同算子类型的节点的混合编排，为用户提供地理信息服务。
50.服务台102用于调用任务流的至少两个算子节点的实例，执行任务流(或者工作流)。在一个示例中，仍参照图2，该服务台102可以包括任务流执行服务类模块(work flow excute service)1021，用于与接口服务模块1014进行通信，在一个示例中，通信的内容可
以包括执行任务流的逻辑运算指令、执行逻辑运算指令的至少两个算子节点的调度信息、至少两个算子节点的算子信息和node的算子信息。
51.基于此，任务流执行服务类模块1021还可以用于，根据至少两个算子节点的算子信息，确定执行逻辑运算指令的第一算子节点和第二算子节点，以及根据node的算子信息，确定node。然后，根据按照调度信息，通过node调用第一算子节点和第二算子节点执行逻辑指令，得到任务流的目标任务结果。
52.进一步地，任务流执行服务类模块1021具体可以用于，按照调度信息，调用第一算子节点执行逻辑指令，得到第一任务结果，通过node转换第一任务结果，得到第二任务结果，并将第二任务结果作为下一个算子节点的输入信息，即基于第二任务结果，调用第二算子节点执行逻辑指令，得到目标任务结果。
53.由此，本技术实施例通过抽象各类gis平台算子的特征，定义通用的预设混编算子节点，满足各类算子的兼容计算，并为了使不同地理信息系统和其提供的计算功能之间的数据可以相互传输，提供了控制台-服务台架构的算子编辑器，实现了跨平台、跨语言、跨类型算子的有向无环图(directed acyclic graph，dag)编排、调度和执行，解决了在复杂服务场景中对不同来源、不同定义算子节点的混合编排执行的需求问题。
54.其中，算子编辑器通过抽象并集成多种类型的地理信息系统、计算功能为算子节点，并抽象出这些不同语言、不同来源、不同标准以及不同用途(空间/非空间)的算子节点的预设混编算子节点。
55.基于此，在获取到待执行的任务流时，通过预设混编算子节点，对执行该任务流的至少两个算子节点进行编排和调动，这样，通过预设混编算子节点对算子节点进行混编计算，使得各类算子节点间的数据可以相互传输，实现了各类算子节点跨平台的访问和调用，可以有效的在复杂服务场景中通过对不同来源、不同算子类型的节点的混合编排，为用户提供地理信息服务，以及通过松耦合的方式支持算子节点的灵活性和扩展性。
56.需要说明的是，本技术实施例中的混编计算可以为通过对不同语言、不同来源、不同标准以及不同用途(空间/非空间)等任意类型算子节点的混合编排，实现对复杂场景描述和分析的计算方式。
57.根据上述架构以及应用场景，下面分别结合图3至图5对本技术实施例提供的数据处理方法进行详细说明。
58.图3是示出根据一个实施例的一种数据处理方法的流程图。
59.如图3所示，数据处理方法可以应用于如图1或者如图2所示的，具体可以包括：
60.步骤310，获取待执行的任务流，任务流包括任务特征；步骤320，根据任务特征，确定执行对任务流的逻辑运算指令和执行逻辑运算指令的至少两个算子节点的调度信息，至少两个算子节点包括第一算子节点和第二算子节点，至少两个算子节点的算子类型不同；步骤330，按照调度信息，通过预设混编算子节点调用第一算子节点和第二算子节点执行逻辑指令，得到任务流的目标任务结果。
61.下面对上述步骤进行详细说明，具体如下所示。
62.本技术实施例提供下述两种方式，触发执行本技术实施例提供的数据处理方法。
63.第一种方式：首先，接收多个地理信息系统和其提供的计算功能接入到数据资源平台的请求；接着，根据这些请求，通过数据资源平台抽象这些不同语言、不同来源、不同标
准以及不同用途(空间/非空间)的多个地理信息系统和其提供的计算功能为算子节点；然后，基于这些算子节点，构建数据资源平台的目标混编算子节点，从而通过目标混编算子节点，使得抽象出的多个算子节点之间的数据可以相互传输，实现了各类算子节点跨平台的访问和调用，可以有效的在复杂服务场景中通过对不同来源、不同算子类型的节点的混合编排，为用户提供地理信息服务。
64.第二种方式：数据资源平台可以获取待执行的任务流，根据该任务流，通过数据资源平台抽象执行该任务流的地理信息系统、计算功能为算子节点，其中，执行该任务流的地理信息系统、计算功能可能属于不同的语言、不同的来源、不同的标准以及不同的用途(空间/非空间)；然后，基于执行该任务流的算子节点，构建与执行该任务流的算子节点的专用的预设混编算子节点，从而通过预设混编算子节点，使得抽象出的执行该任务流的至少两个算子节点之间的数据可以相互传输，实现了各类算子节点跨平台的访问和调用，可以有效的在复杂服务场景中通过对不同来源、不同算子类型的节点的混合编排，为用户提供地理信息服务。
65.基于上述两种方式，使得本技术实施例提供的确定至少两个算子节点和确定预设混编算子节点的方式不同，具体如下所示。
66.基于第一种方式，如图4所示，本技术实施例中提供了一种算子节点生成方法的流程图，该方法可以包括：步骤410至步骤430。
67.步骤410，接收至少两个算子节点的接入请求，至少两个算子节点的算子类型不同。
68.步骤420，获取至少两个算子节点中每个算子节点的节点特征。
69.步骤430，根据每个算子节点的节点特征，按照预设集成条件，构建目标混编算子节点。
70.其中，目标混编算子节点用于在任务流执行过程中，根据执行任务流的至少两个目标算子节点中每个目标算子节点的节点特征，转换任务流的任务数据和结果数据，使得任务数据和结果数据在至少两个目标算子节点之间传输，结果数据为每个目标算子节点处理任务数据后得到的数据。
71.具体地，涉及步骤430，本技术实施例提供了下述四种方式，集成至少两个算子节点，以得到目标混编算子节点。
72.方式一，根据接入数据资源平台的不同来源、不同算子类型的至少两个算子节点的节点特征，构建至少两个算子节点中每个算子节点的算子应用镜像包，其中，算子应用镜像包包括算子运行系统信息和编辑环境信息。
73.然后，基于每个算子节点的算子应用镜像包，生成目标混编算子节点。
74.示例性地，至少两个算子节点包括第一算子节点和第二算子节点。若第一算子节点为supermap算子，则supermap算子的算子运行系统信息为centos系统，编辑环境信息可以为java编译环境。若第二算子节点为qgis算子，则qgis算子的算子运行系统信息为ubuntu系统，编辑环境信息可以为python编译环境。
75.然后，基于每个算子节点的算子运行系统信息和编辑环境信息，生成目标混编算子节点，由于目标混编算子节点记录每个算子节点的算子运行系统信息和编辑环境信息，所以，可以通过目标混编算子节点，对每个算子节点的输入数据和输出数据进行转换，使各
类算子节点间的数据可以相互传输，以实现各类算子节点跨平台的访问和调用，可以有效的在复杂服务场景中通过对不同来源、不同算子类型的节点的混合编排，为用户提供地理信息服务。
76.方式二，根据接入数据资源平台的不同来源、不同算子类型的至少两个算子节点的节点特征，抽象至少两个算子节点中每个算子节点的通用属性，其中，通用属性可以包括算子节点的算子输入参数属性、计算参数属性和算子输出参数属性。
77.然后，基于每个算子节点的算子输入参数属性、计算参数属性和算子输出参数属性，生成目标混编算子节点。
78.进一步地，算子输入参数属性具体可以包括两个参数，即输入名称(input name)和输入类型(input type)，用于表征算子节点的输入参数；计算参数属性用于表征算子节点的执行逻辑；算子输出参数属性用来设置算子节点的输出方式，如二进制流或数据库。
79.基于此，目标混编算子节点记录每个算子节点的通用属性，所以，可以通过目标混编算子节点，按照算子节点的算子输入参数和计算参数属性，转换将要传输到该算子节点的数据，以便算子节点可以识别并处理转换后的数据，然后，算子节点可以按照设置的算子输出参数，以便目标混编算子节点识别该算子节点输出的数据，并转发到其他算子节点，使各类算子节点间的数据可以相互传输，以实现各类算子节点跨平台的访问和调用，可以有效的在复杂服务场景中通过对不同来源、不同算子类型的节点的混合编排，为用户提供地理信息服务。
80.方式三，通过预设参数解析算法，对接入数据资源平台的不同来源、不同算子类型的至少两个算子节点的算子类型进行解析，得到每个算子节点的算子数据格式。
81.基于每个算子节点的算子数据格式，生成目标混编算子节点。
82.示例性地，预设参数解析算法可以为data set convert towkb或者data set convert to wkt，至少两个算子节点可以为arcgis、supermap和qgis，这样，可以得到每个算子节点的算子数据格式。
83.然后，目标混编算子节点存储有每个算子节点的算子数据格式转换为开源的gis数据格式，以便目标混编算子节点将每个算子节点输出的数据转换为统一的数据格式，使各类算子节点间的数据可以相互传输，以实现各类算子节点跨平台的访问和调用，可以有效的在复杂服务场景中通过对不同来源、不同算子类型的节点的混合编排，为用户提供地理信息服务。
84.方式四，根据接入数据资源平台的不同来源、不同算子类型的至少两个算子节点，构建目标混编算子节点，目标混编算子节点提供开源api(open api)，open api用于在任务流执行过程中，转换任务流的任务数据和结果数据，使得任务数据和结果数据在至少两个目标算子节点之间传输，结果数据为每个目标算子节点处理任务数据后得到的数据。或者，根据任务流，构建并执行有向无环图dag。
85.基于此，open api可以包括save模型、run模型和getstatus模型，其中，save模型用于保存dag中每个算子节点的算子参数，run用于访问和调用每个算子节点执行任务流的逻辑运算指令，get status模型用于用来监听执行结果，例如，当get status返回预设数值如200时，表示得到任务流的目标任务结果，这里，在一些实施例中，可以从数据库中查询该任务流的执行结果。
86.由此，通过open api构建dag，并监测dag执行任务流的执行结果，使得各类算子节点间的数据可以相互传输，以实现各类算子节点跨平台的访问和调用，可以有效的在复杂服务场景中通过对不同来源、不同算子类型的节点的混合编排，为用户提供地理信息服务。
87.第二种方式，涉及步骤320，本技术实施例提供下述至少两种确定执行逻辑运算指令的至少两个算子节点和调度信息的方式，具体如下所示。
88.在一种可能的实施例中，该步骤320具体可以包括：
89.识别任务特征是否包括用户指定执行任务流的至少两个指定算子节点的信息；
90.在识别到任务特征包括用户指定执行任务流的至少两个指定算子节点的信息的情况下，根据任务流确定执行任务流的逻辑运算指令，以及根据指定算子节点的信息，确定至少两个指定算子节点为至少两个算子节点。
91.在另一种可能的实施例中，该步骤320具体可以包括：根据任务特征，通过预设混编算子节点构建任务流的有向无环图，有向无环图包括路径和路径上的至少两个空间算子；
92.将至少两个空间算子确定为至少两个算子节点，以及，根据路径，生成至少两个算子节点的调度信息。
93.基于上述第一种方式和第二方式确定的预设混编算子节点以及目标混编算子节点，可以执行该步骤330，需要说明的是，步骤330中的预设混编算子节点相当于目标混编算子节点。
94.涉及步骤330，在一种或者多种可能的实施例中，如图5所示，该步骤330具体可以包括步骤3301至步骤3303，具体如下所示。
95.步骤3301，按照调度信息，调用第一算子节点执行逻辑指令，得到第一任务结果。
96.步骤3302，通过预设混编算子节点转换第一任务结果，得到第二任务结果。
97.进一步地，该步骤3302具体可以包括：
98.按照第二算子节点的节点属性，通过预设混编算子节点转换第一任务结果，得到第二任务结果。
99.步骤3303，基于第二任务结果，调用第二算子节点执行逻辑指令，得到目标任务结果。
100.下面分别结合不同的场景，对步骤3302和步骤3303进行详细说明。
101.在一种示例中，涉及步骤3302，在本技术实施例中提供了下述至少两种节点属性，分别对该步骤3302分别进行说明。
102.(1)在节点属性包括算子应用镜像包，算子应用镜像包包括算子运行系统信息和编辑环境信息的情况下，按照第二算子节点的算子运行系统信息和编辑环境信息，通过预设混编算子节点转换第一任务结果，得到第二任务结果。
103.(2)在节点属性包括算子输入参数属性的情况下，按照输入参数属性，通过预设混编算子节点转换第一任务结果，得到第二任务结果。
104.基于(2)种可能，本技术实施例中的步骤3303具体可以包括：
105.按照计算参数属性，基于第二任务结果，调用第二算子节点执行逻辑指令，得到阶段任务结果；
106.按照算子输出参数属性，转换阶段任务结果，得到目标任务结果。
107.在另一种示例中，在步骤3302之前还可以包括：
108.根据至少两个算子节点中每个算子节点的算子类型，确定每个算子节点的预设参数转换算法；
109.通过预设参数转换算法，转换与预设参数转换算法对应的算子节点中的算子参数，得到至少两个算子节点之间数据交互的开源数据格式。
110.基于此，该步骤3302具体可以包括：
111.按照开源数据格式，通过预设混编算子节点转换第一任务结果，得到第二任务结果。
112.在又一种示例中，在步骤330之前，该方法还可以包括：
113.获取多个算子节点，并基于多个算子节点中每个算子节点，通过预设混编算子节点构建每个算子节点的开源程序编程接口。
114.基于此，涉及步骤330，在第一算子节点对应第一开源程序编程接口，第二算子节点对应第二开源程序编程接口的情况下，该步骤330具体可以包括：
115.按照调度信息，通过预设混编算子节点调用第一开源程序编程接口执行逻辑指令，得到第三任务结果；
116.通过预设混编算子节点转换第三任务结果，得到第四任务结果；
117.基于第四任务结果，调用第二开源程序编程接口执行逻辑指令，得到目标任务结果。
118.由此，本技术实施例提供了一种支持算子节点混编的数据处理方法，通过抽象各类算子节点的特征，定义通用的预设混编算子节点，并在此基础上扩展集成各种来源的算子节点，实现跨平台、跨语言、跨类型算子节点的编排、调度和执行，解决了在复杂服务场景中对不同来源、不同定义算子节点的混合编排执行的需求问题。
119.需要明确的是，本技术并不局限于上文实施例中所描述并在图中示出的特定配置和处理。为了描述的方便和简洁，这里省略了对已知方法的详细描述，并且上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
120.基于相同的发明构思，本技术提供了与上述涉及的数据处理方法对应的数据处理装置。具体结合图6进行详细说明。
121.图6是示出根据一个实施例的一种数据处理装置的结构示意图。
122.如图6所示，数据处理装置60应用于如图1或者图2所示的算子编辑器10，数据处理装置60具体可以包括：
123.获取模块601，用于获取待执行的任务流，任务流包括任务特征；
124.确定模块602，用于根据任务特征，确定执行对任务流的逻辑运算指令和执行逻辑运算指令的至少两个算子节点的调度信息，至少两个算子节点包括第一算子节点和第二算子节点，至少两个算子节点的算子类型不同；
125.处理模块603，用于按照调度信息，通过预设混编算子节点调用第一算子节点和第二算子节点执行逻辑指令，得到任务流的目标任务结果。
126.基于此，下面对本技术实施例提供的数据处理装置60进行详细说明：
127.在一种或者多种可能的实施例中，处理模块603具体可以用于，按照调度信息，调用第一算子节点执行逻辑指令，得到第一任务结果；
128.通过预设混编算子节点转换第一任务结果，得到第二任务结果；
129.基于第二任务结果，调用第二算子节点执行逻辑指令，得到目标任务结果。
130.在另一种或者多种可能的实施例中，处理模块603具体可以用于，按照第二算子节点的节点属性，通过预设混编算子节点转换第一任务结果，得到第二任务结果。
131.在又一种或者多种可能的实施例中，处理模块603具体可以用于，在节点属性包括算子应用镜像包，算子应用镜像包包括算子运行系统信息和编辑环境信息的情况下，按照第二算子节点的算子运行系统信息和编辑环境信息，通过预设混编算子节点转换第一任务结果，得到第二任务结果。
132.在再一种或者多种可能的实施例中，处理模块603具体可以用于，在节点属性包括算子输入参数属性的情况下，按照输入参数属性，通过预设混编算子节点转换第一任务结果，得到第二任务结果。
133.在再一种或者多种可能的实施例中，处理模块603具体可以用于，在节点属性还包括算子输出参数属性和计算参数属性的情况下，按照计算参数属性，基于第二任务结果，调用第二算子节点执行逻辑指令，得到阶段任务结果；
134.按照算子输出参数属性，转换阶段任务结果，得到目标任务结果。
135.在再一种或者多种可能的实施例中，本技术实施例提供的数据处理装置60还可以包括转换模块；其中，
136.确定模块602还可以用于，根据至少两个算子节点中每个算子节点的算子类型，确定每个算子节点的预设参数转换算法；
137.转换模块，用于通过预设参数转换算法，转换与预设参数转换算法对应的算子节点中的算子参数，得到至少两个算子节点之间数据交互的开源数据格式。
138.在再一种或者多种可能的实施例中，处理模块603具体可以用于，按照开源数据格式，通过预设混编算子节点转换第一任务结果，得到第二任务结果。
139.在再一种或者多种可能的实施例中，本技术实施例提供的数据处理装置60还可以包括构建模块，用于获取多个算子节点，并基于多个算子节点中每个算子节点，通过预设混编算子节点构建每个算子节点的开源程序编程接口。
140.在再一种或者多种可能的实施例中，处理模块603具体可以用于，在第一算子节点对应第一开源程序编程接口，第二算子节点对应第二开源程序编程接口的情况下，按照调度信息，通过预设混编算子节点调用第一开源程序编程接口执行逻辑指令，得到第三任务结果；
141.通过预设混编算子节点转换第三任务结果，得到第四任务结果；
142.基于第四任务结果，调用第二开源程序编程接口执行逻辑指令，得到目标任务结果。
143.在再一种或者多种可能的实施例中，确定模块602具体可以用于，根据任务特征，通过预设混编算子节点构建任务流的有向无环图，有向无环图包括路径和路径上的至少两个空间算子；
144.将至少两个空间算子确定为至少两个算子节点，以及，根据路径，生成至少两个算子节点的调度信息。
145.由此，通过待执行的任务流，抽象各类执行该任务流的地理信息系统、计算功能为
至少两个算子节点，并在此基础上扩展集成不同来源、不同类型的至少两个算子节点，接着，定义可以实现转换至少两个算子节点之间传输数据的预设混编算子节点，使得各类算子节点间的数据可以相互传输，然后，按照执行任务流的逻辑迅速按指令和执行运算指令的至少两个算子节点的调度信息，通过预设混编算子节点调用各类算子节点完成待执行的任务流，由此，满足各类算子节点的兼容计算，实现了跨平台、跨语言、跨类型的算子节点的编排、调度和执行，可以有效的在复杂服务场景中通过对不同来源、不同算子类型的节点的混合编排，为用户提供地理信息服务。
146.基于相同的发明构思，本技术提供了与上述涉及的算子节点生成方法对应的算子节点生成装置。具体结合图7进行详细说明。
147.图7是示出根据一个实施例的一种算子节点生成装置的结构示意图。
148.如图7所示，算子节点生成装置70应用于如图1或者图2所示的算子编辑器10，算子节点生成装置70具体可以包括：
149.接收模块701，用于接收至少两个算子节点的接入请求，至少两个算子节点的算子类型不同；
150.获取模块702，用于获取至少两个算子节点中每个算子节点的节点特征；
151.构建模块703，用于根据每个算子节点的节点特征，按照预设集成条件，构建目标混编算子节点；其中，
152.目标混编算子节点用于在任务流执行过程中，根据执行任务流的至少两个目标算子节点中每个目标算子节点的节点特征，转换任务流的任务数据和结果数据，使得任务数据和结果数据在至少两个目标算子节点之间传输，结果数据为每个目标算子节点处理任务数据后得到的数据。
153.由此，通过构建的目标混编算子节点识别该算子节点输出的数据，并转发到其他算子节点，使各类算子节点间的数据可以相互传输，以实现各类算子节点跨平台的访问和调用，可以有效的在复杂服务场景中通过对不同来源、不同算子类型的节点的混合编排，为用户提供地理信息服务。
154.图8是示出根据一个实施例的计算机设备的硬件结构示意图。
155.如图8所示，计算机设备800包括输入设备801、输入接口802、处理器803、存储器804、输出接口805、以及输出设备806。
156.输入接口802、处理器803、存储器804、以及输出接口805通过总线810相互连接，输入设备801和输出设备806分别通过输入接口802和输出接口805与总线810连接，进而与计算机设备800的其他组件连接。具体地，输入设备801接收来自外部的输入信息，并通过输入接口802将输入信息传送到处理器803；处理器803基于存储器804中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器804中，然后通过输出接口805将输出信息传送到输出设备806；输出设备806将输出信息输出到计算机设备800的外部供用户使用。
157.在一个实施例中，图8所示的计算机设备800可以被实现为一种数据处理设备，该数据处理设备可以包括：存储器，被配置为存储程序；处理器，被配置为运行存储器中存储的程序，以执行上述实施例描述的数据处理方法。或者，图8所示的计算机设备800可以被实现为一种算子节点生成设备，该算子节点生成设备可以包括：存储器，被配置为存储程序；
处理器，被配置为运行存储器中存储的程序，以执行上述实施例描述的算子节点生成方法。
158.在一个实施例中，该存储器还可以用于存储任务流的目标任务结果以及结合上述图1至图5描述的数据处理、算子节点生成过程中每个步骤的计算结果。作为示例，该计算结果至少包括：执行对任务流的逻辑运算指令、执行逻辑运算指令的至少两个算子节点的调度信息。
159.根据本技术的实施例，上文参考流程图描述的过程可以被实现为计算机可读存储介质。例如，本技术的实施例包括一种计算机可读存储介质，其包括在计算机可读存储介质上存储程序或指令，在程序或指令被计算机设备执行的情况下，使得计算机设备执行上述方法的步骤。
160.根据本技术的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本技术的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以从网络上被下载和安装，和/或从可拆卸存储介质被安装。
161.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令，当其在计算机上运行时，使得计算机执行上述各个实施例中描述的方法。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本技术实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘)等。
162.以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
163.最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使对应技术方案的本质脱离本技术各实施例技术方案的范围。