数据处理方法、装置、电子设备和存储介质与流程

1.本技术涉及计算机技术领域，特别是涉及一种数据处理方法、一种数据处理装置、一种电子设备和一种存储介质。


背景技术：

2.数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。
3.一种现有的分析过程是：用户将需求和待分析的数据线下提供给技术人员，技术人员按照用户的需求开发一个算法模型，以通过算法模型来对相关数据进行解析，以确定对应的分析结果、预测结果等。
4.但是采用这种方式，对于一些相似的需求，同样需要耗费大量时间来重新开发算法模型，数据分析的过程耗费时间长。


技术实现要素：

5.本技术实施例提供了一种数据处理方法，以提高处理效率。
6.相应的，本技术实施例还提供了一种数据处理装置、一种电子设备和一种存储介质，用以保证上述系统的实现及应用。
7.为了解决上述问题，本技术实施例公开了一种数据处理方法，包括：接收任务相关信息，所述任务相关信息包括任务分析信息和任务配置信息；依据所述任务分析信息确定分析数据；基于所述任务配置信息，确定对应的数据解析器并进行配置；基于配置的数据解析器和分析数据，确定数据分析结果。
8.为了解决上述问题，本技术实施例公开了一种数据处理方法，包括：获取目标处理任务，所述目标处理任务依据分析数据和配置的数据解析器确定，所述分析数据根据任务分析信息确定，所述配置的数据解析器依据任务配置信息配置得到；通过配置的数据解析器对所述分析数据进行分析处理，确定数据分析结果；输出所述数据分析结果。
9.为了解决上述问题，本技术实施例公开了一种数据处理方法，包括：提供任务接收页面；根据在所述任务接收页面的操作，确定任务相关信息，所述任务相关信息包括任务分析信息和任务配置信息，所述任务分析信息用于确定分析数据，所述任务配置信息用于配置数据解析器，以便对所述分析数据进行分析处理；发送所述任务相关信息。
10.为了解决上述问题，本技术实施例公开了一种数据处理方法，包括：提供第五页面，所述第五页面包括上传控件；根据对所述上传控件的触发，确定数据解析器和对应的参数信息，其中，所述数据解析器用于依据任务配置信息进行配置并执行分析数据的分析处理；上传所述数据解析器和对应的参数信息。
11.为了解决上述问题，本技术实施例公开了一种数据处理装置，包括：任务接收模块，用于接收任务相关信息，所述任务相关信息包括任务分析信息和任务配置信息；数据确
定模块，用于依据所述任务分析信息确定分析数据；解析器配置模块，用于基于所述任务配置信息，确定对应的数据解析器并进行配置；结果确定模块，用于基于配置的数据解析器和分析数据，确定数据分析结果。
12.为了解决上述问题，本技术实施例公开了一种数据处理装置，包括：接收模块，用于获取目标处理任务，所述目标处理任务依据分析数据和配置的数据解析器确定，所述分析数据根据任务分析信息确定，所述配置的数据解析器依据任务配置信息配置得到；分析模块，用于通过配置的数据解析器对所述分析数据进行分析处理，确定数据分析结果；结果输出模块，用于输出所述数据分析结果。
13.为了解决上述问题，本技术实施例公开了一种数据处理装置，包括：页面提供模块，用于提供任务接收页面；任务确定模块，用于根据在所述任务接收页面的操作，确定任务相关信息，所述任务相关信息包括任务分析信息和任务配置信息，所述任务分析信息用于确定分析数据，所述任务配置信息用于配置数据解析器，以便对所述分析数据进行分析处理；发送模块，用于输出所述任务相关信息。
14.为了解决上述问题，本技术实施例公开了一种数据处理装置，包括：提供模块，用于提供第五页面，所述第五页面包括上传控件；解析器上传模块，用于根据对所述上传控件的触发，确定数据解析器和对应的参数信息；上传所述数据解析器和对应的参数信息，其中，所述数据解析器用于依据任务配置信息进行配置并执行分析数据的分析处理。
15.为了解决上述问题，本技术实施例公开了一种电子设备，包括：处理器；和存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如上述实施例中一个或多个所述的方法。
16.为了解决上述问题，本技术实施例公开了一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如上述实施例中一个或多个所述的方法。
17.与现有技术相比，本技术实施例包括以下优点：
18.本技术实施例中，接收任务相关信息后，依据任务相关信息的任务分析信息生成分析数据；依据任务相关信息的任务配置信息，能够调用服务端中对应的数据解析器，并对调用的数据解析器进行配置，通过配置的数据解析器能够更快的完成数据分析的过程，提升数据处理效率。
附图说明
19.图1是本技术实施例一种数据分析系统的结构示意图；
20.图2是本技术的一种数据处理方法实施例的步骤流程图；
21.图3a是本技术实施例的一种第一页面示例的示意图；
22.图3b是本技术实施例的一种第二页面示例的示意图；
23.图3c是本技术实施例的一种第三页面示例的示意图；
24.图3d是本技术实施例的一种第四页面示例的示意图；
25.图3e是本技术实施例的一种第五页面示例的示意图；
26.图4是本技术实施例的一种用户组的权限处理示例的示意图；
27.图5是本技术实施例的一种服务端的模块架构示例的示意图；
28.图6是本技术的另一种数据处理方法实施例的步骤流程图；
29.图7是本技术的再一种数据处理方法实施例的步骤流程图；
30.图8是本技术的再一种数据处理方法实施例的步骤流程图；
31.图9是本技术的再一种数据处理方法实施例的步骤流程图；
32.图10是本技术的一种数据处理装置实施例的结构示意图；
33.图11是本技术的另一种数据处理装置实施例的结构示意图；
34.图12是本技术的再一种数据处理装置实施例的结构示意图；
35.图13是本技术的再一种数据处理装置实施例的结构示意图；
36.图14是本技术一实施例提供的装置的结构示意图。
具体实施方式
37.为使本技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本技术作进一步详细的说明。
38.本技术实施例可应用于云计算领域，云可以理解为一种网络，云计算是与信息技术、软件、互联网相关的一种服务，可以将计算资源整合起来，用户可以使用云计算所提供的计算资源来执行所需的处理。随着技术的不断发展，云计算可以理解为分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗杂、内容分发和虚拟化等计算机技术和网络技术发展融合的产物。本技术实施例可应用于基于云计算的各种服务场景中，也可应用于各种分布式处理的场景中。
39.图1示出了本技术一个实施例的数据处理系统，该系统可应用于各种数据分析处理的场景中，可通过采集相关的数据，并利用对应的算法对相关的数据进行分析规划，得到分析结果的场景。如应用于交通线路规划、产品运营、物流运输规划、综合交通规划和智慧城市等数据分析场景。该系统可以提供多种算法、计算资源等给用户使用，从而用户可以选择所需的算法，导入数据来创建相应法的分析任务，依据所使用的算法对相关数据进行计算分析，确定数据分析结果。例如在交通线路规划的场景中，该系统可以采集城市内已有的交通线路，并依据对应的线路规划算法对相关的线路数据进行分析，以确定交通线路规划结果。例如在产品运营的场景中，可以收集多个产品在历史时段内的销量数据，利用销量分析算法，对产品的销量进行预测，为用户提供建议。例如在物流运输规划场景中，可以采集物流运输工具的运行数据，并依据对应的规划算法对运行数据进行计算分析，以确定物流对象的运输计划。
40.本技术实施例的数据处理系统包括：用户端、服务端和计算端，其中，用户端的电子设备可以包括电脑等终端，也可包括手机、平板电脑等移动终端。用户可通过用户端的电子设备与服务端进行交互，从而创建分析任务，查看分析结果等，例如可以确定待分析的数据和选择所需分析算法对应的数据解析器等，数据解析器可以理解为基于相应算法进行数据分析处理的组件。
41.服务端可为用户提供各种服务，还可连接计算端来提供各种服务的计算处理等，服务端可以进行各种数据、服务的管理，并可调用计算资源来对相应分析任务进行分析计算。服务端可提供各种页面，从而用户可通过页面便捷的进行操作，使用所需的服务，还可查看分析结果等。
42.计算端包括多个计算设备来提供数据的计算处理，计算端可以调用所需的算法对数据执行相应的分析处理任务，从而得到相应的分析结果，返回给服务端。其中，计算端的设备可提供分布式的计算处理服务，例如可以包括各种边缘计算设备等，从而能够结合分布式的架构来提供计算服务。
43.用户可在用户端进行任务的创建、计算等处理步骤，相应的服务端可进行任务的生成、部署以及结果确定的步骤，如图2所示：
44.在步骤202中接收任务相关信息，任务相关信息包括任务分析信息和任务配置信息。任务相关信息可以理解为分析任务所需的各种数据，所述任务分析信息用于确定待分析的分析数据，任务配置信息用于确定所需的算法以及相关的参数配置信息等。
45.为了便于用户操作，服务端可提供页面，用户可基于页面便捷的设置所需的信息。其中，一个页面为任务接收页面，通过该任务接收页面可以接收任务相关信息。一种任务接收页面的示例中，任务接收页面包括设置任务相关信息的各种控件，控件可为输入控件、选择控件、点击控件等，具体可依据需求设置。用户可基于该任务接收页面设置各种任务相关信息，包括任务名称、任务类型、数据范围，算法、数据解析器等，其中，数据范围可通过设置数据约束条件来设置，还可设置与任务相关的其他关联信息，如区域范围、行业、行业集等，具体可依据分析的场景确定。例如对于物流网络的规划中，任务相关信息可以包括名称、区域等基础信息，也可包括分拣流向、覆盖区域、仓库固定流向、仓库语术信息、辅助配置信息、分拨站点等数据约束条件。
46.其中，对于任务的创建和任务的执行可分开，因此该任务接收页面可包括第一页面和第二页面，其中，第一页面用于创建任务，第二页面用于执行任务。通过第一页面可接收任务分析信息，如图3a所示的示例，该第一页面可包括与创建任务相关的各种控件，通过该控件可设置任务名称、任务的类型、范围、产品、行业以及行业集等，还可设置任务对应数据的数据约束条件，从而便于确定所需的数据。从而基于该第一页面可设置各种任务分析信息，进而创建相应的分析任务。
47.第二页面可接收任务配置信息，基于第二页面可执行任务所需各种信息的配置，例如图3b所示的示例中，对于任务进行处理的数据解析器进行配置，可配置所需的内容，选择数据解析器，以及配置相应的数量等，还可执行其他的配置数据处理的门限等，从而通过在该第二页面可设置各种所需的任务配置信息，并在用户点击保存设置后，服务端可相应接收到任务分析信息。基于该第二页面还可启动针对任务的运行分析，从而在完成任务配置信息的配置后，可以触发运行，因此可调用任务分析信息对应的分析数据，为了保证数据的准确性，还可先对数据进行校验，检验通过后在运行，执行分析处理。以物流领域为例，可以基于物流领域的运输、配送等物流特征构建数据解析器，例如重货解析器、配送解析器、订单解析器等，从而可依据任务的需求选择相应的解析器。
48.因此，用户需要设置任务分析信息时，可发送请求给服务端，服务端可发送任务接收页面的页面数据，从而用户端解析该页面数据，并在电子设备的显示组件上显示任务接收页面，用户可在任务接收页面上通过控件设置各种任务相关信息，并触发任务的执行。
49.在一个可选的实施例中，可以根据用户端的用户的请求，向用户端发送任务接收页面，并根据用户端的用户在任务接收页面上的操作，接收任务相关信息。其中，服务端根据任务创建请求，发送任务接收页面的页面数据，以展示任务接收页面；并接收基于任务接
收页面的相关信息。服务端根据用户端的用户发出的任务创建请求，向用户端发送任务接收页面，通过用户端向用户展示任务接收页面。用户端接收用户在任务接收页面的操作，确定任务分析信息和任务配置信息，并将其发送给服务端。
50.在一个可选的实施例中，可以通过两个页面分别接收任务分析信息和任务配置信息。所述任务接收页面包括第一页面和第二页面。服务端接收基于任务接收页面的相关信息包括：接收基于第一页面的任务分析信息；接收基于第二页面的任务配置信息。在用户端可以分别将第一页面和第二页面展示给用户，也可以将第一页面和第二页面同时展示给用户，本技术对此不做限制。用户可以在第一页面中确定任务分析信息，在第二页面中确定任务配置信息。
51.服务端可以与各种数据源如数据库之间建立连接，然后可以从数据库中获取所需的数据，还可将数据存储到服务端的数据库中。然后服务端将数据库中的数据进行转化处理，以划分为对应版本的数据，并存储到应用数据库中。其中，服务端可以从各个数据源采集数据，所采集的数据还可按照数据对应的场景、数据的类型、数据的采集时间、数据的来源等进行划分。从而在用户在第一页面、第二页面等任务接收页面中设置任务相关信息时，可提供给用户选择，便于快速的确定所需的数据。
52.一个可选实施例中，任务相关数据的任务配置信息可以包括解析器信息和参数配置信息，解析器信息用于调用数据解析器，参数配置信息用于对调用的数据解析器进行配置，以使配置的数据解析器能够对用户选定的分析数据进行解析。通过第二页面可以设置解析器信息和参数配置信息等任务配置信息，相应服务端可接收该任务配置信息。一个可选的示例中，服务端将第二页面的页面数据发送给用户端，用户在用户端显示该第二页面，通过第二页面设置解析器信息和参数配置信息，并将其发送给服务端。用户还可以针对任务设置解析器运行时占用的内存资源，以使数据解析器对应的处理任务能够分配到优选的计算设备中进行计算处理。
53.服务端在接收到任务相关信息之后，可以在步骤204中，依据任务分析信息生成分析数据；以及，在步骤206中，基于任务配置信息，确定对应的数据解析器并进行配置。其中，配置的数据解析器用于对分析数据进行解析。也就是用户端基于第一页面可以设置任务分析信息，从而服务端可依据该任务分析信息生成分析数据，如依据数据约束条件来获取相应的数据，并配置任务对应的名称、类型、行业等参数，完成任务对应数据的配置，并可生成一个待处理的分析任务。然后可通过第二页面选择一个待处理的分析任务，设置该分析任务的任务配置信息，服务端在接收到任务配置信息后，可设置该分析任务的数据解析器以及进行任务处理所需的其他配置参数，完成任务的配置，其中，可基于该任务配置信息确定分析任务所需调用的数据解析器，以及解析器的相关配置信息，从而可调用该数据解析器并进行解析器的配置，还可基于其他配置参数配置与任务解析相关的其他参数，例如对于计算设备的需求参数等。然后用户可在第二页面触发任务的运行，相应可调用该分析任务的分析数据，并对分析数据进行数据校验，在校验通过确认数据没有问题后，可调用数据解析器对该分析任务进行处理。
54.依据任务分析信息，从服务端的应用数据库中提取任务分析信息对应的数据，作为分析数据。依据任务配置信息的解析器信息，调用对应的数据解析器，依据任务配置信息的参数配置信息，对调用的数据解析器进行配置，配置的数据解析器用于对分析数据进行
解析。
55.一个可选实施例中，依据所述任务分析信息生成分析数据的步骤，包括：根据所述任务分析信息，从目标数据源中获取目标数据；按照预设的转换规则，将所述目标数据转换为目标版本的分析数据。其中，目标数据源可以为数据库、excel表格等，可以通过定时获取以及用户手动上传的方式来获取目标数据，然后基于所需转换的格式确定对应转换规则，按照转换规则对目标数据进行转换，得到对应的分析数据，其中，不同的分析数据还可对应不同的版本信息，因此在转换完成分析数据后，还可设置分析数据的版本信息，得到目标版本的分析数据，以进行后续的数据分析过程。
56.在一个可选的实施例中，在服务端建立了与目标数据源之间的连接之后，服务端可以周期性的采集分析数据，因此，服务端的分析任务可以根据分析数据的采集时间和采集频率，周期性的执行，以动态获取对应的数据分析结果，举例来说，一组分析数据的更新时间为每天零点，对应的分析任务可以设定为每天零点十分执行，以在分析数据更新完毕之后，利用更新后的分析数据进行分析，得到最新的数据分析结果，并展现给用户。通过动态的进行分析任务的执行，能够动态更新数据分析结果，方便用户对数据分析结果的查看。
57.本技术实施例中的数据解析器可以耦接到服务端，依赖服务端的处理能力进行数据分析，以及依赖计算设备的处理能力进行数据分析，另外一些可选实施例中，数据解析器也可与服务端解耦，使得数据分析过程更加灵活方便。
58.具体来说，服务端在确定了分析数据和配置的数据解析器之后，在步骤208中，基于配置的数据解析器和分析数据，确定数据分析结果。在一个示例中，服务端可以利用配置的数据解析器对分析数据进行解析，以确定数据分析结果。在另一个示例中，服务端可以使用计算设备对任务进行分析处理，以获取数据分析结果。基于所述分析数据和所述配置的数据解析器，确定目标处理任务；给目标计算设备发送指示信息，以将所述目标处理任务部署到目标计算设备进行分析处理；接收对应的数据分析结果。可以基于任务配置信息确定目标计算设备，然后给目标计算设备发送指示信息，该执行信息用于指示执行任务的分析处理，相应该目标计算设备可调用配置的数据解析器对所述分析数据进行分析处理，然后得到相应的数据分析结果并返回给服务端。从而能够使用目标计算服务端的计算能力对分析数据进行分析，实现使数据解析器和服务端之间解耦，数据解析器的解析过程不依赖于服务端，能够实现分布式的计算。
59.基于任务分析信息，确定对应的分析数据；利用任务配置信息，调用对应的数据解析器并对其配置，能够基于数据解析器完成数据分析的过程，可以更快的完成数据分析的过程，提升数据处理效率。
60.在数据规划场景中，分析任务通常是结合数据进行规划、预测等处理，因此，本技术实施例中，可以根据分析任务对应的数据分析结果和实际应用过程中的实际数据，对分析任务进行优化。通过分析数据和实际数据的回流，能够优化对应的数据解析器，以提供更加准确的分析结果。在一个例子中，在对某产品销量进行预测的场景中，分析任务可以预测下一周的预测销量，在实际获得了下一周的实际销量之后。服务端可以结合预测销量和实际销量之间的偏差，对数据解析器进行优化，以更准确的进行销量的预测。在另一个例子中，在对交通线路进行规划的场景中，通过分析任务可以分析得到出发地至到达地之间的规划路线(数据分析结果)，之后采集从出发地至到达地所采取的实际路线。结合规划路线
和实际路线，对数据解析器进行优化，以更准确的进行路线的规划。
61.本技术实施例的服务端可对多个任务进行管理调度，因此可通过任务队列将各任务分配给计算设备，实现对任务的并行处理。其中，服务端可以将目标处理任务加入到任务队列中，并按照任务队列中的顺序取出各目标处理任务，分别部署到相应的目标计算设备中进行处理。
62.在一个可选的实施例中，服务端可以按照计算设备已用内存和可用内存的使用情况，确定目标处理任务对应的计算设备。具体的，服务端获取至少一个计算设备的运行资源信息；并基于运行资源信息和目标处理任务对运行资源的占用信息，确定对应的目标计算设备。其中，运行资源信息可以包括处理器资源和内存资源信息，内存资源信息可以包括已用内存信息、可用内存信息和总内存信息中的至少两个，目标处理任务对运行资源的占用信息可以理解为目标处理任务运行时需要使用的内存量。根据计算设备的可用内存量和目标处理任务的占用内存量，确定对应的计算设备作为目标计算设备。其中，目标计算设备可为拥有该任务所需计算资源的同时，相对其他计算设备运行该任务对资源的占用率较低。
63.在一个可选的实施例中，为了使目标处理任务能够正常运行，服务端还可以监控目标处理任务在目标计算设备中的运行状态，具体的，服务端对所述目标计算在所述目标计算设备中的运行状态进行监控，在所述目标计算设备对所述目标处理任务的运行状态为异常的情况下，向所述目标计算设备发送重试指令，以使所述目标计算设备重新运行所述目标处理任务。在所述目标计算设备对所述目标处理任务的运行状态为失败的情况下，确定备选计算设备；将所述目标处理任务部署到所述备选计算设备，以通过所述备选计算设备进行解析。
64.计算设备在收到处理任务之后，计算设备可以定时向服务端发送处理任务的运行状态信息，服务端可以根据处理任务的运行状态信息，对处理任务的运行状态进行监控。在目标处理任务因意外停止(如计算设备故障等)的情况下，确认运行状态为异常，向目标计算设备发送重试指令，使其重新运行。在目标处理任务在目标计算设备中再次停止或任务运行失败的情况下，确认运行状态为失败，确定备选计算设备，并将目标处理任务部署到备选计算设备，利用备选计算设备的计算能力进行解析。通过在目标计算设备中重新运行计算设备、将目标处理任务部署到备选计算设备进行解析，能够使数据的解析过程正常完成。
65.一个可选实施例中，服务端可提供第三页面，所述第三页面用于展示数据分析结果。可接收展示请求；依据所述展示请求反馈第三页面的页面数据，以便在所述第三页面中展示目标处理任务的数据分析结果。从而用户能够在第三页面中查看目标处理任务的数据分析结果。该第三页面可展示目标处理任务的数据分析结果，也可提供多个处理任务的数据分析结果，从而用于可基于需求选择所需的处理任务，查看相应的数据分析结果。如图3c所示的一种基于物流领域的分析任务的第三页面，在该第三页面可展示多种不同类型的物流服务的数据分析结果，用户可基于需求选择相应类型的物流服务的任务，并查看对应任务的数据分析结果。该页面中还可提供基于该任务的各种控件，例如导出控件可提供导出数据分析结果的功能；覆盖原路由控件可提供修改任务的路由参数的功能，从而修改任务的路由等参数，基于新的路由进行分析；生成审批单控件提供针对任务的审批单生成功能，通过触发该控件可生成该任务对应的审批单。从而便捷的进行任务的审批；发布方案功能可提供针对任务的发布功能，在查看数据分析结果确定任务满足一定的服务需求后，可通
过该控件来发布该任务，便捷的将任务应用于相应场景的服务中。
66.本技术实施例中还提供了查看已建立任务的第四页面，用户可通过任务展示请求来请求第四页面，相应的服务端可基于任务展示请求，发送第四页面的页面数据，以基于所述第四页面展示已建立的分析任务，从而方便用户查看已经建立的分析任务，并且能够便捷的进行相应的处理。如图3d所示的一种第四页面的示例示意图，用户可在该第四页面中查看任务的各种信息，并且提供可一些控件便于用于对任务进行编辑处理。例如可通过比较控件来比较分任务的差异，例如比较不同任务对应任务数据的版本差异，比较两者的操作差异等；复制控件用于复制分析任务，用户可便捷的复制一些任务的相关信息，从而便捷的创建任务；新增控件用于新增分析任务，触发该控件可跳转到第一页面，进行任务分析信息的设置。
67.本技术实施例中，可依据配置的数据解析器和分析数据确定分析任务，从而能够对分析任务进行分析，确定分析结果。在另外一些可选实施例中，为了更加灵活地配置分析任务，各分析任务所对应的数据解析器、分析数据等可动态调整，如在分析任务中插入新的分析数据，或者插入其他数据解析器等，另外一些示例中，也可在分析任务中删除部分分析数据，或者与一些数据解析器解耦，也就是从任务中删除某些数据解析器，从而调整该分析任务，使得分析任务能够更加灵活地调整。
68.用户还可以在第四页面中对分析任务进行修改，以更加灵活的对数据进行分析处理。在一个例子中，用户可以对分析任务中的参数配置信息配置信息进行修改，以优化分析任务，得到更加准确的分析结果。在另一个例子中，服务端中数据解析器可以存在多个版本，用户还可以修改分析任务的解析器信息，以调用另一版本的数据解析器进行数据的分析处理，以得到更加准确的分析结果。在另一个例子中，用户可以对分析任务中的分析数据进行修改，以对其他的分析数据进行分析。通过修改分析数据，能够更灵活的对数据进行分析；通过修改解析器信息和数据配置信息，能够将不同的解析器和数据配置信息匹配，以进行数据分析，通过解析器和数据配置信息的组合，提升了分析任务多样性。
69.用户还可以在第四页面中对分析任务进行删除，举例来说，如图3c所示，图3c中的第三页面展示了多种不同的数据分析结果，在某一数据分析结果不再需要时，用户可以在第四页面中删除该数据分析结果对应的分析任务，以更加灵活地进行数据分析结果的管理。
70.本技术实施例中，为了提供更好的分析服务，还提供了第五页面，该第五页面用于接收数据解析器，从而系统可以扩展数据解析器，便于接入各种分析任务，并且能够便于维护数据解析器，给用户提供更好的分析服务。
71.服务端可接收上传请求，并依据所述上传请求发送第五页面的页面数据，所述第五页面包括上传控件；接收上传的数据解析器。开发用户可开发数据解析器，然后通过第五页面上传，从而在系统中扩展数据解析器，其中，可在页面中设置数据解析的各种参数，可设置数据解析器的名称、类型、分类名称、运行环境以及描述等基本参数，在完成基本参数的设置后，还可通过上传控件来上传数据解析器，并且可通过绑定控件来绑定数据解析器的地址，以便实现解析器的上传，另外还可提供编译控件对上传的数据解析器进行编译后打包放入到服务端、以及计算设备中，便于使用该数据解析器。并且该第五页面还提供运行参数的设置，用户可在运行参数设置区域来设置数据解析器的运行参数，从而便于使用该
数据解析器。
72.在一个可选的实施例中，在服务端中可以预先设定解析器列表，在用户请求第二页面时，服务端可以将该解析器列表作为第二页面的页面数据发送给用户，用户可以在第二页面中搜索解析器列表中对应的解析器进行解析器的选择。在开发用户通过第五页面上传了数据解析器之后，服务端中可以调整该解析器列表，并将调整后的解析器列表作为第二页面的页面数据发送给用户，以替换旧版本的解析器列表。在新增了新的解析器时，服务端可以根据新增来调整对应的解析器列表，并将调整后的解析器列表发送给用户，方便用户进行解析器的选择。
73.本技术实施例的数据解析器可通过各种算法生成，例如一些机器学习算法等模型算法，从而可通过模型训练等过程得到的数学模型作为数据解析器后上传，其中基于模型算法可训练得到相应的数学模型，数学模型是运用数理逻辑方法和数学语言建构的科学或工程模型，数学模型是针对参照某种事物系统的特征或数量依存关系，采用数学语言，概括地或近似地表述出的一种数学结构，这种数学结构是借助于数学符号刻画出来的某种系统的纯关系结构。数学模型可以是一个或一组代数方程、微分方程、差分方程、积分方程或统计学方程及其组合，通过这些方程定量地或定性地描述系统各变量之间的相互关系或因果关系。除了用方程描述的数学模型外，还有用其他数学工具，如代数、几何、拓扑、数理逻辑等描述的模型。数学模型描述的是系统的行为和特征而不是系统的实际结构。
74.本技术实施例中，各用户均可通过该系统进行任务的创建、运行以及结果查看等操作。因此在一些可选实施例中，还可为用户建立用户组，从而用户组内用户可进行数据共享。其中，用户组中不同用户可享有不同的用户权限，基于不同的权限对用户组关联任务信息进行共享。如在一些示例中，每个任务的创建者(创建用户)对任务享有各种权限，并且可设置该任务的共享权限，例如将任务的结果共享给其他用户的权限，将任务共享给其他用户的权限等。在另外一些示例中，用户组中可设置用户组长，则用户组长具有较高的权限，并可给其他用户配置权限，从而便于在同一工作组内的用户能够基于该系统进行工作处理，对于同一任务对应的各用户可基于该系统以及工作组共同完成工作，给用户提供便利。如图4所示的用户组的处理示意图中，该用户组包括用户1和用户2，用户1创建了某一分析任务后，可得到相应的任务数据，也可进行任务的分析处理得到相应的分析结果，该用户1可给用户2开放查看分析结果的权限，从而第二用户可查看该分结果，另外基于任务数据所生成的处理任务，如果用户1给用户2查看权限，则用户2也可查看该处理任务，并在获取权限的基础上可使用该处理任务，例如复制这个处理任务的部分信息，便于自己创建相关的任务等。另外，基于该任务可确定分析数据，也可称为元数据，元数据可设置为用户1具有权限，而其他用户没有权限等。具体可依据场景需求确定。
75.例如，在物流场景中，物流提供方的某个部分有物流网络规划类的需求，可以注册用户并创建用户组，则该部门的各使用者均可加入该用户组，从而在组内分享任务相关的信息。之后可以根据物流网络规划类的需求，确定需要使用的算法、模型等解析器，如果系统中已有该解析器可以进行调用并配置，如果系统中没有该解析器，也可开发后上传到系统中。之后可以创建任务确定任务相关信息，然后配置数据解析器和分析数据，得到数据分析结果，如图3c所示的一种数据分析结果，可以查看物流网络中配送、干线等信息。
76.在上述实施例的基础上，系统可按照层级划分可包括：基础数据层、数据收集层、
数据管理层、数据处理层和数据应用层。
77.其中，基础数据层可与其他数据源之间可以建立连接，数据仓库可以通过增量或全量等方式同步数据源的数据，相应也可通过增量或全量等方式同步数据给数据收集层。数据收集层可基于任务进行数据的配置，包括生成各种版本的分析数据，执行分析数据的各种处理，如版本比较，还可设置用户的权限等，便于用户之间共享数据以及分析结果等。解析器管理层可提供各种数据解析器，以及针对任务的相关配置，如数据的配置、解析器的配置等。数据处理层可执行数据处理任务，包括对数据的挖掘、特征提取以及针对模型的持久化处理等。数据应用层可提供基于数据分析的各种应用功能，如提供在线服务，便于用户创建、运行任务，提供数据的可视化服务，用户可基于各种界面进行任务的创建、运行、结果查看等管理功能，还可方便开发用户进行解析器的上传，以便扩展和维护系统的各项功能，还可基于用户的设置提供定时自动运行的功能，从而方便用户查看相应的分析报告，还可提供一些协同功能，如基于任务的审批、发布等，还可提供各种数据下载功能，如导出数据结果等，从而给用户提供各种便捷的服务。
78.数据处理层可基于需求选择数据形成相应的分析任务，其中可提取分析数据的数据特征、对分析数据进行数据挖掘，以及保存数据，。数据处理层对采集的数据进行挖掘分析，为用户选择分析数据提供参考。具体的，数据处理层用于对用户相关的数据的进行特征分析、数据挖掘，并将数据挖掘结果向用户展示(如图3a中的第一页面的数据选择区中的数据为对应的数据挖掘结果)，用户可以选择对应的数据挖掘结果作为任务分析信息。
79.还可包括元信息管理层，元信息管理层可以理解为存储数据的数据库，元信息管理模块存储有分析数据的元数据、处理任务的源数据和分析结果的元数据。元信息管理层可以为服务端中的其他层级提供数据支持，如为任务管理层和数据处理层提供数据元数据，为数据应用层提供任务元数据和结果元数据。
80.本技术实施例中，数据处理系统提供数据的开发、挖掘以及分析等功能，可以便捷的获取数据、组装任务，并调度任务进行分布式的分析处理，各用户提供便捷、高效的数据服务。
81.在上述实施例的基础上，如图5所示，服务端按照模块划分包括：服务管理模块、数据管理模块、资源管理模块和界面管理模块。
82.其中，资源管理模块用于对处理任务和计算设备对处理任务的处理过程进行管理。资源管理模块可对计算资源进行弹性管理，资源管理设备可以管理多个计算设备的运行资源信息，如存储各计算设备的内存、cpu资源等，可以将任务放入到任务队列中，并根据调度策略确定队列中的处理任务对应的目标计算设备，并将处理任务调度到目标计算设备中进行处理，能够保持计算设备的高可用性。目标计算设备在收到处理任务之后，定时向资源管理模块反馈处理任务的运行状态信息，资源管理模块根据运行状态信息对处理任务的运行进行监控，并能够下发重试指令，使处理任务在目标计算设备中重新运行，还能够确定备选计算设备，将运行失败的处理任务部署到备选计算设备中进行计算处理。资源管理设备还可以管理处理任务相关的处理日志等信息。并且可结合界面管理模块进行任务相关数据的展示，用户可查看数据分析结果。
83.数据管理模块用于对数据进行管理、加工以及展示等管理处理。具体的，数据管理模块可以与用户的服务数据库进行数据对接，并获取目标数据，之后按照预设的转换规则
对目标数据进行转换和清洗，将其转换为分析数据并存储。数据管理模块还可以保存数据分析结果等数据。数据管理模块可以将数据作为页面的页面数据展示给用户。数据管理模块还可以为用户提供上传数据服务和下载数据服务。
84.服务管理模块用于对用户对应的信息、数据、处理任务等进行管理。具体的，服务管理模块可以将根据用户的操作，将相关用户添加到对应的用户组内，使组内的用户可以共享数据。服务管理模块还可以管理处理任务和解析器，并可以将其展示给对应的用户，例如可以将处理任务作为页面的页面数据展示给用户。
85.界面管理模块用于对页面进行管理，使服务端与用户之间进行交互。如管理用于创建任务的第一页面、用于配置数据解析器的第二页面、用于展示处理任务的第四页面、用于展示分析数据和分析结果的第三页面、用于上传数据解析器的第五页面等页面。
86.在上述实施例的基础上，本技术还提供一种数据处理方法，可应用在计算设备，如图6所示，包括：
87.步骤602，获取目标处理任务，目标处理任务依据分析数据和配置的数据解析器确定，分析数据根据任务分析信息确定，配置的数据解析器依据任务配置信息配置得到。
88.步骤604，通过配置的数据解析器对所述分析数据进行分析处理，确定数据分析结果。
89.步骤606，输出数据分析结果。
90.本技术实施例中，计算设备接收到目标处理任务之后，计算设备根据目标处理任务确定分析处理，以及配置的数据解析器，然后采用配置的数据解析器对分析数据进行数据分析，通过该数据解析器对应的算法进行处理，得到对应的数据分析结果，并将数据分析结果反馈给服务端。其中，计算设备还可上报运行资源信息给服务端，从而服务端能够基于各计算设备的运行资源信息，均衡的分配处理任务，提高任务的处理效率。
91.在上述实施例的基础上，本技术还提供一种数据处理方法，能够基于页面便捷的进行任务的设置和查看。如图7所示：
92.步骤702，提供任务接收页面。
93.用户端可发送任务创建请求给服务端，从而接收服务端基于该任务创建请求返回的任务接收页面的页面数据，解析页面数据并展示该任务接收页面。
94.一个可选实施例中，所述任务接收页面包括用于确定任务分析信息的第一页面和用于确定任务配置信息的第二页面。所述任务配置信息包括解析器信息和参数配置信息，所述第二页面包括运行控件，所述运行控件用于触发指示信息。从而用户可在第一页面设置任务分析信息，生成相应的分析任务，每个分析任务可确定对应版本的分析数据。通过第二页面可设置任务配置信息，从而可进行数据解析器的配置，以及该任务的其他运行配置，还可通过第二页面的运行控件，触发任务的分析处理。
95.另外一些可选实施例中，可发送任务查看请求；接收任务展示请求返回的第四页面的页面数据，展示该第四页面，查看已建立的分析任务。用户可在第四页面，查看已建立的分析任务，基于该第四页面还对已创建的分析任务进行编辑，基于新增控件可触发任务创建请求，显示第一页面。
96.步骤704，根据在任务接收页面的操作，确定任务相关信息，任务相关信息包括任务分析信息和任务配置信息，任务分析信息用于确定分析数据，所述任务配置信息用于配
置数据解析器，以便对所述分析数据进行分析处理。
97.步骤706，发送任务相关信息。
98.本技术一些可选实施例中，发送展示请求；接收依据所述展示请求反馈的第三页面的页面数据；解析所述页面数据，并在所述第三页面中展示目标处理任务的数据分析结果。
99.另外一些可选实施例中，发送任务展示请求；接收第四页面的页面数据，所述第四页面的页面数据依据所述任务展示请求确定；展示所述第四页面，以便显示已创建的分析任务。
100.在上述实施例的基础上，本技术还提供一种数据处理方法，能够便捷的扩展和维护系统的数据解析器，如图8所示：
101.步骤802、提供第五页面，第五页面包括上传控件。
102.步骤804、根据对上传控件的触发，确定数据解析器和对应的参数信息，其中，所述数据解析器用于依据任务配置信息进行配置并执行分析数据的分析处理。
103.步骤806，上传所述数据解析器和对应的参数信息。
104.为了提供更好的分析服务，还提供了第五页面，该第五页面用于接收数据解析器，从而系统可以扩展数据解析器，便于接入各种分析任务，并且能够便于维护数据解析器，给用户提供更好的分析服务。
105.服务端可接收上传请求，并依据所述上传请求发送第五页面的页面数据，所述第五页面包括上传控件；接收上传的数据解析器。开发用户可开发数据解析器，然后通过第五页面上传，从而在系统中扩展数据解析器，其中，可在页面中设置数据解析的各种参数，可设置数据解析器的名称、类型、分类名称、运行环境以及描述等基本参数，在完成基本参数的设置后，还可通过上传控件来上传数据解析器，并且可通过绑定控件来绑定数据解析器的地址，以便实现解析器的上传，另外还可提供编译控件对上传的数据解析器进行编译后打包放入到服务端、以及计算设备中，便于使用该数据解析器。并且该第五页面还提供运行参数的设置，用户可在运行参数设置区域来设置数据解析器的运行参数，从而便于使用该数据解析器。
106.在上述实施例的基础上，本技术实施例还提供了一种数据处理方法，可创建各种任务并执行任务的处理，便于用户使用。
107.参照图9，示出了本技术实施例的一种数据处理方法的步骤流程图。
108.步骤902，通过任务接收页面接收任务相关信息，所述任务相关信息包括任务分析信息和任务配置信息。
109.一个可选实施例中，基于任务创建请求，发送任务接收页面的页面数据，以展示所述任务接收页面；接收基于任务接收页面的任务相关信息。所述任务接收页面包括用于确定任务分析信息的第一页面和用于确定任务配置信息的第二页面。所述任务配置信息包括解析器信息和参数配置信息，所述第二页面包括运行控件，所述运行控件用于触发指示信息。
110.另一个可选实施例中，接收任务查看请求；基于任务展示请求，发送第四页面的页面数据，以基于所述第四页面展示已建立的分析任务。
111.步骤904，依据所述任务分析信息确定分析数据，生成对应的分析任务。
112.其中，可根据所述任务分析信息，从目标数据源中获取目标数据；按照预设的转换规则，将所述目标数据转换为目标版本的分析数据。
113.步骤906，基于所述任务配置信息，确定对应的数据解析器并进行配置。
114.步骤908，基于所述分析任务和所述配置的数据解析器，确定目标处理任务。
115.步骤910，将所述目标处理任务加入到任务队列中；
116.步骤912，按照所述目标处理任务在所述任务队列中的顺序，部署所述目标处理任务。
117.步骤914，给目标计算设备发送指示信息，以将所述目标处理任务部署到目标计算设备进行分析处理。
118.其中，可获取至少一个计算设备的运行资源信息；基于所述运行资源信息和所述目标处理任务对运行资源的占用信息，确定对应的目标计算设备。
119.本技术实施例还可对所述目标处理任务在所述目标计算设备中的运行状态进行监控；在所述目标计算设备对所述目标处理任务的运行状态为异常的情况下，向所述目标计算设备发送重试指令，以使所述目标计算设备重新运行所述目标处理任务。
120.另外一个可选实施例中，在所述目标计算设备对所述目标处理任务的运行状态为失败的情况下，确定备选计算设备；将所述目标处理任务部署到所述备选计算设备，以通过所述备选计算设备进行解析。
121.步骤916，接收对应的数据分析结果。
122.一个可选实施例中，提供第三页面，所述第三页面用于展示数据分析结果。
123.步骤918，接收展示请求。
124.步骤920，依据所述展示请求反馈第三页面的页面数据，以便在所述第三页面中展示目标处理任务的数据分析结果。
125.本技术实施例中各步骤与上述实施例类似，具体可参见上述实施例。
126.从而能够提供页面给用户，使得用户可便捷的进行信息的设置以及任务的查看，还可基于页面所反馈的数据设置分析任务和数据解析器，从而生成相应的处理任务部署到计算设备中，通过分布式的计算设备进行处理，能够有效的使用计算资源，提高处理效率。
127.在确定目标处理任务和目标计算设备之后，将目标处理任务部署到目标计算设备，利用计算设备的计算能力对目标处理任务进行处理，以确定数据分析结果。本技术实施例中，利用任务分析信息，确定对应的分析数据；利用任务配置信息，调用对应的数据解析器并对其配置，能够利用服务端的数据解析器完成数据分析的过程，可以更快的完成数据分析的过程。
128.本技术实施例实现了各场景的处理系统与数据处理系统数据的打通。通过数据库定时将其他系统中的数据同步至数据库之中。然后定时将数据从数据库同步至服务端，并且能够通过异步消息，触发数据加工流程，将数据转换为统一的数据模型格式，便于后续数据的使用以及展示。
129.通过页面使得用户能够通过浏览器展示面并接收操作，从而用户可以随时随地在任何电脑上，只要有网络访问权限的情况下都可以使用系统的服务。
130.本技术实施例对数据进行管理的同时，还会对计算资源进行管理，计算节点(计算设备)会向平台上报自身的可用计算资源(如内存、cpu)状态。服务端可根据一定的调度策
略对运算任务调度到指定计算节点上进行运行。同时监控其运行状态，在任务失败时，会对任务进行重试。同时在用户多，任务多的情况下，可以水平扩展计算节点，服务端可以对新增的计算节点进行管理，并将任务均衡的分发到各台机器之上。
131.开发用户可以使用相应的编程语言，开发解决服务场景的算法模型，生成对应的数据解析器并上传，供用户进行使用。因此针对一些新的分析需求，可对应上传数据解析器，而无需其他改进，提升新功能的实现速度，提升效率。
132.需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术实施例并不受所描述的动作顺序的限制，因为依据本技术实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本技术实施例所必须的。
133.在上述实施例的基础上，本实施例还提供了一种数据处理装置，如图10所示，具体可以包括如下模块：
134.任务接收模块1002，用于接收任务相关信息，所述任务相关信息包括任务分析信息和任务配置信息。
135.数据确定模块1004，用于依据所述任务分析信息确定分析数据。
136.解析器配置模块1006，用于基于所述任务配置信息，确定对应的数据解析器并进行配置。
137.结果确定模块1008，用于基于配置的数据解析器和分析数据，确定数据分析结果。
138.综上，接收任务相关信息后，依据任务相关信息的任务分析信息生成分析数据；依据任务相关信息的任务配置信息，能够调用服务端中对应的数据解析器，并对调用的数据解析器进行配置，通过配置的数据解析器能够更快的完成数据分析的过程，提升数据处理效率。
139.其中，所述结果确定模块1008，用于基于所述分析数据和所述配置的数据解析器，确定目标处理任务；给目标计算设备发送指示信息，以将所述目标处理任务部署到目标计算设备进行分析处理；接收对应的数据分析结果。
140.该装置还包括：队列处理模块，用于将所述目标处理任务加入到任务队列中；按照所述目标处理任务在所述任务队列中的顺序，部署所述目标处理任务。
141.资源处理模块，用于获取至少一个计算设备的运行资源信息；基于所述运行资源信息和所述目标处理任务对运行资源的占用信息，确定对应的目标计算设备。
142.监控模块，用于对所述目标处理任务在所述目标计算设备中的运行状态进行监控；在所述目标计算设备对所述目标处理任务的运行状态为异常的情况下，向所述目标计算设备发送重试指令，以使所述目标计算设备重新运行所述目标处理任务。
143.所述结果确定模块1008，还用于在所述目标计算设备对所述目标处理任务的运行状态为失败的情况下，确定备选计算设备；将所述目标处理任务部署到所述备选计算设备，以通过所述备选计算设备进行解析。
144.用户组建立模块，用于建立用户组并设置用户组中用户的权限，以依据所述用户权限对用户组关联的处理任务进行共享。
145.所述数据确定模块1004，用于根据所述任务分析信息，从目标数据源中获取目标
数据；按照预设的转换规则，将所述目标数据转换为目标版本的分析数据。
146.该装置还包括：页面提供模块，用于基于任务创建请求，发送任务接收页面的页面数据，以展示所述任务接收页面；接收基于任务接收页面的任务相关信息。所述任务接收页面包括用于确定任务分析信息的第一页面和用于确定任务配置信息的第二页面。所述任务配置信息包括解析器信息和参数配置信息，所述第二页面包括运行控件，所述运行控件用于触发指示信息。
147.所述页面提供模块，还用于提供第三页面，所述第三页面用于展示数据分析结果；接收展示请求；依据所述展示请求反馈第三页面的页面数据，以便在所述第三页面中展示目标处理任务的数据分析结果。
148.所述页面提供模块，还用于接收任务查看请求；基于任务展示请求，发送第四页面的页面数据，以基于所述第四页面展示已建立的分析任务。
149.所述页面提供模块，还用于提供第五页面，所述第五页面用于接收数据解析器；接收上传请求，并依据所述上传请求发送第五页面的页面数据，所述第五页面包括上传控件；接收上传的数据解析器。
150.本技术实施例中，用户可以通过用户端发出任务创建请求，服务端根据任务创建请求向用户端返回第一页面和第二页面，用户在第一页面中确定任务分析信息，在第二页面中确定任务配置信息，然后用户端将任务相关信息发送给服务端。服务端在接收任务相关信息后，依据任务相关信息的任务分析信息生成分析数据，依据任务相关信息的任务配置信息，调用服务端中对应的数据解析器，并对调用的数据解析器进行配置，使其能够完成对分析数据的分析。然后利用配置的数据解析器和分析数据打包为目标处理任务，并根据多个计算设备的运行资源信息，确定优选的计算设备作为目标计算设备。
151.在确定目标处理任务和目标计算设备之后，将目标处理任务部署到目标计算设备，利用计算设备的计算能力对目标处理任务进行处理，以确定数据分析结果。本技术实施例中，利用任务分析信息，确定对应的分析数据；利用任务配置信息，调用对应的数据解析器并对其配置，能够利用服务端的数据解析器完成数据分析的过程，可以更快的完成数据分析的过程。
152.在上述实施例的基础上，本实施例还提供了一种数据处理装置，如图11所示，具体可以包括如下模块：
153.接收模块1102，用于获取目标处理任务，所述目标处理任务依据分析数据和配置的数据解析器确定，所述分析数据根据任务分析信息确定，所述配置的数据解析器依据任务配置信息配置得到；
154.分析模块1104，用于通过配置的数据解析器对所述分析数据进行分析处理，确定数据分析结果；
155.结果输出模块1106，用于输出所述数据分析结果。
156.计算设备调用所配置的数据解析器对分析数据进行分析处理，得到数据分析结果，从而能够充分的利用分布式的计算资源，提高处理效率。
157.在上述实施例的基础上，本实施例还提供了一种数据处理装置，如图12所示，具体可以包括如下模块：
158.页面提供模块1202，用于提供任务接收页面。
159.任务确定模块1204，用于根据在所述任务接收页面的操作，确定任务相关信息，所述任务相关信息包括任务分析信息和任务配置信息，所述任务分析信息用于确定分析数据，所述任务配置信息用于配置数据解析器，以便对所述分析数据进行分析处理。
160.发送模块1206，用于输出所述任务相关信息。
161.其中，所述页面提供模块1202，还用于发送任务创建请求，以获取所述任务接收页面的页面数据。
162.所述任务接收页面包括用于确定任务分析信息的第一页面和用于确定任务配置信息的第二页面。所述任务配置信息包括解析器信息和参数配置信息，所述第二页面包括运行控件，所述运行控件用于触发指示信息。
163.所述页面提供模块1202，还用于发送展示请求；接收依据所述展示请求反馈的第三页面的页面数据；解析所述页面数据，并在所述第三页面中展示目标处理任务的数据分析结果。
164.所述页面提供模块1202，还用于发送任务展示请求；接收第四页面的页面数据，所述第四页面的页面数据依据所述任务展示请求确定；展示所述第四页面，以便显示已创建的分析任务。
165.可提供各种页面，便于用户操作，从而用户可基于页面便捷的查看和设置任务的相关信息，以及查看数据分析结果，提高了操作效率，并给提升了用户体验。
166.在上述实施例的基础上，本实施例还提供了一种数据处理装置，如图13所示，具体可以包括如下模块：
167.提供模块1302，用于提供第五页面，所述第五页面包括上传控件。
168.解析器上传模块1024，用于根据对所述上传控件的触发，确定数据解析器和对应的参数信息；上传所述数据解析器和对应的参数信息，其中，所述数据解析器用于依据任务配置信息进行配置并执行分析数据的分析处理。
169.本技术实施例实现了各场景的处理系统与数据处理系统数据的打通。通过数据库定时将其他系统中的数据同步至数据库之中。然后定时将数据从数据库同步至服务端，并且能够通过异步消息，触发数据加工流程，将数据转换为统一的数据模型格式，便于后续数据的使用以及展示。
170.通过页面使得用户能够通过浏览器展示面并接收操作，从而用户可以随时随地在任何电脑上，只要有网络访问权限的情况下都可以使用系统的服务。
171.本技术实施例对数据进行管理的同时，还会对计算资源进行管理，计算节点(计算设备)会向平台上报自身的可用计算资源(如内存、cpu)状态。服务端可根据一定的调度策略对运算任务调度到指定计算节点上进行运行。同时监控其运行状态，在任务失败时，会对任务进行重试。同时在用户多，任务多的情况下，可以水平扩展计算节点，服务端可以对新增的计算节点进行管理，并将任务均衡的分发到各台机器之上。
172.开发用户可以使用相应的编程语言，开发解决服务场景的算法模型，生成对应的数据解析器并上传，供用户进行使用。因此针对一些新的分析需求，可对应上传数据解析器，而无需其他改进，提升新功能的实现速度，提升效率。
173.本技术实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本技术实
施例中各方法步骤的指令(instructions)。
174.本技术实施例提供了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得电子设备执行如上述实施例中一个或多个所述的方法。本技术实施例中，所述电子设备包括服务器、终端设备等设备。
175.本公开的实施例可被实现为使用任意适当的硬件，固件，软件，或及其任意组合进行想要的配置的装置，该装置可包括服务器(集群)、终端等电子设备。图14示意性地示出了可被用于实现本技术中所述的各个实施例的示例性装置1400。
176.对于一个实施例，图14示出了示例性装置1400，该装置具有一个或多个处理器1402、被耦合到(一个或多个)处理器1402中的至少一个的控制模块(芯片组)1404、被耦合到控制模块1404的存储器1406、被耦合到控制模块1404的非易失性存储器(nvm)/存储设备1408、被耦合到控制模块1404的一个或多个输入/输出设备1410，以及被耦合到控制模块1404的网络接口1412。
177.处理器1402可包括一个或多个单核或多核处理器，处理器1402可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中，装置1400能够作为本技术实施例中所述服务端、终端等设备。
178.在一些实施例中，装置1400可包括具有指令1414的一个或多个计算机可读介质(例如，存储器1406或nvm/存储设备1408)以及与该一个或多个计算机可读介质相合并被配置为执行指令1414以实现模块从而执行本公开中所述的动作的一个或多个处理器1402。
179.对于一个实施例，控制模块1404可包括任意适当的接口控制器，以向(一个或多个)处理器1402中的至少一个和/或与控制模块1404通信的任意适当的设备或组件提供任意适当的接口。
180.控制模块1404可包括存储器控制器模块，以向存储器1406提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
181.存储器1406可被用于例如为装置1400加载和存储数据和/或指令1414。对于一个实施例，存储器1406可包括任意适当的易失性存储器，例如，适当的dram。在一些实施例中，存储器1406可包括双倍数据速率类型四同步动态随机存取存储器(ddr4sdram)。
182.对于一个实施例，控制模块1404可包括一个或多个输入/输出控制器，以向nvm/存储设备1408及(一个或多个)输入/输出设备1410提供接口。
183.例如，nvm/存储设备1408可被用于存储数据和/或指令1414。nvm/存储设备1408可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(hdd)、一个或多个光盘(cd)驱动器和/或一个或多个数字通用光盘(dvd)驱动器)。
184.nvm/存储设备1408可作为装置1400被安装在其上的设备的一部分的存储资源，或者其可被该设备访问可不必作为该设备的一部分。例如，nvm/存储设备1408可通过网络经由(一个或多个)输入/输出设备1410进行访问。
185.(一个或多个)输入/输出设备1410可为装置1400提供接口以与任意其他适当的设备通信，输入/输出设备1410可以包括通信组件、音频组件、传感器组件等。网络接口1412可为装置1400提供接口以通过一个或多个网络通信，装置1400可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信，例如
接入基于通信标准的无线网络，如wifi、2g、3g、4g、5g等，或它们的组合进行无线通信。
186.对于一个实施例，(一个或多个)处理器1402中的至少一个可与控制模块1404的一个或多个控制器(例如，存储器控制器模块)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器1402中的至少一个可与控制模块1404的一个或多个控制器的逻辑封装在一起以形成系统级封装(sip)。对于一个实施例，(一个或多个)处理器1402中的至少一个可与控制模块1404的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器1402中的至少一个可与控制模块1404的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(soc)。
187.在各个实施例中，装置1400可以但不限于是：服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中，装置1400可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，装置1400包括一个或多个摄像机、键盘、液晶显示器(lcd)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(asic)和扬声器。
188.其中，检测装置中可采用主控芯片作为处理器或控制模块，传感器数据、位置信息等存储到存储器或nvm/存储设备中，传感器组可作为输入/输出设备，通信接口可包括网络接口。
189.本技术实施例还提供了一种电子设备，包括：处理器；和存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如本技术实施例中一个或多个所述的方法。
190.本技术实施例还提供了一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如本技术实施例中一个或多个所述的方法。
191.对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
192.本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
193.本技术实施例是参照根据本技术实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
194.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
195.这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程
和/或方框图一个方框或多个方框中指定的功能的步骤。
196.尽管已描述了本技术实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术实施例范围的所有变更和修改。
197.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
198.以上对本技术所提供的一种数据处理方法、一种数据处理装置、一种电子设备和一种存储介质，进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。