数据处理方法、装置、存储介质以及系统与流程

1.本技术涉及计算机领域，具体而言，涉及一种数据处理方法、装置、存储介质以及系统。


背景技术：

2.随着互联网技术的发展，越来越多的个人或者企业使用分布式系统进行数据处理，其中，分布式文件系统在进行数据处理时，会将多个离散的存储节点，通过网络连接在一起，从而对外部设备提供高可用以及高性能的文件存储语义，而且，分布式系统的存储能力可以随着存储节点的增加而横向扩展。
3.但是，在分布式系统中，存储节点的横向扩展会受到元数据管理节点的内存以及性能瓶颈的制约，从而导致分布式系统的容量以及性能无法随着存储节点的增加而线性增长。其中，元数据管理节点主要是用于对描述文件属性的元数据和描述目录树的元数据进行管理。
4.例如，图2是一种现有技术中的数据处理方法流程图。如图2所示，元数据管理节点为管理节点1、管理节点2以及管理节点3，存储节点为存储节点1、存储节点2以及存储节点3。其中，多组元数据管理节点所对应的管理空间之间相互独立，每组元数据管理节点各自分工管理自己对应的管理空间，并且无法互相协调。而且，属于同一个管理空间内的数据会组成一个数据池，例如，图2中的数据池1、数据池2以及数据池3，从而每组元数据管理节点都各自维护了一个对应的管理空间和数据池，分别用于处理上述描述目录树的元数据以及描述文件属性的元数据。
5.但是，容易注意到的是，在图2中，由于每组元数据管理节点之间是相互独立的，因此分布式系统的性能和扩展性受限于每个元数据管理节点的处理能力以及元数据管理节点的数量。而且，分布式系统的均衡性取决于各组元数据管理节点对应的管理空间的压力的均衡性，如果某组元数据管理节点对应的管理空间压力较大，则分布式系统仍然容易达到性能瓶颈。
6.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

7.本技术实施例提供了一种数据处理方法、装置、存储介质以及系统，以至少解决现有技术中，由于分布式系统中元数据管理节点需要对多种数据进行处理，所导致的分布式系统的扩展性能差的问题的技术问题。
8.根据本技术实施例的一个方面，提供了一种数据处理方法，应用于分布式系统，分布式系统包括至少一种类型的元数据管理节点，其中，数据处理方法包括：接收到对待处理数据进行处理的请求信息；根据请求信息从多个元数据管理节点中确定目标节点，其中，不同节点类型的元数据管理节点处理不同类型的数据；基于目标节点对待处理数据执行运行处理，得到处理结果。
9.根据本技术实施例的另一个方面，还提供了一种数据处理方法，应用于分布式系统，分布式系统包括至少一种类型的元数据管理节点，数据处理方法包括：读取客户端发送的对待处理数据进行处理的请求信息；显示对待处理数据进行处理的目标节点，其中，目标节点的节点类型是由请求信息所确定的，不同节点类型的元数据管理节点处理不同类型的数据；显示目标节点对待处理数据执行运行处理的处理结果。
10.根据本技术实施例的另一方面，还提供了一种数据处理装置，应用于分布式系统，分布式系统包括至少一种类型的元数据管理节点，数据处理装置包括：接收模块，用于接收到对待处理数据进行处理的请求信息；确定模块，用于根据请求信息从多个元数据管理节点中确定目标节点，其中，不同节点类型的元数据管理节点处理不同类型的数据；处理模块，用于基于目标节点对待处理数据执行运行处理，得到处理结果。
11.根据本技术实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述的数据处理方法。
12.根据本技术实施例的另一方面，还提供了一种数据处理系统，应用于分布式系统，分布式系统包括至少一种类型的元数据管理节点，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：接收到对待处理数据进行处理的请求信息；根据请求信息从多个元数据管理节点中确定目标节点，其中，不同节点类型的元数据管理节点处理不同类型的数据；基于目标节点对待处理数据执行运行处理，得到处理结果。
13.在本技术实施例中，采用根据请求信息从多个元数据管理节点中确定待处理数据对应的目标节点的方式，在接收到对待处理数据进行处理的请求信息之后，根据请求信息从多个元数据管理节点中确定目标节点，从而基于目标节点对待处理数据执行运行处理，得到处理结果。其中，不同节点类型的元数据管理节点处理不同类型的数据。
14.在上述过程中，在对待处理数据执行运行处理之前，通过分析对待处理数据进行处理的请求信息，从而可从多个元数据管理节点中确定待处理数据对应的目标节点。由于不同节点类型的元数据管理节点处理不同类型的数据，因此，确定目标节点的过程中即实现了将元数据节点进行了分布式化，即将原来需要一个元数据管理节点处理的多种数据分布给多个元数据管理节点进行处理，从而也将一个元数据管理节点所对应的内存消耗以及性能消耗分摊给多个元数据管理节点进行应对。在此基础上，分布式系统在增加存储节点时，便可不再受限于元数据管理节点内存以及性能瓶颈的制约，进而解决了由于分布式系统中的元数据管理节点需要对多种数据进行处理，所导致的分布式系统的扩展性能差的问题，实现了提升分布式系统存储能力的效果。
15.由此可见，本技术实施例的技术方案达到了避免分布式系统在增加存储节点时，受限于元数据管理节点内存以及性能瓶颈的制约的目的，从而实现了提升分布式系统存储能力，降低成本的效果，进而解决了现有技术中，由于分布式系统中的元数据管理节点需要对多种数据进行处理，所导致的分布式系统的扩展性能差的问题。
附图说明
16.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
17.图1是一种用于实现数据处理方法的计算机终端的硬件结构框图；
18.图2是是一种现有技术中的数据处理方法流程图；
19.图3是根据本技术实施例1的数据处理方法的流程图；
20.图4是根据本技术实施例1的数据处理方法的流程图；
21.图5是根据本技术实施例2的数据处理方法的流程图；
22.图6是根据本技术实施例4的数据处理装置的示意图。
具体实施方式
23.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
24.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
25.首先，在对本技术实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
26.元数据：又称中介数据、中继数据，为描述其他数据的数据，主要是描述其他数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。
27.uri meta：描述目录树的元数据，包括目录或文件的名字、父子关系等。
28.file meta：描述文件属性的元数据，包括文件长度、创建时间、数据分布信息等。
29.实施例1
30.根据本技术实施例，还提供了一种数据处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
31.本技术实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现数据处理方法的计算机终端的硬件结构框图。如图1所示，计算机终端10可以包括一个或多个(图中采用102a、102b，
……
，102n来示出)处理器(处理器可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为bus总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
32.应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10中的其他元件中的任意一个内。如本技术实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
33.存储器104可用于存储应用软件的软件程序以及模块，如本技术实施例中的数据处理方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
34.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
35.显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与计算机终端10的用户界面进行交互。
36.另外，需要说明的是，一种处理器可作为本实施例中的数据处理方法的执行主体。
37.在上述运行环境下，本技术提供了如图3所示的数据处理方法。图3是根据本技术实施例1的数据处理方法的流程图。如图3所示：
38.步骤s301，接收到对待处理数据进行处理的请求信息。
39.可选的，在步骤s301中，数据处理方法应用于分布式系统，其中，分布式系统包括至少一种类型的元数据管理节点。其中，元数据管理节点可以是一种离散的元数据管理节点，并且每个元数据管理节点的类型均不相同。例如，元数据管理节点的类型可以是第一元数据管理节点以及第二元数据管理节点。另外，处理器可将第一元数据管理节点命名为name node，用于管理描述目录树的元数据，例如，获取数据块分布、获取或修改数据块长度以及标记数据块状态等。处理器还可将第二元数据管理节点命名为meta node，用于管理描述文件属性的元数据，例如，对文件或目录的创建、删除、移动、查询以及更新等操作。
40.可选的，待处理数据可以是多种类型的数据，例如，文件名称或者文件目录等描述目录树的元数据、文件创建时间以及文件的长度等描述文件属性的元数据。另外，请求信息中至少包括了对待处理数据所对应的文件进行操作的操作类型、操作时间以及操作对象等信息。
41.需要注意到的是，通过在对待处理数据执行运行处理之前，接收到对待处理数据进行处理的请求信息，从而处理器可对请求信息进行分析，并确定待处理数据的操作类型等信息，从而根据请求信息对待处理数据进行分类，进而实现了提高对待处理数据的管理效率的效果，并且为通过不同的元数据管理节点管理不同的待处理数据提供了数据基础。
42.步骤s302，根据请求信息从多个元数据管理节点中确定目标节点。
43.可选的，在步骤s302中，不同节点类型的元数据管理节点处理不同类型的数据。其中，分布式系统中可以有多个元数据管理节点，并且多个元数据管理节点的节点类型也可以不同。例如，一个分布式系统中存在3个元数据管理节点，分别为元数据管理节点a、元数据管理节点b以及元数据管理节点c，其中，元数据管理节点a以及元数据管理节点b的节点类型为第一元数据管理节点，元数据管理节点c的节点类型为第二元数据管理节点。需要说明的是，作为第一元数据管理节点的元数据管理节点a以及元数据管理节点b处理的是描述待处理数据所对应的文件的目录树的元数据，而作为第二元数据管理节点的元数据管理节点c处理的是描述待处理数据所对应的文件的文件属性的元数据。
44.进一步地，请求信息中至少包含有确定目标节点的信息。例如，对待处理数据所对应的文件进行操作的操作类型的标识信息。当处理器接收到请求信息之后，处理器将对请求信息进行解析，获取到对应的操作类型的标识信息，并基于标识信息，确定对应的元数据管理节点，即目标节点。
45.需要注意到的是，根据请求信息从多个元数据管理节点中确定目标节点，实现了将待处理数据根据不同的节点类型进行分类，从而处理器可根据节点类型将分类后的待处理数据分配至对应的元数据管理节点，进而实现了提高数据管理效率、降低元数据管理节点的内存消耗的效果，避免了待处理数据全部由一个元数据管理节点进行管理的问题。
46.步骤s303，基于目标节点对待处理数据执行运行处理，得到处理结果。
47.可选的，在步骤s303中，处理器可基于目标节点对待处理数据执行对应的运行处理。例如，在目标节点是第一元数据管理节点时，处理器可对待处理数据所对应的文件的目录树的元数据进行创建、删除、移动以及查询等处理。在目标节点是第二元数据管理节点时，处理器可对待处理数据所对应的文件的文件属性的元数据进行修改以及标记等处理。
48.需要注意到的，由于不同节点类型的元数据管理节点处理不同类型的数据，因此，确定目标节点的过程中即实现了将元数据节点进行了分布式化，即将原来需要一个元数据管理节点处理的多种数据分布给多个元数据管理节点进行处理，从而也将一个元数据管理节点所对应的内存消耗以及性能消耗分摊给多个元数据管理节点进行应对，在此基础上，分布式系统在增加存储节点时，便可不再受限于元数据管理节点内存以及性能瓶颈的制约，进而解决了现有技术中，由于分布式系统中的元数据管理节点需要对多种数据进行处理，所导致的分布式系统的扩展性能差的问题。
49.基于步骤s301至步骤s303的内容，在本技术实施例中，采用根据请求信息从多个元数据管理节点中确定待处理数据对应的目标节点的方式，在接收到对待处理数据进行处理的请求信息之后，根据请求信息从多个元数据管理节点中确定目标节点，从而基于目标节点对待处理数据执行运行处理，得到处理结果。其中，不同节点类型的元数据管理节点处理不同类型的数据。
50.在上述过程中，在对待处理数据执行运行处理之前，通过分析对待处理数据进行处理的请求信息，从而可从多个元数据管理节点中确定待处理数据对应的目标节点，由于不同节点类型的元数据管理节点处理不同类型的数据，因此，确定目标节点的过程中即实现了将元数据节点进行了分布式化，即将原来需要一个元数据管理节点处理的多种数据分布给多个元数据管理节点进行处理，从而也将一个元数据管理节点所对应的内存消耗以及性能消耗分摊给多个元数据管理节点进行应对，在此基础上，分布式系统在增加存储节点
时，便可不再受限于元数据管理节点内存以及性能瓶颈的制约，进而解决了现有技术中，由于分布式系统中的元数据管理节点需要对多种数据进行处理，所导致的分布式系统的扩展性能差的问题，实现了提升分布式系统存储能力的效果。
51.由此可见，本技术实施例的技术方案达到了避免分布式系统在增加存储节点时，受限于元数据管理节点内存以及性能瓶颈的制约的目的，从而实现了提升分布式系统存储能力的效果，进而解决了现有技术中，由于分布式系统中的元数据管理节点需要对多种数据进行处理，所导致的分布式系统的扩展性能差的问题。
52.在一种可选的实施例中，在根据请求信息从多个元数据管理节点中确定目标节点之前，处理器从请求信息中确定对待处理数据所对应的文件进行操作的操作类型，并根据操作类型确定请求信息对应的请求类型。
53.可选的，处理器可通过识别用户的操作，确定用户是对待处理数据所对应的文件的目录树的元数据进行了操作还是对从待处理数据所对应的文件的文件属性的元数据进行了操作。例如，一个用户在分布式系统中建立一个文件名为a文件的文件，属于对文件的目录树的元数据进行操作。其中，请求信息中包含a文件的操作类型，从而处理器在接收到该请求信息之后，可识别到关于a文件的操作类型。同时基于a文件的操作类型，处理器可从多个元数据管理节点中确定一个第一元数据类型的元数据管理节点作为目标节点。
54.在上述过程中，根据操作类型确定请求信息对应的请求类型，实现了在待处理数据发生变化时，处理器自动识别请求信息对应的请求类型的效果。
55.在一种可选的实施例中，处理器在检测到请求信息为第一请求信息时，从多个元数据管理节点中确定第一元数据管理节点为目标节点，其中，第一元数据管理节点用于对描述文件的目录树的元数据进行管理。
56.可选的，第一请求信息对应的是关于描述文件的目录树的元数据的请求信息。例如，用户对某一个文件的目录、名字或者父子关系进行了修改、删除、更新等操作时，分布式系统会对应生成关于该文件的第一请求信息，并发送至处理器。当处理器接收到该第一请求信息时，会从分布式系统中的多个元数据管理节点中确定节点类型为第一元数据管理节点的元数据管理节点作为对应的目标节点。其中，第一元数据管理节点是分布式系统中的一类元数据管理节点，数量可以有多个，并且，第一元数据管理节点用于对描述文件的目录树的元数据进行管理。
57.在上述过程中，通过检测请求信息，达到了将描述文件的目录树的元数据，分配到第一元数据管理节点进行管理的目的，有利于提高数据管理效率，并降低元数据管理节点的内存消耗。
58.在一种可选的实施例中，处理器获取第一管理空间与至少一组元数据管理节点之间的第一对应关系，并根据第一对应关系从目标节点所对应的第一管理空间中确定第一目标管理空间，从而控制目标节点对第一目标管理空间中的待处理数据进行处理，得到处理结果
59.可选的，在将描述文件的目录树的元数据交由第一元数据管理节点的基础上，多个第一元数据管理可以分为多个小组。例如，在分布式系统中一共有10个第一元数据管理节点，可分别用序号1至10表示，其中，序号1至3的3个第一元数据管理节点是第一组，序号4-10的7个第一元数据管理节点是第二组。此外，每一组第一元数据管理节点都有对应的管
理空间，即第一管理空间。
60.进一步地，分布式系统的管理员可以预先设置第一管理空间与至少一组元数据管理节点之间的第一对应关系。例如，分布式系统中包含有第一管理空间01以及第一管理空间02，其中，第一管理空间01用于对应上述第一组的第一元数据管理节点，第一管理空间02用于对应上述第二组的第一元数据管理节点。当目标节点为第一元数据管理节点时，处理器根据第一对应关系，从第一管理空间中确定第一目标管理空间。例如，处理器发现第一管理空间02当前的内存资源处于空闲状态，因此将第一管理空间02作为第一目标管理空间，并控制目标节点对待处理数据进行处理。需要说明的是，第一目标管理空间可以是多个第一管理空间，例如，当待处理数据过大时，处理器可以将待处理数据同时分配给第一管理空间01以及第一管理空间02进行存储。
61.在上述过程中，通过将描述文件的目录树的元数据分配到多个元数据管理节点对应的管理空间之中进行存储管理，避免了待处理数据全部由一个元数据管理节点进行管理的问题，实现了降低元数据管理节点的内存消耗的效果，
62.在一种可选的实施例中，处理器在检测到请求信息为第二请求信息时，从多个元数据管理节点中确定第二元数据管理节点为目标节点，其中，第二元数据管理节点用于对描述文件的文件属性的元数据进行管理。
63.可选的，第二请求信息对应的是关于描述文件的文件属性的元数据的请求信息。例如，用户对某一个文件的文件长度或者数据分布信息进行了修改等操作时，分布式系统会对应生成关于该文件的第二请求信息，并发送至处理器。当处理器接收到该第二请求信息时，会从分布式系统中的多个元数据管理节点中确定节点类型为第二元数据管理节点的元数据管理节点作为对应的目标节点。其中，第二元数据管理节点是分布式系统中的一类元数据管理节点，数量可以有多个，并且，第二元数据管理节点用于对描述文件的文件属性的元数据进行管理。
64.在上述过程中，通过检测请求信息，达到了将描述文件属性的元数据，分配到第二元数据管理节点进行管理的目的，有利于提高数据管理效率，并降低元数据管理节点的内存消耗。
65.在一种可选的实施例中，处理器基于预设随机数确定第二管理空间与至少一组元数据管理节点之间的第二对应关系，并根据第二对应关系从目标节点所对应的第二管理空间中确定第二目标管理空间，从而控制目标节点对第二目标管理空间中的待处理数据进行处理，得到处理结果。
66.可选的，在将描述文件的文件属性的元数据交由第二元数据管理节点的基础上，处理器可将多个第二元数据管理节点划分为多个小组，此外，每一组第二元数据管理节点都有对应的管理空间，即第二管理空间。
67.进一步地，处理器可以基于预设随机数确定第二管理空间与至少一组元数据管理节点之间的第二对应关系。例如，分布式系统中包含有第二管理空间01以及第二管理空间02，当目标节点为第二元数据管理节点时，处理器会随机地将待处理数据分配至第二管理空间01或第二管理空间02进行存储，在随机情况下，每一次待处理数据需要存储至第二管理空间时，分配到任何一组第二元数据管理节点的概率也是随机的，即第二目标管理空间也是随机确定的。
68.需要注意到的是，图2是一种现有技术中的数据处理方法流程图。在图2中，管理节点为管理节点1、管理节点2以及管理节点3，存储节点为存储节点1、存储节点2以及存储节点3。其中，多组元数据管理节点对应的管理空间直接相互独立，每组元数据管理节点各自分工管理自己对应的管理空间，例如，图2中的管理空间1、管理空间2以及管理空间3。另外，各个管理空间之间不会进行互相协调，因此每个元数据管理节点对应的管理空间之间时互相独立的。
69.此外，在图2中，属于同一个管理空间内的数据会组成一个数据池，例如，图2中的数据池1、数据池2以及数据池3。因此，每组元数据管理节点都各自维护一个对应的管理空间和数据池，分别用于处理描述目录树的元数据以及描述文件属性的元数据。但是，由于在图2中，每组元数据管理节点之间都是相互独立的，因此，图2中的数据处理方法仍未解决单点的故障问题，每组元数据管理节点仍是一个单点。而且，分布式系统的性能和扩展性受限于元数据管理节点的处理能力以及元数据管理节点的数量。更为重要的是，分布式系统的均衡性取决于各组元数据管理节点对应的管理空间的压力的均衡性，如果某组元数据管理节点对应的管理空间压力较大，则分布式系统仍然容易达到性能瓶颈。
70.而在本实施例中技术方案中，由于描述文件的文件属性的元数据是按第二管理空间随机分配处理的，因此，每一个第二元数据管理节点的均衡性可以得到保障，与用户访问第一管理区域的均衡性无关，从而避免了由于某组元数据管理节点对应的管理空间压力较大，导致分布式系统容易达到性能瓶颈的问题，进而实现了提升分布式系统的均衡性以及扩展性的效果。
71.在一种可选的实施例中，处理器检测目标节点是否处于异常状态，并在检测到目标节点处于异常状态时，从至少一个代理节点中确定目标代理节点，其中，至少一个代理节点为与目标节点属于同一种类型的元数据管理节点，从而基于目标代理节点对待处理数据进行处理，得到处理结果
72.可选的，如图4所示，处理器通过根目录服务程序rootserver可对目标节点的状态进行检测，当目标节点出现进程堵塞或者逻辑错误等异常时，处理器可在第一时间发现，并从至少一个代理节点中确定目标代理节点，例如，当目标节点为第一元数据管理节点a时，如果第一元数据管理节点a出现逻辑报错，处理器会将待处理数据改为由第一元数据管理节点b或者第一元数据管理节点c进行处理。需要说明的是，至少一个代理节点为与目标节点是属于同一种类型的元数据管理节点。
73.进一步地，如图4所示，根目录服务程序rootserver可对第一元数据管理节点以及第二元数据管理节点进行检测，即对应检测描述目标数的元数据以及描述文件属性的元数据的处理过程。
74.在上述过程中，通过在目标节点处于异常状态时，处理器进行主动运维，实现了提高分布式系统的稳定性以及高可用性的效果。
75.在一种可选的实施例中，处理器在检测到目标节点所对应的进程发生阻塞时，确定目标节点处于异常状态；和/或，在检测到目标节点所对应的运行程序发生逻辑异常时，确定目标节点处于异常状态。
76.可选的，处理器判定目标节点异常时，可以判断目标节点所对应的进程是否发生阻塞，例如，当目标节点所要处理的数据量过大，或者，数据网络传输出现异常，导致进程缓
慢无法进行时，处理器确定当前的目标节点处于异常状态。另外，如果处理器检测到目标节点对应的运行程序发生逻辑异常，例如，无法正确执行数据的更新时，处理器确定当前的目标节点处于异常状态。
77.在一种可选的实施例中，处理器获取至少一个代理节点的节点状态信息，其中，节点状态信息表征了至少一个代理节点占用系统资源的状态信息，并根据节点状态信息从至少一个代理节点中确定目标代理节点，其中，目标代理节点的节点状态信息满足预设条件。
78.可选的，处理器在选择至少一个代理节点时，可根据节点状态信息进行确定，例如，当前可作为代理节点的元数据管理节点一共有10个，但是，其中有5个元数据管理节点的内存占用率达到70％，有4个元数据管理节点的内存占用率达到50％，有1个元数据管理节点的内存占用率达到30％，另外，预设条件为可作为目标代理节点的元数据管理节点的内存占用率要小于45％，因此，处理器可确定内存占用率达到30％的元数据数据管理节点作为目标代理节点。
79.通过上述过程，避免了在选择代理节点时，导致分布式系统出现不均衡的问题。
80.在一种可选的实施例中，处理器在基于目标节点对待处理数据执行运行处理，得到处理结果之后，基于处理结果对存储在云节点中的待处理数据进行更新操作。
81.可选的，如图4所示，处理器可根据对待处理数据执行运行处理之后的得到的处理结果，对存储在云节点中的待处理数据进行更新操作，例如，当用户将分布式系统中文件名为“a文件”的文件进行名称修改，最终修改后的文件名为“b文件”，当处理器基于目标节点对该文件的名称进行修改之后，可对该文件在云节点中所对应的待处理数据进行增量更新，即只是对应的将文件名称由“a文件”修改为“b文件”，而无需将整个文件进行替换。
82.需要说明的是，上述过程是一个持久化实时更新的过程，采用云节点存储数据解决了元数据管理节点对本地存储空间性能的依赖，即降低了对本地存储设备的要求，提高了分布式系统扩展性。
83.由上述内容可知，在对待处理数据执行运行处理之前，通过分析对待处理数据进行处理的请求信息，从而可从多个元数据管理节点中确定待处理数据对应的目标节点，由于不同节点类型的元数据管理节点处理不同类型的数据，因此，确定目标节点的过程中即实现了将元数据节点进行了分布式化，即将原来需要一个元数据管理节点处理的多种数据分布给多个元数据管理节点进行处理，从而也将一个元数据管理节点所对应的内存消耗以及性能消耗分摊给多个元数据管理节点进行应对，在此基础上，分布式系统在增加存储节点时，便可不再受限于元数据管理节点内存以及性能瓶颈的制约，进而解决了现有技术中，由于分布式系统中的元数据管理节点需要对多种数据进行处理，所导致的分布式系统的扩展性能差的问题，实现了提升分布式系统存储能力的效果。
84.由此可见，本技术实施例的技术方案达到了避免分布式系统在增加存储节点时，受限于元数据管理节点内存以及性能瓶颈的制约的目的，从而实现了提升分布式系统存储能力的效果，进而解决了现有技术中，由于分布式系统中的元数据管理节点需要对多种数据进行处理，所导致的分布式系统的扩展性能差的问题。
85.实施例2
86.根据本技术实施例，还提供了一种数据处理方法实施例，其中图5是根据本技术实施例2的数据处理方法的流程图。如图5所示：
87.步骤s501，读取客户端发送的对待处理数据进行处理的请求信息。
88.可选的，在步骤s501中，数据处理方法应用于分布式系统，其中，分布式系统包括至少一种类型的元数据管理节点。其中，元数据管理节点可以是一种离散的元数据管理节点，并且每个元数据管理节点的类型均不相同。例如，元数据管理节点的类型可以是第一元数据管理节点以及第二元数据管理节点。另外，处理器可将第一元数据管理节点命名为name node，用于管理描述目录树的元数据，例如，获取数据块分布、获取或修改数据块长度以及标记数据块状态等。处理器还可将第二元数据管理节点命名为meta node，用于管理描述文件属性的元数据，例如，对文件或目录的创建、删除、移动、查询以及更新等操作。
89.进一步地，待处理数据可以是多种类型的数据，例如，文件名称或者文件目录等描述目录树的元数据，或者，文件创建时间以及文件的长度等描述文件属性的元数据。另外，请求信息中至少包括了对待处理数据所对应的文件进行操作的操作类型、操作时间以及操作对象等信息。
90.需要注意到的是，通过在对待处理数据执行运行处理之前，读取对待处理数据进行处理的请求信息，从而可对请求信息进行分析，实现确定待处理数据的操作类型等信息，进而可对待处理数据根据请求信息进行分类，有利于提高对待处理数据的管理效率，以及为通过不同的元数据管理节点管理不同的待处理数据提供了数据基础。
91.步骤s502，显示对待处理数据进行处理的目标节点。
92.可选的，在步骤s502中，目标节点的节点类型是由请求信息所确定的，不同节点类型的元数据管理节点处理不同类型的数据。其中，分布式系统中可以有多个元数据管理节点，并且多个元数据管理节点的节点类型也可以不同，例如，一个分布式系统中存在3个元数据管理节点，分别为元数据管理节点a、元数据管理节点b以及元数据管理节点c，其中，元数据管理节点a以及元数据管理节点b的节点类型为第一元数据管理节点，元数据管理节点c的节点类型为第二元数据管理节点，需要说明的是，作为第一元数据管理节点的元数据管理节点a以及元数据管理节点b处理的是描述待处理数据所对应的文件的目录树的元数据，而作为第二元数据管理节点的元数据管理节点c处理的是描述待处理数据所对应的文件的文件属性的元数据。
93.进一步地，请求信息中至少包含有确定目标节点的信息，例如，对待处理数据所对应的文件进行操作的操作类型的标识信息，当处理器接收到请求信息之后，将对请求信息进行解析，获取到对应的操作类型的标识信息，并基于标识信息，确定并在显示设备上显示对应的元数据管理节点，即目标节点。分布式系统的管理人员可以通过显示设备上显示的目标节点，确认处理器选择的目标节点是否正确，方便掌握各个元数据管理节点的状态。
94.需要注意到的是，在显示对待处理数据进行处理的目标节点的过程中，处理器根据请求信息从多个元数据管理节点中确定目标节点，实现了将待处理数据根据不同类型进行分类，从而将分类后的待处理处理根据类型选择对应的元数据管理节点，有利于提高数据管理效率，并降低元数据管理节点的内存消耗，避免了待处理数据全部由一个元数据管理节点进行管理的问题。
95.步骤s503，显示目标节点对待处理数据执行运行处理的处理结果。
96.可选的，在步骤s503中，处理器可基于目标节点对待处理数据执行对应的运行处理，例如，如果目标节点是第一元数据管理节点时，处理器可对待处理数据所对应的文件的
目录树的元数据进行创建、删除、移动以及查询等处理，如果目标节点是第二元数据管理节点时，处理器可对待处理数据所对应的文件的文件属性的元数据进行修改以及标记等处理。
97.进一步地，在得到处理结果之后，处理器可控制连接的显示设备将处理结果进行显示，从而使得分布式系统的管理人员可以直观的观察到处理结果。
98.需要注意到的，由于不同节点类型的元数据管理节点处理不同类型的数据，因此，确定目标节点的过程中即实现了将元数据节点进行了分布式化，即将原来需要一个元数据管理节点处理的多种数据分布给多个元数据管理节点进行处理，从而也将一个元数据管理节点所对应的内存消耗以及性能消耗分摊给多个元数据管理节点进行应对，在此基础上，分布式系统在增加存储节点时，便可不再受限于元数据管理节点内存以及性能瓶颈的制约，进而解决了现有技术中，由于分布式系统中的元数据管理节点需要对多种数据进行处理，所导致的分布式系统的扩展性能差的问题。
99.基于步骤s501至步骤s503的内容，在本技术实施例中，采用根据请求信息从多个元数据管理节点中确定待处理数据对应的目标节点的方式，通过读取客户端发送的对待处理数据进行处理的请求信息，并显示对待处理数据进行处理的目标节点，从而显示目标节点对待处理数据执行运行处理的处理结果。其中，目标节点的节点类型是由请求信息所确定的，不同节点类型的元数据管理节点处理不同类型的数据。
100.在上述过程中，在对待处理数据执行运行处理之前，通过分析对待处理数据进行处理的请求信息，从而可从多个元数据管理节点中确定待处理数据对应的目标节点，由于不同节点类型的元数据管理节点处理不同类型的数据，因此，确定目标节点的过程中即实现了将元数据节点进行了分布式化，即将原来需要一个元数据管理节点处理的多种数据分布给多个元数据管理节点进行处理，从而也将一个元数据管理节点所对应的内存消耗以及性能消耗分摊给多个元数据管理节点进行应对，在此基础上，分布式系统在增加存储节点时，便可不再受限于元数据管理节点内存以及性能瓶颈的制约，进而解决了现有技术中，由于分布式系统中的元数据管理节点需要对多种数据进行处理，所导致的分布式系统的扩展性能差的问题，实现了提升分布式系统存储能力的效果。
101.由此可见，本技术实施例的技术方案达到了避免分布式系统在增加存储节点时，受限于元数据管理节点内存以及性能瓶颈的制约的目的，从而实现了提升分布式系统存储能力的效果，进而解决了现有技术中，由于分布式系统中的元数据管理节点需要对多种数据进行处理，所导致的分布式系统的扩展性能差的问题。
102.实施例3
103.根据本发明实施例的另一方面，还提供了一种数据处理系统，应用于分布式系统，分布式系统包括至少一种类型的元数据管理节点，数据处理系统包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：接收到对待处理数据进行处理的请求信息，并根据请求信息从多个元数据管理节点中确定目标节点，其中，不同节点类型的元数据管理节点处理不同类型的数据，从而基于目标节点对待处理数据执行运行处理，得到处理结果。
104.在本技术实施例中，采用根据请求信息从多个元数据管理节点中确定待处理数据对应的目标节点的方式，通过接收对待处理数据进行处理的请求信息，并根据请求信息从
多个元数据管理节点中确定目标节点，从而基于目标节点对待处理数据执行运行处理，得到处理结果。其中，不同节点类型的元数据管理节点处理不同类型的数据。
105.在上述过程中，在对待处理数据执行运行处理之前，通过分析对待处理数据进行处理的请求信息，从而可从多个元数据管理节点中确定待处理数据对应的目标节点，由于不同节点类型的元数据管理节点处理不同类型的数据，因此，确定目标节点的过程中即实现了将元数据节点进行了分布式化，即将原来需要一个元数据管理节点处理的多种数据分布给多个元数据管理节点进行处理，从而也将一个元数据管理节点所对应的内存消耗以及性能消耗分摊给多个元数据管理节点进行应对，在此基础上，分布式系统在增加存储节点时，便可不再受限于元数据管理节点内存以及性能瓶颈的制约，进而解决了现有技术中，由于分布式系统中的元数据管理节点需要对多种数据进行处理，所导致的分布式系统的扩展性能差的问题，实现了提升分布式系统存储能力的效果。
106.由此可见，本技术实施例的技术方案达到了避免分布式系统在增加存储节点时，受限于元数据管理节点内存以及性能瓶颈的制约的目的，从而实现了提升分布式系统存储能力的效果，进而解决了现有技术中，由于分布式系统中的元数据管理节点需要对多种数据进行处理，所导致的分布式系统的扩展性能差的问题。
107.实施例4
108.根据本发明实施例，还提供了一种数据处理装置实施例，应用于分布式系统，分布式系统包括至少一种类型的元数据管理节点。其中，图6是根据本技术实施例4的数据处理装置的示意图，如图6所示，该装置包括：接收模块601、确定模块602以及处理模块603。
109.其中，接收模块601，用于接收到对待处理数据进行处理的请求信息；确定模块602，用于根据请求信息从多个元数据管理节点中确定目标节点，其中，不同节点类型的元数据管理节点处理不同类型的数据；处理模块603，用于基于目标节点对待处理数据执行运行处理，得到处理结果。
110.需要说明的是，上述接收模块601、确定模块602以及处理模块603对应于上述实施例中的步骤s301至步骤s303，三个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。
111.可选的，数据处理装置还包括：第一确定模块以及第二确定模块。其中，第一确定模块，用于从请求信息中确定对待处理数据所对应的文件进行操作的操作类型；第二确定模块，用于根据操作类型确定请求信息对应的请求类型。
112.可选的，上述确定模块，包括：第三确定模块，用于在检测到请求信息为第一请求信息时，从多个元数据管理节点中确定第一元数据管理节点为目标节点，其中，第一元数据管理节点用于对描述文件的目录树的元数据进行管理。
113.可选的，上述处理模块，包括：获取模块、第四确定模块以及控制模块。其中，获取模块，用于获取第一管理空间与至少一组元数据管理节点之间的第一对应关系；第四确定模块，用于根据第一对应关系从目标节点所对应的第一管理空间中确定第一目标管理空间；控制模块，用于控制目标节点对第一目标管理空间中的待处理数据进行处理，得到处理结果。
114.可选的，上述确定模块，包括：第五确定模块，用于在检测到请求信息为第二请求信息时，从多个元数据管理节点中确定第二元数据管理节点为目标节点，其中，第二元数据
管理节点用于对描述文件的文件属性的元数据进行管理。
115.可选的，上述处理模块，包括：第六确定模块、第七确定模块以及第一控制模块。其中，第六确定模块，用于基于预设随机数确定第二管理空间与至少一组元数据管理节点之间的第二对应关系；第七确定模块，用于根据第二对应关系从目标节点所对应的第二管理空间中确定第二目标管理空间；第一控制模块，用于控制目标节点对第二目标管理空间中的待处理数据进行处理，得到处理结果。
116.可选的，上述处理模块，包括：检测模块、第八确定模块以及第一处理模块。其中，检测模块，用于检测目标节点是否处于异常状态；第八确定模块，用于在检测到目标节点处于异常状态时，从至少一个代理节点中确定目标代理节点，其中，至少一个代理节点为与目标节点属于同一种类型的元数据管理节点；第一处理模块，用于基于目标代理节点对待处理数据进行处理，得到处理结果。
117.可选的，上述检测模块，包括：第九确定模块，用于在检测到目标节点所对应的进程发生阻塞时，确定目标节点处于异常状态；和/或，在检测到目标节点所对应的运行程序发生逻辑异常时，确定目标节点处于异常状态。
118.可选的，上述第八确定模块，包括：第一获取模块以及第十确定模块。其中，第一获取模块，用于获取至少一个代理节点的节点状态信息，其中，节点状态信息表征了至少一个代理节点占用系统资源的状态信息；第十确定模块，用于根据节点状态信息从至少一个代理节点中确定目标代理节点，其中，目标代理节点的节点状态信息满足预设条件。
119.可选的，数据处理装置还包括：更新模块，用于基于处理结果对存储在云节点中的待处理数据进行更新操作。
120.实施例5
121.本技术的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例一所提供的数据处理方法所执行的程序代码。
122.可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
123.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：接收到对待处理数据进行处理的请求信息；根据所述请求信息从多个元数据管理节点中确定目标节点，其中，不同节点类型的元数据管理节点处理不同类型的数据；基于所述目标节点对所述待处理数据执行运行处理，得到处理结果
124.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：在根据请求信息从多个元数据管理节点中确定目标节点之前，从请求信息中确定对待处理数据所对应的文件进行操作的操作类型；根据操作类型确定请求信息对应的请求类型。
125.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：在检测到请求信息为第一请求信息时，从多个元数据管理节点中确定第一元数据管理节点为目标节点，其中，第一元数据管理节点用于对描述文件的目录树的元数据进行管理。
126.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取第一管理空间与至少一组元数据管理节点之间的第一对应关系；根据第一对应关系从目标节点所对应的第一管理空间中确定第一目标管理空间；控制目标节点对第一目标管理空间中的待处理数据进行处理，得到处理结果。
127.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：在检测到请求信息为第二请求信息时，从多个元数据管理节点中确定第二元数据管理节点为目标节点，其中，第二元数据管理节点用于对描述文件的文件属性的元数据进行管理。
128.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：基于预设随机数确定第二管理空间与至少一组元数据管理节点之间的第二对应关系；根据第二对应关系从目标节点所对应的第二管理空间中确定第二目标管理空间；控制目标节点对第二目标管理空间中的待处理数据进行处理，得到处理结果。
129.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：检测目标节点是否处于异常状态；在检测到目标节点处于异常状态时，从至少一个代理节点中确定目标代理节点，其中，至少一个代理节点为与目标节点属于同一种类型的元数据管理节点；基于目标代理节点对待处理数据进行处理，得到处理结果。
130.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：在检测到目标节点所对应的进程发生阻塞时，确定目标节点处于异常状态；和/或，在检测到目标节点所对应的运行程序发生逻辑异常时，确定目标节点处于异常状态。
131.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取至少一个代理节点的节点状态信息，其中，节点状态信息表征了至少一个代理节点占用系统资源的状态信息；根据节点状态信息从至少一个代理节点中确定目标代理节点，其中，目标代理节点的节点状态信息满足预设条件。
132.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：在基于目标节点对待处理数据执行运行处理，得到处理结果之后，基于处理结果对存储在云节点中的待处理数据进行更新操作。
133.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：读取客户端发送的对待处理数据进行处理的请求信息；显示对待处理数据进行处理的目标节点，其中，目标节点的节点类型是由请求信息所确定的，不同节点类型的元数据管理节点处理不同类型的数据；显示目标节点对待处理数据执行运行处理的处理结果。
134.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
135.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的数据处理方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例的方法。
136.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
137.在本技术的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
138.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
139.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。