一种数据处理方法及装置、存储介质与流程

1.本发明涉及大数据处理领域，尤其涉及一种数据处理方法及装置、存储介质。


背景技术：

2.近年来，随着互联网技术的发展，每天都会产生大量的数据，这些数据分布在不同的数据库中，如何将数据库中的数据导入到其他数据库中成为了大数据处理领域的新的挑战。
3.在现有技术中，当接收到客户端的数据处理指令时，需要根据该数据处理指令对应的待处理数据的数据量申请分配资源，建立一个与该数据量对应的应用程序管理器(application master，am)，然后数据处理装置才能利用am申请分配资源对待处理数据进行处理，由于数据处理装置在建立am的过程中需要消耗时间，如此，增加了数据处理装置对待处理数据进行处理时的时间，降低了数据处理装置对待处理数据进行处理时的处理速度。


技术实现要素：

4.为解决上述技术问题，本发明实施例期望提供一种数据处理方法及装置、存储介质，能够提高数据处理装置对待处理数据进行处理时的处理速度。
5.本发明的技术方案是这样实现的：
6.本技术实施例提供一种数据处理方法，所述方法包括：
7.当接收到客户端的数据处理指令时，对所述数据处理指令对应的待处理数据进行分片处理，得到多个待处理分片数据；
8.从应用程序管理器队列中，确定空闲的应用程序管理器，所述应用程序管理器队列包括多个应用程序管理器；
9.利用所述空闲的应用程序管理器对所述多个待处理分片数据进行处理；
10.当所述空闲的应用程序管理器处理完所述多个待处理分片数据时，释放所述空闲的应用程序管理器至所述应用程序管理器队列中，以利用所述空闲的应用程序管理器对其他数据处理指令对应的数据进行处理。
11.在上述方案中，所述从应用程序管理器队列中，确定空闲的应用程序管理器之前，所述方法还包括：
12.当所述数据处理装置上电后，创建所述多个应用程序管理器；
13.依次将多个应用程序管理器添加至所述应用程序管理器队列。
14.在上述方案中，所述利用所述空闲的应用程序管理器对所述多个待处理分片数据进行处理，包括：
15.依次利用所述空闲的应用程序管理器中的一个应用程序管理器对所述多个待处理分片数据中的一个待处理分片数据进行处理，直至利用所述空闲的应用程序管理器对所述多个待处理分片数据进行处理。
16.在上述方案中，所述利用所述空闲的应用程序管理器对所述多个待处理分片数据进行处理之前，所述方法还包括：
17.确定所述空闲的应用程序管理器的第一数量和所述多个待处理分片数据的第二数量；
18.当所述第一数量与所述第二数量的数量差值满足第一阈值范围时，从所述空闲的应用程序管理器中确定出第二数量的应用程序管理器；
19.利用所述第二数量的应用程序管理器分别对所述多个待处理分片数据进行处理。
20.在上述方案中，所述确定所述空闲的应用程序管理器的第一数量和所述多个待处理分片数据的第二数量之后，所述方法还包括：
21.当所述第一数量与所述第二数量的数量差值满足第二阈值范围时，从所述多个待处理分片数据中确定出第一数量的待处理分片数据，其中，所述第一数量的待处理分片数据为所述多个待处理分片数据中的部分待处理分片数据；
22.利用所述空闲的应用程序管理器分别对所述第一数量的待处理分片数据进行处理；
23.当所述空闲的应用程序管理器处理完所述第一数量的待处理分片数据时，释放所述空闲的应用程序管理器，并利用释放的空闲的应用程序管理器对剩余待处理分片数据进行处理，所述剩余待处理分片数据为所述多个待处理分片数据中除第一数量的待处理分片数据外的待处理分片数据。
24.在上述方案中，所述利用所述空闲的应用程序管理器中的一个应用程序管理器对所述多个待处理分片数据中的一个待处理分片数据进行处理，包括：
25.将所述一个待处理分片数据分成多个数据段；
26.利用读线程池将所述多个数据段读入所述一个应用程序管理器中的第一存储单元和/或第二存储单元，所述第一存储单元为所述一个应用程序管理器中临时存储所述多个数据段的存储单元，所述第二存储单元为所述一个应用程序管理器中临时存储所述多个数据段的存储单元；
27.利用写线程池将所述第一存储单元和/或第二存储单元中的所述多个数据段读入目标装置。
28.在上述方案中，所述利用读线程池将所述多个数据段读入所述一个应用程序管理器中的第一存储单元和/或第二存储单元，包括：
29.当所述第一存储单元存储的数据段的数量满足第一预设阈值范围时，利用读线程池将第一分片数据读入所述第一存储单元，所述第一分片数据为从所述多个数据段中读入所述第一存储单元中的数据；
30.当所述第一存储单元存储的数据段的数量满足第二预设阈值范围时，检测所述第二存储单元存储的数据段的数量；
31.当所述第二存储单元存储的数据段的数量满足第三预设阈值范围时，利用读线程池将第二分片数据读入所述第二存储单元，直至将所述多个数据段读入所述第一存储单元和/或所述第二存储单元中，所述第二分片数据为从所述多个数据段中读入所述第二存储单元中的数据。
32.在上述方案中，所述利用写线程池将所述第一存储单元和/或第二存储单元中的
所述多个数据段读入目标装置，包括：
33.当所述第一存储单元存储的数据段的数量满足所述第二预设阈值范围时，利用写线程池将所述第一分片数据读入目标装置；
34.当所述第一存储单元存储的数据段的数量满足所述第一预设阈值范围时，检测所述第二存储单元存储的数据段的数量；
35.当所述第二存储单元存储的数据段的数量满足所述第二预设阈值范围时，利用写线程池将所述第二分片数据读入目标装置，直至将所述第一存储单元和/或所述第二存储单元中的所述多个数据段读入所述目标装置。
36.在上述方案中，所述利用写线程池将所述第一存储单元和/或第二存储单元中的所述多个数据段读入目标装置之后，所述方法还包括：
37.在第一预设时间段内，获取所述读线程池的第一运行状态信息以及所述写线程池的第二运行状态信息；
38.利用所述备用服务器记录所述第一运行状态信息和所述第二运行状态信息。
39.在上述方案中，所述利用所述空闲的应用程序管理器对所述多个待处理分片数据进行处理之后，所述方法还包括：
40.在第二预设时间段内，获取所述多个待处理分片数据的处理进度信息；
41.向所述客户端反馈所述处理进度信息。
42.本技术实施例提供了一种数据处理装置，所述装置包括：
43.处理单元，用于当接收到客户端的数据处理指令时，对所述数据处理指令对应的待处理数据进行分片处理，得到多个待处理分片数据；利用空闲的应用程序管理器对所述多个待处理分片数据进行处理；
44.确定单元，用于从应用程序管理器队列中，确定所述空闲的应用程序管理器，所述应用程序管理器队列包括多个应用程序管理器；
45.释放单元，用于当所述空闲的应用程序管理器处理完所述多个待处理分片数据时，释放所述空闲的应用程序管理器至所述应用程序管理器队列中，以利用所述空闲的应用程序管理器对其他数据处理指令对应的数据进行处理。
46.本技术实施例提供了一种数据处理装置，所述装置包括：
47.存储器、处理器和通信总线，所述存储器通过所述通信总线与所述处理器进行通信，所述存储器存储所述处理器可执行的数据处理的程序，当所述数据处理程序被执行时，通过所述处理器执行上述所述的数据处理方法。
48.本技术实施例提供了一种存储介质，其上存储有计算机程序，应用于数据处理装置，其特征在于，该计算机程序被处理器执行时实现上述所述的数据处理方法。
49.本发明实施例提供了一种数据处理方法及装置、存储介质，数据处理方法包括：当接收到客户端的数据处理指令时，对数据处理指令对应的待处理数据进行分片处理，得到多个待处理分片数据；从应用程序管理器队列中，确定空闲的应用程序管理器，应用程序管理器队列包括多个应用程序管理器；利用空闲的应用程序管理器对多个待处理分片数据进行处理；当空闲的应用程序管理器处理完多个待处理分片数据时，释放空闲的应用程序管理器至应用程序管理器队列中，以利用空闲的应用程序管理器对其他数据处理指令对应的数据进行处理。采用上述方法实现方案，数据处理装置通过设置应用程序管理器队列，当数
据处理装置接收到客户端的数据处理指令时，数据处理装置就可以利用该应用程序管理队列中的多个应用程序管理器对该数据处理指令对应的待处理数据进行处理，不需要数据处理装置再根据该数据处理指令对应的待处理数据的数据量建立应用程序管理器，减少了数据处理装置对待处理数据进行处理时的处理时间，提高了数据处理装置对待处理数据进行处理时的处理速度。
附图说明
50.图1为本技术实施例提供的一种数据处理方法流程图；
51.图2为本技术实施例提供的一种示例性的数据处理方法流程图；
52.图3为本技术实施例提供的一种示例性的数据处理装置利用空闲的应用程序管理器处理多个待处理分片数据的方法流程图；
53.图4为本技术实施例提供的一种数据处理装置的组成结构示意图一；
54.图5为本技术实施例提供的一种数据处理装置的组成结构示意图二。
具体实施方式
55.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
56.随着互联网技术的发展，每天都会产生大量的数据，这些数据分布在不同的数据库中，如文件系统、关系型数据库和非关系型数据库等等。现有技术中，当需要将两个数据库中的数据进行同步时，是利用大数据处理技术和大数据导入导出工具来对需要同步的数据进行导入导出操作，其中，大数据处理技术如：另一种资源协调者(yet another resource negotiator，yarn)，大数据导入导出工具包括：datax、sqoop、kettle和turbodx等，在众多的数据导入导出工具中，datax和sqoop这两种开源工具被广泛应用。
57.一种新的分布式系统资源管理器(apache hadoop yarn)，是一种通用资源管理系统，可以为上层应用提供统一的资源管理和调度，也可以提高集群的利用率、资源统一管理和实现数据共享等等。这种通用资源管理系统是将作业追踪器(jobtracker)的资源管理功能和作业调度/监控功能分离，是通过创建一个全局的资源管理器(resourcemanager，rm)和若干个针对应用程序的资源分配管理器(applicationmaster，am)来将资源管理功能和作业调度/监控功能分离。其中，应用程序是指传统的并行程序计算(mapreduce)的作业方式。
58.datax是一种开源数据导入导出工具，它运行在单一节点，datax的导入导出功能由读线程和写线程完成，读线程从源端读取数据到内存，写线程从内存中读取数据并写入到目的端，以不落地的方式进行数据的导入导出，由于datax工具只在单节点运行，当接收到客户端的数据处理指令时，只能在单一节点上对数据处理指令对应的数据进行处理，无法对该数据进行分布式数据处理，当在大数据领域对数据量大的数据进行处理时，降低了数据处理的时的速度。
59.开源工具sqoop，主要用于分布式系统(hadoop)组件与关系数据库之间的大数据的导入导出，sqoop可以将接收到的客户端的数据处理指令转换为并行程序计算(mapreduce)的作业方式对数据处理指令对应的数据进行处理。具体的，当对数据处理指令
对应的数据进行处理时，需先申请分配资源启动am，然后在am里申请分配资源，才能对数据进行处理，两次资源的申请和分配占用了不少时间，即，利用sqoop对数据处理指令对应的数据进行处理时处理速度慢。
60.对于现有技术中存在的问题，具体可通过实施例一中的方法进行解决。
61.实施例一
62.本技术实施例提供了一种数据处理方法，图1为本技术实施例提供的一种数据处理方法流程图一，如图1所示，数据处理方法可以包括：
63.s101、当接收到客户端的数据处理指令时，对数据处理指令对应的待处理数据进行分片处理，得到多个待处理分片数据。
64.本技术实施例提供的一种数据处理方法适用于利用数据处理装置对客户端的数据处理指令对应的待处理数据进行处理的场景下。
65.在本技术实施例中，待处理数据为数据处理指令指示数据处理装置处理的数据，该待处理数据可以为数据处理指令中携带的数据，该待处理数据也可以为数据处理装置在接收到该数据处理指令之前接收到的数据，该待处理数据还可以为数据处理装置在接收到该数据处理指令之后接收到的数据，具体的可根据实际情况进行确定，本技术实施例对此不做限定。
66.在本技术实施例中，数据处理装置对待处理数据进行分片处理的方式，可以为数据处理装置该待处理数据与预设的数据长度进行对比，按照该预设的数据长度对该待处理数据进行分片，也可以为数据处理装置按照该待处理数据的数据特征，计算该待处理数据的哈希值，利用该待处理数据的哈希值对该待处理数据进行分片，还可以为数据处理装置按照预设的字节数量对该待处理数据进行分片，具体的可根据实际情况进行确定，本技术实施例对此不做限定。
67.在本技术实施例中，当数据处理装置对待处理数据进行分片后，数据处理装置就可以得到多个待处理分片数据了。
68.s102、从应用程序管理器队列中，确定空闲的应用程序管理器，应用程序管理器队列包括多个应用程序管理器。
69.在本技术实施例中，当数据处理装置接收到数据处理指令时，数据处理装置就从应用程序管理器队列中，确定空闲的应用程序管理器。
70.需要说明的是，应用程序管理器队列包括多个应用程序管理器，空闲的应用程序管理器为应用程序管理器队列中没有处理数据的应用程序管理器。
71.在本技术实施例中，在数据处理装置从应用程序管理器队列中，确定空闲的应用程序管理器之前，当数据处理装置上电后，数据处理装置就创建多个应用程序管理器。
72.需要说明的是，多个应用程序管理器的多个资源空间相同的应用程序管理器，也可以为多个资源空间不同的应用程序管理器，具体的可根据实际情况进行确定，本技术实施例对此不做限定。
73.在本技术实施例中，多个应用程序管理器的数量可以为预设数量，即数据处理装置中设置有预设数量，当数据处理装置上电后，数据处理装置就创建预设数量的应用程序管理器，也可以为当数据处理装置上电后，根据接收到的客户端的应用程序管理器的创建指令，确定出多个应用程序管理器的数量，具体的可根据实际情况进行确定，本技术实施例
对此不做限定。
74.在本技术实施例中，当数据处理装置创建多个应用程序管理器之后，数据处理装置就依次将该多个应用程序管理器添加至应用程序管理器队列。
75.需要说明的是，数据处理装置依次将该多个应用程序管理器添加至应用程序管理器队列的方式，可以为数据处理装置按照该多个应用程序管理器的创建时间顺序，依次将该多个应用程序管理器添加至应用程序管理器队列，也可以为数据处理装置对该多个应用程序管理器进行随机编号，并按照随机编号的顺序依次将多个应用程序管理器添加至应用程序管理器队列，还可以为其他的依次将多个应用程序管理器添加至应用程序管理器队列的方式，具体的可根据实际情况进行确定，本技术实施例对此不做限定。
76.s103、利用空闲的应用程序管理器对多个待处理分片数据进行处理。
77.在本技术实施例中，当数据处理装置从应用程序管理器队列中，确定空闲的应用程序管理器之后，数据处理装置就利用空闲的应用程序管理器对多个待处理分片数据进行处理。
78.在本技术实施例中，数据处理装置利用空闲的应用程序管理器对多个待处理分片数据进行处理的过程，具体为：数据处理装置依次利用空闲的应用程序管理器中的一个应用程序管理器对多个待处理分片数据中的一个待处理分片数据进行处理，直至利用空闲的应用程序管理器对多个待处理分片数据进行处理。
79.在本技术实施例中，数据处理装置依次利用空闲的应用程序管理器中的一个应用程序管理器对多个待处理分片数据中的一个待处理分片数据进行处理之前，数据处理装置会从多个待处理分片数据中，确定出一个待处理分片数据，其中，数据处理装置从多个待处理分片数据中，确定出一个待处理分片数据的方式，可以为数据处理装置从多个待处理分片数据中，随机选择一个待处理分片数据，也可以为数据处理装置按照多个待处理分片数据的数据排列顺序，选择一个待处理分片数据，具体的可根据实际情况进行确定，本技术实施例对此不做限定。
80.在本技术实施例中，数据处理装置从多个待处理分片数据中，确定出一个待处理分片数据之后，数据处理装置就从空闲的应用程序管理器中，确定出一个应用程序管理器。
81.在本技术实施例中，数据处理装置从空闲的应用程序管理器中，确定出一个应用程序管理器的方式，可以为数据处理装置从空闲的应用程序管理器中，随机选择一个应用程序管理器，也可以为数据处理装置按照空闲的应用程序管理器在应用程序管理器队列中的存储顺序，选择一个应用程序管理器，具体的可根据实际情况进行确定，本技术实施例对此不做限定。
82.在本技术实施例中，数据处理装置从空闲的应用程序管理器中，确定出一个应用程序管理器之后，数据处理装置就利用一个应用程序管理器对一个待处理分片数据进行数据处理，直至数据处理装置利用空闲的应用程序管理器中的每一个应用程序管理器分别对多个待处理分片数据中的每一个待处理分片数据进行处理。
83.在本技术实施例中，数据处理装置利用一个应用程序管理器对一个待处理分片数据进行数据处理的方式，可以为数据处理装置通过该一个应用程序管理器将该一个待处理分片数据读入目标设备中。
84.需要说明的是，目标设备可以为客户端的数据处理指令中携带的设备信息，当数
据处理装置接收到客户端的数据处理指令时，数据处理装置就可以根据该数据处理指令中携带的设备信息确定出目标设备，当数据处理装置对该待处理数据处理之后，就可以将该待处理数据传输至目标设备。
85.在本技术实施例中，数据处理装置利用空闲的应用程序管理器中的一个应用程序管理器对多个待处理分片数据中的一个待处理分片数据进行处理的过程，具体包括：数据处理装置将一个待处理分片数据分成多个数据段。
86.需要说明的是，数据处理装置将一个待处理分片数据分成多个数据段的方式，可以为数据处理装置将一个待处理分片数据与预设的数据段长度进行对比，按照预设的数据段长度将一个待处理分片数据分成多个数据段，也可以为数据处理装置按照预设的字节长度，将该一个待处理分片数据分成多个数据段，还可以为其他的数据处理装置将一个待处理分片数据分成多个数据段的方式，具体的可根据实际情况进行确定，本技术实施例对此不做限定。
87.在本技术实施例中，数据处理装置将一个待处理分片数据分成多个数据段之后，数据处理装置就利用读线程池将多个数据段读入一个应用程序管理器中的第一存储单元和/或第二存储单元。
88.需要说明的是，第一存储单元为一个应用程序管理器中临时存储多个数据段的存储单元，第二存储单元为一个应用程序管理器中临时存储多个数据段的存储单元。
89.还需要说明的是，第一存储单元存储容量与第二存储单元存储容量可以相同，第一存储单元存储容量与第二存储单元存储容量也可以不同，如，第一存储单元存储容量大于第二存储单元存储容量，或者第一存储单元存储容量小于第二存储单元存储容量，具体的可根据实际情况进行确定，本技术实施例对此不做限定。
90.在本技术实施例中，数据处理装置利用读线程池将多个数据段读入一个应用程序管理器中的第一存储单元和/或第二存储单元的过程，具体包括：当第一存储单元存储的数据段的数量满足第一预设阈值范围时，利用读线程池将第一分片数据读入第一存储单元。
91.需要说明的是，第一分片数据为从多个数据段中读入第一存储单元中的数据。
92.需要说明的是，第一预设阈值范围可以为第一存储单元存储第一分片数据的最小存储数量范围，示例性地，该第一预设阈值范围可以为小于等于0段的范围，即第一存储单元存储可以存储小于等于0段的多个数据段，该第一预设阈值范围可以为小于等于3段的范围，即第一存储单元存储可以存储小于等于3段的多个数据段，具体的第一预设阈值范围可根据实际情况进行确定，本技术实施例对此不做限定。
93.在本技术实施例中，数据处理装置利用读线程池将第一分片数据读入第一存储单元之后，数据处理单元就检测第一存储单元存储的数据段的数据量，当数据处理装置确定出第一存储单元存储的数据段的数量满足第二预设阈值范围时，数据处理装置就检测第二存储单元存储的数据段的数量。
94.需要说明的是，第二预设阈值范围可以为第一存储单元存储第一分片数据的最大存储数量范围，示例性地，该第二预设阈值范围可以为大于等于8000段的范围，该第二预设阈值范围可以为大于等于5000段的范围，具体的第二预设阈值范围可根据实际情况进行确定，本技术实施例对此不做限定。
95.在本技术实施例中，数据处理装置检测第二存储单元存储的数据段的数量之后，
当数据处理装置确定出第二存储单元存储的数据段的数量满足第三预设阈值范围时，数据处理装置就利用读线程池将第二分片数据读入第二存储单元，直至将多个数据段读入第一存储单元和/或第二存储单元中。
96.需要说明的是，第二分片数据为从多个数据段中读入第二存储单元中的数据。
97.需要说明的是，第三预设阈值范围可以为第二存储单元存储第二分片数据的最小存储数量范围，示例性地，该第三预设阈值范围可以为小于等于2段的范围，即第三存储单元存储可以存储小于等于2段的多个数据段，该第三预设阈值范围可以为小于等于1段的范围，即第三存储单元存储可以存储小于等于1段的多个数据段，具体的第三预设阈值范围可根据实际情况进行确定，本技术实施例对此不做限定。
98.在本技术实施例中，数据处理装置可以利用读线程池将该多个数据段中除该第一分片外的数据段读入第二存储单元，得到第二分片数据。
99.在本技术实施例中，当数据处理装置利用读线程池将多个数据段读入一个应用程序管理器中的第一存储单元和/或第二存储单元之后，数据处理装置就利用写线程池将第一存储单元和/或第二存储单元中的多个数据段读入目标装置。
100.在本技术实施例中，数据处理装置利用写线程池将第一存储单元和/或第二存储单元中的多个数据段读入目标装置的过程，包括当数据处理装置确定出第一存储单元存储的数据段的数量满足第二预设阈值范围时，数据处理装置就利用写线程池将第一分片数据读入目标装置。
101.在本技术实施例中，数据处理装置可以将第一分片数据按照数据段的形式分段读入目标装置。
102.在本技术实施例中，数据处理装置利用写线程池将第一分片数据读入目标装置之后，数据处理装置就检测第一存储单元存储的数据段的数量，当数据处理装置确定出第一存储单元存储的数据段的数量满足第一预设阈值范围时，数据处理装置就检测第二存储单元存储的数据段的数量。
103.在本技术实施例中，当数据处理装置检测第二存储单元存储的数据段的数量之后，数据处理装置确定出第二存储单元存储的数据段的数量满足第二预设阈值范围时，数据处理装置就利用写线程池将第二分片数据读入目标装置，直至将第一存储单元和/或第二存储单元中的多个数据段读入目标装置。
104.在本技术实施例中，当利用写线程池将第一存储单元和/或第二存储单元中的多个数据段读入目标装置之后，数据处理装置在第一预设时间段内，获取读线程池的第一运行状态信息以及写线程池的第二运行状态信息。
105.需要说明的是，第一预设时间段内可以为数据处理装置获取第一运行状态信息和第二运行状态信息的时间间隔，该第一预设时间段可以为2ms，第一预设时间段也可以为0.5ns，第一预设时间段还可以为3ns，具体的第一预设时间段可根据实际情况进行确定，本技术实施例对此不做限定。
106.需要说明的是，第一运行状态信息包括读线程池的读数据速度信息、读线程池读数据的时间长度、读线程池读取的多个数据段的段数以及读线程池读取数据的时间点信息等，第二运行状态信息包括写线程池的读数据速度信息、写线程池读数据的时间长度、写线程池读取的多个数据段的段数以及写线程池读取数据的时间点信息等。
107.在本技术实施例中，当数据处理装置获取读线程池的第一运行状态信息以及写线程池的第二运行状态信息之后，数据处理装置就利用备用服务器记录第一运行状态信息和第二运行状态信息。
108.需要说明的是，备用服务器可以为分布式协调服务器(zookeeper)，还可以为hadoop集群服务器，具体的可根据实际情况进行确定，本技术实施例对此不做限定。
109.可以理解的是，数据处理装置利用备用服务器记录第一运行状态信息和第二运行状态信息，当数据处理装置出现故障，重启该数据处理装置时，还可以通过该备用服务器了解到数据处理装置对待处理数据的处理信息，提高了数据处理装置处理待处理数据时的智能性。
110.在本技术实施例中，数据处理装置利用空闲的应用程序管理器对多个待处理分片数据进行处理之前，数据处理装置会确定空闲的应用程序管理器的第一数量和多个待处理分片数据的第二数量。
111.在本技术实施例中，数据处理装置确定空闲的应用程序管理器的第一数量和多个待处理分片数据的第二数量之后，当数据处理装置确定出第一数量和第二数量的数量差值满足第一阈值范围时，数据处理装置就从空闲的应用程序管理器中确定出第二数量的应用程序管理器。
112.需要说明的是，第一数量为多个待处理分片数据的数量，第二数量为空闲的应用程序管理器的数量。
113.在本技术实施例中，第一阈值范围为第一数量减去第二数量得到的数量差值的范围，该第一阈值范围可以为大于等于0的范围。
114.在本技术实施例中，当数据处理装置从空闲的应用程序管理器中确定出第二数量的应用程序管理器之后，数据处理装置就利用第二数量的应用程序管理器分别对多个待处理分片数据进行处理。
115.在本技术实施例中，数据处理装置利用第二数量的应用程序管理器分别对多个待处理分片数据进行处理的方式，可以为数据处理装置通过该第二数量的应用程序管理器分别将该多个待处理分片数据读入目标设备中。
116.在本技术实施例中，数据处理装置确定出空闲的应用程序管理器的第一数量和多个待处理分片数据的第二数量之后，当数据处理装置确定出第一数量与第二数量的数量差值满足第二阈值范围时，数据处理装置就从多个待处理分片数据中确定出第一数量的待处理分片数据。
117.需要说明的是，第一数量的待处理分片数据为多个待处理分片数据中的部分待处理分片数据。
118.在本技术实施例中，第二阈值范围为第一数量减去第二数量得到的数量差值的范围，该第二阈值范围可以为小于0的范围。
119.在本技术实施例中，当数据处理装置从多个待处理分片数据中确定出第一数量的待处理分片数据之后，数据处理装置就利用空闲的应用程序管理器分别对第一数量的待处理分片数据进行处理。
120.在本技术实施例中，数据处理装置利用空闲的应用程序管理器分别对第一数量的待处理分片数据进行处理的方式，可以为数据处理装置通过该空闲的应用程序管理器分别
将该第一数量的待处理分片数据读入目标设备中。
121.在本技术实施例中，当利用空闲的应用程序管理器分别对第一数量的待处理分片数据进行处理之后，数据处理装置就在预设时间段内，获取该空闲的应用程序管理器对该第一数量的待处理分片数据处理的进度信息，当数据处理装置确定出空闲的应用程序管理器处理完第一数量的待处理分片数据时，数据处理装置就释放空闲的应用程序管理器，并利用释放的空闲的应用程序管理器对剩余待处理分片数据进行处理。
122.需要说明的是，预设时间段可以为数据处理装置获取第一数量的待处理分片数据处理的进度信息的时间间隔，该预设时间段可以为2ms，预设时间段也可以为0.5ns，预设时间段还可以为3ns，具体的预设时间段可根据实际情况进行确定，本技术实施例对此不做限定。
123.需要说明的是，剩余待处理分片数据为多个待处理分片数据中除第一数量的待处理分片数据外的待处理分片数据。
124.在本技术实施例中，数据处理装置利用释放的空闲的应用程序管理器对剩余待处理分片数据进行处理的方式，可以为数据处理装置通过该释放的空闲的应用程序管理器分别将该剩余待处理分片数据读入目标设备中。
125.在本技术实施例中，当数据处理装置利用空闲的应用程序管理器对多个待处理分片数据进行处理之后，数据处理装置就在第二预设时间段内，获取多个待处理分片数据的处理进度信息。
126.需要说明的是，处理进度信息包括剩余处理时间、剩余数据量或者剩余数据量与多个待处理分片数据的总数据量的比值等，具体的处理进度信息可根据实际情况进行确定，本技术实施例对此不做限定。
127.在本技术实施例中，数据处理装置可通过第一运行状态信息和第二运行状态信息以及多个待处理分片数据，确定出多个待处理分片数据的处理进度信息。
128.需要说明的是，当处理进行信息包括剩余处理时间时，数据处理装置可以根据第一运行状态信息和第二运行状态信息确定出已处理的多个待处理分片数据的处理时间长度以及已处理的多个待处理分片数据的数据量，预测出剩余处理时间，当处理进行信息包括剩余数据量时，数据处理装置可以根据第一运行状态信息和第二运行状态信息确定出已处理的多个待处理分片数据的数据量，并根据多个待处理分片数据的总数据量和已处理的多个待处理分片数据的数据量，确定出剩余数据量。
129.需要说明的是，第二预设时间段为获取多个待处理分片数据的处理进度信息的时间间隔，该第二预设时间段可以为2ms，第二预设时间段也可以为0.5ns，第二预设时间段还可以为3ns，具体的第二预设时间段可根据实际情况进行确定，本技术实施例对此不做限定。
130.在本技术实施例中，当数据处理装置在第二预设时间段内，获取多个待处理分片数据的处理进度信息之后，数据处理装置就向客户端反馈该处理进度信息。
131.可以理解的是，数据处理装置通过向客户端反馈该处理进度信息，使得客户端可以实施了解到该数据处理装置对该数据处理指令对应的待处理数据的处理速度等信息，提高了数据处理装置处理数据处理指令对应的待处理数据时的智能性。
132.s104、当空闲的应用程序管理器处理完多个待处理分片数据时，释放空闲的应用
程序管理器至应用程序管理器队列中，以利用空闲的应用程序管理器对其他数据处理指令对应的数据进行处理。
133.在本技术实施例中，当数据处理装置利用空闲的应用程序管理器对多个待处理分片数据进行处理时，数据处理装置就在预设时间段内，获取该空闲的应用程序管理器对该多个待处理分片数据处理的进度信息，当数据处理装置确定出空闲的应用程序管理器处理完多个待处理分片数据时，数据处理装置就释放空闲的应用程序管理器至应用程序管理器队列中。
134.需要说明的是，预设时间段可以为数据处理装置获取多个待处理分片数据处理的进度信息的时间间隔，该预设时间段可以为2ms，预设时间段也可以为0.5ns，预设时间段还可以为3ns，具体的预设时间段可根据实际情况进行确定，本技术实施例对此不做限定。
135.在本技术实施例中，其他数据处理指令可以为数据处理装置在处理完客户端的数据处理指令之后接收到的数据处理指令，也可以为数据处理装置在接收到客户端的数据处理指令之后接收到的数据处理指令，具体的可根据实际情况进行确定，本技术实施例对此不做限定。
136.可以理解的是，数据处理装置通过释放空闲的应用程序管理器至应用程序管理器队列中，使得数据处理装置在接收到其他数据处理指令对应的数据时，可以利用该释放的空闲的应用程序管理器对该其他数据处理指令对应的数据进行处理，不需要数据处理装置再根据其他数据处理指令对应的数据量申请分配资源，建立与该数据量对应的应用程序管理器，提高了数据处理装置对待处理数据进行处理时的处理速度。
137.示例性地，数据处理装置处理待处理数据的方法流程图如图2所示：
138.1、数据处理装置创建应用程序管理器队列。
139.需要说明的是，数据处理器可以在启动时，即数据处理装置上电时，数据处理装置就创建应用程序管理器队列。
140.2、当数据处理装置接收到客户端的数据处理指令时，数据处理装置就对待处理数据进行分片，得到多个待处理分片数据。
141.3、数据处理装置从多个待处理分片数据中确定出一个待处理分片数据。
142.4、当应用程序管理器队列中存在空闲的应用程序管理器时，数据处理装置利用空闲的应用程序管理器，依次对多个待处理分片数据中的每一个待处理分片数据进行处理。
143.5、当空闲的应用程序管理器处理完多个待处理分片数据时，释放该空闲的应用程序管理器至应用程序管理器队列。
144.6、数据处理装置将空闲的应用程序管理器对多个待处理数据进行处理时的运行状态信息发送至备用服务器。
145.在本技术实施例中，数据处理装置在执行完步骤4之后，数据处理装置就执行步骤5；或者数据处理装置在执行完步骤4之后，数据处理装置执行步骤6，具体的可根据实际情况进行确定，本技术是实施例对此不作限定。
146.7、数据处理装置获取待处理数据和运行状态信息，并根据待处理数据和运行状态信息得到处理进度信息。
147.8、当数据处理装置根据待处理数据和运行状态信息，确定待处理数据处理完成时，数据处理装置输出处理进度信息。
148.9、当数据处理装置根据待处理数据和运行状态信息，确定待处理数据未处理完成时，数据处理装置就继续获取运行状态信息。
149.在本技术实施例中，数据处理装置在执行完步骤7之后，数据处理装置就执行步骤8；或者数据处理装置在执行完步骤7之后，数据处理装置执行步骤9，具体的可根据实际情况进行确定，本技术是实施例对此不作限定。
150.示例性地，数据处理装置利用空闲的应用程序管理器处理多个待处理分片数据的过程具体如图3所示：
151.11、数据处理装置创建第一存储单元和第二存储单元。
152.12、数据处理装置创建读线程池，并运行读线程池。
153.13、数据处理装置创建写线程池，并运行写线程池。
154.14、数据处理装置获取读线程池的第一运行状态信息，和写线程池的第二运行状态信息，并将第一运行状态信息和第二运行状态信息写入到备用服务器。
155.15、当数据处理装置根据第一运行状态信息和第二运行状态信息，确定出读线程池和写线程都运行结束时，数据处理装置就结束运行。
156.16、当数据处理装置根据第一运行状态信息和第二运行状态信息，确定出读线程池和写线程都未运行结束时，数据处理装置就继续获取第一运行状态信息和第二运行状态信息。
157.在本技术实施例中，数据处理装置在执行完步骤14之后，数据处理装置就执行步骤15；或者数据处理装置在执行完步骤14之后，数据处理装置执行步骤16，具体的可根据实际情况进行确定，本技术是实施例对此不作限定。
158.可以理解的是，数据处理装置通过设置应用程序管理器队列，当数据处理装置接收到客户端的数据处理指令时，数据处理装置就可以利用该应用程序管理队列中的多个应用程序管理器对该数据处理指令对应的待处理数据进行处理，不需要数据处理装置再根据该数据处理指令对应的待处理数据的数据量建立应用程序管理器，减少了数据处理装置对待处理数据进行处理时的处理时间，提高了数据处理装置对待处理数据进行处理时的处理速度。
159.实施例二
160.基于实施例一同一发明构思，本技术实施例提供了一种数据处理装置1，对应于一种数据处理方法；图4为本技术实施例提供的一种数据处理装置的组成结构示意图一，该数据处理装置1可以包括：
161.处理单元11，用于当接收到客户端的数据处理指令时，对所述数据处理指令对应的待处理数据进行分片处理，得到多个待处理分片数据；利用空闲的应用程序管理器对所述多个待处理分片数据进行处理；
162.确定单元12，用于从应用程序管理器队列中，确定所述空闲的应用程序管理器，所述应用程序管理器队列包括多个应用程序管理器；
163.释放单元13，用于当所述空闲的应用程序管理器处理完所述多个待处理分片数据时，释放所述空闲的应用程序管理器至所述应用程序管理器队列中，以利用所述空闲的应用程序管理器对其他数据处理指令对应的数据进行处理。
164.在本技术的一些实施例中，所述装置还包括创建单元和添加单元；
165.所述创建单元，用于当所述数据处理装置上电后，创建所述多个应用程序管理器；
166.所述添加单元，用于依次将多个应用程序管理器添加至所述应用程序管理器队列。
167.在本技术的一些实施例中，所述处理单元11，用于依次利用所述空闲的应用程序管理器中的一个应用程序管理器对所述多个待处理分片数据中的一个待处理分片数据进行处理，直至利用所述空闲的应用程序管理器对所述多个待处理分片数据进行处理。
168.在本技术的一些实施例中，所述确定单元12，用于确定所述空闲的应用程序管理器的第一数量和所述多个待处理分片数据的第二数量；当所述第一数量与所述第二数量的数量差值满足第一阈值范围时，从所述空闲的应用程序管理器中确定出第二数量的应用程序管理器；
169.所述处理单元11，用于利用所述第二数量的应用程序管理器分别对所述多个待处理分片数据进行处理。
170.在本技术的一些实施例中，
171.所述确定单元12，用于当所述第一数量与所述第二数量的数量差值满足第二阈值范围时，从所述多个待处理分片数据中确定出第一数量的待处理分片数据，其中，所述第一数量的待处理分片数据为所述多个待处理分片数据中的部分待处理分片数据；
172.所述处理单元11，利用所述空闲的应用程序管理器分别对所述第一数量的待处理分片数据进行处理；利用释放的空闲的应用程序管理器对剩余待处理分片数据进行处理，所述剩余待处理分片数据为所述多个待处理分片数据中除第一数量的待处理分片数据外的待处理分片数据；
173.所述释放单元13，用于当所述空闲的应用程序管理器处理完所述第一数量的待处理分片数据时，释放所述空闲的应用程序管理器。
174.在本技术的一些实施例中，所述装置还包括分片单元和读数据单元，
175.所述分片单元，用于将所述一个待处理分片数据分成多个数据段；
176.所述读数据单元，用于利用读线程池将所述多个数据段读入所述一个应用程序管理器中的第一存储单元和/或第二存储单元，所述第一存储单元为所述一个应用程序管理器中临时存储所述多个数据段的存储单元，所述第二存储单元为所述一个应用程序管理器中临时存储所述多个数据段的存储单元；利用写线程池将所述第一存储单元和/或第二存储单元中的所述多个数据段读入目标装置。
177.在本技术的一些实施例中，所述装置还包括检测单元；
178.所述读数据单元，用于当所述第一存储单元存储的数据段的数量满足第一预设阈值范围时，利用读线程池将第一分片数据读入所述第一存储单元，所述第一分片数据为从所述多个数据段中读入所述第一存储单元中的数据；当所述第二存储单元存储的数据段的数量满足第三预设阈值范围时，利用读线程池将第二分片数据读入所述第二存储单元，直至将所述多个数据段读入所述第一存储单元和/或所述第二存储单元中，所述第二分片数据为从所述多个数据段中读入所述第二存储单元中的数据；
179.所述检测单元，用于当所述第一存储单元存储的数据段的数量满足第二预设阈值范围时，检测所述第二存储单元存储的数据段的数量。
180.在本技术的一些实施例中，所述读数据单元，用于当所述第一存储单元存储的数
据段的数量满足所述第二预设阈值范围时，利用写线程池将所述第一分片数据读入目标装置；当所述第二存储单元存储的数据段的数量满足所述第二预设阈值范围时，利用写线程池将所述第二分片数据读入目标装置，直至将所述第一存储单元和/或所述第二存储单元中的所述多个数据段读入所述目标装置；
181.所述检测单元，用于当所述第一存储单元存储的数据段的数量满足所述第一预设阈值范围时，检测所述第二存储单元存储的数据段的数量。
182.在本技术的一些实施例中，所述装置还包括获取单元和记录单元；
183.所述获取单元，用于在第一预设时间段内，获取所述读线程池的第一运行状态信息以及所述写线程池的第二运行状态信息；
184.所述记录单元，用于利用所述备用服务器记录所述第一运行状态信息和所述第二运行状态信息。
185.在本技术的一些实施例中，所述装置还包括反馈单元；
186.所述获取单元，用于在第二预设时间段内，获取所述多个待处理分片数据的处理进度信息；
187.所述反馈单元，用于向所述客户端反馈所述处理进度信息。
188.需要说明的是，在实际应用中，上述处理单元11、确定单元12、释放单元13、创建单元、添加单元、分片单元、读数据单元、检测单元、获取单元、记录单元和反馈单元可由数据处理装置1上的处理器14实现，具体为cpu(central processing unit，中央处理器)、mpu(microprocessor unit，微处理器)、dsp(digital signal processing，数字信号处理器)或现场可编程门阵列(fpga，field programmable gate array)等实现；上述数据存储可由数据处理装置1上的存储器15实现。
189.本发明实施例还提供了一种数据处理装置1，如图5所示，所述数据处理装置1包括：处理器14、存储器15和通信总线16，所述存储器15通过所述通信总线16与所述处理器14进行通信，所述存储器15存储所述处理器14可执行的程序，当所述程序被执行时，通过所述处理器14执行如上述所述的数据处理方法。
190.在实际应用中，上述存储器15可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，ram)；或者非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，rom)，快闪存储器(flash memory)，硬盘(hard disk drive，hdd)或固态硬盘(solid-state drive，ssd)；或者上述种类的存储器的组合，并向处理器14提供指令和数据。
191.本发明实施例提供了一种计算机可读存储介质，其上有计算机程序，所述程序被处理器14行时实现如上述所述的数据处理方法。
192.可以理解的是，数据处理装置通过设置应用程序管理器队列，当数据处理装置接收到客户端的数据处理指令时，数据处理装置就可以利用该应用程序管理队列中的多个应用程序管理器对该数据处理指令对应的待处理数据进行处理，不需要数据处理装置再根据该数据处理指令对应的待处理数据的数据量建立应用程序管理器，减少了数据处理装置对待处理数据进行处理时的处理时间，提高了数据处理装置对待处理数据进行处理时的处理速度。
193.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序
产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
194.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
195.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
196.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
197.以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。