一种数据处理方法及装置、存储介质与流程

技术特征：
1.一种数据处理方法，其特征在于，应用于数据处理装置，所述方法包括：当接收到客户端的数据处理指令时，对所述数据处理指令对应的待处理数据进行分片处理，得到多个待处理分片数据；从应用程序管理器队列中，确定空闲的应用程序管理器，所述应用程序管理器队列包括多个应用程序管理器；利用所述空闲的应用程序管理器对所述多个待处理分片数据进行处理；当所述空闲的应用程序管理器处理完所述多个待处理分片数据时，释放所述空闲的应用程序管理器至所述应用程序管理器队列中，以利用所述空闲的应用程序管理器对其他数据处理指令对应的数据进行处理。2.根据权利要求1所述的方法，其特征在于，所述从应用程序管理器队列中，确定空闲的应用程序管理器之前，所述方法还包括：当所述数据处理装置上电后，创建所述多个应用程序管理器；依次将多个应用程序管理器添加至所述应用程序管理器队列。3.根据权利要求1所述的方法，其特征在于，所述利用所述空闲的应用程序管理器对所述多个待处理分片数据进行处理，包括：依次利用所述空闲的应用程序管理器中的一个应用程序管理器对所述多个待处理分片数据中的一个待处理分片数据进行处理，直至利用所述空闲的应用程序管理器对所述多个待处理分片数据进行处理。4.根据权利要求1所述的方法，其特征在于，所述利用所述空闲的应用程序管理器对所述多个待处理分片数据进行处理之前，所述方法还包括：确定所述空闲的应用程序管理器的第一数量和所述多个待处理分片数据的第二数量；当所述第一数量与所述第二数量的数量差值满足第一阈值范围时，从所述空闲的应用程序管理器中确定出第二数量的应用程序管理器；利用所述第二数量的应用程序管理器分别对所述多个待处理分片数据进行处理。5.根据权利要求4所述的方法，其特征在于，所述确定所述空闲的应用程序管理器的第一数量和所述多个待处理分片数据的第二数量之后，所述方法还包括：当所述第一数量与所述第二数量的数量差值满足第二阈值范围时，从所述多个待处理分片数据中确定出第一数量的待处理分片数据，其中，所述第一数量的待处理分片数据为所述多个待处理分片数据中的部分待处理分片数据；利用所述空闲的应用程序管理器分别对所述第一数量的待处理分片数据进行处理；当所述空闲的应用程序管理器处理完所述第一数量的待处理分片数据时，释放所述空闲的应用程序管理器，并利用释放的空闲的应用程序管理器对剩余待处理分片数据进行处理，所述剩余待处理分片数据为所述多个待处理分片数据中除第一数量的待处理分片数据外的待处理分片数据。6.根据权利要求3所述的方法，其特征在于，所述利用所述空闲的应用程序管理器中的一个应用程序管理器对所述多个待处理分片数据中的一个待处理分片数据进行处理，包括：将所述一个待处理分片数据分成多个数据段；利用读线程池将所述多个数据段读入所述一个应用程序管理器中的第一存储单元和/
或第二存储单元，所述第一存储单元为所述一个应用程序管理器中临时存储所述多个数据段的存储单元，所述第二存储单元为所述一个应用程序管理器中临时存储所述多个数据段的存储单元；利用写线程池将所述第一存储单元和/或第二存储单元中的所述多个数据段读入目标装置。7.根据权利要求6所述的方法，其特征在于，所述利用读线程池将所述多个数据段读入所述一个应用程序管理器中的第一存储单元和/或第二存储单元，包括：当所述第一存储单元存储的数据段的数量满足第一预设阈值范围时，利用读线程池将第一分片数据读入所述第一存储单元，所述第一分片数据为从所述多个数据段中读入所述第一存储单元中的数据；当所述第一存储单元存储的数据段的数量满足第二预设阈值范围时，检测所述第二存储单元存储的数据段的数量；当所述第二存储单元存储的数据段的数量满足第三预设阈值范围时，利用读线程池将第二分片数据读入所述第二存储单元，直至将所述多个数据段读入所述第一存储单元和/或所述第二存储单元中，所述第二分片数据为从所述多个数据段中读入所述第二存储单元中的数据。8.根据权利要求6所述的方法，其特征在于，所述利用写线程池将所述第一存储单元和/或第二存储单元中的所述多个数据段读入目标装置，包括：当所述第一存储单元存储的数据段的数量满足第二预设阈值范围时，利用写线程池将第一分片数据读入目标装置；当所述第一存储单元存储的数据段的数量满足第一预设阈值范围时，检测所述第二存储单元存储的数据段的数量；当所述第二存储单元存储的数据段的数量满足所述第二预设阈值范围时，利用写线程池将第二分片数据读入目标装置，直至将所述第一存储单元和/或所述第二存储单元中的所述多个数据段读入所述目标装置。9.根据权利要求6所述的方法，其特征在于，所述利用写线程池将所述第一存储单元和/或第二存储单元中的所述多个数据段读入目标装置之后，所述方法还包括：在第一预设时间段内，获取所述读线程池的第一运行状态信息以及所述写线程池的第二运行状态信息；利用备用服务器记录所述第一运行状态信息和所述第二运行状态信息。10.根据权利要求1所述的方法，其特征在于，所述利用所述空闲的应用程序管理器对所述多个待处理分片数据进行处理之后，所述方法还包括：在第二预设时间段内，获取所述多个待处理分片数据的处理进度信息；向所述客户端反馈所述处理进度信息。11.一种数据处理装置，其特征在于，所述装置包括：处理单元，用于当接收到客户端的数据处理指令时，对所述数据处理指令对应的待处理数据进行分片处理，得到多个待处理分片数据；利用空闲的应用程序管理器对所述多个待处理分片数据进行处理；确定单元，用于从应用程序管理器队列中，确定所述空闲的应用程序管理器，所述应用
程序管理器队列包括多个应用程序管理器；释放单元，用于当所述空闲的应用程序管理器处理完所述多个待处理分片数据时，释放所述空闲的应用程序管理器至所述应用程序管理器队列中，以利用所述空闲的应用程序管理器对其他数据处理指令对应的数据进行处理。12.一种数据处理装置，其特征在于，所述装置包括：存储器、处理器和通信总线，所述存储器通过所述通信总线与所述处理器进行通信，所述存储器存储所述处理器可执行的数据处理的程序，当所述数据处理程序被执行时，通过所述处理器执行如权利要求1至10任一项所述的方法。13.一种存储介质，其上存储有计算机程序，应用于数据处理装置，其特征在于，该计算机程序被处理器执行时实现权利要求1至10任一项所述的方法。

技术总结
本发明公开了一种数据处理方法及装置、存储介质，包括当接收到客户端的数据处理指令时，对数据处理指令对应的待处理数据进行分片处理，得到多个待处理分片数据；从应用程序管理器队列中，确定空闲的应用程序管理器，应用程序管理器队列包括多个应用程序管理器；利用空闲的应用程序管理器对多个待处理分片数据进行处理；当空闲的应用程序管理器处理完多个待处理分片数据时，释放空闲的应用程序管理器至应用程序管理器队列中，以利用空闲的应用程序管理器对其他数据处理指令对应的数据进行处理，提高了数据处理装置对待处理数据进行处理时的处理速度。理时的处理速度。理时的处理速度。


技术研发人员：吕涛 王玉雷
受保护的技术使用者：中国移动通信集团有限公司
技术研发日：2020.07.28
技术公布日：2022/2/6