数据处理方法及装置与流程

技术特征：
1.一种数据处理方法，包括：确定多个进程中每个进程对应的文件句柄，并基于所述文件句柄下发文件的多个数据处理请求，其中，每个数据处理请求中均携带有数据处理类型以及针对所述文件进行数据处理的数据区间；基于所述数据处理类型以及所述数据区间从所述多个数据处理请求中确定至少两个目标数据处理请求；将所述至少两个目标数据处理请求发送至队列适配装置，通过所述队列适配装置对所述目标数据处理请求进行并行处理。2.根据权利要求1所述的数据处理方法，所述确定多个进程中每个进程对应的文件句柄之前，还包括：基于多个进程下发的针对同一文件的文件操作请求打开所述文件，并为所述多个进程中的每个进程分配与所述文件对应的文件句柄。3.根据权利要求1或2所述的数据处理方法，所述数据处理类型包括数据写入类型和数据读取类型；相应地，所述基于所述数据处理类型以及所述数据区间从所述多个数据处理请求中确定目标数据处理请求，包括：将所述多个数据处理请求中数据处理类型为所述数据写入类型的数据处理请求，确定为第一数据处理请求；将所述多个数据处理请求中数据处理类型为所述数据读取类型的数据处理请求，确定为第二数据处理请求；基于所述第一数据处理请求和所述第二数据处理请求确定至少两个目标数据处理请求。4.根据权利要求3所述的数据处理方法，所述基于所述第一数据处理请求和所述第二数据处理请求确定至少两个目标数据处理请求，包括：确定所述第一数据处理请求对应的数据区间，以及所述第二数据处理请求对应的数据区间；基于所述第一数据处理请求对应的数据区间和所述第二数据处理请求对应的数据区间，确定所述至少两个目标数据处理请求。5.根据权利要求4所述的数据处理方法，所述基于所述第一数据处理请求对应的数据区间和所述第二数据处理请求对应的数据区间，确定所述目标数据处理请求，包括：将数据区间不存在交叉的第一数据处理请求和第二数据处理请求，作为第一初始数据处理请求；将数据区间存在交叉的第一数据处理请求或第二数据处理请求，作为第二初始数据处理请求；将所述第一数据处理请求中数据区间不存在交叉的第一数据处理请求，作为第三初始数据处理请求；将所述第一数据处理请求中数据区间存在交叉的一个第一数据处理请求，作为第四初始数据处理请求；其中，所述至少两个目标数据处理请求包括所述第一初始数据处理请求、第二初始数
据处理请求、第三初始数据处理请求和/或所述第四初始数据处理请求。6.根据权利要求1所述的数据处理方法，所述将所述至少两个目标数据处理请求发送至队列适配装置，通过所述队列适配装置对所述至少两个目标数据处理请求进行并行处理，包括：将所述至少两个目标数据处理请求发送至队列适配装置，通过所述队列适配装置将所述目标数据处理请求发送至对应的硬件队列，完成对所述至少两个目标数据处理请求的并行处理。7.根据权利要求1所述的数据处理方法，所述基于所述数据处理类型以及所述数据区间从所述多个数据处理请求中确定至少两个目标数据处理请求之后，还包括：确定下发所述目标数据处理请求的进程的文件句柄，以及确定所述目标数据处理请求对应的数据区间；基于所述目标数据处理请求对应的数据区间，确定下发所述目标数据处理请求的进程的文件句柄的读写区间；获取所述文件对应的句柄区间树，确定所述句柄区间树中每个文件句柄当前的读写区间；基于下发所述目标数据处理请求的进程的文件句柄的读写区间，与所述句柄区间树中对应的文件句柄的当前读写区间的关联关系，从所述目标数据处理请求中确定阻塞数据处理请求。8.根据权利要求7所述的数据处理方法，所述基于下发所述目标数据处理请求的文件句柄的读写区间，与所述句柄区间树中对应的文件句柄的当前读写区间的关联关系，从所述目标数据处理请求中确定阻塞数据处理请求，包括：在下发所述目标数据处理请求的进程的文件句柄的读写区间，与所述句柄区间树中对应的文件句柄的读写区间存在交叉的情况下，将所述目标数据处理请求确定为阻塞数据处理请求。9.根据权利要求8所述的数据处理方法，所述将所述目标数据处理请求确定为阻塞数据处理请求之后，还包括：在所述目标数据处理请求中除所述阻塞数据处理请求之外的其他目标数据处理请求并行处理完成后，对所述阻塞数据处理请求进行并行数据处理。10.根据权利要求6所述的数据处理方法，所述通过所述队列适配装置将所述至少两个目标数据处理请求发送至对应的硬件队列，包括：确定所述至少两个目标数据处理请求的数量以及硬件队列的数量；判断所述至少两个目标数据处理请求的数量是否小于等于硬件队列的数量，若是，则通过所述队列适配装置将处理后的至少两个目标数据处理请求依次发送至对应的硬件队列，若否，则通过所述队列适配装置将处理后的至少两个目标数据处理请求按照轮询调度的方式发送至对应的硬件队列。11.一种数据处理装置，包括：请求接收模块，被配置为确定多个进程中每个进程对应的文件句柄，并基于所述文件句柄下发文件的多个数据处理请求，其中，每个数据处理请求中均携带有数据处理类型以
及针对所述文件进行数据处理的数据区间；请求确定模块，被配置为基于所述数据处理类型以及所述数据区间从所述多个数据处理请求中确定至少两个目标数据处理请求；请求处理模块，被配置为将所述至少两个目标数据处理请求发送至队列适配装置，通过所述队列适配装置对所述目标数据处理请求进行并行处理。12.一种数据处理系统，包括文件并发装置、队列适配装置，其中，所述文件并发控制装置，被配置为确定多个进程中每个进程对应的文件句柄，并基于所述文件句柄下发文件的多个数据处理请求，其中，每个数据处理请求中均携带有数据处理类型以及针对所述文件进行数据处理的数据区间，基于所述数据处理类型以及所述数据区间从所述多个数据处理请求中确定至少两个目标数据处理请求，将所述至少两个目标数据处理请求发送至队列适配装置；所述队列适配装置，被配置为接收所述文件并发装置发送的所述至少两个目标数据处理请求，对所述目标数据处理请求进行并行处理。13.根据权利要求12所述的数据处理系统，所述队列适配装置包括：句柄队列适配器、硬件设备驱动器以及硬件磁盘控制器；其中，所述句柄队列适配器，被配置为接收所述文件并发装置发送的所述至少两个目标数据处理请求，并通过所述硬件设备驱动器调用所述硬件磁盘控制器的硬件队列，为所述至少两个目标数据处理请求分配对应的硬件队列，且将所述至少两个目标数据处理请求发送至所述硬件设备驱动器；所述硬件设备驱动器，被配置为将所述至少两个目标数据处理请求转换为至少两个针对硬件磁盘的处理请求，并通过所述至少两个针对硬件磁盘的处理请求对应的所述硬件磁盘控制器的硬件队列，将所述至少两个针对硬件磁盘的处理请求发送至所述硬件磁盘控制器；所述硬件磁盘控制器，被配置为对通过所述硬件队列接收的所述至少两个针对硬件磁盘的处理请求进行并行处理。14.一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求1
‑
10中任意一项所述数据处理方法的步骤。

技术总结
本说明书实施例提供一种数据处理方法及装置，其中，所述数据处理方法包括确定多个进程中每个进程对应的文件句柄，并基于所述文件句柄下发文件的多个数据处理请求，其中，每个数据处理请求中均携带有数据处理类型以及针对所述文件进行数据处理的数据区间；基于所述数据处理类型以及所述数据区间从所述多个数据处理请求中确定至少两个目标数据处理请求；将所述至少两个目标数据处理请求发送至队列适配装置，通过所述队列适配装置对所述目标数据处理请求进行并行处理。据处理请求进行并行处理。据处理请求进行并行处理。


技术研发人员：朴君
受保护的技术使用者：阿里巴巴新加坡控股有限公司
技术研发日：2021.06.24
技术公布日：2021/10/28