文件处理方法及电子设备与流程

摘要: 本技术涉及计算机,具体地涉及一种文件处理方法及电子设备。背景技术:1、在分布式系统领域,分布在多个节点中的多个进程共同读写同一个文件。在文件处理流程中除了数据读...
文件处理方法及电子设备与流程

本技术涉及计算机,具体地涉及一种文件处理方法及电子设备。

背景技术:

1、在分布式系统领域,分布在多个节点中的多个进程共同读写同一个文件。在文件处理流程中除了数据读写操作还包括元数据更新操作,由于文件元数据受分布式锁保护,当多个进程并发更新同一文件的元数据时,会引发锁竞争问题,导致锁的频繁授予与召回,进而影响性能。

技术实现思路

1、鉴于上述问题,本技术提供了一种文件处理方法及电子设备。

2、根据本技术的第一个方面,提供了一种文件处理方法,包括:响应于多个节点针对目标文件的读写请求,利用节点的进程组中的聚合进程对目标文件执行读写操作,得到多个节点各自的执行结果,进程组还包括多个计算进程,聚合进程用于聚合针对进程组中聚合进程的读写请求和针对多个计算进程的读写请求;对多个执行结果进行同步,得到同步结果在同步结果指示多个节点的读写请求均执行成功的情况下,基于预设筛选策略从多个节点各自的聚合进程中确定文件主进程;以及基于文件主进程对目标文件执行元数据更新操作。

3、根据本技术的实施例,通过在各节点的进程组中设置聚合进程,使各节点聚合进程在聚合本节点全部进程的读写请求后,均能够并行执行目标文件的文件数据读写操作,从而充分利用多节点的并行处理能力提升数据吞吐效率;在此基础上,各聚合进程之间互相同步执行结果以确认全部节点的读写请求均执行成功后,基于预设筛选策略从多个聚合进程中确定唯一的文件主进程,仅由文件主进程集中执行目标文件的元数据更新操作,使得需要多个进程竞争获取的分布式元数据锁转变为单一进程顺序访问,解决了多个进程同时更新同一文件元数据时产生的锁授予与召回的竞争问题,提高了共享文件读写场景下的整体性能。

4、根据本技术的实施例,预设筛选策略包括静态配置策略和动态分配策略;基于预设筛选策略从多个节点各自的聚合进程中确定文件主进程,包括以下之一:基于静态配置策略,从多个节点各自的聚合进程中确定文件主进程;基于动态分配策略,从多个节点各自的聚合进程中确定文件主进程。

5、根据本技术的实施例,静态配置策略通过预设规则确保文件主进程选择的确定性和可预测性,降低运行时计算开销;动态分配策略通过负载感知实现主进程的动态均衡,避免热点节点成为性能瓶颈。两种策略灵活组合,使系统既能满足特定业务的固定需求,又能适应动态变化的负载环境,最终提升分布式文件读写场景下的资源利用效率和整体吞吐量。

6、根据本技术的实施例,基于动态分配策略,从多个节点各自的聚合进程中确定文件主进程,包括:对目标文件在分布式文件系统中的索引号进行哈希处理,得到哈希值;将与哈希值匹配的聚合进程确定为目标文件的文件主进程;或确定多个节点各自的负载状态信息;从多个负载状态信息中最小负载状态信息对应的节点的聚合进程确定为目标文件的文件主进程。

7、根据本技术的实施例,哈希处理确保文件主进程选择的确定性和一致性,避免同一文件在不同操作中产生文件主进程漂移;负载状态信息引入动态调整能力,防止高负载节点成为性能瓶颈。两者结合使系统既保证元数据操作的稳定性,又具备负载自适应的弹性,最终提升分布式文件读写场景下的元数据操作效率和系统整体吞吐量。

8、根据本技术的实施例,基于静态配置策略,从多个节点各自的聚合进程中确定文件主进程,包括以下之一:将预设静态配置信息指示的预设聚合进程确定为文件主进程;基于目标文件的文件标识在映射配置信息中进行查询,将查询到的与文件标识对应的聚合进程确定为文件主进程;在目标文件的文件元数据特征为预设属性的情况下,将具有预设进程标识的聚合进程确定为文件主进程,预设进程标识根据预设属性确定;在不为预设属性的情况下,将具有全局进程标识的聚合进程确定为文件主进程。

9、根据本技术的实施例,静态配置策略通过预设静态配置信息、映射配置信息和预设属性匹配三种机制,实现文件主进程的灵活指定。预设静态配置提供全局默认值,映射配置支持文件级精确映射,属性匹配实现基于文件特征的动态规则匹配。三者层级互补,使系统能支持复杂业务场景下的精细化文件主进程分配,确保元数据操作的有序性和可预测性。

10、根据本技术的实施例,基于节点的进程组中的聚合进程对目标文件执行读写操作,得到多个节点各自的执行结果,包括:调用节点的聚合进程,对进程组中的聚合进程和多个计算进程各自的读写请求携带的访问数据进行聚合,得到节点的聚合数据;基于聚合数据,调用聚合进程对目标文件执行读写操作,得到节点的执行结果。

11、根据本技术的实施例,通过聚合数据的生成与处理,提升了数据通路并行效率,一次性完成多个读写请求的数据传输,避免了多次独立读写请求带来的网络往返和存储系统开销,减少了存储后端访问次数。

12、根据本技术的实施例,聚合数据包括文件偏移地址、操作类型、数据长度和数据载荷,操作类型包括读类型和写类型;其中,基于聚合数据,调用聚合进程对目标文件执行读写操作,得到节点的执行结果,包括:根据文件偏移地址在物理地址映射表进行查询,得到目标文件对应的物理存储地址;基于操作类型、数据长度和数据载荷,调用聚合进程对物理存储地址对应的数据存储区域执行读写操作,得到节点的执行结果。

13、根据本技术的实施例,通过聚合数据的结构化定义与物理地址映射表的地址转换,聚合进程能够高效定位并操作目标数据的物理存储位置,将多个分散的读写请求合并为统一的物理存储访问,减少存储系统交互次数,提升读写吞吐量,为后续节点间同步和元数据集中更新提供高效的数据通路。

14、根据本技术的实施例,还包括:确定多个节点各自针对目标文件的缓存访问区间;针对多个节点中的任一节点,确定多个缓存访问区间中任一节点的聚合数据的缓存命中区间;基于缓存命中区间,对多个缓存访问区间进行划分,得到多个缓存子区间;基于聚合数据,调用多个缓存子区间各自对应的节点的聚合进程对目标文件执行读写操作,得到任一节点的执行结果。

15、根据本技术的实施例,通过缓存访问区间的查询与缓存命中区间的确定,聚合进程能够将聚合数据的访问范围精准映射到缓存分布的节点上,经划分得到的缓存子区间使各节点聚合进程优先利用本地缓存完成数据读写,减少从存储后端读取的流量,避免缓存回刷带来的性能损耗,提升mpi应用在多节点共享文件场景下的数据访问效率。

16、根据本技术的实施例,确定多个节点各自针对目标文件的缓存访问区间,包括:基于目标文件的文件区间和预设分配规则,对多个节点进行区间分配,得到多个节点各自的预热区间;调用预热接口,将预热区间加载到节点对应的本地内存或者本地磁盘中,得到节点的缓存访问区间。

17、根据本技术的实施例,通过预热区间的预先分配与加载,将目标文件数据提前分布到各节点的本地缓存中,使mpi应用在正式读写时能够直接命中本地缓存,避免大量后端存储访问,减少网络流量和读取延迟,提升mpi应用在连续读取新文件区间场景下的数据访问性能。

18、根据本技术的实施例,基于文件主进程对目标文件执行元数据更新操作,包括:调用文件主进程,对目标文件的文件大小、数据更改时刻和数据块分布信息中的至少一个进行更新,得到更新后的元数据信息;将更新后的元数据信息同步至元数据管理节点。

19、根据本技术的实施例,通过文件主进程集中执行元数据更新并同步至元数据管理节点,避免了多个聚合进程并发修改同一文件元数据产生的分布式锁竞争,解决了多个进程更新元数据进行锁授予与召回的竞争问题;同时确保全局元数据的强一致性,使各节点能够基于最新元数据准确定位文件物理存储位置,提升分布式文件系统的元数据操作效率和数据访问可靠性。

20、本技术的第二方面提供了一种文件处理方法装置,包括:执行模块,用于响应于多个节点针对目标文件的读写请求,利用节点的进程组中的聚合进程对目标文件执行读写操作,得到多个节点各自的执行结果,进程组还包括多个计算进程,聚合进程用于聚合针对进程组中聚合进程的读写请求和针对多个计算进程的读写请求;同步模块,用于对多个执行结果进行同步,得到同步结果;筛选模块,用于在同步结果指示多个节点的读写请求均执行成功的情况下,基于预设筛选策略从多个节点各自的聚合进程中确定文件主进程;更新模块,用于基于文件主进程对目标文件执行元数据更新操作。

21、本技术的第三方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个计算机程序,其中,上述一个或多个处理器执行上述一个或多个计算机程序以实现上述方法的步骤。