一种基于共享内存与微服务的文件系统及其控制方法与流程

摘要: 本发明涉及计算机存储技术的,具体涉及一种基于共享内存与微服务的文件系统及其控制方法。背景技术:1、随着计算技术的发展,混合系统(由通用处理器、加速器及专用硬件等...
一种基于共享内存与微服务的文件系统及其控制方法与流程

本发明涉及计算机存储技术的,具体涉及一种基于共享内存与微服务的文件系统及其控制方法。

背景技术:

1、随着计算技术的发展,混合系统(由通用处理器、加速器及专用硬件等异构节点组成)应用日益广泛。文件系统作为核心组件,在混合系统中面临以下缺陷和不足:

2、1)传统网络文件系统存在瓶颈:现有的网络文件系统(如nfs等)主要依赖网络通信协议(tcp/ip)进行数据传输。在混合系统环境下,这种基于网络的通信方式存在高延迟和低带宽的问题,成为性能瓶颈;同时现有网络文件系统忽略了混合系统中节点间可以通过共享内存直接交互的特性,导致性能损失。

3、2)并发性能差:在高并发场景(如高性能计算)下,传统文件系统的锁机制和i/o队列管理容易引发资源争用,导致吞吐量下降。

4、3)新型存储适配性差:难以充分利用新型非易失存储(nvm)的字节寻址和低延迟优势。

5、基于此,亟需提供一种新的方案,以解决上述现有技术中存在的缺陷与不足。

技术实现思路

1、为了解决现有技术中存在的缺陷与不足,本发明提供一种基于共享内存与微服务的文件系统及其控制方法。

2、本发明提供的具体方案为:

3、一种基于共享内存与微服务的文件系统,其特征在于:所述系统包括:

4、共享内存模块,所述共享内存模块分别连接客户端和服务端,各子系统能够通过客户端向接口模块发起数据共享请求,由接口模块对数据共享请求封装后转发至微服务模块,以对客户端进行权限校验和路由分发,校验通过后微服务模块通过主系统向共享内存模块发送数据访问指令;服务端根据微服务模块的授权指令预先或实时向共享内存模块写入共享数据;共享内存模块接收到访问指令后向授权客户端开放对应内存区域的访问权限;

5、微服务模块,所述微服务模块与共享内存模块连接,以将文件系统的不同功能模块分解为共享内存模块内部彼此独立的微服务单元;

6、接口模块,所述接口模块为用户及文件系统提供统一接口,用户能够通过该统一接口向文件系统发起数据共享请求,文件系统也能够通过该接口向用户提供共享内存模块内部对应内存区域的共享数据。

7、作为本发明的进一步优选实施方式,所述共享内存模块采用非对称多处理架构,其通过启动阶段预定义的资源分配表配置为相互连接的主系统和子系统;

8、所述主系统作为管理单元,其进行全局设备访问管理、权限校验、请求调度和异常处理,且具有访问存储器件的最高权限;

9、所述子系统作为实时单元,其进行数据读写、缓存一致性维护和响应,且其仅能通过主系统授权的访问通道访问存储器件。

10、作为本发明的进一步优选实施方式,进行权限校验时,包括以下步骤:

11、1)权限规则定义:主系统根据各子系统的业务职责预先定义权限规则,明确每个子系统可访问的共享内存地址范围和允许的操作类型;

12、2)主系统校验:子系统发起数据共享请求时,主系统根据预定义权限规则校验请求合法性,拒绝越权访问请求;

13、3)权限表写入:合法访问请求校验通过后,主系统将权限信息写入共享内存模块的全局权限控制表;

14、4)访问控制生效:共享内存模块根据全局权限控制表内容实现访问控制,仅允许子系统访问权限范围内的内存区域。

15、作为本发明的进一步优选实施方式,所述共享内存模块内部规定了缓存状态标记规则、一致性事务处理流程以及跨核缓存同步机制;其中,

16、所述缓存状态标记规则包括:基于状态模型来标记每个缓存行的状态,以通过状态定义数据在缓存、其他缓存及主存间的关系:

17、m状态:表示数据被修改,与主存不一致,且其他缓存中无此数据副本,此缓存拥有最新数据;

18、o状态:表示数据被修改且与其他缓存共享,但本缓存负责响应对此数据的请求,并最终写回主存;

19、e状态:数据与主存一致,且仅存在于当前缓存中,可静默升级为m状态;

20、s状态:数据与主存一致,可能存在于多个缓存中;

21、i状态:缓存行无效,数据不可用;

22、所述一致性事务处理流程包括:

23、1)请求发起:处理器核发出一致性读写请求;

24、2)监听与目录查询:互连部件根据请求类型,通过发送监听请求或查询目录方式以确定拥有副本的核;

25、3)响应与状态更新:被监听或查询的核根据自身缓存行状态返回响应,请求核根据响应更新其缓存行状态;

26、4)数据与依赖处理:定义事务间的依赖关系并通过阻塞或非阻塞规则防止死锁;

27、所述跨核缓存同步机制包括:

28、总线监听方式:将一致性相关的请求都通过总线广播,每个缓存控制器监听总线上的地址,检查自己是否有对应副本;若某个核修改了数据,其他核的监听逻辑会检测到并更新自身状态;

29、目录式方式:通过维护目录方式记录每个内存块的拥有者;当发生修改时,互连部件仅向目录中记录的当前内存块的拥有者发送点对点通知。

30、作为本发明的进一步优选实施方式,所述共享内存模块中,通过内存映射系统调用方式将共享内存映射至发起数据共享请求的各子系统的虚拟地址空间,并利用互斥锁或信号量方式避免并发访问冲突;其中,

31、通过内存映射系统调用方式将共享内存映射至发起数据共享请求的各子系统的虚拟地址空间时,包括以下步骤:

32、1)子系统首先向内核发起内存映射请求,指定需要映射的共享内存文件描述符、偏移量和长度;

33、2)内核校验请求合法后,在进程虚拟地址空间中分配连续的空闲地址区间;

34、3)随后建立虚拟地址与共享内存物理地址的页表映射关系。

35、作为本发明的进一步优选实施方式,所述共享内存模块中:

36、所述互斥锁方式采用全局唯一锁标识,所有子系统的锁请求均通过该全局唯一锁标识进行寻址,锁状态存储于共享内存模块内部的预设控制区域,所有子系统均能够直接访问该区域获取实时锁状态;当锁状态为锁定时表明目前已存在访问请求,当前访问请求被阻塞;当锁状态为释放时表明目前不存在访问请求,当前访问请求被允许;

37、所述信号量方式通过预定义的信号量计数限制同时访问共享内存的最大子系统数量,每存在一个子系统成功访问则计数器减1,访问完成后计数器加1,当计数器归零时后续访问请求进入等待状态。

38、作为本发明的进一步优选实施方式,所述微服务模块通过容器化技术部署文件系统功能模块,所述容器化技术的实现过程包括:

39、1)首先将文件系统的每个功能模块及依赖环境打包为独立的容器镜像,镜像内部包含模块运行所需的所有依赖库、配置文件和二进制程序;

40、2)随后在容器运行时为每个容器分配与其对应且相互独立的cpu、内存和存储资源分区;

41、3)最终将打包完成的容器镜像独立部署于共享内存模块内部与该镜像对应的容器的不同资源分区中,各微服务单元仅通过预定义的api接口通信,从而将文件系统的不同功能模块分解为彼此独立的微服务单元。

42、作为本发明的进一步优选实施方式,所述微服务模块内部设置有集成服务注册中心,所述集成服务注册中心记录微服务单元地址与健康状况,客户端通过集成服务注册中心发现服务并与其建立连接;

43、所述微服务单元的健康状况根据其健康评分进行判定,所述健康评分通过以下公式计算:

44、y=ax1+bx2+cx3+dx4;

45、其中,x1表示cpu使用率,x2表示内存占用率,x3表示平均请求响应时间,x4表示请求成功率;a、b、c、d分别表示与cpu使用率、内存占用率、平均请求响应时间以及请求成功率对应的权重系数;

46、当健康评分高于第一阈值时判定该微服务单元的健康状况为健康状态;当健康评分高于第二阈值且低于第一阈值时判定该微服务单元的健康状况为亚健康状态;当健康评分低于第二阈值时判定该微服务单元的健康状况为异常状态;且满足第一阈值大于第二阈值;

47、集成服务注册中心会根据各微服务单元的健康评分由高至低自动对微服务单元进行排序。

48、作为本发明的进一步优选实施方式,所述接口模块中,

49、客户端向接口模块发起数据共享请求时,发起的请求中至少包括有文件名、偏移量和长度;

50、所述接口模块封装请求并查询集成服务注册中心,以获取负责读操作的微服务单元地址;

51、客户端通过接口模块与微服务单元建立连接,微服务单元通过共享内存模块直接从服务端获取共享文件数据;

52、微服务单元再将数据封装并通过共享内存模块返回给客户端。

53、进一步地,本发明还提供一种基于共享内存与微服务的文件系统的控制方法,其特征在于:包括以下步骤:

54、s100:客户端向接口模块发起数据共享请求;

55、s200:接口模块封装请求并将请求转发至微服务模块以对客户端进行权限校验和路由分发,校验通过后微服务模块通过主系统向共享内存模块发送数据访问指令;

56、s300:服务端根据微服务模块的指令预先或实时向共享内存模块写入共享数据;

57、s400:共享内存模块接收到访问指令后向授权客户端开放对应内存区域的访问权限。

58、相较于现有技术,本发明能够实现的技术效果包括:

59、1)本发明提供一种基于共享内存与微服务的文件系统及其控制方法,通过共享内存模式实现共享数据传输,以取代现有技术中网络文件系统依赖的网络通信协议数据传输方式,从而同时实现低延迟和高带宽,相比传统的网络文件系统,访问延迟降低约40%-60%,吞吐量提升近3倍。

60、2)本发明提供一种基于共享内存与微服务的文件系统及其控制方法,具备高并发能力:能够支持大规模并发连接,cpu利用率和i/o等待时间显著优化。

61、3)本发明提供一种基于共享内存与微服务的文件系统及其控制方法,具备高扩展性,基于微服务架构,功能模块可独立扩展和部署,有效提高与新型存储的适配性能。