数据管理方法、系统、装置、设备及存储介质与流程

摘要: 本申请涉及数据管理,尤其涉及一种数据管理方法、系统、装置、设备及存储介质。背景技术:1、随着存储技术的发展,全局缓存成为数据管理的核心技术之一,为了进一步提升可...
数据管理方法、系统、装置、设备及存储介质与流程

本申请涉及数据管理,尤其涉及一种数据管理方法、系统、装置、设备及存储介质。

背景技术:

1、随着存储技术的发展,全局缓存成为数据管理的核心技术之一,为了进一步提升可用性,数据管理方采用控制器数据共享进行数据管理,在采用控制器数据共享进行数据管理的过程中,控制器可分别连接硬盘,且控制器之间可建立网络连接;每次数据存储时,任一控制器均需要经过网络连接将数据写入其它控制器的内存中,再将数据写入连接的硬盘,虽然避免了数据丢失,但基于网络的数据传输存在传输时延;基于此,如何提升控制器数据共享场景下的数据存储效率,成为目前亟需解决的重要问题。

技术实现思路

1、本申请提供了数据管理方法、系统、装置、设备及存储介质,以至少解决相关技术中多控制器共享数据的情况下数据存储效率低下的问题。

2、本申请提供了一种数据管理方法,应用于数据管理系统中的第一控制器,所述数据管理系统包括多个控制器,计算快速连接cxl共享内存盘和硬盘;所述多个控制器与所述cxl共享内存盘连接,且所述多个控制器与所述硬盘连接;所述第一控制器为所述多个控制器中任一控制器;所述方法包括:

3、将第一数据写入所述cxl共享内存盘,并异步将所述第一数据向所述硬盘写入;所述第一数据包括在所述多个控制器之间共享的数据;

4、响应于所述第一数据向所述cxl共享内存盘的写入完成,获取所述第一控制器对应的第一指针,以及所述第一数据在所述cxl共享内存盘中的第一地址;所述第一指针在对所述多个控制器进行指针对齐后得到;

5、基于所述第一指针和所述第一地址,得到第一偏移量;所述第一偏移量用于所述多个控制器寻址定位所述cxl共享内存盘中所述第一数据。

6、本申请还提供了一种数据管理装置,运行于应用于数据管理系统中的第一控制器,所述数据管理系统包括多个控制器,计算快速连接cxl共享内存盘和硬盘;所述多个控制器与所述cxl共享内存盘连接,且所述多个控制器与所述硬盘连接;所述第一控制器为所述多个控制器中任一控制器;所述装置包括:

7、写入模块,用于将第一数据写入所述cxl共享内存盘,并异步将所述第一数据向所述硬盘写入;所述第一数据包括在所述多个控制器之间共享的数据;

8、获取模块,用于响应于所述第一数据向所述cxl共享内存盘的写入完成,获取所述第一控制器对应的第一指针,以及所述第一数据在所述cxl共享内存盘中的第一地址;所述第一指针在对所述多个控制器进行指针对齐后得到;

9、偏移量确定模块,用于基于所述第一指针和所述第一地址,得到第一偏移量;所述第一偏移量用于所述多个控制器寻址定位所述cxl共享内存盘中所述第一数据。

10、本申请还提供了一种数据管理系统,所述系统包括:多个控制器,cxl共享内存盘和硬盘;所述多个控制器与所述cxl共享内存盘连接,且所述多个控制器与所述硬盘连接;所述多个控制器中任一控制器,用于实现上述任一种数据管理方法的步骤。

11、本申请还提供了一种电子设备,包括:存储器,用于存储计算机程序;处理器,用于执行计算机程序时实现上述任一种数据管理方法的步骤。

12、本申请还提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,其中,计算机程序被处理器执行时实现上述任一种数据管理方法的步骤。

13、本申请还提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述任一种数据管理方法的步骤。

14、本申请提供包括多个控制器、cxl共享内存盘和硬盘,且多个控制器均与cxl共享内存盘和硬盘连接的数据管理系统,使任一控制器在存储共享的数据的过程中,将第一数据写入cxl共享内存盘,使多个控制器可从cxl共享内存盘获取该数据,无需控制器之间进行数据传输,节省控制器之间数据传输导致的时延,提升多控制器共享数据的情况下的数据存储效率;同时,异步将第一数据向硬盘写入,实现对数据的有效存储;此外,通过在cxl共享内存盘中存储标记数据是否写入硬盘的数据状态,提升对数据存储的管理有效性。

1.一种数据管理方法,其特征在于,应用于数据管理系统中的第一控制器,所述数据管理系统包括多个控制器,计算快速连接cxl共享内存盘和硬盘;所述多个控制器与所述cxl共享内存盘连接,且所述多个控制器与所述硬盘连接;所述第一控制器为所述多个控制器中任一控制器;所述方法包括:

2.根据权利要求1所述的数据管理方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的数据管理方法,其特征在于,所述数据结构,包括树形结构;所述树形结构中的子树与控制器一一对应;

4.根据权利要求1所述的数据管理方法,其特征在于,所述cxl共享内存盘,包括双端口cxl共享内存盘。

5.根据权利要求1所述的数据管理方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的数据管理方法,其特征在于,所述基于所述第一内存地址集和所述第二内存地址集,执行所述第一控制器与所述第二控制器之间的指针对齐,包括:

7.根据权利要求5或6所述的数据管理方法,其特征在于,所述指针对齐后,所述第一控制器对应的第一指针和所述第二控制器对应的第二指针,指向所述cxl共享内存盘中同一存储区域。

8.根据权利要求1所述的数据管理方法,其特征在于,所述方法还包括:

9.根据权利要求1或8所述的数据管理方法,其特征在于,所述方法还包括:

10.根据权利要求9所述的数据管理方法,其特征在于,所述将所述第二数据向所述硬盘写入,包括:

11.根据权利要求9所述的数据管理方法,其特征在于,所述从所述cxl共享内存盘获取第二数据,包括:

12.根据权利要求1所述的数据管理方法,其特征在于,所述第一控制器配置有第一本地内存;所述方法还包括:

13.根据权利要求1或12所述的数据管理方法,其特征在于,所述将所述第一数据写入所述cxl共享内存盘,包括:

14.根据权利要求13所述的数据管理方法,其特征在于,所述方法还包括:

15.根据权利要求1所述的数据管理方法,其特征在于,所述将第一数据写入所述cxl共享内存盘操作执行之后,所述方法还包括:

16.一种数据管理系统,其特征在于,所述系统包括:多个控制器,cxl共享内存盘和硬盘;所述多个控制器与所述cxl共享内存盘连接,且所述多个控制器与所述硬盘连接;

17.一种数据管理装置,其特征在于,运行于应用于数据管理系统中的第一控制器,所述数据管理系统包括多个控制器,计算快速连接cxl共享内存盘和硬盘;所述多个控制器与所述cxl共享内存盘连接,且所述多个控制器与所述硬盘连接;所述第一控制器为所述多个控制器中任一控制器;所述装置包括:

18.一种电子设备,其特征在于,包括:

19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至15中任一项所述数据管理方法的步骤。

20.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至15中任一项所述数据管理方法的步骤。