全局存储数据一致性的方法、装置、网关、介质及产品与流程

1.本发明实施例涉及网关数据存储技术领域，尤其涉及一种全局存储数据一致性的方法、装置、网关、介质及产品。


背景技术：

2.随着信息技术的发展，企业的非结构化数据急剧增长。随着数据的增长，后端存储压力会越来越大，海量数据下的非结构化存储设备性能会大幅下降。为此需要通过本地存储网关提供缓存来加速存储访问性能，因此缓存数据更新到全局存储的数据一致性必须要得到保障。
3.为了保证缓存数据更新到全局存储的数据一致性，现有技术一般是在由存储网关记录文件操作日志，然后根据文件操作日志，顺序地将缓存中的元数据操作更新到全局存储中。
4.但是，现有技术中将缓存中的元数据操作更新到全局存储中的速度较慢。


技术实现要素：

5.本发明提供了一种全局存储数据一致性的方法、装置、网关、介质及产品，以解决现有技术中将存储网关缓存中的元数据操作更新到全局存储中的速度较慢的问题。
6.根据本发明的一方面，提供了一种全局存储数据一致性的方法，包括：
7.获取预设数量条操作日志，所述操作日志对应元数据操作；
8.将所述预设数量条操作日志中包括的文件创建操作日志加入预设队列，从所述预设队列中将所述文件创建操作日志对应的元数据操作同步到全局存储器；
9.将所述预设数量条操作日志中除所述文件创建操作日志以外的其他操作日志，按照顺序同步各所述其他操作日志对应的元数据操作到全局存储器。
10.根据本发明的另一方面，提供了一种全局存储数据一致性的装置，包括：
11.获取模块，用于获取预设数量条操作日志，所述操作日志对应元数据操作；
12.第一同步模块，用于将所述预设数量条操作日志中包括的文件创建操作日志加入预设队列，从所述预设队列中将所述文件创建操作日志对应的元数据操作同步到全局存储器；
13.第二同步模块，用于将所述预设数量条操作日志中除所述文件创建操作日志以外的其他操作日志，按照顺序同步各所述其他操作日志对应的元数据操作到全局存储器。
14.根据本发明的另一方面，提供了一种存储网关，所述存储网关包括：至少一个处理器；以及
15.与所述至少一个处理器通信连接的存储器；其中，
16.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的全局存储数据一致性的方法。
17.根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的全局存储数据一致性的方法。
18.本发明实施例的技术方案，通过将文件创建操作日志加入预设队列，解决了将存储网关缓存中的元数据操作更新到全局存储中的速度较慢的问题，取到了提升缓存元数据更新到全局存储器的效率有益效果。
19.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
20.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1为本发明实施例一所提供的一种全局存储数据一致性的方法的流程示意图；
22.图2为本发明实施例二所提供的一种全局存储数据一致性的方法的流程示意图；
23.图3为本发明示例实施例所提供的一种全局存储数据一致性的方法的流程示意图；
24.图4为本发明示例实施例所提供的同步操作日志对应的元数据操作到全局存储器的流程示意图；
25.图5为本发明实施例三所提供的一种全局存储数据一致性的装置的结构示意图；
26.图6为本发明实施例的一种全局存储数据一致性的方法的存储网关的结构示意图。
具体实施方式
27.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。应当理解，本发明的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。
28.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
29.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或
描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
30.需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
31.本发明实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
32.实施例一
33.图1为本发明实施例一所提供的一种全局存储数据一致性的方法的流程示意图，该方法可适用于将存储网关中的缓存元数据更新到全局存储器进行全局存储的情况，该方法可以由全局存储数据一致性的装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在存储网关上，在本实施例中存储网关包括但不限于nas网关。
34.如图1所示，本发明实施例一提供的一种全局存储数据一致性的方法，包括如下步骤：
35.s110、获取预设数量条操作日志。
36.其中，所述操作日志对应元数据操作。获取到的操作日志的数量可以自行设置，预设数量可以为大于1的任意整数。
37.在本实施例中，对获取操作日志的方式不做具体限制，可以通过任意一种可行的方式获取多条操作日志，示例性的，一种可行的方式为从元数据缓存中拉取多条操作日志。
38.其中，元数据缓存可以持久化到各种nosql数据库，如mongodb、rocksdb、redis等。其中，操作日志的持久化可以采用消息队列、数据库或者其他能保证顺序的组件。
39.s120、将所述预设数量条操作日志中包括的文件创建操作日志加入预设队列，从所述预设队列中将所述文件创建操作日志对应的元数据操作同步到全局存储器。
40.其中，预设数量条操作日志中可以包括多种操作日志。由于元数据缓存为树形结构，所以可以将对树形结构影响较小的操作日志加入预设队列，文件创建操作日志可以作为一种对树形结构影响较小的操作日志。
41.在本实施例中，在将预设数量条操作日志对应的元数据操作同步到全局存储器之前，可以预先创建一个队列，将对树形结构影响较小的操作日志加入到该队列中，再从该队列中获取对树形结构影响较小的操作日志，按照日志的获取顺序，将对树形结构影响较小的操作日志对应的元数据操作同步到全局存储器。
42.其中，全局存储器能够对缓存元数据进行全局存储，全局存储器可以为存储设备、非结构化数据管理系统以及云存储中的任意一个。
43.进一步的，从所述预设队列中将所述文件创建操作日志对应的元数据操作同步到全局存储器，包括：通过线程池中的多个工作线程，以并发的形式将所述预设队列中的多个文件创建操作日志对应的多个元数据操作同时同步到全局存储器。
44.在本实施例中，通过创建线程池可以并发的将多个文件创建操作日志对应的多个元数据操作同时同步到全局存储器以进行全局存储。
45.在一个实施例中，线程池中的工作线程的数量可以动态配置，所有工作线程可以
从预设队列中获取文件创建操作日志，并根据文件创建操作日志执行对应的数据更新操作，线程池中的所有工作线程可以并发的将多个文件创建操作日志对应的元数据操作更新到全局存储器。其中，从预设队列中获取文件创建操作日志时，可以对预设队列加锁，以防止获取到重复的文件创建操作日志。
46.在本实施例中，同步文件创建操作日志对应的元数据操作到全局存储器可以包括：根据符合预设条件的元数据操作对应的完整缓存路径以及该元数据操作，更新全局存储器中的元数据缓存；将不符合所述预设条件的元数据操作对应的操作日志加入到预设数据结构中。
47.其中，预设条件包括：所述元数据操作的节点中不包括存在于预设数据结构中的节点，且所述元数据操作的父路径都不存在于所述预设数据结构中。示例性的，当元数据操作的节点包括a、b、c三个节点时，若a、b、c三个节点中有一个节点存在于预设数据结构中，则表征该元数据操作不满足预设条件，需要将该元数据操作对应的操作日志加入到预设数据结构中；若a、b、c三个节点都不存在于预设数据结构中，则继续在元数据缓存中向上找父路径，若该元数据操作的父路径都不存在于预设数据结构中，则表征该元数据操作符合预设条件，可以拼接出完整缓存路径，通过拼接出的完整缓存路径以及该元数据操作更新全局存储器中的元数据。
48.s130、将所述预设数量条操作日志中除所述文件创建操作日志以外的其他操作日志，按照顺序同步各所述其他操作日志对应的元数据操作到全局存储器。
49.其中，其他操作日志对应的元数据操作可以包括目录create、rename以及remove等对树形结构影响较大的操作。
50.在本实施例中，可以按照操作日志的排列顺序将其他操作日志对应的元数据操作同步到全局存储器。
51.可以理解的是，将其他操作日志对应的元数据操作同步到全局存储器的过程与步骤s120中将文件创建操作日志对应的元数据操作同步到全局存储器的过程相同，具体可以包括如下过程：判断元数据操作的节点中是否包括存在于预设数据结构中的节点，若存在，则将该元数据操作对应的操作日志加入预设数据结构中；若不存在，则在元数据缓存中向上找父路径，并判断是否有父路径存在于预设数据结构中，若是，则将该元数据操作对应的操作日志加入预设数据结构中；若否，则确定是否能拼接出完整缓存路径，若能够拼接出完整缓存路径，则通过拼接出的完整缓存路径以及该元数据操作更新全局存储器中的元数据；若不能拼接出完整缓存路径，则继续返回在元数据缓存中向上查找父路径，直到拼接出完整缓存路径。
52.需要说明的是，s120和s130的执行不区分先后顺序，也可以同时执行。
53.本发明实施例一提供的一种全局存储数据一致性的方法，首先获取预设数量条操作日志；然后将所述预设数量条操作日志中包括的文件创建操作日志加入预设队列，从所述预设队列中将所述文件创建操作日志对应的元数据操作同步到全局存储器；最终将所述预设数量条操作日志中除所述文件创建操作日志以外的其他操作日志，按照顺序同步各所述其他操作日志对应的元数据操作到全局存储器。该方法通过将文件创建操作日志加入预设队列，能够提升缓存元数据更新到全局存储器的效率。
54.实施例二
55.图2为本发明实施例二所提供的一种全局存储数据一致性的方法的流程示意图，本实施例二在上述各实施例的基础上进行优化。在本实施例中，进一步的引入预设数据结构。本实施例尚未详尽的内容请参考实施例一。
56.如图2所示，本发明实施例二提供的一种全局存储数据一致性的方法，包括如下步骤：
57.s210、获取预设数量条操作日志。
58.s220、将所述预设数量条操作日志中包括的文件创建操作日志加入预设队列，从所述预设队列中将所述文件创建操作日志对应的元数据操作同步到全局存储器。
59.s230、将所述预设数量条操作日志中除所述文件创建操作日志以外的其他操作日志，按照顺序同步各所述其他操作日志对应的元数据操作到全局存储器。
60.s240、将所述预设数量条操作日志中同步失败的操作日志加入预设数据结构中，当所述预设数量条操作日志处理完成后，将所述预设数据结构中同步失败的操作日志对应的元数据操作同步到全局存储器，将同步成功的元数据操作对应的操作日志从所述预设数据结构中删除。
61.在一个实施例中，若是某条操作日志在处理过程中因为某种原因失败了，可以将该条操作日志加入到预设数据结构中。其中，预设数据结构可以为预先设置的具有查找功能的数据结构。
62.其中，在后续处理其他操作日志时，若发现该操作日志对应的元数据操作的父路径在预设数据结构中，则可以将该操作日志加入预设数据结构中。
63.需要说明的是，加入预设数据结构可以使得某条操作日志执行失败时只会影响其子树的其他数据更新，而旁路数据仍能够更新到全局存储器中。
64.本发明实施例二提供的一种全局存储数据一致性的方法，在一方面，该方法将文件创建操作日志加入预设队列，通过引入线程池使得文件创建操作日志对应的元数据操作可以并发执行，能够提升缓存元数据更新到全局存储器的效率；在另一方面，通过引入预设数据结构，当某条操作日志对应的元数据操作同步失败时，可以跳过同步受限的子树，使得旁路数据不受影响。
65.本发明实施例在上述各实施例的技术方案的基础上，提供了一种具体的实施方式。
66.作为本实施一种具体的实施方式，图3为本发明示例实施例所提供的一种全局存储数据一致性的方法的流程示意图，如图3所示，该方法可以包括如下步骤：
67.s101、一次拉取n条操作日志。
68.s102、按照顺序拉取出n条操作日志中的第一条未处理的操作日志。
69.s103、判断本条操作日志是否为file create。
70.若是，则执行s107；若否，则执行s104。
71.s104、将本条操作日志对应的元数据操作更新到全局存储器中。
72.s105、判断取出的n条日志是否都处理完成。
73.若是，则执行s102；若否，则执行s106。
74.s106、顺序处理delaymap即预设数据结构中的操作日志，将处理成功的操作日志从delaymap中删除，仍然处理失败的操作日志继续留在delaymap中。
75.s107、将本条操作日志加入到一个队列中。
76.s108、从队列中取操作日志，程序中另起一个线程池，线程池中的worker数可动态配置，通过多个worker同步操作日志对应的元数据操作到全局存储器。
77.进一步的，图4为本发明示例实施例所提供的同步操作日志对应的元数据操作到全局存储器的流程示意图，同步操作日志对应的元数据操作到全局存储的步骤如图4所示，具体步骤如下：
78.s201、查找delaymap中是否有影响本节点的条目。
79.若是，则执行s207；若否，则执行s202。
80.s202、在mdcache即元数据缓存中向上查找父路径。
81.s203、查找delaymap中是否有影响父路径的条目。
82.若有，则执行s207；若没有，则执行s204。
83.s204、判断路径是否已经拼接完整。
84.若是，则执行s205；若否，则返回重新返回执行s202-s204。
85.s205、通过拼接出的完整路径以及相应的元数据操作更新全局存储器中的元数据。
86.s206、判断更新操作是否成功。
87.若成功，则结束；若失败，则执行s207。
88.s207、将本条操作日志加入到delaymap。
89.上述方法将file create操作塞入线程池并发执行，提升了缓存元数据更新的速度。并通过树形结构的分解，若某条元数据更新失败，则跳过其子树的所有元数据更新操作，使得更新异常不阻塞整体的数据更新，提高了缓存数据更新到全局存储中的效率。
90.实施例三
91.图5为本发明实施例三所提供的一种全局存储数据一致性的装置的结构示意图，该装置可适用于将存储网关中的缓存元数据更新到全局存储器进行全局存储的情况，其中该装置可由软件和/或硬件实现，并一般集成在存储网关上。
92.如图5所示，该装置包括：获取模块110、第一同步模块120以及第二同步模块130。
93.获取模块110，用于获取预设数量条操作日志，所述操作日志对应元数据操作；
94.第一同步模块120，用于将所述预设数量条操作日志中包括的文件创建操作日志加入预设队列，从所述预设队列中将所述文件创建操作日志对应的元数据操作同步到全局存储器；
95.第二同步模块130，用于将所述预设数量条操作日志中除所述文件创建操作日志以外的其他操作日志，按照顺序同步各所述其他操作日志对应的元数据操作到全局存储器。
96.在本实施例中，该装置首先通过获取模块110获取预设数量条操作日志；然后通过第一同步模块120将所述预设数量条操作日志中包括的文件创建操作日志加入预设队列，从所述预设队列中将所述文件创建操作日志对应的元数据操作同步到全局存储器；最后通过第二同步模块130将所述预设数量条操作日志中除所述文件创建操作日志以外的其他操作日志，按照顺序同步各所述其他操作日志对应的元数据操作到全局存储器。
97.本实施例提供了一种全局存储数据一致性的装置，能够提升缓存元数据更新到全
局存储器的效率。
98.进一步的，所述全局存储器包括存储设备、非结构化数据管理系统以及云存储中的一个。
99.进一步的，第一同步模块120具体用于：通过线程池中的多个工作线程，以并发的形式将所述预设队列中的多个文件创建操作日志对应的多个元数据操作同时同步到全局存储器。
100.进一步的，所述装置还包括处理模块，用于将所述预设数量条操作日志中同步失败的操作日志加入预设数据结构中，当所述预设数量条操作日志处理完成后，将所述预设数据结构中同步失败的操作日志对应的元数据操作同步到全局存储器，将同步成功的元数据操作对应的操作日志从所述预设数据结构中删除。
101.进一步的，将操作日志对应的元数据操作同步到全局存储器包括：若操作日志对应的元数据操作符合预设条件，则确定符合预设条件的元数据操作对应的完整缓存路径；根据所述完整缓存路径以及所述元数据操作更新全局存储器中的缓存；其中，所述预设条件包括：所述元数据操作的节点中不包括存在于预设数据结构中的节点，且所述元操作的父路径都不存在于所述预设数据结构中。
102.进一步的，该装置将不符合所述预设条件的元数据操作对应的操作日志加入所述预设数据结构中。
103.上述全局存储数据一致性的装置可执行本发明任意实施例所提供的全局存储数据一致性的方法，具备执行方法相应的功能模块和有益效果。
104.实施例四
105.图6示出了可以用来实施本发明的实施例的存储网关10的结构示意图。如图6所示，存储网关10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储存储网关10操作所需的各种程序和数据。处理器11、rom12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
106.存储网关10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
107.处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如一种全局存储数据一致性的方法。
108.在一些实施例中，一种全局存储数据一致性的方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到存储网关10上。当计算机
程序加载到ram 13并由处理器11执行时，可以执行上文描述的一种全局存储数据一致性的方法中的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行一种全局存储数据一致性的方法。
109.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
110.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
111.在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
112.为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
113.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
114.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算
机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
115.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
116.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。