一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

分布式文件系统中的数据处理方法和装置与流程

2022-06-01 08:43:28 来源:中国专利 TAG:


1.本技术属于计算机技术领域,具体涉及一种分布式文件系统中的数据处理方法和装置。


背景技术:

2.目前,在分布式文件系统中,计算节点在读取数据时,通常会直接通过网络从后端存储系统读取,且计算节点之间是独立不相关的。例如,当多个计算节点均要读取同一份目标文件时,这些计算节点会各自从后端存储系统读取该文件。
3.由此可见,在相关技术中,当计算节点数量较大、读取请求量较大时,后端存储系统的带宽会被打满,造成突发大流量的问题,计算节点的读取速度会受到影响,同时业务写入也因为无法及时发送给后端存储系统而受阻,增加后端存储系统的宕机风险,影响系统业务的数据处理速度。


技术实现要素:

4.本技术实施例的目的是提供一种分布式文件系统中的数据处理方法和装置,能够缓解相关技术中分布式文件系统的后端存储系统的带宽压力,避免突发大流量的问题,从而有效降低后端存储系统的宕机风险,同时释放更多带宽用于处理有效数据请求,提高系统业务的数据处理速度。
5.第一方面,本技术实施例提供了一种分布式文件系统中的数据处理方法,包括:在接收到第一数据的读请求的情况下,从缓存组的多个节点中确定第一节点;在所述第一节点不是本地节点的情况下,从所述第一节点读取所述第一数据;发送所述读请求的反馈信息,其中,所述反馈信息包括所述第一数据。
6.第二方面,本技术实施例提供了一种分布式文件系统中的数据处理装置,包括:节点确定模块,用于在接收到第一数据的读请求的情况下,从缓存组的多个节点中确定第一节点;第一处理模块,用于在所述第一节点不是本地节点的情况下,从所述第一节点读取所述第一数据;返回模块,用于发送所述读请求的反馈信息,其中,所述反馈信息包括所述第一数据。
7.第三方面,本技术实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
8.第四方面,本技术实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
9.第五方面,本技术实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
10.第六方面,本技术实施例提供一种计算机程序产品,该程序产品被存储在存储介
质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
11.在本技术实施例中,通过在接收到第一数据的读请求的情况下,从缓存组的多个节点中确定第一节点;在所述第一节点不是本地节点的情况下,从所述第一节点读取所述第一数据;发送所述读请求的反馈信息,其中,所述反馈信息包括所述第一数据,能够缓解相关技术中分布式文件系统的后端存储系统的带宽压力,避免突发大流量的问题,从而有效降低后端存储系统的宕机风险,同时释放更多带宽用于处理有效数据请求,提高系统业务的数据处理速度。
附图说明
12.图1是本技术的一个实施例的缓存组的结构示意图;
13.图2是本技术的一个实施例的数据处理方法的示意性流程图之一;
14.图3是本技术的一个实施例的数据处理方法的示意性流程图之二;
15.图4是本技术的一个实施例的数据处理方法的示意性流程图之三;
16.图5是本技术的一个实施例的数据处理方法的示意性流程图之四;
17.图6是本技术的一个实施例的数据处理装置的结构示意图;
18.图7是本技术的一个实施例的电子设备的结构示意图;
19.图8是本技术的一个实施例的电子设备的硬件结构示意图。
具体实施方式
20.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本技术保护的范围。
21.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
22.下面结合附图,通过具体的实施例及其应用场景对本技术实施例提供的分布式文件系统中的数据处理方法进行详细地说明。
23.如图1所示,本技术的一个实施例提供一种分布式文件系统中的缓存组的结构示意图。
24.分布式文件系统中的缓存组由多个节点组成,换句话说,分布式文件系统中的缓存组可以由两个及两个以上的节点组成,本技术实施例对此不进行限制,但为了方便举例说明,本技术实施例中的缓存组由三个节点组成,分别是节点a、节点b和节点c。进一步地,每个节点包括用户请求处理模块、缓存处理模块和后端处理模块。其中,所述用户请求处理模块可以用于处理用户请求,所述用户请求包括读请求和写请求。所述用户请求处理模块会根据用户请求,向所述缓存处理模块和/或后端处理模块发送相应的请求消息。其中,某个节点的用户请求处理模块不仅可以向本地节点的缓存处理模块发送相应的请求消息,还
可以向所述缓存组中的其他节点的缓存处理模块发送相应的请求消息。所述缓存处理模块可以用于读取本地缓存、管理本地缓存等。所述后端处理模块可以用于读取后端存储系统、管理后端存储系统等。
25.如图2所示,本技术的一个实施例提供一种分布式文件系统中的数据处理方法,该方法包括如下步骤:
26.步骤210:在接收到第一数据的读请求的情况下,从缓存组的多个节点中确定第一节点。
27.所述第一数据的读请求为用户读请求。节点在接收到读取第一数据的用户读请求的情况下,从缓存组的多个节点中确定第一节点。
28.其中,所述第一节点为所述缓存组中用于从后端存储系统读取所述第一数据的节点。换句话说,在所述缓存组的多个节点中,所述第一节点负责从后端存储系统读取所述第一数据,所述缓存组中除所述第一节点外的其他节点不会从后端存储系统读取所述第一数据。
29.可以理解,在本技术实施例提供的分布式文件系统中,所述缓存组包括的第一节点通过网络从所述后端存储系统读取数据,所述后端存储系统,例如是云存储系统。
30.也就是说,在节点接收到第一数据的读请求的情况下,该节点不会直接从后端存储系统读取所述第一数据,而是先从缓存组的多个节点中确定用于从后端存储系统读取所述第一数据的节点。
31.结合上述由节点a、节点b和节点c组成的缓存组举例说明,在节点a的用户请求处理模块接收到读取第一数据的用户读请求的情况下,会先从缓存组的节点a、节点b和节点c中确定第一节点,也就是从节点a、节点b和节点c中确定负责从后端存储系统读取所述第一数据的节点,而不是在节点a接收到第一数据的读请求的情况下,由节点a直接从后端存储系统读取所述第一数据。
32.步骤220:在所述第一节点不是本地节点的情况下,从所述第一节点读取所述第一数据。
33.其中,所述本地节点即为接收到第一数据的读请求的节点。
34.所述第一节点为所述缓存组中用于从后端存储系统读取所述第一数据的节点,所述第一节点不是本地节点,也就是说,负责从后端存储系统读取所述第一数据的节点不是本地节点。在这种情况下,所述本地节点从所述第一节点读取所述第一数据,而不是从后端存储系统读取所述第一数据。
35.结合上述由节点a、节点b和节点c组成的缓存组举例说明,如果在节点a的用户请求处理模块接收到读取第一数据的用户读请求的情况下,确定出第一节点为节点b,那么在这种情况下,节点a的用户请求处理模块会向节点b的缓存处理模块发送所述第一数据的读取消息,并接收由节点b的缓存处理模块返回的反馈信息,所述反馈信息中包括所述第一数据。节点a不会直接从后端存储系统读取所述第一数据。
36.本地节点会向所述第一节点发送所述第一数据的读取消息。在所述第一节点接收到所述读取消息的情况下,确定所述第一数据是否缓存在所述第一节点的缓存。在所述第一数据缓存在所述第一节点的缓存的情况下,所述第一节点从所述第一节点的缓存读取所述第一数据,并将所述第一数据返回给所述本地节点;而在所述第一数据未缓存在所述第
一节点的缓存的情况下,所述第一节点从后端存储系统读取所述第一数据并将所述第一数据返回给所述本地节点,且将所述第一数据缓存在所述第一节点的缓存,从而在下一次读取所述第一数据的时候,所述第一节点就可直接从缓存读取,而不需要从后端存储系统读取。
37.由此,在确定出负责从后端存储系统读取所述第一数据的第一节点不是本地节点的情况下,本地节点会从所述第一节点读取所述第一数据,而不会从后端存储系统读取所述第一数据,由此在多个节点需要读取同一数据时,只需要其中一个节点从后端存储系统读取一次,而不需要多个节点各自从后端存储系统分别读取,有效减少冗余数据读取,减轻后端存储系统的带宽压力。
38.步骤230:发送所述读请求的反馈信息,其中,所述反馈信息包括所述第一数据。
39.在本地节点从第一节点读取所述第一数据之后,本地节点将所述第一数据作为所述读请求的反馈信息发送,以反馈所述读请求。在一种实现方式中,所述读请求的反馈信息,按所述读请求的原路径返回。例如,接收用户的读请求,则将反馈信息按所述读请求的原路径返回给用户。
40.结合上述由节点a、节点b和节点c组成的缓存组举例说明,沿用上例,本地节点为节点a,第一节点为节点b,节点a的用户请求处理模块向节点b的缓存处理模块发送第一数据的读取消息,节点b的缓存处理模块会将所述第一数据返回给节点a的用户请求处理模块,之后节点a的用户请求处理模块会将所述第一数据作为所述读请求的反馈信息发送给用户,以反馈所述读请求。
41.由此,本技术实施例提供的一种分布式文件系统中的数据处理方法,通过在接收到第一数据的读请求的情况下,从缓存组的多个节点中确定第一节点;在所述第一节点不是本地节点的情况下,从所述第一节点读取所述第一数据;发送所述读请求的反馈信息,其中,所述反馈信息包括所述第一数据,能够在多个节点需要读取同一数据时,只需要其中一个节点从后端存储系统读取一次,而不需要多个节点各自从后端存储系统分别读取,有效减少冗余数据读取,缓解后端存储系统的带宽压力,避免突发大流量的问题,从而有效降低后端存储系统的宕机风险,同时释放更多带宽用于处理有效数据请求,提高系统业务的数据处理速度。
42.如图3所示,本技术的一个实施例提供一种分布式文件系统中的数据处理方法,该方法包括如下步骤:
43.步骤310:在接收到第一数据的读请求的情况下,从缓存组的多个节点中确定第一节点。
44.步骤310可以采用图2实施例步骤210的描述,在此不再赘述。
45.在一种实现方式中,步骤310可以包括以下步骤:
46.步骤311:在接收到第一数据的读请求的情况下,确定所述第一数据的哈希值。
47.在一种实现方式中,根据所述第一数据的文件名进行哈希计算,得到所述第一数据的哈希值。
48.例如,在接收到第一文件的读请求的情况下,确定所述第一文件的哈希值。具体的,可以先确定所述第一文件的大小。在所述第一文件的大小小于或等于一个数据块的最大大小的情况下,可以根据所述第一文件的文件名直接计算哈希值。在所述第一文件的大
小大于一个数据块的最大大小的情况下,可以先对所述第一文件进行文件切分,对文件名追加编号,再进行哈希值计算。
49.步骤312:根据所述第一数据的哈希值,从缓存组的多个节点中确定第一节点。
50.沿用步骤311的例子,在计算所述第一文件的哈希值后,根据计算得到的哈希值可以确定与所述第一文件对应的第一节点。
51.由此,通过计算所述第一数据的哈希值,就可以实现第一节点的确定,确定方式准确,确保多个节点在接收到第一数据的读请求的情况下,都能准确的确定出与所述第一数据对应的第一节点,从而使得多个节点能成功的从所述第一节点读取所述第一数据,有效减少冗余数据读取。
52.步骤321:在所述第一节点不是本地节点的情况下,从所述第一节点读取所述第一数据。
53.步骤321可以采用图2实施例步骤220的描述,在此不再赘述。
54.步骤322:在所述第一节点为本地节点的情况下,确定所述第一数据是否缓存在本地缓存。
55.所述第一节点为所述缓存组中用于从后端存储系统读取所述第一数据的节点,所述第一节点为本地节点,也就是说,本地节点就是负责从后端存储系统读取所述第一数据的节点。在这种情况下,先确定本地缓存中是否存在所述第一数据。
56.结合上述由节点a、节点b和节点c组成的缓存组举例说明,在节点a的用户请求处理模块接收到读取第一数据的用户读请求的情况下,确定出第一节点为节点a,那么在这种情况下,节点a的用户请求处理模块会向节点a的缓存处理模块发送所述第一数据的读取消息。在节点a的缓存处理模块接收到节点a的用户请求处理模块发送的所述第一数据的读取消息之后,确定所述第一数据是否缓存在本地缓存。
57.步骤323:在所述第一数据缓存在所述本地缓存的情况下,从所述本地缓存读取所述第一数据以反馈所述读请求。
58.沿用上例,节点a的缓存处理模块确定所述第一数据是否缓存在本地缓存,在所述第一数据缓存在所述本地缓存的情况下,节点a的缓存处理模块从所述本地缓存读取所述第一数据以反馈所述读请求。
59.步骤324:在所述第一数据未缓存在所述本地缓存的情况下,从后端存储系统读取所述第一数据以反馈所述读请求,并将所述第一数据缓存在所述本地缓存。
60.沿用上例,节点a的缓存处理模块确定所述第一数据是否缓存在本地缓存,在所述第一数据未缓存在所述本地缓存的情况下,节点a的缓存处理模块向节点a的后端处理模块发送读取消息,节点a的后端处理模块从后端存储系统读取所述第一数据返回给节点a的缓存处理模块,节点a的缓存处理模块接收到节点a的后端处理模块返回的所述第一数据之后,将所述第一数据返回给节点a的用户请求处理模块,并将所述第一数据缓存在所述本地缓存,从而在下一次读取所述第一数据的时候,节点a可直接从本地缓存读取,而不需要再从后端存储系统读取。
61.由此,负责从后端存储系统读取第一数据的第一节点,在第一次从后端存储系统读取所述第一数据的时候,会将所述第一数据缓存在本地缓存,由此,在后续读取所述第一数据的时候,可以直接从本地缓存读取,而不需要再次从后端存储系统读取,有效减少冗余
数据读取,减轻后端存储系统的带宽压力。
62.步骤330:发送所述读请求的反馈信息,其中,所述反馈信息包括所述第一数据。
63.步骤330可以采用图2实施例步骤230的描述,在此不再赘述。
64.由此,本技术实施例提供的一种分布式文件系统中的数据处理方法,通过在接收到第一数据的读请求的情况下,从缓存组的多个节点中确定第一节点;在所述第一节点不是本地节点的情况下,从所述第一节点读取所述第一数据;发送所述读请求的反馈信息,其中,所述反馈信息包括所述第一数据,能够在多个节点需要读取同一数据时,只需要其中一个节点从后端存储系统读取一次,而不需要多个节点各自从后端存储系统分别读取,有效减少冗余数据读取,缓解后端存储系统的带宽压力,避免突发大流量的问题,从而有效降低后端存储系统的宕机风险,同时释放更多带宽用于处理有效数据请求,提高系统业务的数据处理速度。
65.由此,本技术实施例提供的一种分布式文件系统中的数据处理方法,通过在所述第一节点为本地节点的情况下,确定所述第一数据是否缓存在本地缓存;在所述第一数据缓存在所述本地缓存的情况下,从所述本地缓存读取所述第一数据以反馈所述读请求;在所述第一数据未缓存在所述本地缓存的情况下,从后端存储系统读取所述第一数据以反馈所述读请求,并将所述第一数据缓存在所述本地缓存,能够使负责从后端存储系统读取第一数据的第一节点只从后端存储系统读取一次所述第一数据,在后续读取所述第一数据的时候,可以直接从本地缓存读取,不需要再次从后端存储系统读取,有效减少冗余数据读取,提高系统业务的数据处理速度。
66.如图4所示,在一种实现方式中,在上述任一实施例提供的分布式文件系统中的数据处理方法的基础上,所述方法还包括如下步骤:
67.步骤410:在接收到第二数据的写请求的情况下,通过本地节点将所述第二数据写入后端存储系统,并从缓存组的多个节点中确定第二节点。
68.所述第二数据的写请求为用户写请求。节点在接收到第二数据的用户写请求的情况下,通过本地节点将所述第二数据写入后端存储系统。
69.结合上述由节点a、节点b和节点c组成的缓存组举例说明,在节点a的用户请求处理模块接收到读取第二数据的用户写请求的情况下,直接向本地节点a的后端处理模块发送写消息,节点a的后端处理模块在接收到该写消息后,将所述第二数据写入后端存储系统。
70.并且,在接收到第二数据的写请求的情况下,从缓存组的多个节点中确定第二节点。
71.所述第二节点为所述缓存组中用于从后端存储系统读取与所述第二数据相关的目标原始数据的节点。所述目标原始数据为在所述第二数据的写入过程中被修改的数据。可以理解的,在写入所述第二数据前,后端存储系统中包括所述目标原始数据,在写入所述第二数据后,所述目标原始数据被修改,后端存储系统中不包括所述目标原始数据。
72.例如,接收到针对第二文件的写请求,所述写请求需要将所述第二文件中的第5段的原始内容替换为新内容,而所述第二文件中的第1-4段不改变。在这种情况下,目标原始数据指的就是所述第二文件中的第5段的原始内容。
73.结合上述由节点a、节点b和节点c组成的缓存组举例说明,在节点a的用户请求处
理模块接收到第二数据的用户写请求的情况下,从节点a、节点b和节点c中确定负责从后端存储系统读取与所述第二数据相关的目标原始数据的节点。
74.步骤420:删除所述第二节点的缓存中的目标原始数据。
75.沿用上例,如果确定出第二节点为节点c,那么在这种情况下,节点a的用户请求处理模块会向节点c的缓存处理模块发送所述目标原始数据的缓存失效消息,节点c的缓存处理模块接收到所述缓存失效消息后,会先确定节点c的缓存中是否包括所述目标原始数据,可以理解的,如果节点c的缓存处理模块从后端存储系统读取并缓存过所述目标原始数据,那么节点c的缓存可能会存在所述目标原始数据。若存在,则将所述目标原始数据从节点c的缓存中删除。
76.通过删除所述第二节点的缓存中的目标原始数据,可以避免已不存在于后端存储系统的原始数据仍缓存在节点缓存,以确保节点缓存数据的正确性。
77.由此,本技术实施例提供的一种分布式文件系统中的数据处理方法,通过在接收到第一数据的读请求的情况下,从缓存组的多个节点中确定第一节点;在所述第一节点不是本地节点的情况下,从所述第一节点读取所述第一数据;发送所述读请求的反馈信息,其中,所述反馈信息包括所述第一数据,能够在多个节点需要读取同一数据时,只需要其中一个节点从后端存储系统读取一次,而不需要多个节点各自从后端存储系统分别读取,有效减少冗余数据读取,缓解后端存储系统的带宽压力,避免突发大流量的问题,从而有效降低后端存储系统的宕机风险,同时释放更多带宽用于处理有效数据请求,提高系统业务的数据处理速度。
78.由此,本技术实施例提供的一种分布式文件系统中的数据处理方法,通过在接收到第二数据的写请求的情况下,通过本地节点将所述第二数据写入后端存储系统,并从缓存组的多个节点中确定第二节点;删除所述第二节点的缓存中的目标原始数据,能够通过接收所述写请求的本地节点将数据写入后端存储系统,并在后端存储系统的数据被改变的情况下,避免已不存在于后端存储系统的原始数据仍缓存在节点缓存,以确保节点缓存数据的正确性。
79.如图5所示,在一种实现方式中,在上述任一实施例提供的分布式文件系统中的数据处理方法的基础上,所述方法还包括如下步骤:
80.步骤510:每隔预定时间,确定本地缓存的缓存容量值。
81.其中,所述预定时间可由用户自行设定。
82.结合上述由节点a、节点b和节点c组成的缓存组举例说明,节点a、节点b和节点c可以每隔5秒,确定各自的本地缓存的缓存容量值。
83.步骤520:在所述本地缓存的缓存容量值高于告警值的情况下,删除所述本地缓存中的第三数据以使所述本地缓存的缓存容量值低于所述告警值。其中,所述第三数据在预定时间内未被访问。
84.节点的本地缓存有配额大小,在本地缓存的缓存容量值高于告警值的情况下,主动删除所述本地缓存中最久没有被访问的数据。
85.例如,每隔5秒钟,确定本地缓存的缓存容量值,并判断本地缓存的缓存容量值是否高于告警值,在本地缓存的缓存容量值高于告警值的情况下,将本地缓存中最久没有被访问的数据删除,如果删除后,本地缓存的缓存容量值还超过告警值,则继续将本地缓存中
最久没有被访问的数据删除,直到本地缓存的缓存容量值低于告警值。
86.由此,本技术实施例提供的一种分布式文件系统中的数据处理方法,通过在接收到第一数据的读请求的情况下,从缓存组的多个节点中确定第一节点;在所述第一节点不是本地节点的情况下,从所述第一节点读取所述第一数据;发送所述读请求的反馈信息,其中,所述反馈信息包括所述第一数据,能够在多个节点需要读取同一数据时,只需要其中一个节点从后端存储系统读取一次,而不需要多个节点各自从后端存储系统分别读取,有效减少冗余数据读取,缓解后端存储系统的带宽压力,避免突发大流量的问题,从而有效降低后端存储系统的宕机风险,同时释放更多带宽用于处理有效数据请求,提高系统业务的数据处理速度。
87.由此,本技术实施例提供的一种分布式文件系统中的数据处理方法,通过每隔预定时间,确定本地缓存的缓存容量值;在所述本地缓存的缓存容量值高于告警值的情况下,删除所述本地缓存中的第三数据以使所述本地缓存的缓存容量值低于所述告警值,能够合理的将节点的本地缓存的缓存容量值维持在合适的范围内,并充分利用节点的本地缓存,确保系统业务的顺利进行。
88.本技术实施例提供的分布式文件系统中的数据处理方法,执行主体可以为数据处理装置。本技术实施例中以数据处理装置执行数据处理方法为例,说明本技术实施例提供的数据处理装置。
89.图6是根据本技术实施例的数据处理装置的结构示意图。如图6所示,数据处理装置600包括:节点确定模块610、第一处理模块620和返回模块630。
90.节点确定模块610,用于在接收到第一数据的读请求的情况下,从缓存组的多个节点中确定第一节点;第一处理模块620,用于在所述第一节点不是本地节点的情况下,从所述第一节点读取所述第一数据;返回模块630,用于发送所述读请求的反馈信息,其中,所述反馈信息包括所述第一数据。
91.在一种实现方式中,所述第一处理模块还用于:在所述第一节点为本地节点的情况下,确定所述第一数据是否缓存在本地缓存;在所述第一数据缓存在所述本地缓存的情况下,从所述本地缓存读取所述第一数据以反馈所述读请求;在所述第一数据未缓存在所述本地缓存的情况下,从后端存储系统读取所述第一数据以反馈所述读请求,并将所述第一数据缓存在所述本地缓存。
92.在一种实现方式中,所述节点确定模块还用于:在接收到第一数据的读请求的情况下,确定所述第一数据的哈希值;根据所述第一数据的哈希值,从所述缓存组的多个节点中确定第一节点。
93.在一种实现方式中,所述装置还包括第二处理模块和第三处理模块;所述第二处理模块,用于在接收到第二数据的写请求的情况下,通过本地节点将所述第二数据写入后端存储系统;所述节点确定模块,还用于在接收到第二数据的写请求的情况下,从所述缓存组的多个节点中确定第二节点;所述第三处理模块,用于删除所述第二节点的缓存中的目标原始数据。
94.在一种实现方式中,所述装置还包括:第四处理模块,用于每隔预定时间,确定本地缓存的缓存容量值;在所述本地缓存的缓存容量值高于告警值的情况下,删除所述本地缓存中的第三数据以使所述本地缓存的缓存容量值低于所述告警值;其中,所述第三数据
在预定时间内未被访问。
95.由此,本技术实施例提供的一种数据处理装置,通过在接收到第一数据的读请求的情况下,从缓存组的多个节点中确定第一节点;在所述第一节点不是本地节点的情况下,从所述第一节点读取所述第一数据;发送所述读请求的反馈信息,其中,所述反馈信息包括所述第一数据,能够在多个节点需要读取同一数据时,只需要其中一个节点从后端存储系统读取一次,而不需要多个节点各自从后端存储系统分别读取,有效减少冗余数据读取,缓解后端存储系统的带宽压力,避免突发大流量的问题,从而有效降低后端存储系统的宕机风险,同时释放更多带宽用于处理有效数据请求,提高系统业务的数据处理速度。
96.本技术实施例中的数据处理装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(mobile internet device,mid)、增强现实(augmented reality,ar)/虚拟现实(virtual reality,vr)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,umpc)、上网本或者个人数字助理(personal digital assistant,pda)等,还可以为服务器、网络附属存储器(network attached storage,nas)、个人计算机(personal computer,pc)、电视机(television,tv)、柜员机或者自助机等,本技术实施例不作具体限定。
97.本技术实施例中的数据处理装置可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本技术实施例不作具体限定。
98.本技术实施例提供的数据处理装置能够实现图2至图5的方法实施例实现的各个过程,为避免重复,这里不再赘述。
99.可选地,如图7所示,本技术实施例还提供一种电子设备700,包括处理器701和存储器702,存储器702上存储有可在所述处理器701上运行的程序或指令,该程序或指令被处理器701执行时实现上述数据处理方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
100.需要说明的是,本技术实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
101.图8为实现本技术实施例的一种电子设备的硬件结构示意图。
102.该电子设备800包括但不限于:射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、以及处理器810等部件。
103.本领域技术人员可以理解,电子设备800还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器810逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
104.其中,处理器810,用于在接收到第一数据的读请求的情况下,从缓存组的多个节点中确定第一节点;在所述第一节点不是本地节点的情况下,从所述第一节点读取所述第
一数据;发送所述读请求的反馈信息,其中,所述反馈信息包括所述第一数据。
105.在一种实现方式中,处理器810,用于在所述第一节点为本地节点的情况下,确定所述第一数据是否缓存在本地缓存;在所述第一数据缓存在所述本地缓存的情况下,从所述本地缓存读取所述第一数据以反馈所述读请求;在所述第一数据未缓存在所述本地缓存的情况下,从后端存储系统读取所述第一数据以反馈所述读请求,并将所述第一数据缓存在所述本地缓存。
106.在一种实现方式中,处理器810,用于在接收到第一数据的读请求的情况下,确定所述第一数据的哈希值;根据所述第一数据的哈希值,从所述缓存组的多个节点中确定第一节点。
107.在一种实现方式中,处理器810,用于在接收到第二数据的写请求的情况下,通过本地节点将所述第二数据写入后端存储系统,并从所述缓存组的多个节点中确定第二节点;删除所述第二节点的缓存中的目标原始数据。
108.在一种实现方式中,处理器810,用于每隔预定时间,确定本地缓存的缓存容量值;在所述本地缓存的缓存容量值高于告警值的情况下,删除所述本地缓存中的第三数据以使所述本地缓存的缓存容量值低于所述告警值;其中,所述第三数据在预定时间内未被访问。
109.应理解的是,本技术实施例中,输入单元804可以包括图形处理器(graphics processing unit,gpu)8041和麦克风8042,图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元806可包括显示面板8061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板8061。用户输入单元807包括触控面板8071以及其他输入设备8072中的至少一种。触控面板8071,也称为触摸屏。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
110.存储器809可用于存储软件程序以及各种数据。存储器809可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器809可以包括易失性存储器或非易失性存储器,或者,存储器809可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,rom)、可编程只读存储器(programmable rom,prom)、可擦除可编程只读存储器(erasable prom,eprom)、电可擦除可编程只读存储器(electrically eprom,eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory,ram),静态随机存取存储器(static ram,sram)、动态随机存取存储器(dynamic ram,dram)、同步动态随机存取存储器(synchronous dram,sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram,ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram,esdram)、同步连接动态随机存取存储器(synch link dram,sldram)和直接内存总线随机存取存储器(direct rambus ram,drram)。本技术实施例中的存储器809包括但不限于这些和任意其它适合类型的存储器。
111.处理器810可包括一个或多个处理单元;可选的,处理器810集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理
器也可以不集成到处理器810中。
112.本技术实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述数据处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
113.其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器rom、随机存取存储器ram、磁碟或者光盘等。
114.本技术实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述数据处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
115.应理解,本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
116.本技术实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述数据处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
117.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
118.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本技术各个实施例所述的方法。
119.上面结合附图对本技术的实施例进行了描述,但是本技术并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本技术的启示下,在不脱离本技术宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本技术的保护之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献