数据处理方法、装置、电子设备及计算机可读存储介质与流程

1.本公开涉及数据处理技术领域，具体而言，本公开涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.近几年间，大数据横空出世，几乎成了人尽皆知的热点。机器学习、深度学习、大数据这些新的领域，数据是解决问题的重要环节，甚至起着一定的引导作用，数据的价值在于其被使用的程度，即被查询或更新的频率，这就衍生出了冷数据和热数据的概念。
3.现有技术对于冷热数据的处理中，一般都是通过记录数据的访问频次，搭配一些权重机制来有效地划分热/冷数据，最后保留下热数据，但这些方法没有考虑到数据的归属性和关联性，数据的重复率高，造成空间浪费；又或者是按数据创建时间或按数据访问热度，来区分冷热数据，但是按创建时间的方法忽视了数据价值，即被查询或更新的频率，而按访问热度方法虽然考虑了数据的价值，但是并未关注到数据的质量问题，这样即使筛选出热数据，但是数据的重复率过高。
4.由此可见，现有技术中对于冷热数据的处理存在数据重复率高、浪费存储空间的技术问题，需要改进。


技术实现要素：

5.本公开的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中对于冷热数据的处理存在数据重复率高、浪费存储空间的技术问题。
6.第一方面，提供了一种数据处理方法，该方法包括：
7.获取数据库中数据的产生路径以及所述数据的被访问记录；
8.基于所述数据的被访问记录对所述数据进行分类，确定所述数据的类别；
9.当所述数据为冷数据时，基于所述数据的产生路径对所述数据进行压缩存储或删除。
10.第二方面，提供了一种数据处理装置，该装置包括：
11.数据获取模块，用于获取数据库中数据的产生路径以及所述数据的被访问记录；
12.数据分类模块，用于基于所述数据的被访问记录对所述数据进行分类，确定所述数据的类别；
13.数据处理模块，用于当所述数据为冷数据时，基于所述数据的产生路径对所述数据进行压缩存储或删除。
14.第三方面，提供了一种电子设备，该电子设备包括：
15.处理器、存储器和总线；
16.所述总线，用于连接所述处理器和所述存储器；
17.所述存储器，用于存储操作指令；
18.所述处理器，用于通过调用所述操作指令，执行上述的数据处理方法。
19.第四方面，提供了一种计算机可读存储介质，所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述的数据处理方法。
20.本公开实施例通过基于被访问记录对数据进行分类，当确定数据为冷数据时，基于该冷数据的产生路径对该数据进行压缩存储或者删除，同时能够实时更新并保存热数据，既节省了存储空间，又能保证对应用的及时响应，在热数据和冷数据进行剥离的同时，考虑到数据的重复性，只保留链路中的热数据，提高了数据质量，特别是在偶发性和周期性的批量操作中，更大程度上降低了缓存污染。
附图说明
21.为了更清楚地说明本公开实施例中的技术方案，下面将对本公开实施例描述中所需要使用的附图作简单地介绍。
22.图1为本公开实施例提供的一种数据处理方法的流程示意图；
23.图2为本公开实施例提供的一种数据生成路径的示意图；
24.图3为本公开实施例提供的一种数据分类方法的流程示意图；
25.图4为本公开实施例提供的一种数据访问方法的流程图；
26.图5为本公开实施例提供的一种数据压缩存储或删除方法的流程图；
27.图6为本公开实施例提供的一种解压或重构访问数据方法的流程图；
28.图7为本公开实施例提供的一种数据处理装置的结构示意图；
29.图8为本公开实施例提供的一种数据分类模块的结构示意图；
30.图9为本公开实施例提供的一种数据访问模块的结构示意图；
31.图10为本公开实施例提供的一种电子设备的结构示意图。
32.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
具体实施方式
33.下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本公开，而不能解释为对本公开的限制。
34.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本公开的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
35.为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。
36.本公开提供的数据处理方法、装置、电子设备和计算机可读存储介质，旨在解决现有技术的如上技术问题。
37.下面以具体地实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本公开的实施例进行描述。
38.本公开实施例中提供了一种数据处理方法，如图1所示，该方法包括：
39.步骤s101，获取数据库中数据的产生路径以及所述数据的被访问记录；
40.在本公开实施例中，数据库中的数据可以是被存储的任意数据，对于一个数据，数据的产生路径是指该数据的生成路径，用于表示该路径的血缘关系，在需要的时候，能够根据该路径重新构建该数据。
41.步骤s102，基于所述数据的被访问记录对所述数据进行分类，确定所述数据的类别；
42.数据的被访问记录包括数据被访问的次数、被访问的时间以及被访问的种类等，其中，被访问的种类包括对数据的增加、检索、更新以及删除等。在本公开实施例中，可以基于数据的被访问记录对数据进行分类，可以区分的类别包括热数据和冷数据，其中，热数据指示在一定时间段内被访问的次数较多的数据，冷数据是指在一定时间段内被访问次数较少的数据。
43.步骤s103，当所述数据为冷数据时，基于所述数据的产生路径对所述数据进行压缩存储或删除。
44.对于一个数据，当确定该数为冷数据时，基于该数据的产生路径对该数据进行压缩存储或删除，以检索该数据的存储内存。其中，对该冷数据是进行压缩存储还是进行删除，可以根据预设的规则进行选择，其中，预设的规则可以是该冷数据重新构建的时间是否大于预设值，若大于预设值，则对冷数据进行压缩存储，若小于预设值，则对冷数据进行删除。当然，上述都是本公开实施例中可选的一种实施方式，基于本公开上述实施例中心思想的其它实施方式也在本公开的保护范围内。
45.对于本公开实施例，为方便说明，以一个具体实施例为例，如图2所示，数据库中包括数据a，b，c，其中，数据a、b、c之间的关系为通过数据a可以生成数据b，通过数据b可以生产数据c，则数据a的生成数据为a，数据b的生成路径为a-b，数据c的生成路径为a-b-c；其中，数据a的被访问记录为过去12个小时内被查询64次，数据b的被访问记录为过去12个小时内被查询85次，数据c的被访问记录为过去12个小时内被查询1次，当然，被访问记录可以不仅仅是查询，还可以是创建、更新删除的，此处是为方便说明。基于上述a、b、c数据的被访问记录，基于预设的规则，如在过去12个小时内被访问的次数超出20次的为热数据，低于20次的为冷数据，则可以确定数据a和数据b为热数据，数据c为冷数据，则在对数据c进行处理时，可以基于根据数据a或者数据b生成数据c的时间确定对数据c进行压缩存储或者删除。可选的，当根据数据b生成数据c的时间超出1秒时，对数据c进行压缩存储处理，当时根据数据b生成数据c的时间不超过1秒时，对数据c进行删除。在本公开实施例中，每个数据可以有多个数据生成，一个数据也可以生成多个数据，数据的产生路径也更长，但是对数据的处理方式与上述实施例相同，都属于本公开的保护范围。
46.本公开实施例通过基于被访问记录对数据进行分类，当确定数据为冷数据时，基
于该冷数据的产生路径对该数据进行压缩存储或者删除，同时能够实时更新并保存热数据，既节省了存储空间，又能保证对应用的及时响应，在热数据和冷数据进行剥离的同时，考虑到数据的重复性，只保留链路中的热数据，提高了数据质量，特别是在偶发性和周期性的批量操作中，更大程度上降低了缓存污染。
47.本公开实施例提供了一种可能的实现方式，如图3所示，在该实现方式中，所述基于所述数据的被访问记录对所述数据进行分类，确定所述数据的类别，包括：
48.步骤s301，当所述数据的被访问次数少于预设的阈值时，确定所述数据为冷数据；
49.步骤s302，当所述数据的被访问次数大于所述预设的阈值时，将所述数据加入至待分类队列；
50.步骤s303，确定所述待分类队列中所有数据最后被访问的时间点，将所述待分类队列中所述最后被访问的时间点最早的预设数量的数据作为冷数据，将所述待分类队列中除所述冷数据之外的数据的确定为热数据。
51.在本公开实施例中，在确定数据的类别时，需要根据数据的被访问记录和预设的确定规则进行确定，其中，预设的确定规则可以是用户自身设定的，如在规定时间内的被访问次数达到阈值时才被认定为热数据。其中，数据的被访问记录是指持续到需要确认该数据类型时的访问记录。
52.对于本公开实施例，为方便说明，以一个具体实施例为例，数据库中存在数据a、b、c、d、e，在需要确认数据a、b、c、d、e的类型时，获取各个数据的被访问记录，其中各个数据的被访问记录如下，数据a被查询65次，被更新32次，据b被查询32次，被更新16次，据c被查询36次，被更新8次，据d被查询48次，被更新85次，据e被查询6次，基于预设的规则，当数据的被访问次数少于预设次数时，则确定该数据为冷数据，如该阈值为10次，则对应的数据e为冷数据，数据a、b、c、d都为热数据；若该阈值为100次，则对应的数据a、b、c、e都为冷数据，数据d为热数据。在确定冷数据之后，将热数据加入到待分类队列，其中，待分类队列中全部是被访问次数大于预设阈值的数据，如该待分类队列中本来包括数据f、g、h，加入数据d后，基于每个数据最后被访问的时刻，按照先后顺序对数据进行排列，并在接下来预设的时间段内，记录每个数据的被访问时间点，每次有数据被访问，就按照被访问时间点对数据进行重新排序，达到预设时间后，将该待分类队列中最后被访问时间点距该预设时间点最近的前预设个数的数据作为热数据，其它数据仍作为冷数据。作为本公开一个具体的实施例，如预设时间点是下午12点整，待分类队列中个数据最后被访问的时间点如下，数据d最后被访问的时间为下午11点58，数据f最后被访问的时间为下午6点整，数据g最后被访问的时间点为上午8点37，数据h最后被访问的时间点为下午10点16，若将该待分类队列中最后被访问时间点距该预设时间点最近的前2个数的数据作为热数据，则数据d和数据h为热数据，数据f和数据g为冷数据。
53.本公开实施例通过根据数据的访问记录对数据进行分类，在数据的总被访问次数低于阈值的情况下，将其作为冷数据，在数据的总被访问次数超过阈值的情况下，在通过预设时间段内该数据的访问次数，再次确认该数据是否为热数据，保证数据确认的准确性，防止数据的偶然性。
54.本公开实施例提供了一种可能的实现方式，如图4所示，在该实现方式中，所述基于所述数据的产生路径对所述数据进行压缩存储或删除，包括：
55.步骤s401，基于所述数据的产生路径确定所述数据的上层数据；
56.步骤s402，确定所述数据的上层数据中的目标数据，所述目标数据为在产生路径上距离所述数据最近的数据；
57.步骤s403，确定所述由所述目标数据产生所述数据所需的时长，根据所述时长与预设的阈值的大小关系，对所述数据进行压缩存储或删除。
58.在本公开实施例中，当需要确定对冷数据的处理时，需要基于该冷数据的上层数据进行确定，上层数据是指生成该冷数据的路径中存在的数据，为方便说明，以前述实施例为例，数据c的生成路径为a-b-c，则数据c的上层数据为数据a和数据b。
59.对于本公开实施例，为方便说明，以一个具体实施例为例，数据d的生成路径为a-b-c-d，其中数据c和数据d为冷数据，数据a和数据b为热数据，在确定数据d的处理方式时，获取数据d的上层数据a、b、c，并确定数据a、b、c中的目标数据，其中目标数据为在产生路径上距离数据d最近的一个数据，在本公开实施例中，为数据c，计算基于数据c生成数据d所需的时长，当该时长超出预设的时长时，对数据d进行压缩存储，当该时长未超出预设的时长时，删除数据d。作为本公开又一个实施例，数据a和数据b生成数据c，数据c和数据d生成e，其中，e为冷数据，在需要对e进行处理时，需要计算数据c和数据d拼接形成数据e的时长，将该时长与预设的阈值作比较，当数据c和数据d拼接形成数据e的时长超出预设的阈值时，将数据e在其本身节点进行压缩存储，当数据c和数据d拼接形成数据e的时长未超出预设的阈值时，直接删除数据e。
60.本公开实施例通过确定冷数据的上层数据，并确定该冷数据的上层数据中的目标数据，当基于该目标数据生成该冷数据的时长超出预设阈值时，对该冷数据进行压缩存储，当基于该目标数据生成该冷数据的时长超出预设阈值时，删除该数据，能够有效降低数据的占用内存，又能保证数据对应用的及时响应。
61.本公开实施例提供了一种可能的实施方式，在该实施方式中，如图5所示，所述根据所述时长与预设阈值的大小关系，对所述数据进行压缩存储或删除，包括：
62.步骤s501，当所述时长大于所述预设的阈值时，将所述数据压缩至所述目标数据中进行存储；
63.步骤s502，当所述时长不大于所述预设的阈值时，删除所述数据。
64.基于前述实施例，如基于目标数据生成该冷数据所需的时间未超出预设的阈值时，删除该冷数据，能够有效减少数据占用的内存，在需要访问该数据时，重新生成该数据即可，且生成该数据所需时间较短，相应速度也很快。
65.对于本公开实施例，为方便说明，以一个具体实施例为例，数据d的生成路径为a-b-c-d，其中数据c和数据d为冷数据，数据a和数据b为热数据，在确定数据d的处理方式时，获取数据d的上层数据a、b、c，并确定数据a、b、c中的目标数据，其中目标数据为在产生路径上距离数据d最近的一个数据，在本公开实施例中，为数据c，计算基于数据c生成数据d所需的时长，当该时长超出预设的时长时，对数据d进行压缩存储，当需要对数据c进行处理时，同理，数据c的上层数据为数据a和数据b，若基于数据b生成数据c的时间为超出预设的阈值，则直接将数据c在其自身节点进行压缩存储。
66.对于本公开实施例，为方便说明，以一个具体实施例为例，数据d的生成路径为a-b-c-d，其中数据c和数据d为冷数据，数据a和数据b为热数据，在确定数据d的处理方式时，
获取数据d的上层数据a、b、c，并确定数据a、b、c中的目标数据，其中目标数据为在产生路径上距离数据d最近的一个数据，在本公开实施例中，为数据c，计算基于数据c生成数据d所需的时长，当该时长超出预设的时长时，对数据d进行压缩存储。
67.本公开实施例中，当基于目标数据生成冷数据的时长为超出预设阈值时，直接删除该冷数据，能够有效减少数据占用的内存，在需要访问该数据时，重新生成该数据即可，且生成该数据所需时间较短，相应速度也很快。
68.本公开实施例提供了一种可能的实现方式，如图5所示，在该实现方式中，所述基于所述数据的产生路径对所述数据进行压缩存储或删除之后，还包括：
69.步骤s601，接收数据访问请求，确定被访问数据的类别；
70.步骤s602，当所述被访问数据的类别为冷数据时，确定所述被访问数据的产生路径，基于所述被访问数据的产生路径确定所述被访问数据的上层数据中的所述目标数据；
71.步骤s603，确定所述由所述目标数据产生所述数据所需的时长，根据所述时长与所述预设的阈值的大小关系，获取所述被访问数据。
72.在本公开实施例中，在接收到数据访问请求时，基于该访问请求所访问的数据的类型，对应的响应不同，其中，该访问请求可以是用户通过终端发送的，也可以是服务器发送的，该访问请求中至少带有请求访问的数据，也可以带有请求访问的数据的类别，基于该类别，确定被访问数据的上层数据中的目标数据，并对该目标数据进行解压，得到被访问数据。
73.对于本公开实施例，为方便说明，以一个具体实施例为例，当接收到数据访问请求时，确定该数据访问请求中请求访问的数据的类别，如请求访问的数据为g，其中，数据g为冷数据，则需要确定数据g的上层数据，例如，数据g的上层数据为数据e和数据f，并确定数据e和数据f中为目标数据，对应于前述实施例，若基于数据e和f生成数据g的时长超出预设的阈值，则数据g是通过压缩存储的，则需要访问数据g时，可以先对数据g进行解压，获得数据g，即可访问数据g，若基于数据e和f生成数据g的时长未超出预设的阈值，则数据g已经被删除，根据数据e和f重新生成数据g，即可访问数据g。
74.本公开实施例通过获取数据访问请求中请求访问的数据的类别，当为冷数据时，确定该冷数据的上层数据中的目标数据，并根据基于该目标数据生成被访问数据的时长与阈值的关系，对该目标数据解压或重构，得到被访问数据，相应速度快。
75.本公开实施例提供了一种可能的实现方式，在该实现方式中，所述根据所述时长与所述预设的阈值的大小关系，获取所述被访问数据包括：
76.根据所述时长大于预设的阈值，对所述目标数据进行解压，获得所述被访问数据；
77.根据所述时长不大于预设的阈值，基于所述目标数据及所述被访问数据的产生路径，恢复所述被访问数据，并调用所述被访问数据。
78.在本公开实施例中，在接收到数据访问请求时，基于该访问请求所访问的数据的类型，对应的响应不同，其中，该访问请求可以是用户通过终端发送的，也可以是服务器发送的，该访问请求中至少带有请求访问的数据，也可以带有请求访问的数据的类别，基于该类别，确定被访问数据的上层数据中的目标数据，并对该目标数据重新生成被访问数据，并调用该被访问数据。
79.对于本公开实施例，为方便说明，以一个具体实施例为例，当接收到数据访问请求
时，确定该数据访问请求中请求访问的数据的类别，如请求访问的数据为x，其中，数据x为冷数据，则需要确定数据x的上层数据，例如，数据x的上层数据为数据y和数据z，并确定数据y和数据z为目标数据，，对应于前述实施例，数据x已经被删除，则根据数据y和数据z重新生成数据x，并调用数据x。
80.本公开实施例通过获取数据访问请求中请求访问的数据的类别，当为冷数据时，确定该冷数据的上层数据中的目标数据，并基于该目标数据重新生成该被访问数据，响应速度快。
81.本公开实施例提供了一种可能的实现方式，在该实现方式中，当所述被访问数据的类别为热数据时，调用所述被访问数据。在接收到数据访问请求时，基于该访问请求所访问的数据的类型，对应的响应不同，其中，该访问请求可以是用户通过终端发送的，也可以是服务器发送的，该访问请求中至少带有请求访问的数据，也可以带有请求访问的数据的类别，当被访问数据的类别为热数据时，直接调用该被访问数据即可，响应速度快。
82.本公开实施例通过基于被访问记录对数据进行分类，当确定数据为冷数据时，基于该冷数据的产生路径对该数据进行压缩存储或者删除，同时能够实时更新并保存热数据，既节省了存储空间，又能保证对应用的及时响应，在热数据和冷数据进行剥离的同时，考虑到数据的重复性，只保留链路中的热数据，提高了数据质量，特别是在偶发性和周期性的批量操作中，更大程度上降低了缓存污染。
83.本公开实施例提供了一种数据处理装置，如图7所示，该数据处理装置70可以包括：数据获取模块710、数据分类模块720以及数据处理模块730，其中，
84.数据获取模块710，用于获取数据库中数据的产生路径以及所述数据的被访问记录；
85.数据分类模块720，用于基于所述数据的被访问记录对所述数据进行分类，确定所述数据的类别；
86.数据处理模块730，用于当所述数据为冷数据时，基于所述数据的产生路径对所述数据进行压缩存储或删除。
87.进一步的，如图8所示，数据分类模块还包括：阈值比较单元810、队列添加单元820以及分类单元830，其中，
88.阈值比较单元810，用于当所述数据的被访问次数少于预设的阈值时，确定所述数据为冷数据；
89.队列添加单元820，用于当所述数据的被访问次数大于所述预设的阈值时，将所述数据加入至待分类队列；
90.分类单元830，用于确定所述待分类队列中所有数据最后被访问的时间点，将所述待分类队列中所述最后被访问的时间点最早的预设数量的数据作为冷数据，将所述待分类队列中除所述冷数据之外的数据的确定为热数据。
91.在本公开实施例中，数据分类模块在确定数据的类别时，需要根据数据的被访问记录和预设的确定规则进行确定，其中，预设的确定规则可以是用户自身设定的，如在规定时间内的被访问次数达到阈值时才被认定为热数据。其中，数据的被访问记录是指持续到需要确认该数据类型时的访问记录。
92.对于本公开实施例，为方便说明，以一个具体实施例为例，数据库中存在数据a、b、
c、d、e，在需要确认数据a、b、c、d、e的类型时，获取各个数据的被访问记录，其中各个数据的被访问记录如下，数据a被查询65次，被更新32次，据b被查询32次，被更新16次，据c被查询36次，被更新8次，据d被查询48次，被更新85次，据e被查询6次，基于预设的规则，当数据的被访问次数少于预设次数时，则确定该数据为冷数据，如该阈值为10次，则对应的数据e为冷数据，数据abcd都为热数据；若该阈值为100次，则对应的数据abce都为冷数据，数据d为热数据。在确定冷数据之后，将热数据加入到待分类队列，其中，待分类队列中全部是被访问次数大于预设阈值的数据，如该待分类队列中本来包括数据fgh，加入数据d后，基于每个数据最后被访问的时刻，按照先后顺序对数据进行排列，并在接下来预设的时间段内，记录每个数据的被访问时间点，每次有数据被访问，就按照被访问时间点对数据进行重新排序，达到预设时间后，将该待分类队列中最后被访问时间点距该预设时间点最近的前预设个数的数据作为热数据，其它数据仍作为冷数据。作为本公开一个具体的实施例，如预设时间点是下午12点整，待分类队列中个数据最后被访问的时间点如下，数据d最后被访问的时间为下午11点58，数据f最后被访问的时间为下午6点整，数据g最后被访问的时间点为上午8点37，数据h最后被访问的时间点为下午10点16，若将该待分类队列中最后被访问时间点距该预设时间点最近的前2个数的数据作为热数据，则数据d和数据h为热数据，数据f和数据g为冷数据。
93.本公开实施例通过根据数据的访问记录对数据进行分类，在数据的总被访问次数低于阈值的情况下，将其作为冷数据，在数据的总被访问次数超过阈值的情况下，在通过预设时间段内该数据的访问次数，再次确认该数据是否为热数据，保证数据确认的准确性，防止数据的偶然性。
94.可选的，数据处理模块730在基于所述数据的产生路径对所述数据进行压缩存储或删除时，可以用于：
95.基于所述数据的产生路径确定所述数据的上层数据；
96.确定所述数据的上层数据中的目标数据，所述目标数据为在产生路径上距离所述数据最近的数据；
97.当由所述目标数据产生所述数据所需的时长超出预设的阈值时，将所述数据压缩至所述目标数据中进行存储。
98.可选的，数据处理模块730在基于所述数据的产生路径对所述数据进行压缩存储或删除时，可以用于：
99.当由所述目标数据产生所述数据所需的时长未超出预设的阈值时，删除所述数据。
100.可选的，如图9所示，该数据处理装置还包括数据访问模块740，用于：
101.接收数据访问请求，确定被访问数据的类别；
102.当所述被访问数据的类别为冷数据时，基于所述被访问数据的产生路径确定所述被访问数据的上层数据中的所述目标数据；
103.对所述目标数据进行解压，获得所述被访问数据。
104.可选的，数据访问模块740还可以用于：
105.接收数据访问请求，确定被访问数据的类别；
106.当所述被访问数据的类别为冷数据时，基于所述被访问数据的产生路径确定所述
被访问数据的上层数据中的所述目标数据；
107.基于所述目标数据及所述被访问数据的产生路径，恢复所述被访问数据，并调用所述被访问数据。
108.可选的，该数据访问模块740还可以用于：
109.当所述被访问数据的类别为热数据时，调用所述被访问数据。
110.本公开实施例通过基于被访问记录对数据进行分类，当确定数据为冷数据时，基于该冷数据的产生路径对该数据进行压缩存储或者删除，同时能够实时更新并保存热数据，既节省了存储空间，又能保证对应用的及时响应，在热数据和冷数据进行剥离的同时，考虑到数据的重复性，只保留链路中的热数据，提高了数据质量，特别是在偶发性和周期性的批量操作中，更大程度上降低了缓存污染。
111.本公开实施例的数据处理装置可执行本公开上述实施例所示的数据处理方法，其实现原理相类似，此处不再赘述。
112.下面参考图10，其示出了适于用来实现本公开实施例的电子设备1000的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图10示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
113.电子设备包括：存储器以及处理器，其中，这里的处理器可以称为下文所述的处理装置1001，存储器可以包括下文中的只读存储器(rom)1002、随机访问存储器(ram)1003以及存储装置1008中的至少一项，具体如下所示：
114.如图10所示，电子设备1000可以包括处理装置(例如中央处理器、图形处理器等)1001，其可以根据存储在只读存储器(rom)1002中的程序或者从存储装置1008加载到随机访问存储器(ram)1003中的程序而执行各种适当的动作和处理。在ram 1003中，还存储有电子设备1000操作所需的各种程序和数据。处理装置1001、rom 1002以及ram 1003通过总线1004彼此相连。输入/输出(i/o)接口1005也连接至总线1004。
115.通常，以下装置可以连接至i/o接口1005：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1006；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置1007；包括例如磁带、硬盘等的存储装置1008；以及通信装置1009。通信装置1009可以允许电子设备1000与其他设备进行无线或有线通信以交换数据。虽然图10示出了具有各种装置的电子设备1000，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
116.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置1009从网络上被下载和安装，或者从存储装置1008被安装，或者从rom 1002被安装。在该计算机程序被处理装置1001执行时，执行本公开实施例的方法中限定的上述功能。
117.需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不
限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
118.在一些实施方式中，客户端、服务器可以利用诸如http(hypertext transfer protocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“lan”)，广域网(“wan”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
119.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
120.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取至少两个网际协议地址；向节点评价设备发送包括所述至少两个网际协议地址的节点评价请求，其中，所述节点评价设备从所述至少两个网际协议地址中，选取网际协议地址并返回；接收所述节点评价设备返回的网际协议地址；其中，所获取的网际协议地址指示内容分发网络中的边缘节点。
121.或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取数据库中数据的产生路径以及所述数据的被访问记录；基于所述数据的被访问记录对所述数据进行分类，确定所述数据的类别；当所述数据为冷数据时，基于所述数据的产生路径对所述数据进行压缩存储或删除。
122.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
123.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代
表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
124.描述于本公开实施例中所涉及到的模块或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。
125.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
126.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
127.应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
128.以上所述仅是本公开的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本公开原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本公开的保护范围。