数据库存储冷热分离方法、装置、设备及可读存储介质与流程

1.本技术涉及计算机技术领域，特别涉及一种数据库存储冷热分离方法、装置、设备及计算机可读存储介质。


背景技术：

2.数据库是存储数据的仓库，是按照数据结构来组织、存储和管理数据的仓库，是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。
3.目前，某些网络平台会把其全部数据进行混合，并将这些数据存储在同一个数据库中，基于此，当大量用户通过访问该网络平台进行数据查询、数据插入等操作时，数据库会承受特别大的访问压力，使得页面访问的速度会特别慢。并且，在多人访问的情况下，还会出现数据库服务宕机的问题，导致用户对平台的体验效果较差。


技术实现要素：

4.本技术提供了一种数据库存储冷热分离方法、装置、设备及计算机可读存储介质，能够降低数据库的压力、提高页面访问速度、提升用户体验效果。
5.第一方面，本技术提供了一种数据库存储冷热分离方法，包括：
6.当检测到用户触发的针对第一数据的访问请求时，确定所述第一数据所属的目标数据库；
7.通过访问所述目标数据库响应所述访问请求；
8.其中，所述目标数据库为热数据库或冷数据库，所述热数据库中所存储数据的数据访问频率在第一预设访问频率范围内，所述冷数据库中所存储数据的数据访问频率在第二预设访问频率范围内，所述第一预设访问频率范围的下限值大于所述第二预设访问频率范围的上限值。
9.可选的，所述确定所述第一数据所属的目标数据库，包括：
10.获取所述第一数据的唯一标识，所述唯一标识反映了所述第一数据所属的目标数据库的信息；
11.相应地，所述通过访问所述目标数据库响应所述访问请求，包括：
12.根据所述第一数据的唯一标识链接到所述目标数据库，并通过访问所述目标数据库响应所述访问请求。
13.可选的，所述方法还包括：
14.对所述热数据库中的数据进行监控；
15.若监控到所述热数据库中存在第二数据，则将所述第二数据转移至所述冷数据库中，并将所述第二数据从所述热数据库中删除，其中，所述第二数据的当前数据访问频率在所述第二预设访问频率范围内。
16.可选的，所述对所述热数据库中的数据进行监控，包括：
17.利用自动运行的第一监控脚本，对所述热数据库中的数据进行监控，并在第一任
务队列中添加针对所述第二数据的转移任务；
18.相应地，所述将所述第二数据转移至所述冷数据库中，包括：
19.通过执行所述第一任务队列中的转移任务，将所述第二数据转移至所述冷数据库中。
20.可选的，所述方法还包括：
21.对所述冷数据库中的数据进行监控；
22.若监控到所述冷数据库中存在第三数据，则将所述第三数据转移至所述热数据库中，并将所述第三数据从所述冷数据库中删除，其中，所述第三数据的当前数据访问频率在所述第一预设访问频率范围内。
23.可选的，所述对所述冷数据库中的数据进行监控，包括：
24.利用自动运行的第二监控脚本，对所述冷数据库中的数据进行监控，并在第二任务队列中添加针对所述第三数据的转移任务；
25.相应地，所述将所述第三数据转移至所述热数据库中，包括：
26.通过执行所述第二任务队列中的转移任务，将所述第三数据转移至所述热数据库中。
27.第二方面，本技术提供了一种数据库存储冷热分离装置，包括：
28.数据库确定单元，用于当检测到用户触发的针对第一数据的访问请求时，确定所述第一数据所属的目标数据库；
29.数据库访问单元，用于通过访问所述目标数据库响应所述访问请求；
30.其中，所述目标数据库为热数据库或冷数据库，所述热数据库中所存储数据的数据访问频率在第一预设访问频率范围内，所述冷数据库中所存储数据的数据访问频率在第二预设访问频率范围内，所述第一预设访问频率范围的下限值大于所述第二预设访问频率范围的上限值。
31.可选的，所述数据库确定单元，具体用于当检测到用户触发的针对第一数据的访问请求时，获取所述第一数据的唯一标识，所述唯一标识反映了所述第一数据所属的目标数据库的信息；
32.相应地，所述数据库访问单元，具体用于根据所述第一数据的唯一标识链接到所述目标数据库，并通过访问所述目标数据库响应所述访问请求。
33.可选的，所述装置还包括：
34.第一监控单元，用于对所述热数据库中的数据进行监控；
35.第一转移单元，用于若监控到所述热数据库中存在第二数据，则将所述第二数据转移至所述冷数据库中，并将所述第二数据从所述热数据库中删除，其中，所述第二数据的当前数据访问频率在所述第二预设访问频率范围内。
36.可选的，所述第一监控单元，具体用于利用自动运行的第一监控脚本，对所述热数据库中的数据进行监控，并在第一任务队列中添加针对所述第二数据的转移任务；
37.相应地，所述第一转移单元在将所述第二数据转移至所述冷数据库中时，具体用于通过执行所述第一任务队列中的转移任务，将所述第二数据转移至所述冷数据库中。
38.可选的，所述装置还包括：
39.第二监控单元，用于对所述冷数据库中的数据进行监控；
40.第二转移单元，用于若监控到所述冷数据库中存在第三数据，则将所述第三数据转移至所述热数据库中，并将所述第三数据从所述冷数据库中删除，其中，所述第三数据的当前数据访问频率在所述第一预设访问频率范围内。
41.可选的，所述第二监控单元，具体用于利用自动运行的第二监控脚本，对所述冷数据库中的数据进行监控，并在第二任务队列中添加针对所述第三数据的转移任务；
42.相应地，所述第二转移单元在将所述第三数据转移至所述热数据库中时，具体用于通过执行所述第二任务队列中的转移任务，将所述第三数据转移至所述热数据库中。
43.第三方面，本技术提供了一种电子设备，包括：处理器、存储器；
44.所述存储器，用于存储计算机程序；
45.所述处理器，用于通过调用所述计算机程序，执行上述数据库存储冷热分离方法。
46.第四方面，本技术提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述数据库存储冷热分离方法。
47.在以上本技术提供的技术方案中，当检测到用户触发的针对第一数据的访问请求时，确定第一数据所属的目标数据库；通过访问目标数据库响应访问请求；其中，目标数据库为热数据库或冷数据库，热数据库中所存储数据的数据访问频率在第一预设访问频率范围内，冷数据库中所存储数据的数据访问频率在第二预设访问频率范围内，第一预设访问频率范围的下限值大于第二预设访问频率范围的上限值。可见，本技术将热数据与冷数据进行拆分存储，使得热数据库中存储的都是用户访问频率较高的数据，当大量用户访问热数据时，由于热数据与冷数据拆分存储，只需要访问数据存量较少的热数据库即可，这样，能够有效降低数据库的压力、提高页面访问速度、提升用户体验效果。
附图说明
48.图1为本技术示出的一种数据库存储冷热分离方法的流程示意图；
49.图2为本技术示出的另一种数据库存储冷热分离方法的流程示意图；
50.图3为本技术示出的一种数据库存储冷热分离装置的组成示意图；
51.图4为本技术示出的一种电子设备的结构示意图。
具体实施方式
52.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
53.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
54.应当理解，尽管在本技术可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第
一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
55.参见图1，为本技术实施例提供的一种数据库存储冷热分离方法的流程示意图，该方法包括以下步骤：
56.s101：当检测到用户触发的针对第一数据的访问请求时，确定第一数据所属的目标数据库。
57.s102：通过访问目标数据库响应用户的访问请求。
58.其中，目标数据库为热数据库或冷数据库，热数据库中所存储数据的数据访问频率在第一预设访问频率范围内，冷数据库中所存储数据的数据访问频率在第二预设访问频率范围内，第一预设访问频率范围的下限值大于第二预设访问频率范围的上限值。
59.下面首先对热数据库和冷数据库进行介绍。
60.在本技术实施例中，可以将经常使用的数据放入热数据库中，热数据库存储的是用户访问频率较高的数据(即热数据)，这里的数据通常是一些较新的数据；反之，可以将不经常使用的数据放入冷数据库中，冷数据库存储的是用户访问频率较低的数据(即冷数据)，这里的数据通常是一些历史数据。
61.为了对数据进行冷热区分，可以通过用户访问频率来界定，其中，访问频率是指单位时间内被访问的次数，该单位时间的大小可以预先设定、并且可以按需调整，比如该单位时间为1个月。
62.具体地，可以为热数据库预设一个访问频率范围(这里定义为第一预设访问频率范围)，也为冷数据库预设一个访问频率范围(这里定义为第二预设访问频率范围)，并且，第一预设访问频率范围的下限值要大于第二预设访问频率范围的上限值。例如，可以设置一个访问频率阈值，大于该访问频率阈值的频率区间属于第一预设访问频率范围，不大于该访问频率阈值的频率区间属于第二预设访问频率范围。
63.下面结合热数据库和冷数据库，对本技术实施例的步骤s101和s102进行介绍。
64.在步骤s101中，当检测到用户触发的针对第一数据的访问请求时，确定第一数据所属的目标数据库。具体来讲，任一网络用户可以通过访问感兴趣的网络平台来触发访问请求，本技术实施例不对该访问请求的访问类型进行限定，该访问请求可以是数据查询请求、数据插入请求、数据删除请求等中的任一种。为便于区分，本技术实施例将用户当前所要访问的数据定义为第一数据，比如用户触发的访问请求是查询第一数据、且该第一数据是某竞赛地址，此时，需要确定第一数据所属的目标数据库，即，确定第一数据属于热数据库还是冷数据库，通常情况下，如果第一数据的用户访问频率较高，则第一数据属于热数据库，反之则属于冷数据库。
65.在步骤s102中，通过访问目标数据库响应用户的访问请求。具体来讲，假设用户的访问请求是请求查询第一数据(比如请求查询某竞赛地址)，然后，当确定第一数据属于热数据库时，则从热数据库中提取第一数据并返回给用户界面，当确定第一数据属于冷数据库时，则从冷数据库中提取第一数据并返回给用户界面，从而实现了对用户访问请求的响应。
66.在本技术实施例的一种实现方式中，步骤s101中的“确定第一数据所属的目标数据库”，可以包括：获取第一数据的唯一标识，其中，该唯一标识反映了第一数据所属的目标
数据库的信息。
67.在本实现方式中，可以为每一条数据添加唯一标识，该唯一标识除了代表对应数据，还反映了对应数据的数据状态(即该数据是热数据、还是冷数据)，当其数据状态为热数据时，则表示该数据属于热数据库，反之，当其数据状态为冷数据时，则表示该数据属于冷数据库。基于此，参见图2所示的另一种数据库存储冷热分离方法的流程示意图，对于用户访问的第一数据，通过第一数据的唯一标识所携带的数据状态信息，便可以确定第一数据所属的目标数据库是热数据库、还是冷数据库，即，通过唯一标识确定数据库类型。
68.例如，在一种场景中，可以为每一期竞赛的不同数据添加不同的唯一标识，当处于竞赛正在进行的阶段、或在该竞赛开始前一段时间内、或该竞赛结束后一段时间内，该竞赛的相关数据通常属于热数据，反之则通常属于冷数据。
69.需要说明的是，当出现一些新的数据时，这些新数据的初期访问频率可能不高、但后期可能会被大量访问，因此，可以先将这些数据作为热数据存储在热数据库中，待一段时间后，通常统计出的用户访问频率确定是否将这些数据转移至冷数据库，具体转移方法会在后续内容中介绍。
70.若步骤s101通过第一数据的唯一标识确定目标数据库的类型(即热数据库或冷数据库)，则步骤s102中的“通过访问目标数据库响应访问请求”，可以包括：根据第一数据的唯一标识链接到目标数据库，并通过访问目标数据库响应访问请求。具体来讲，如图2所示，由于第一数据的唯一标识表征了第一数据的数据状态(即热数据或冷数据)，基于该数据状态便可以确定第一数据所属的目标数据库(即热数据库或冷数据库)，故而，可以通过唯一标识链接到目标数据库，然后通过访问目标数据库响应用户的访问请求。
71.可见，平台给每一数据(比如某期竞赛数据)添加唯一标识，通过标识来区分冷热数据。用户访问数据平台，后台获取唯一标识并进行判断，如果判断被访问数据为热数据，则链接到热数据库，如果判断被访问数据为冷数据，则链接到冷数据库，通过区分冷热数据库，实现了数据平台往期数据(冷数据)和新数据(热数据)的拆分，这样可以保证经常使用的热数据可以快速、高效的被查询出来，从而降低了数据库的压力、提高了页面访问速度、提升了用户体验效果，解决了现有技术中数据库数据过多、查询过慢等问题。
72.进一步地，由于热数据经过一段时间后会变成冷数据，为此，后台可以通过定时脚本，把热数据库中的变冷数据同步至冷数据库中，并把变冷数据从热数据库中删除，保持热数据库中一直存储热数据的状态，如图2所示。
73.故而，本技术实施例还可以包括以下步骤a1-a2：
74.步骤a1：对热数据库中的数据进行监控；
75.步骤a2：若监控到热数据库中存在第二数据，则将第二数据转移至冷数据库中，并将第二数据从热数据库中删除，其中，第二数据的当前数据访问频率在第二预设访问频率范围内。
76.具体来讲，可以对热数据库中的数据进行实时监控或定期监控，以确定哪些数据由热数据变成了冷数据，在进行监控时，可以通过用户访问频率进行监控。为便于描述，本技术实施例将热数据库中的每一变冷数据定义为第二数据，当监测到第二数据时，则将第二数据导入冷数据库，且将第二数据从热数据库中删除，这样，可以保持热数据库中一直存储热数据的状态。
77.在本技术实施例的一种实现方式中，步骤a1具体可以包括：利用自动运行的第一监控脚本，对热数据库中的数据进行监控，并在第一任务队列中添加针对第二数据的转移任务；相应地，步骤a2具体可以包括：通过执行第一任务队列中的转移任务，将第二数据转移至冷数据库中。
78.在本实现方式中，首先对不经常使用的热数据进行处理，具体地，当第二数据新出现时，第二数据的初期访问频率可能不高、但后期可能会被大量访问，因此，可以先将第二数据作为热数据存储在热数据库中，并为第二数据设置一个期限(比如1个月)，待该数据期限过后，后台自动运行第一监控脚本来对包括第二数据在内的过期数据进行监控，待查询出第二数据属于变冷数据时，将第二数据转换为可执行的结构化查询语言(structured query language，简称sql)，并在可执行的第一任务队列中添加“将第二数据导入冷数据库”的转移任务。为了将热数据库中的变冷数据导入冷数据库中，需要对第一任务队列进行实时监控，如果第一任务队列中有任务，则可以按照任务添加的先后顺序依次执行任务，通过执行sql把变冷的第二数据添加到冷数据库中，如果第一任务队列中没有任务，则继续对队列进行监控。
79.可以理解的是，冷数据经过一段时间后也可能会变成热数据，比如与当前竞赛相关的往届竞赛数据。为此，后台可以通过定时脚本，把冷数据库中的变热数据同步至热数据库中，并把变热数据从冷数据库中删除，保持热数据库中一直存储热数据的状态。
80.故而，本技术实施例还可以包括以下步骤b1-b2：
81.步骤b1：对冷数据库中的数据进行监控；
82.步骤b2：若监控到冷数据库中存在第三数据，则将第三数据转移至热数据库中，并将第三数据从冷数据库中删除，其中，第三数据的当前数据访问频率在第一预设访问频率范围内。
83.具体来讲，可以对冷数据库中的数据进行实时监控或定期监控，以确定哪些数据由冷数据变成了热数据，在进行监控时，可以通过用户访问频率进行监控。为便于描述，本技术实施例将冷数据库中的每一变热数据定义为第三数据，当监测到第三数据时，则将第三数据导入热数据库，且将第三数据从冷数据库中删除，这样，可以保持热数据库中一直存储热数据的状态。
84.在本技术实施例的一种实现方式中，步骤b1具体可以包括：利用自动运行的第二监控脚本，对冷数据库中的数据进行监控，并在第二任务队列中添加针对第三数据的转移任务；相应地，步骤b2具体可以包括：通过执行第二任务队列中的转移任务，将第三数据转移至热数据库中。
85.在本实现方式中，后台自动运行第二监控脚本进行数据监控，待查询出第三数据属于变热数据时，将第三数据转换为可执行的结构化查询语言(structuredquery language，简称sql)，并在可执行的第二任务队列中添加“将第三数据导入热数据库”的转移任务。为了将冷数据库中的变热数据导入热数据库中，需要对第二任务队列进行实时监控，如果第二任务队列中有任务，则可以按照任务添加的先后顺序依次执行任务，通过执行sql把变热的第三数据添加到热数据库中，如果第二任务队列中没有任务，则继续对队列进行监控。
86.需要说明的是，上述第一监控脚本和第二监控脚本，可以是同一监控脚本，也可以
是不同的监控脚本，用于执行异步任务(crontab定时脚本)，因为采用异步任务处理数据，所以热数据库中的数据会时刻保持最低的量，数据库压力较小，这样可以有效提升数据查询速度，提升页面交互速度；另外，上述第一任务队列和第二任务队列，可以是同一任务队列，也可以是不同的任务队列。
87.在以上本技术实施例提供的数据库存储冷热分离方法中，当检测到用户触发的针对第一数据的访问请求时，确定第一数据所属的目标数据库；通过访问目标数据库响应访问请求；其中，目标数据库为热数据库或冷数据库，热数据库中所存储数据的数据访问频率在第一预设访问频率范围内，冷数据库中所存储数据的数据访问频率在第二预设访问频率范围内，第一预设访问频率范围的下限值大于第二预设访问频率范围的上限值。可见，本技术实施例将热数据与冷数据进行拆分存储，使得热数据库中存储的都是用户访问频率较高的数据，当大量用户访问热数据时，由于热数据与冷数据拆分存储，只需要访问数据存量较少的热数据库即可，这样，能够有效降低数据库的压力、提高页面访问速度、提升用户体验效果。
88.参见图3，为本技术实施例提供的一种数据库存储冷热分离装置的组成示意图，该装置包括：
89.数据库确定单元310，用于当检测到用户触发的针对第一数据的访问请求时，确定所述第一数据所属的目标数据库；
90.数据库访问单元320，用于通过访问所述目标数据库响应所述访问请求；
91.其中，所述目标数据库为热数据库或冷数据库，所述热数据库中所存储数据的数据访问频率在第一预设访问频率范围内，所述冷数据库中所存储数据的数据访问频率在第二预设访问频率范围内，所述第一预设访问频率范围的下限值大于所述第二预设访问频率范围的上限值。
92.在本技术实施例的一种实现方式中，所述数据库确定单元310，具体用于当检测到用户触发的针对第一数据的访问请求时，获取所述第一数据的唯一标识，所述唯一标识反映了所述第一数据所属的目标数据库的信息；
93.相应地，所述数据库访问单元320，具体用于根据所述第一数据的唯一标识链接到所述目标数据库，并通过访问所述目标数据库响应所述访问请求。
94.在本技术实施例的一种实现方式中，所述装置还包括：
95.第一监控单元，用于对所述热数据库中的数据进行监控；
96.第一转移单元，用于若监控到所述热数据库中存在第二数据，则将所述第二数据转移至所述冷数据库中，并将所述第二数据从所述热数据库中删除，其中，所述第二数据的当前数据访问频率在所述第二预设访问频率范围内。
97.在本技术实施例的一种实现方式中，所述第一监控单元，具体用于利用自动运行的第一监控脚本，对所述热数据库中的数据进行监控，并在第一任务队列中添加针对所述第二数据的转移任务；
98.相应地，所述第一转移单元在将所述第二数据转移至所述冷数据库中时，具体用于通过执行所述第一任务队列中的转移任务，将所述第二数据转移至所述冷数据库中。
99.在本技术实施例的一种实现方式中，所述装置还包括：
100.第二监控单元，用于对所述冷数据库中的数据进行监控；
101.第二转移单元，用于若监控到所述冷数据库中存在第三数据，则将所述第三数据转移至所述热数据库中，并将所述第三数据从所述冷数据库中删除，其中，所述第三数据的当前数据访问频率在所述第一预设访问频率范围内。
102.在本技术实施例的一种实现方式中，所述第二监控单元，具体用于利用自动运行的第二监控脚本，对所述冷数据库中的数据进行监控，并在第二任务队列中添加针对所述第三数据的转移任务；
103.相应地，所述第二转移单元在将所述第三数据转移至所述热数据库中时，具体用于通过执行所述第二任务队列中的转移任务，将所述第三数据转移至所述热数据库中。
104.上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
105.对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本技术方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
106.本技术实施例还提供了一种电子设备，该电子设备的结构示意图如图4所示，该电子设备4000包括至少一个处理器4001、存储器4002和总线4003，至少一个处理器4001均与存储器4002电连接；存储器4002被配置用于存储有至少一个计算机可执行指令，处理器4001被配置用于执行该至少一个计算机可执行指令，从而执行如本技术中任意一个实施例或任意一种可选实施方式提供的任意一种数据库存储冷热分离方法的步骤。
107.进一步，处理器4001可以是fpga(field－programmable gate array，现场可编程门阵列)或者其它具有逻辑处理能力的器件，如mcu(microcontrollerunit，微控制单元)、cpu(central process unit，中央处理器)。
108.应用本技术实施例，将热数据与冷数据进行拆分存储，使得热数据库中存储的都是用户访问频率较高的数据，当大量用户访问热数据时，由于热数据与冷数据拆分存储，只需要访问数据存量较少的热数据库即可，这样，能够有效降低数据库的压力、提高页面访问速度、提升用户体验效果。
109.本技术实施例还提供了另一种计算机可读存储介质，存储有计算机程序，该计算机程序用于被处理器执行时实现本技术中任意一个实施例或任意一种可选实施方式提供的任意一种数据库存储冷热分离方法的步骤。
110.本技术实施例提供的计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、cd-rom、和磁光盘)、rom(read-only memory，只读存储器)、ram(random access memory，随即存储器)、eprom(erasable programmable read-only memory，可擦写可编程只读存储器)、eeprom(electrically erasable programmable read-only memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
111.应用本技术实施例，将热数据与冷数据进行拆分存储，使得热数据库中存储的都是用户访问频率较高的数据，当大量用户访问热数据时，由于热数据与冷数据拆分存储，只
需要访问数据存量较少的热数据库即可，这样，能够有效降低数据库的压力、提高页面访问速度、提升用户体验效果。
112.以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术保护的范围之内。