一种资源预热方法、装置、电子设备和存储介质与流程
本技术涉及计算机,尤其涉及一种资源预热方法、装置、电子设备和存储介质。
背景技术:
1、在内容分发网络(content delivery network,cdn)中,通常会采用资源预热的方式来避免源站出现过载。所谓资源预热,是指在对象实际访问资源之前,根据对象的资源预热请求,提前将对象指定的资源保存至cdn节点(即服务节点)的过程。通过这种方式对资源进行预热后,可以在对象实际访问资源时,直接由cdn节点将对应的资源传输给对象,这样,不但可以有效提高资源反馈效率,还可以显著减轻源站的压力,避免了因突发流量而导致源站出现过载。
2、相关技术下,在预热机制中,将cdn网络按照业务和层级划分为多个cdn平台,每个cdn平台管辖多个cdn节点;其中,一个cdn平台可以是一个集群。当对象向指定的cdn平台下发资源预热请求时,cdn平台会基于资源预热请求中携带的cdn节点的域名,在管辖的多个cdn节点中查找到对应的cdn节点,并向该cdn节点下发预热任务。
3、然而,对于上述预热机制,当cdn平台管理的cdn节点发生了变动(如,cdn节点禁用或下架),导致原本进行了资源预热的cdn节点可能无法使用或者域名发生变化,使得cdn节点与资源预热请求中的域名不再对应。这样一来,当对象实际访问资源时,无法找到进行了资源预热的cdn节点,更无法获取资源。显然,上述资源预热成为了无效预热,不但浪费了存储空间和计算资源,还因为对象请求的资源无法及时响应,需要从源站中重新获取资源,并重新进行资源预热,从而导致预热效率低。
4、综上,如何在保证资源预热效率的情况下,避免无效预热是亟待解决的。
技术实现思路
1、本技术实施例提供一种资源预热方法、装置、电子设备和存储介质,用以在保证资源预热效率的情况下,避免无效预热。
2、本技术实施例提供的一种资源预热方法,应用于预热平台,所述预热平台管辖l个服务节点,包括:
3、接收资源预热请求,所述资源预热请求用于指示待预热的目标资源;
4、从所述l个服务节点中,选择n个服务节点,作为第一节点,n≥1;
5、通过n个第一节点,分别从源站获取所述目标资源后,执行如下至少一轮预热操作,直至达到预热停止条件:
6、通过当前的每个第一节点,分别执行:通过一个第一节点,向至少一个第二节点,分别发送所述目标资源;将获得所述目标资源的所述至少一个第二节点,作为新的第一节点;其中,所述第二节点,为所述预热平台中未存储所述目标资源的服务节点。
7、本技术实施例提供的一种资源预热装置,应用于预热平台,所述预热平台管辖l个服务节点,所述装置包括:
8、接收单元,用于接收资源预热请求,所述资源预热请求用于指示待预热的目标资源;
9、选择单元,用于从所述l个服务节点中,选择n个服务节点,作为第一节点,n≥1;
10、预热单元,用于通过n个第一节点,分别从源站获取所述目标资源后,执行如下至少一轮预热操作,直至达到预热停止条件:
11、通过当前的每个第一节点,分别执行:通过一个第一节点,向至少一个第二节点,分别发送所述目标资源;将获得所述目标资源的所述至少一个第二节点,作为新的第一节点;其中,所述第二节点,为所述预热平台中未存储所述目标资源的服务节点。
12、可选的,所述选择单元具体用于:
13、基于预设排序规则,对所述l个服务节点中的各个可用节点进行排序,并确定排序得到的第一顺序;其中,所述可用节点为:处于正常运行状态的服务节点;
14、按照所述第一顺序,从所述各个可用节点中选择n个可用节点,作为第一节点。
15、可选的,在一轮预热操作中,所述预热单元是通过如下方式确定至少一个第二节点的:
16、对于当前的每个第一节点,按照所述第一顺序,从当前各个候选的可用节点中选择m个可用节点,作为所述第一节点对应的第二节点;其中,所述候选的可用节点,为所述预热平台中未存储所述目标资源的可用节点,m≥1;不同第一节点对应的第二节点不相同。
17、可选的,所述预热停止条件包括如下至少一种:
18、第一节点总数量在所述预热平台的服务节点总数量中的占比达到设定阈值;
19、预热操作的轮次达到预设轮次。
20、可选的,所述预设排序规则采用如下任意一种:
21、按照各可用节点的网络地址的取值从大到小或从小到大的顺序进行排序;
22、按照各可用节点的负载从低到高的顺序进行排序;
23、按照各可用节点的带宽速率从大到小的顺序进行排序。
24、可选的,所述资源预热请求还包括目标预热任务;所述预热单元具体用于:
25、将所述目标预热任务划分为多个预热子任务;每个预热子任务包含:组成所述目标资源的一个资源分片对应的资源区间;每个资源区间,用于指定对应的资源分片在目标资源中的起始位置和结束位置;
26、对于每个所述第一节点,分别执行如下操作:
27、基于多个资源区间,从所述源站中,分别获取与每个资源区间对应的资源分片;
28、基于所述多个资源区间各自指定的起始位置和结束位置,确定所述多个所源区间之间的衔接顺序;
29、基于所述衔接顺序,对获取的各个资源分片进行组合,获得所述目标资源。
30、可选的,所述预热单元具体用于:
31、基于所述目标预热任务,确定所述目标资源的数据量;
32、当所述数据量达到预设的数量阈值时,将所述目标预热任务划分为多个预热子任务;其中,每个所述预热子任务对应的资源分片的数据量,不超过所述数量阈值。
33、可选的,所述预热平台包括:多个预热子平台;所述装置还包括:
34、并行单元,用于基于第一顺序以及所述每个预热子平台中可用节点的数量,确定每个预热子平台的各个可用节点的第二顺序;
35、对于每个所述预热子平台,并行执行如下操作:
36、按照所述第二顺序,从一个预热子平台的各个可用节点中,选择至少一个可用节点,作为第一节点;
37、通过所述一个预热子平台中的至少一个第一节点,分别从源站中获取所述目标资源;
38、通过所述至少一个第一节点,按照所述第二顺序,向所述一个预热子平台的多个可用节点中,除第一节点之外的至少一个第二节点,分别发送所述目标资源。
39、本技术实施例提供的一种电子设备,包括:处理器和存储器,其中,所述存储器存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行上述任意一种资源预热方法的步骤。
40、本技术实施例提供一种计算机可读存储介质,其包括计算机程序,当所述计算机程序在电子设备上运行时,所述计算机程序用于使所述电子设备执行上述任意一种资源预热方法的步骤。
41、本技术实施例提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序存储在计算机可读存储介质中;当电子设备的处理器从计算机可读存储介质读取所述计算机程序时,所述处理器执行所述计算机程序,使得所述电子设备执行上述任意一种资源预热方法的步骤。
42、本技术有益效果如下:
43、本技术实施例提供了一种资源预热方法、装置、电子设备和存储介质。具体来说,本技术通过接收指示待预热的目标资源的资源预热请求后,首先,进入本技术的资源预热方法的做种阶段,即从预热平台的l个服务节点中,选择n个服务节点,作为第一节点,将这n个第一节点用于做种,即通过这n个第一节点,分别从源站获取目标资源;进而,当用于做种的n个第一节点获取目标资源后,本技术的资源预热方法进入扩散阶段:通过n个第一节点,执行至少一轮预热操作,直至达到预热停止条件;其中,每轮预热操作为:通过当前的每个第一节点,分别向至少一个第二节点传输目标资源,并将存储目标资源的第二节点作为第一节点。可以看出,通过将存储有目标资源的第二节点作为新的第一节点,在下一轮的预热操作中,可以通过更多的第一节点向剩余的第二节点继续发送目标资源,使得目标资源快速地在预热平台中扩散开来。
44、综上,本技术通过先由第一节点从源站获取目标资源,再在预热平台由第二节点从第一节点获取目标资源的资源预热方式,并通过将存储有目标资源的第二节点作为第一节点,逐轮增加第一节点的数量,使得目标资源快速地在预热平台中扩散开来。当对象在实际访问目标资源时,即使没有找到与其访问请求对应的服务节点,也可以通过该预热平台内的其他服务节点,获取其访问的目标资源,降低了无效预热的概率,提高了资源利用率。同时,由于第二节点是通过预热平台内的第一节点获取的目标资源,该过程消耗的是内网宽带,从而也减少了外网宽带的消耗,加快了资源预热的速度,减少了预热平台存在传输故障的风险。
45、本技术的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com