一种提高PCDN网络请求命中率的方法及系统与流程

一种提高pcdn网络请求命中率的方法及系统
技术领域
1.本发明涉及内容分发网络领域，尤其涉及一种提高pcdn网络请求命中率的方法及系统。


背景技术：

2.p2pcdn，也称为pcdn或者p2p内容分发网络(以下都称为pcdn)，是以p2p技术为基础，通过挖掘利用边缘网络闲置资源而构建的低成本高品质内容分发网络服务。客户通过集成pcdn sdk(以下简称sdk)接入该服务后能获得等同(或略高于)cdn的分发质量，同时显著降低分发成本。适用于视频点播、直播、大文件下载等业务场景。
3.对于cdn服务而言，越多的存储空间意味着能缓存更多的文件内容，更多的缓存内容意味着可以更少回源客户源站下载文件和更快的为客户提供下载服务，直接影响到用户的使用成本和用户体验。
4.但现有构成pcdn网络的硬件设备，多种多样，大部分设备不如传统cdn设备有着较大的硬盘存储空间。由于存储空间有限且每个设备都不一样，导致缓存的内容少，回源率更高、下载速度慢，提高了客户的成本，降低了客户体验。
5.而且pcdn的设备单机提供的带宽比较低，所以为了对外提供传统cdn的等量的带宽，使用到的设备数量会非常多，又因为设备频繁的上下线，导致资源的命中率不够高。而降低了命中率，又进一步导致更多的回源客户源站、降低下载速度，提高了客户的成本，降低了客户体验。


技术实现要素：

6.本发明为解决现有技术中存在的技术问题，提出一种用于pcdn网络的资源分发的解决方案，大幅度提高了网络请求的命中率。
7.为了实现以上目的，本发明提出了一种提高pcdn网络请求命中率的方法，包括以下步骤：
8.s1:将网络资源划分为热资源和冷资源；
9.s2:对网络请求的资源进行分析，若为热资源，则调度到pcdn网络，若为冷资源，则调度到cdn网络；
10.s3:分配具体网络节点响应网络请求。
11.进一步地，步骤s1中，将网络资源划分为热资源和冷资源包括：
12.对每次网络请求进行计数统计，将网络请求的url作为key，对请求进行累加；
13.对请求的url，生成统计数据；
14.对每个url，配置n天m次的热度判定规则，开启冷热调度；
15.若n天的同一url请求数超过m次，则将该资源设置为热资源。
16.进一步地，所述步骤s2包括：
17.查询请求的url是否开启冷热调度：若开启，则获取该请求的url的访问统计，若未
开启，则调度到pcdn网络；
18.查询请求的url的冷热判定规则：若为热资源，则调度到pcdn网络，若为冷资源，则调度到cdn网络。
19.进一步地，在调度中心结束调度之后，更新请求的url统计数据。
20.进一步地，若调度的网络为pcdn，则其分配pcdn网络节点包括：
21.以区域和运营商包括的节点构成hash环；
22.计算所述hash环中各节点的宽带容量以及节点的复制节点数量；
23.将复制节点加入到所述hash环中；
24.对请求的url进行hash计算得到hash key，根据hash key获取对应所述hash环上的节点。
25.进一步地，计算节点的复制节点数量的公式为：复制数量＝容量*复制系数。
26.进一步地，使用murmur3 hash算法来确定复制节在hash环中的位置。
27.本发明还公开一种提高pcdn网络请求命中率系统，包括调度中心，所述调度中心根据网络请求的资源进行分析，调度到pcdn网络或者cdn网络，并分配网络节点。
28.进一步地，所述调度中心包括：
29.冷热资源判断单元，用以对网络请求的资源进行分析，并判断是否为热资源；
30.url访问数据统计单元，用以对请求的url进行统计并更新；
31.url冷热规则单元，用以设定和存储url冷热规则；
32.网络节点分配单元，用以根据url冷热规则单元的规则，调度到pcdn网络或者cdn网络。
33.本发明还公开一种电子设备，其特征在于，所述系统包括处理器以及存储器，所述存储器用于存储可执行程序；所述处理器用于执行所述可执行程序以实现上述的任何一种提高pcdn网络请求命中率的方法。
34.本发明公开的方法和系统中所述模块，在实际应用中，即可以在一台目标服务器上部署多个模块，也可以每一模块独立部署在不同的目标服务器上，特别的，根据需要，为了提供更强大的计算处理能力，也可以根据需要将模块部署到集群目标服务器上。
35.由此可见，本发明针对pcdn网络硬件大小不一带来的缓存存储空间的技术缺陷和现状，通过资源的热度进行分析，对资源进行调度，在此基础上，进一步对节点进行优化改进，从而减少缓存空间无效的占用，提高命中率。
36.为了对本发明有更清楚全面的了解，下面结合附图，对本发明的具体实施方式进行详细描述。
附图说明
37.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1为本技术实施例的一种提高pcdn网络请求命中率的方法的流程示意图。
39.图2为本技术实施例的一种提高pcdn网络请求命中率的方法的具体实施流程示意
图。
40.图3为本技术实施例的一种分配pcdn网络节点的示意图。
具体实施方式
41.请参阅图1以及图2，图1示出了一种提高pcdn网络请求命中率的方法的流程示意图，图2为本技术一种实施例提高pcdn网络请求命中率的方法的具体实施流程示意图，具体包括步骤s11～s13：
42.s1:将网络资源划分为热资源和冷资源；
43.s2:对网络请求即用户访问的资源进行分析，若为热资源，则调度到pcdn网络，若为冷资源，则调度到cdn网络；
44.s3:分配具体网络节点响应网络请求。
45.请参阅图2，本技术中，将网络资源划分为热资源和冷资源的一种实施方式，包括如下：
46.首先，调度中心对每次网络请求进行计数统计，将用户在网络中请求的url作为key，对请求进行累加，比如每新增一次请求，计数加1。
47.其次，对请求的每个域名(即url)，生成一份统计数据，在具体实施过程中，可以根据系统的需要，定时生成统计数据，比如每天生成一份，也可以使用其他的算法动态地生成，比如动态监控，若在某个时间段内突然请求较多，达到设计的监控阈值，则可以生成统计数据，用以实时分析和更新。
48.对每个url，配置n天m次的热度判定规则，开启冷热调度，若在设定n天内，同一url请求数超过m次，则将该资源设置为热资源，则可以将该资源调度到pcdn网络中。
49.若不符合上述的条件，则视为该资源是冷资源，并将该资源调度到cdn网络中。
50.本技术的“网络资源”是指url上的内容，通过对网络资源进行热度分析，将网络资源进行冷热划分，让pcdn节点只服务热资源，将冷资源调度回cdn，避免pcdn节点的缓存存储空间被冷资源占用，且避免回源过多导致客户成本高、下载时间长。
51.此外调度结束之后，更新调度的统计数据。
52.当资源需要调度或者重定向到pcdn网络时，pcdn网络的单节点的网络带宽小，pcdn网络里的节点数量很多，而且pcdn网络具备不稳定性，节点会有较大的几率频繁上下线。
53.请参阅图3，基于上述实施例，本技术还提出一种更优的实施方式，对于调度到pcdn网络的请求进一步地提出创新改进，从而可以保证固定的请求会被固定的节点处理以保证命中率，同时也降低节点上下线对资源的命中的影响。
54.当用户访问时，会根据用户的client ip进行调度，选取对应“区域 运营商”的pcdn节点服务，本实施例中，以区域和运营商包括的节点构成hash环，比如用户是上海电信的client ip，那么调度服务会选取上海电信的pcdn网络里的节点进行就近服务。本实施例的hash环是以区域为粒度的，比如“上海电信”、“上海移动”、“浙江联通”，这些粒度都会各有一个hash环，作为一种实施的方式，本实施例的hash环为一致性hash环。
55.若一个“区域 运营商”有十个可以服务的节点，这十个节点会组成本“区域 运营商”的hash环。
56.首先计算各节点的带宽容量，hash环上的每个节点的复制数量＝容量*复制系数，比如复制系数为31，那么2gbps的节点的节点复制数量＝2*31＝62个。
57.然后将这个节点的62个复制节点加入hash环，加入的位置通过hash算法获取，作为一种更优选的方式，本文选择了murmur3 hash算法，这样构成的hash环处理请求时，带宽越大的节点，则复制的节点越多，就会有更多的概率被调度到服务请求，即带宽越大的节点会处理到更多的请求。
58.当网络请求到来，针对请求的url再次进行murmur3 hash得到hash key，然后通过hash key获取到对应hash环上的节点，此节点即可服务节点。从而可以保证每次同一个url访问到同一个节点。
59.此外，当有新节点加入到某个“区域 运营商”的hash环，根据一致性hash环的特性，只会影响到这些节点靠近的其他节点的url，这样保证了节点上、下线对命中率的影响最小，而且也保证了对同等带宽的节点的请求分配更均匀。
60.本技术实施例还提供一种提高pcdn网络请求命中率系统，包括调度中心，所述调度中心根据网络请求的资源进行分析，调度到pcdn网络或者cdn网络，并分配网络节点。
61.作为一种更优先的实施方式，所述调度中心包括：
62.冷热资源判断单元，用以对网络请求的资源进行分析，并判断是否为热资源；
63.url访问数据统计单元，用以对请求的url进行统计并更新；
64.url冷热规则单元，用以设定和存储url冷热规则；
65.网络节点分配单元，用以根据url冷热规则单元的规则，调度到pcdn网络或者cdn网络。
66.本技术实施例还提供一种电子设备，所述电子设备中包括处理器及存储器，所述存储器中存储有可执行程序，当所述可执行程序在计算机上运行时，所述计算机执行上述任一实施例所述方法和系统。
67.需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可以存储于计算机可读存储介质中，所述存储介质可以包括但不限于：只读存储器(rom，read only memory)、随机存取存储器(ram，random access memory)、磁盘或光盘等。
68.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。