资源网站的缓存方法及装置与流程

1.本发明涉及电子信息领域，具体涉及一种资源网站的缓存方法及装置。


背景技术：

2.运营商缓存系统主要采用被动缓存方式，即先缓存资源，再提供服务。通常在运营商网络边缘通过旁路分析(比如分光、端口镜像)实时监测、分析上行链路中终端的上网资源请求，并调度系统内缓存设备对可缓存的热点资源先进行回源获取，然后当终端重复请求已缓存资源时提供这些缓存资源给终端，从而达到节省出口带宽、提高终端访问体验的目的。缓存系统采用被动缓存方式时，最核心的环节是如何设置缓存触发策略。其中，缓存触发策略用于设定缓存资源的触发条件，即：当资源满足何种条件时对其执行缓存操作。
3.在现有技术中，缓存触发策略通常为固定设置方式，例如，当资源的访问请求次数达到预设数值(如2次)时则对其进行缓存。但是，固定设置的缓存触发策略不够灵活，无法满足不同类型的资源网站的缓存需求。


技术实现要素：

4.鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种资源网站的缓存方法及装置。
5.根据本发明的一个方面，提供了一种资源网站的缓存方法，包括：
6.确定与资源网站相对应的多个二级网站，获取各个二级网站的网站缓存资源属性信息以及网站缓存资源增益比；
7.根据所述各个二级网站的网站缓存资源属性信息以及网站缓存资源增益比生成训练数据集；
8.将所述训练数据集输入预设的神经元网络模型，根据所述神经元网络模型的输出结果确定所述资源网站的资源缓存策略。
9.可选地，所述将所述训练数据集输入预设的神经元网络模型，根据所述神经元网络模型的输出结果确定所述资源网站的资源缓存策略包括：
10.根据所述训练数据集中包含的各个二级网站的网站缓存资源增益比确定所述神经元网络模型的输入数据；
11.判断所述神经元网络模型的输出结果是否大于预设阈值；
12.若否，剔除所述训练数据集中包含的若干二级网站，得到缩小后的训练数据集，并将所述缩小后的训练数据集再次输入所述神经元网络模型。
13.可选地，所述判断所述神经元网络模型的输出结果是否大于预设阈值之后，进一步包括：
14.若是，根据与神经元网络模型的本次输入数据相对应的训练数据集中包含的各个二级网站的网站缓存资源属性信息确定所述资源网站的资源缓存策略。
15.可选地，所述剔除所述训练数据集中包含的若干二级网站，得到缩小后的训练数
据集包括：
16.将所述训练数据集中包含的各个二级网站按照网站缓存资源增益比从大到小的顺序进行排序；
17.根据排序结果剔除排序靠后的若干个二级网站，得到缩小后的训练数据集。
18.可选地，所述根据与神经元网络模型的本次输入数据相对应的训练数据集中包含的各个二级网站的网站缓存资源属性信息确定所述资源网站的资源缓存策略包括：
19.根据所述与神经元网络模型的本次输入数据相对应的训练数据集中包含的各个二级网站的网站缓存资源属性信息，确定与所述训练数据集中包含的各个二级网站相对应的文件数据量、和/或访问请求次数；
20.根据所述各个二级网站相对应的文件数据量、和/或访问请求次数设置所述资源缓存策略中包含的缓存文件数据量阈值、和/或请求触发次数阈值。
21.可选地，所述获取各个二级网站的网站缓存资源属性信息以及网站缓存资源增益比包括：
22.分别针对每个二级网站，获取针对该二级网站缓存的各个资源文件的文件数据量总和，以及与针对该二级网站缓存的各个资源文件相对应的服务流量总和；
23.根据所述服务流量总和与所述文件数据量总和之间的比值确定该二级网站的网站缓存资源增益比。
24.可选地，所述二级网站的网站缓存资源属性信息包括：缓存的资源文件名、资源文件数据量、以及访问请求次数；并且，所述神经元网络模型为二层m-p神经元网络模型。
25.依据本发明的再一方面，提供了一种资源网站的缓存装置，包括：
26.获取模块，适于确定与资源网站相对应的多个二级网站，获取各个二级网站的网站缓存资源属性信息以及网站缓存资源增益比；
27.生成模块，适于根据所述各个二级网站的网站缓存资源属性信息以及网站缓存资源增益比生成训练数据集；
28.策略确定模块，适于将所述训练数据集输入预设的神经元网络模型，根据所述神经元网络模型的输出结果确定所述资源网站的资源缓存策略。
29.可选地，所述策略确定模块具体适于：
30.根据所述训练数据集中包含的各个二级网站的网站缓存资源增益比确定所述神经元网络模型的输入数据；
31.判断所述神经元网络模型的输出结果是否大于预设阈值；
32.若否，剔除所述训练数据集中包含的若干二级网站，得到缩小后的训练数据集，并将所述缩小后的训练数据集再次输入所述神经元网络模型。
33.可选地，所述策略确定模块具体适于：
34.若是，根据与神经元网络模型的本次输入数据相对应的训练数据集中包含的各个二级网站的网站缓存资源属性信息确定所述资源网站的资源缓存策略。
35.可选地，所述策略确定模块具体适于：
36.将所述训练数据集中包含的各个二级网站按照网站缓存资源增益比从大到小的顺序进行排序；
37.根据排序结果剔除排序靠后的若干个二级网站，得到缩小后的训练数据集。
38.可选地，所述策略确定模块具体适于：
39.根据所述与神经元网络模型的本次输入数据相对应的训练数据集中包含的各个二级网站的网站缓存资源属性信息，确定与所述训练数据集中包含的各个二级网站相对应的文件数据量、和/或访问请求次数；
40.根据所述各个二级网站相对应的文件数据量、和/或访问请求次数设置所述资源缓存策略中包含的缓存文件数据量阈值、和/或请求触发次数阈值。
41.可选地，所述获取模块具体适于：
42.分别针对每个二级网站，获取针对该二级网站缓存的各个资源文件的文件数据量总和，以及与针对该二级网站缓存的各个资源文件相对应的服务流量总和；
43.根据所述服务流量总和与所述文件数据量总和之间的比值确定该二级网站的网站缓存资源增益比。
44.可选地，所述二级网站的网站缓存资源属性信息包括：缓存的资源文件名、资源文件数据量、以及访问请求次数；并且，所述神经元网络模型为二层m-p神经元网络模型。
45.依据本发明的再一方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
46.所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上述的资源网站的缓存方法对应的操作。
47.依据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述的资源网站的缓存方法对应的操作。
48.在本发明提供的资源网站的缓存方法及装置中，确定与资源网站相对应的多个二级网站以及各个二级网站的网站缓存资源属性信息和网站缓存资源增益比，相应的，根据各个二级网站的网站缓存资源属性信息以及网站缓存资源增益比生成训练数据集，并将训练数据集输入预设的神经元网络模型，根据神经元网络模型的输出结果确定资源网站的资源缓存策略。由此可见，该方式能够动态生成训练数据集，并根据神经元网络模型的输出结果动态确定资源网站的资源缓存策略，从而使得资源缓存策略更加灵活，能够满足各类资源网站的实际缓存需求。
49.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
50.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
51.图1示出了本发明实施例一提供的一种资源网站的缓存方法的流程图；
52.图2示出了本发明实施例二提供的一种资源网站的缓存方法的流程图；
53.图3示出了本发明实施例三提供的一种资源网站的缓存装置的结构图；
54.图4示出了本发明实施例五提供的一种电子设备的结构示意图；
55.图5示出了m-p神经元模型的输出示意图。
具体实施方式
56.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
57.实施例一
58.图1示出了本发明实施例一提供的一种资源网站的缓存方法的流程图。如图1所示，该方法包括：
59.步骤s110：确定与资源网站相对应的多个二级网站，获取各个二级网站的网站缓存资源属性信息以及网站缓存资源增益比。
60.其中，资源网站可以为各种类型的网站，本发明旨在分别针对不同的资源网站设置不同的资源缓存策略，以满足该类资源网站的实际需求。
61.与资源网站相对应的多个二级网站是指该资源网站下属的多个子网站，具体可以是二级网站甚至三级网站，只要是隶属于该资源网站的子网站或关联网站均可以统称为该资源网站的二级网站。
62.二级网站的网站缓存资源属性信息用于描述该二级网站已经缓存的各个资源文件的文件信息，如文件大小、访问请求次数等。二级网站的网站缓存资源增益比用于描述该二级网站已经缓存的各个资源文件的缓存服务率，具体可以通过该二级网站已经缓存的各个资源文件的服务流量(即缓存后提供服务的流量)与各个资源文件的文件大小之间的比值确定。由此可见，网站缓存资源增益比越大，说明该网站的资源缓存后提供服务的次数越多，即缓存服务率越高。
63.步骤s120：根据各个二级网站的网站缓存资源属性信息以及网站缓存资源增益比生成训练数据集。
64.具体地，针对各个二级网站的网站缓存资源属性信息以及网站缓存资源增益比执行预处理操作，并根据预处理操作结果生成训练数据集。其中，预处理可以是各种类型的预处理，本发明对预处理的具体实现方式不作限定。
65.步骤s130：将训练数据集输入预设的神经元网络模型，根据神经元网络模型的输出结果确定资源网站的资源缓存策略。
66.具体地，根据训练数据集确定神经元网络模型的输入数据，将该输入数据输入神经元网络模型。相应的，获取神经元网络模型的输出结果，根据输出结果与预设阈值之间的比较结果判断当前训练数据集是否达标；若达标，则根据当前训练数据集中包含的各个各个二级网站的网站缓存资源属性信息确定所述资源网站的资源缓存策略。若不达标，则进一步缩小训练数据集，直至缩小后的训练数据集达标，以便根据缩小后的训练数据集中包含的各个各个二级网站的网站缓存资源属性信息确定所述资源网站的资源缓存策略。由此可见，该方式通过动态调整训练数据集的方式实现资源缓存策略的灵活配置。
67.在本发明提供的资源网站的缓存方法中，确定与资源网站相对应的多个二级网站以及各个二级网站的网站缓存资源属性信息和网站缓存资源增益比，相应的，根据各个二
级网站的网站缓存资源属性信息以及网站缓存资源增益比生成训练数据集，并将训练数据集输入预设的神经元网络模型，根据神经元网络模型的输出结果确定资源网站的资源缓存策略。由此可见，该方式能够动态生成训练数据集，并根据神经元网络模型的输出结果动态确定资源网站的资源缓存策略，从而使得资源缓存策略更加灵活，能够满足各类资源网站的实际缓存需求。
68.实施例二
69.图2示出了本发明实施例二提供的一种资源网站的缓存方法的流程图。如图2所示，该方法包括：
70.步骤s210：确定与资源网站相对应的多个二级网站，获取各个二级网站的网站缓存资源属性信息以及网站缓存资源增益比。
71.其中，资源网站可以为各种类型的网站，本发明旨在分别针对不同的资源网站设置不同的资源缓存策略，以满足该类资源网站的实际需求。
72.与资源网站相对应的多个二级网站是指该资源网站下属的多个子网站，具体可以是二级网站甚至三级网站，只要是隶属于该资源网站的子网站或关联网站均可以统称为该资源网站的二级网站。
73.二级网站的网站缓存资源属性信息用于描述该二级网站已经缓存的各个资源文件的文件信息，如文件大小、访问请求次数等。例如，二级网站的网站缓存资源属性信息包括：缓存的资源文件名、资源文件数据量、以及访问请求次数等。
74.另外，二级网站的网站缓存资源增益比用于描述该二级网站已经缓存的各个资源文件的缓存服务率，具体可以通过该二级网站已经缓存的各个资源文件的服务流量(即缓存后提供服务的流量)与各个资源文件的文件大小之间的比值确定。由此可见，网站缓存资源增益比越大，说明该网站的资源缓存后提供服务的次数越多，即缓存服务率越高。
75.具体实施时，在获取各个二级网站的网站缓存资源增益比时，通过以下方式实现：分别针对每个二级网站，获取针对该二级网站缓存的各个资源文件的文件数据量总和，以及与针对该二级网站缓存的各个资源文件相对应的服务流量总和；根据服务流量总和与文件数据量总和之间的比值确定该二级网站的网站缓存资源增益比。
76.步骤s220：根据各个二级网站的网站缓存资源属性信息以及网站缓存资源增益比生成训练数据集。
77.具体地，针对各个二级网站的网站缓存资源属性信息以及网站缓存资源增益比执行预处理操作，并根据预处理操作结果生成训练数据集。其中，预处理可以是各种类型的预处理，本发明对预处理的具体实现方式不作限定。
78.步骤s230：根据训练数据集中包含的各个二级网站的网站缓存资源增益比确定神经元网络模型的输入数据。
79.步骤s240：判断神经元网络模型的输出结果是否大于预设阈值，并在判断结果为是时，根据与神经元网络模型的本次输入数据相对应的训练数据集中包含的各个二级网站的网站缓存资源属性信息确定所述资源网站的资源缓存策略。
80.具体地，判断神经元网络模型的输出结果是否大于预设阈值；若否，剔除训练数据集中包含的若干二级网站，得到缩小后的训练数据集，并将缩小后的训练数据集再次输入神经元网络模型；若是，根据与神经元网络模型的本次输入数据相对应的训练数据集中包
含的各个二级网站的网站缓存资源属性信息确定资源网站的资源缓存策略。
81.由此可见，剔除训练数据集中包含的若干二级网站，得到缩小后的训练数据集，并将缩小后的训练数据集再次输入神经元网络模型的步骤可能重复执行多次，直至本次缩小后的训练数据集对应的输出结果大于预设阈值为止。相应的，在根据与神经元网络模型的本次输入数据相对应的训练数据集中包含的各个二级网站的网站缓存资源属性信息确定资源网站的资源缓存策略时，与神经元网络模型的本次输入数据相对应的训练数据集可能是第一次输入的初始训练数据集，也可能是经n次缩小处理后得到的缩小后的训练数据集，本发明对此不作限定，具体取决于模型输出结果，n为自然数。
82.具体地，在剔除训练数据集中包含的若干二级网站，得到缩小后的训练数据集时，可以根据训练数据集中包含的各个二级网站的网站缓存资源增益比进行剔除，以便优先剔除网站缓存资源增益比较小的二级网站，从而挑选缓存效果较佳的二级网站进行训练。例如，将训练数据集中包含的各个二级网站按照网站缓存资源增益比从大到小的顺序进行排序；根据排序结果剔除排序靠后的若干个二级网站，得到缩小后的训练数据集。
83.另外，在根据与神经元网络模型的本次输入数据相对应的训练数据集中包含的各个二级网站的网站缓存资源属性信息确定资源网站的资源缓存策略时，具体通过以下方式实现：
84.首先，根据与神经元网络模型的本次输入数据相对应的训练数据集中包含的各个二级网站的网站缓存资源属性信息，确定与训练数据集中包含的各个二级网站相对应的文件数据量、和/或访问请求次数；其中，文件数据量主要是指文件大小，包括文件大小的最大值、最小值以及平均值等指标；访问请求次数主要是指文件缓存后被访问请求的次数。
85.然后，根据各个二级网站相对应的文件数据量、和/或访问请求次数设置资源缓存策略中包含的缓存文件数据量阈值、和/或请求触发次数阈值。例如，根据各个二级网站相对应的文件数据量中的文件大小的最大值、最小值和/或平均值设置资源缓存策略中包含的缓存文件数据量阈值，该缓存文件数据量阈值用于描述何种数据量的文件需要缓存。例如，可以设置缓存文件数据量阈值的上限和下限，从而将数据量大小位于上限和下限之间的资源文件进行缓存。又如，根据各个二级网站相对应的文件的访问请求次数的最大值、最小值和/或平均值设置资源缓存策略中包含的请求触发次数阈值，该请求触发次数阈值用于描述访问请求次数达到何种数值时需要针对文件进行缓存。例如，可以将请求触发次数阈值设置为与神经元网络模型的本次输入数据相对应的训练数据集中包含的各个二级网站相对应的文件的访问请求次数的平均值。本实施例中的神经元网络模型可以为二层m-p神经元网络模型。
86.由此可见，本实施例采用人工智能神经网络技术进行缓存触发策略设置时，利用先验性的历史经验(即已缓存的各个网站资源信息、服务流量等)，预测各个网站的冷热倾向。并且，若之前网站的已缓存资源的触发策略设置不合理，通过对各个二级网站的已缓存文件按照重新界定的缓存资源文件增益比大小范围进行取舍，组成较小规模的训练数据集，重复输入模型中，不断迭代直到得到满足要求，得到期待的y输出值作为该资源网站缓存文件大小范围和请求触发次数。
87.为了便于理解，下面以一个具体示例为例，详细描述本发明实施例二的具体实现细节：
88.在传统方式中，缓存触发策略的传统算法是根据请求资源的文件类型、文件大小和请求频率判断该资源是否是热点资源。比如，资源的文件类型方面，下载文件包括*.exe可执行文件、*.zip/rar压缩文件、*.iso镜像文件、*.msi windows安装程序包文件等，音视频文件包括*.mp3/*.midi等音频文件、*.mp4/*.avi/*.flv/*.f4v/*.swf/*.m3u8等视频文件，app文件包括*.apk安卓应用安装包文件、*.ipa苹果应用安装包文件等；文件大小方面，下载文件大小范围600kb-4gb之间，音视频文件大小范围500kb-4gb之间，app安装文件大小范围1mb-1gb之间；资源被请求频率方面，按照请求次数或请求客户端ip数量阈值判断，一般阈值范围是2-10之间。传统算法判断某个资源文件是否是热点资源时，缓存系统分析该资源的文件类型是否是支持的文件类型、文件大小是否是符合大小范围，以及请求频率(请求次数或请求客户单ip数量)是否符合阈值。当上述三个条件同时满足时，缓存系统认为该资源具备可缓存价值，可作为热点资源进行存储。系统实际运行时，不同网络环境中缓存触发策略判断中的三个判断条件(即文件类型、文件大小和请求频率)根据需要调整。此外，也采用了资源url黑白名单进行触发策略例外干预，即黑名单url资源即使符合三个判断条件也不缓存，白名单url资源则降低请求频率阈值为1。
89.由此可见，传统的缓存触发策略通过以下方式实现：
90.首先，获取资源信息，如url。然后，针对资源信息进行预处理，包括：获取url、文件类型、文件大小、请求频率等。接下来，判断资源信息是否列入url黑名单，若是，说明不属于热点资源，不予缓存；若否，进一步判断资源信息的资源类型是否属于预设的文件类型列表，若不属于，说明不属于热点资源，不予缓存；若属于，进一步判断资源信息的文件大小是否属于预设大小范围，若否，说明不属于热点资源，不予缓存；若是，进一步判断是否列入url白名单，若否，进一步根据请求频率是否大于预设频率阈值判断是否缓存(当请求频率大于预设频率阈值时进行缓存)，若是，则直接按照热点资源缓存。由此可见，在上述方式中，能够综合url黑名单、url白名单、文件类型、文件大小、请求频率等多个因素判断是否缓存。
91.发明人在实现本发明的过程中发现，上述方式至少存在以下两个问题：第一，无法区分不同网站资源的访问热度。传统算法判断缓存触发与否时，仅依据资源文件的类型、大小和被请求频率判断是否是热点资源，判断方式过于简单和粗暴。该方法无法区分不同网站访问热度不同导致的资源访问热度差异，造成无论热门资源，还是冷门资源均采用相同的判断机制进行缓存触发判断。从实际数据来看，缓存系统上往往会存储大量访问热度低的冷门资源，甚至个别冷门资源回源后出现0次访问，造成回源带宽和存储空间的浪费。与此同时，热门资源的瞬间访问量高，但是受限于传统算法的限制，缓存系统未能及时获取该资源并形成服务流量，造成无法提高缓存效率指标(比如缓存增益比)的情况。第二、缓存触发策略精细度低，无法精细化设置策略。传统算法的缓存触发策略精细度低，无法针对热门网站、冷门网站制定网站级的触发策略，从而达到增大热门资源存储量、减少冷门资源存储浪费的效果。热门网站、冷门网站均采用相同的触发策略，势必导致热门网站资源存储不足、冷门网站资源存储过多的不均衡现象。而且，传统算法的缓存触发策略是静态策略，无法动态调整，不利于系统及时调整策略设置，实现更高的缓存效率。
92.为了解决上述问题，本示例针对传统算法的缓存触发策略机制缺点，采用人工智能神经网络技术制定缓存触发策略，从而解决上述传统算法的缺点，实现动态调整各个网
站资源的缓存触发策略(文件大小、请求频率触发阈值)，达到热门网站低触发阈值、冷门网站高触发阈值触发资源缓存的效果。精细化的网站级缓存触发策略设置将有效节约存储空间和回源带宽，提高缓存增益比指标。
93.具体地，本示例采用人工智能神经网络技术构建神经网络二层m-p神经元网络模型，通过将缓存系统上已缓存资源的信息(包括源站url、文件大小、服务流量、请求次数等)进行预处理后作为训练数据集输入神经元模型，从而通过激活函数处理以产生神经元输出。图5示出了m-p神经元模型的输出示意图。如图5所述，该m-p神经元模型通过以下公式实现：
[0094][0095]
y表示输出，w
i
表示第i个神经元的连接权重，x
i
表示第i个神经元的输入，θ表示阈值。
[0096]
构建神经网络模型时，将资源网站作为当前神经元对待，阈值是该资源网站的缓存资源增益比，初始默认值是2(即要求来自该网站的已缓存资源需要产生最少2倍的服务流量)，换言之，上述公式中的θ＝2。该资源网站的二级网站作为x1、x2、...、x
i
、...、x
n
等其他神经元对待。每个其他神经元(如x
i
)提供该二级网站缓存资源的文件大小范围(最小值fsmin
i
，最大值fsmax
i
)、整体缓存增益比r
i
、请求次数最小值rn
i
作为输入信号，并将该二级网站的整体缓存增益比占全部二级网站的整体缓存增益比之和的比例作为对应的连接权重,即w
i
连接权重计算公式如下式(1):
[0097][0098]
其中，r
i
是第i个二级网站的整体缓存增益比。它是该二级网站的全部资源文件的整体缓存增益比,即所有资源文件的服务流量总和与文件大小总和的比例,计算公式如下式(2)：
[0099][0100]
fo
ij
是第i个二级网站第j个资源文件的服务流量(单位：mb),fs
ij
是第i个二级网站第j个资源文件的文件大小(单位：mb)。
[0101]
当前神经元的总输入值(即各个二级网站的整体缓存增益比r
i
与各自连接权重w
i
的乘积之和，)与神经元的阈值θ(即2)对比。如超过则输出神经元的输出。期待的y输出值定义为该资源网站缓存文件大小范围y1,y2和请求触发次数y3，按照如下计算公式(3)：
[0102][0103]
如未超过，说明当前该网站的已缓存资源的触发策略设置不合理，造成已缓存文件产生的缓存增益比过低，未能达到要求的阈值。此时，通过对各个二级网站的已缓存文件按照重新界定的缓存资源文件增益比大小范围进行取舍(比如舍弃增益比低的资源文件)，组成较小规模的训练数据集。重复输入模型中，计算总输入值是否符合要求。不断迭代上述过程，直到得到满足要求(即总输入值超过阈值2)，从而得到期待的y输出值作为该资源网站缓存文件大小范围和请求触发次数。
[0104]
以实际例子说明采用人工智能神经网络技术如何调整缓存触发策略。提取缓存系统上最近7天内某个资源网站，比如music.126.net的资源信息。从已缓存的该网站资源来看，music.126.com提供.mp3等各类音频文件，二级网站包括m7.music.126.net、m7c.music.126.net、m8.music.126.net、m8c.music.126.net、m9.music.126.net、m10.music.126.net等。
[0105]
以m8.music.126.net作为某个其他神经元(即x
i
)，原始的已缓存资源信息如表1：
[0106]
表1
[0107]
资源网站文件名(*)文件大小fs
ij
服务流量fo
ij
请求次数rn
ij
m8.music.126.net5032*.mp313.76mb973.08mb71.0m8.music.126.netee84*.mp336.78mb619.97mb16.9m8.music.126.net739f*.mp376.95mb355.38mb4.6m8.music.126.net230d*.mp315.26mb73.46mb4.8............ [0108]
初始训练数据集包括m8.music.126.net全部已缓存资源，计算得到输入值和连接权重如表2：
[0109]
表2
[0110][0111]
依次类推，得到全部二级网站的输入值、连接权重，从而计算总输入值为1.86，低于music.126.net资源网站的神经元的阈值(即2)。因此，采用重新迭代的方法，重新选取训练数据集。经过多次迭代后，收敛得到符合总输入值超过阈值(即2)，从而计算得到缓存music.126.net资源网站资源时，最佳的文件大小范围是1.5mb-358.2mb,最低请求次数是1.8次。因此，设置该资源网站的缓存触发策略时，建议的文件大小是1.5-358mb之间，请求触发次数是2次。采用上述方法可得到其他资源网站(如hicloud.com、xiaomi.com、windowsupdate.com等)的缓存触发策略。
[0112]
需要说明的是：目前互联网上资源网站除了采用源站域名直接发布，也可以采用cdn发布。cdn发布的资源url既有ip地址网站形式，也有域名网站形式，而且资源url中往往也包含源站域名信息，因此，上述分析资源网站的二级网站时，也可将此类cdn发布的资源url归入相应的二级网站训练数据集里。
[0113]
另外，针对缓存系统上已缓存资源的url是ip地址形式，考虑到ip地址极为分散，且资源发布具有临时性特点，如果采用上述神经网络学习技术计算该ip地址网站的缓存触发策略，则易导致缓存触发策略设置过细，策略有效性低，因此，针对此类ip地址网站可以适当进行取舍，以控制训练数据集中包含的二级网站的数量，从而提升效率。另外，如缓存系统已缓存资源中未包含某个网站，无法组成该网站资源的训练数据集，则可先采用默认的传统算法设置缓存触发策略，待缓存资源数量达到指定数量(如1000条)后转而采用上述人工智能神经网络技术设置缓存触发策略。另外，采用人工智能神经网络技术设置的某个资源网站的缓存触发策略是可动态调整的，可按照周期(如7天)连续动态调整，从而提高缓存回源效率，达到节省存储空间和回源带宽，精准缓存热门资源的目的。
[0114]
经对比发现，现网缓存系统采用上述基于人工智能神经网络技术的缓存触发策略后，缓存系统新增资源数量相比传统算法减少24％，节约存储空间30％，说明该机制有效降低了冷门资源的存储。同时，反映缓存效率的缓存增益比指标(即服务流量/回源流量比值)增长80％，进一步说明了基于人工智能神经网络技术的缓存触发策略机制效果显著。
[0115]
综上可知，本发明提供了一种基于人工智能神经网络技术的缓存触发策略机制。按照上述触发机制，可确保缓存系统动态调整热门网站、冷门网站的缓存触发策略，实现有效区分热门资源、冷门资源的访问热度，精细化缓存触发策略，从而达到降低回源带宽、提高服务流量，最终有效提升缓存增益比效率指标的目的。其中，采用人工智能神经网络技术进行缓存触发策略设置时，利用先验性的历史经验(即已缓存的各个网站资源信息、服务流量等)，从而预测各个网站的冷热倾向。同时，对来自同一个资源网站的多个二级网站域名或ip地址进行关联，从而降低缓存触发策略设置难度，实现了算法高效性。针对无先验性历史经验的网站资源，则采用传统算法设置缓存触发策略，待缓存资源积累后转而采用神经网络技术调整其缓存触发策略。
[0116]
由此可见，上述实现方式至少具备如下优势：能够解决缓存系统传统算法造成的无法区分热门/资源的访问热度不均、缓存触发策略精细度低的机制缺点，从而确保缓存触发策略能够动态调整，能够适应各个网站的资源冷热程度进行资源获取，实现节省缓存系统存储空间和回源带宽，提高服务流量，提升缓存系统缓存效率的目的。该方式无需调整网络架构，且对缓存系统处理流程调整少，技术上易于实现。
[0117]
实施例三
[0118]
图3示出了本发明实施例三提供的一种资源网站的缓存装置的结构示意图，具体包括：
[0119]
获取模块31，适于确定与资源网站相对应的多个二级网站，获取各个二级网站的网站缓存资源属性信息以及网站缓存资源增益比；
[0120]
生成模块32，适于根据所述各个二级网站的网站缓存资源属性信息以及网站缓存资源增益比生成训练数据集；
[0121]
策略确定模块33，适于将所述训练数据集输入预设的神经元网络模型，根据所述
神经元网络模型的输出结果确定所述资源网站的资源缓存策略。
[0122]
可选地，所述策略确定模块具体适于：
[0123]
根据所述训练数据集中包含的各个二级网站的网站缓存资源增益比确定所述神经元网络模型的输入数据；
[0124]
判断所述神经元网络模型的输出结果是否大于预设阈值；
[0125]
若否，剔除所述训练数据集中包含的若干二级网站，得到缩小后的训练数据集，并将所述缩小后的训练数据集再次输入所述神经元网络模型。
[0126]
可选地，所述策略确定模块具体适于：
[0127]
若是，根据与神经元网络模型的本次输入数据相对应的训练数据集中包含的各个二级网站的网站缓存资源属性信息确定所述资源网站的资源缓存策略。
[0128]
可选地，所述策略确定模块具体适于：
[0129]
将所述训练数据集中包含的各个二级网站按照网站缓存资源增益比从大到小的顺序进行排序；
[0130]
根据排序结果剔除排序靠后的若干个二级网站，得到缩小后的训练数据集。
[0131]
可选地，所述策略确定模块具体适于：
[0132]
根据所述与神经元网络模型的本次输入数据相对应的训练数据集中包含的各个二级网站的网站缓存资源属性信息，确定与所述训练数据集中包含的各个二级网站相对应的文件数据量、和/或访问请求次数；
[0133]
根据所述各个二级网站相对应的文件数据量、和/或访问请求次数设置所述资源缓存策略中包含的缓存文件数据量阈值、和/或请求触发次数阈值。
[0134]
可选地，所述获取模块具体适于：
[0135]
分别针对每个二级网站，获取针对该二级网站缓存的各个资源文件的文件数据量总和，以及与针对该二级网站缓存的各个资源文件相对应的服务流量总和；
[0136]
根据所述服务流量总和与所述文件数据量总和之间的比值确定该二级网站的网站缓存资源增益比。
[0137]
可选地，所述二级网站的网站缓存资源属性信息包括：缓存的资源文件名、资源文件数据量、以及访问请求次数；并且，所述神经元网络模型为二层m-p神经元网络模型。
[0138]
实施例四
[0139]
本技术实施例四提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的资源网站的缓存方法。可执行指令具体可以用于使得处理器执行上述方法实施例中对应的各个操作。
[0140]
实施例五
[0141]
图4示出了根据本发明实施例五的一种电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。
[0142]
如图4所示，该电子设备可以包括：处理器(processor)402、通信接口(communications interface)406、存储器(memory)404、以及通信总线408。
[0143]
其中：
[0144]
处理器402、通信接口406、以及存储器404通过通信总线408完成相互间的通信。
[0145]
通信接口406，用于与其它设备比如客户端或其它服务器等的网元通信。
[0146]
处理器402，用于执行程序410，具体可以执行上述资源网站的缓存方法实施例中的相关步骤。
[0147]
具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。
[0148]
处理器402可能是中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
[0149]
存储器404，用于存放程序410。存储器404可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0150]
程序510具体可以用于使得处理器502执行上述方法实施例中对应的各个操作。
[0151]
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
[0152]
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0153]
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
[0154]
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0155]
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0156]
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用
微处理器或者数字信号处理器(dsp)来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0157]
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。