一种基于深度学习的系统访问量预测方法、介质和设备

1.本发明涉及电数字数据处理的技术领域，特别涉及一种基于遗传算法优化变分模态分解参数、多尺度卷积神经网络(cnn)和门循环单元(gru)的基于深度学习的系统访问量预测方法、介质和设备。


背景技术：

2.随着互联网的飞速发展和人民经济水平的提高，互联网服务由于其具有实时、交互、便捷等特点深受人们的欢迎，如今互联网服务已经成为人们日常生活当中不可缺少的部分，相应地，互联网的广泛使用也促进了互联网技术的快速发展。
3.由于互联网设备的普及，用户无时无刻不在对服务提供方进行访问、获取需要的信息，并且用户的访问并不是一直稳定不变，而是随着时间变化不断波动，具有一定的规律性，因此，确保用户的访问请求在访问高峰期和访问低谷期都能够快速高效获得返回信息是至关重要的，所以必须要确保服务提供方的系统在任何时候都能够快速高效处理并返回用户的请求。
4.系统快速高效处理并返回用户请求的能力和系统的资源存在直接的关系，而系统的访问量和系统可用资源也有直接的关系；用户的请求量增大会使系统消耗的资源增加、可用资源减少，如果可用资源不足则会导致系统处理请求的能力下降，用户就不能够立即得到请求的响应，所以要保证系统的可用资源一直充足；但如果系统在访问高峰期和访问低谷期资源不变，则会导致资源浪费或者系统负载过高、资源不足，进而请求不能被正常处理。
5.为了保证系统运行正常和系统资源的充分合理的利用，通过预测下一阶段系统访问量的变化以做出相应的调整是一种较好的方式，所以，对系统的访问量预测是具有重要价值的，若无法正确、快速的统计历史访问量及进行访问量预测，对于系统资源的充分、合理的利用是不利的。


技术实现要素：

6.本发明解决了现有技术中存在的问题，提供了一种优化的基于深度学习的系统访问量预测方法、介质和设备。
7.本发明所采用的技术方案是，一种基于深度学习的系统访问量预测方法，所述方法包括以下步骤：
8.步骤1：加载历史数据并进行处理；
9.步骤2：基于历史数据，设置遗传算法的关联参数；
10.步骤3：采用遗传算法对变分模态分解算法进行优化，以优化后的变分模态分解算法将处理后的历史数据进行模态分解，得到当前历史数据的最优分解结果；
11.步骤4：将变分模态分解算法分解得到的多个本征模态分量进行归一化处理；
12.步骤5：将处理后的每个函数分别输入多尺度cnn神经网络，提取特征后，将特征作
为参数分别输入到gru网络中，训练模型直至稳定；
13.步骤6：采用所述优化后的变分模态分解算法，将要预测的时间前的历史数据进行变分模态分解后，将分解的结果输入步骤5中训练好的模型，将模型输出的结果相加的结果作为系统访问量预测值。
14.优选地，所述步骤1中，记录受监控api每日被调用的次数，api每被调用一次，则访问量加一，按日存储每日的访问量，作为历史数据；读取访问量的历史数据作为训练模型的数据集，若任一天或多天存在缺失的数据，则以预设规则取关联日期的历史数据对缺失数据进行补全。
15.优选地，所述步骤2中，遗传算法的关联参数包括遗传算法的迭代次数、种群的规模、种群中的交叉概率、变异概率、变分模态算法的参数α的变化范围和k的变化范围。
16.优选地，所述步骤3包括以下步骤：
17.步骤3.1：初始化种群；
18.步骤3.2：对种群进行选择操作；
19.步骤3.3：对种群进行交叉操作；
20.步骤3.4：对种群进行变异操作；
21.步骤3.5：更新个体的适应度，选出迭代过程中适应度最好的个体，以此个体的参数作为变分模态分解算法中的参数α和k，对历史数据进行分解，得到k个本征模态函数。
22.优选地，所述步骤3.1和步骤3.2中，初始化种群时，随机生成染色体，任一染色体表示种群中的个体，所有随机生成的染色体对应整个种群；
23.每个染色体由个体适应度和变分模态分解算法的二次惩罚因子α、本征模态函数个数k值组成；重复生成个体并计算每个个体的适应度，直到个体数量满足种群的设定规模，其中个体的适应度函数为个体的样本熵；
24.对种群进行选择操作，采用轮盘赌法从种群中选择个体进入下一代，对每个个体的适应度值求倒数，每个个体进入下一代的概率为个体的适应度和整个种群适应度总和的比值；重复直至选出的个体数量和设置的种群规模相等。
25.优选地，所述步骤3.3和步骤3.4中，
26.随机选择两个个体进行交叉操作，是否进行交叉由交叉概率决定；确定需要进行交叉的两个个体后，随机选择个体的对应位置变量进行交叉操作，即将两个个体中相同位置的参数使用算术交叉法交叉，算术交叉将两个个体相同位置的参数进行线性组合产生新的个体；
27.对种群进行变异操作，个体是否变异由变异概率决定，随机对某个个体中的参数变异，变异时将该位置上的参数重新赋值一个在参数变化范围中的值。
28.优选地，所述步骤4中，归一化完成后，将每个函数划分为两部分，一部分为模型的输入，另一部分为模型的输出。
29.优选地，所述步骤5中，以若干不同尺寸的一维卷积核对输入数据进行若干尺度的卷积，尺寸不同的卷积核提取出不同的特征值，采用等宽卷积的方式，对特征进行两端补零，使得提取的特征维度相同；所述gru网络由两层gru单元、两层droupout层和一层全连接层组成。
30.一种计算机可读存储介质，其上存储有基于深度学习的系统访问量预测程序，该
程序被处理器执行时实现所述的基于深度学习的系统访问量预测方法。
31.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，基于所述的基于深度学习的系统访问量预测方法。
32.本发明提供了一种优化的基于深度学习的系统访问量预测方法、介质和设备，加载历史数据并进行处理后，设置遗传算法的关联参数，采用遗传算法对变分模态分解算法进行优化，以优化后的变分模态分解算法将处理后的历史数据进行模态分解，得到当前历史数据的最优分解结果，将变分模态分解算法分解得到的多个本征模态分量进行归一化处理，将处理后的每个函数输入多尺度cnn神经网络，提取特征后，将特征作为参数输入到gru网络中，训练模型直至稳定；采用优化后的变分模态分解算法将要预测的时间前的历史数据进行变分模态分解，将分解的结果输入训练好的模型，以模型输出的结果作为系统访问量预测值。
33.本发明考虑到系统的访问量在一个时间段内具有规律性，故将系统以往访问量的数据记录并处理，以优化的变分模态分解算法找出历史数据之间的规律，按照规律构建出模型并对将来的时刻进行预测，能够准确、快速的通过目前时刻的访问量预测出下一时刻的访问量。
附图说明
34.图1为本发明的流程示意图；
35.图2为本发明中遗传算法优化的变分模态分解算法的主要流程；
36.图3为本发明中多尺度cnn网络的结构图。
具体实施方式
37.下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
38.本发明涉及一种基于深度学习的系统访问量预测方法，所述方法包括以下步骤：
39.步骤1：加载历史数据并进行处理；
40.所述步骤1中，记录受监控api每日被调用的次数，api每被调用一次，则访问量加一，按日存储每日的访问量，作为历史数据；读取访问量的历史数据作为训练模型的数据集，若任一天或多天存在缺失的数据，则以预设规则取关联日期的历史数据对缺失数据进行补全。
41.本发明中，受监控api是指受到系统监控的api接口，每天总访问量被记录在计算机的磁盘中。
42.本发明中，缺失的数据一般是由于遇到系统故障等原因而导致的系统没有运行，故没有访问数据，此时，预设规则一般为将缺失数据的时间(日期)的前后各三天、总计六天的数据求和、取平均值，以平均值作为此缺失的数据值。
43.步骤2：基于历史数据，设置遗传算法的关联参数；
44.所述步骤2中，遗传算法的关联参数包括遗传算法的迭代次数、种群的规模、种群中的交叉概率、变异概率、变分模态算法的参数α的变化范围和k的变化范围。
45.本发明的实施例中，设置迭代次数为100次、种群规模30个，种群中的交叉概率设为0.8，变异概率设为0.2，变分模态算法的参数α的变化范围设置为[500,2000]，k的变化范围设置为[3,10]。
[0046]
步骤3：采用遗传算法对变分模态分解算法进行优化，以优化后的变分模态分解算法将处理后的历史数据进行模态分解，得到当前历史数据的最优分解结果；
[0047]
所述步骤3包括以下步骤：
[0048]
步骤3.1：初始化种群，对于种群中每个个体的二次惩罚因子α和本征模态函数的个数k值随机赋值，计算每个个体的适应度，以样本熵作为个体的适应度函数；
[0049]
步骤3.2：对种群进行选择操作，对所有的个体进行迭代，基于最优解获得新的种群；
[0050]
所述步骤3.1和步骤3.2中，初始化种群时，随机生成染色体，任一染色体表示种群中的个体，所有随机生成的染色体对应整个种群；
[0051]
每个染色体由个体适应度和变分模态分解算法的二次惩罚因子α、本征模态函数个数k值组成；重复生成个体并计算每个个体的适应度，直到个体数量满足种群的设定规模，其中个体的适应度函数为个体的样本熵；将每个个体中的α和k值作为变分模态分解算法的参数，通过变分模态分解算法得到对应的本征模态函数的集合，然后对集合中的每个函数求样本熵，选取集合中最小的样本熵作为当前个体的适应度；
[0052]
对种群进行选择操作，采用轮盘赌法从种群中选择个体进入下一代，对每个个体的适应度值求倒数，每个个体进入下一代的概率为个体的适应度和整个种群适应度总和的比值；重复直至选出的个体数量和设置的种群规模相等。计算每个个体被选择的概率，计算个体的累计概率，遍历所有个体直到累计概率大于随机值后，将当前的个体选中作为新种群中的个体，重复三十次直到选出三十个个体，计算新选出个体的适应度。
[0053]
步骤3.3：对种群进行交叉操作；
[0054]
步骤3.4：对种群进行变异操作，生成随机值，若随机值小于变异的概率则随机选择个体α或者k进行变异操作；
[0055]
所述步骤3.3和步骤3.4中，
[0056]
随机选择两个个体进行交叉操作，是否进行交叉由交叉概率决定；确定需要进行交叉的两个个体后，随机选择个体的对应位置变量进行交叉操作，即将两个个体中相同位置的参数使用算术交叉法交叉，算术交叉将两个个体相同位置的参数进行线性组合产生新的个体；
[0057]
对种群进行变异操作，个体是否变异由变异概率决定，随机对某个个体中的参数变异，变异时将该位置上的参数重新赋值一个在参数变化范围中的值。
[0058]
步骤3.5：更新个体的适应度，选出迭代过程中适应度最好的个体，以此个体的参数作为变分模态分解算法中的参数α和k，对历史数据进行分解，得到k个本征模态函数。
[0059]
本发明中，将每个个体中的α和k值作为变分模态分解算法的参数，其他参数设置包括：噪声容忍度设为0、初始化中心频率设为0、收敛条件设为1e-7、直流分量设置为0。
[0060]
本发明中，对种群中的所有个体采用轮盘赌算法进行选择操作，对每个个体的适应度求倒数，然后计算出每个个体被选择的概率
[0061][0062]
其中，p(xi)为每个个体被选中的概率，f(xi)为个体的适应度值；
[0063]
得到个体的累计概率
[0064][0065]
其中，q(xi)为个体的累计概率，p(xj)为个体被选中的概率；
[0066]
随机生成一个[0,1]之间的数，遍历所有个体直至累计概率大于随机值后，将当前的个体选中作为新种群中的个体，重复30次，直到选出30个个体，计算新选出个体的适应度。
[0067]
本发明中，对种群进行交叉操作是指进行三十次迭代，每次迭代随机选择种群中的两个个体，随机生成[0,1]之间的数，如果此数小于0.8，则进行交叉，随机选择进行交叉的是α或者k，将要进行交叉操作的两个个体的相同交叉位置进行算术交叉，得到的新值作为个体的值。
[0068]
本发明中，对种群进行变异操作，变异的概率为0.1，随机生成[0,1]之间的值，小于0.1则进行变异操作，变异时随机将个体中的某个参数赋值为参数范围中的随机值。
[0069]
本发明中，更新所有变异完成后个体的适应度，选出这一次迭代中适应度最好的个体；全部迭代完成后，得到全局最优的个体参数作为变分模态分解算法中的参数α和k，对数据集进行分解，得到k个本征模态函数。
[0070]
步骤4：将变分模态分解算法分解得到的多个本征模态分量进行归一化处理；
[0071]
所述步骤4中，归一化完成后，将每个函数划分为两部分，一部分为模型的输入，另一部分为模型的输出。
[0072]
本发明中，归一化是将函数值的范围限制在[0,1]之间，能够加快后序求解的速度和提高结果精度。
[0073]
本发明中，归一化的公式为，
[0074][0075]
其中，x
norm
为归一化后的结果，x为原始的数据，x
min
为原始数据中的最小值，x
max
为原始数据中的最大值，经过归一化处理，分解得到的本征模态函数的值在[0,1]的范围内。
[0076]
本发明中，归一化完成后，将每个函数划分为两部分，一部分为模型的输入，另一部分为模型的输出结果，以三十天为界将数据集划分为以下结果，
[0077]
[0078][0079]
其中：x输入的数据集，y代表输出的结果；x中的每一行是模型的输入数据，代表前30天的系统访问量，y中的每一行是对应x中的输出数据，代表要要预测的值。
[0080]
步骤5：将处理后的每个函数分别输入多尺度cnn神经网络，提取特征后，将特征作为参数分别输入到gru网络中，训练模型直至稳定；
[0081]
所述步骤5中，以若干不同尺寸的一维卷积核对输入数据进行若干尺度的卷积，尺寸不同的卷积核提取出不同的特征值，采用等宽卷积的方式，对特征进行两端补零，使得提取的特征维度相同；所述gru网络由两层gru单元、两层droupout层和一层全连接层组成。
[0082]
本发明中，用n个不同尺寸的一维卷积核对输入数据进行多尺度卷积，尺寸不同的卷积核能够提取出不同的特征值，多尺度提取信号中的有效特征；由于使用不同尺寸的卷积核分别对输入数据进行卷积，得到特征的维度也不同，故采用等宽卷积的方式，进行两端补零保证提取的特征维度相同。
[0083]
本发明中，网络中的卷积层采用relu作为激活函数，即f(x)＝max(0,x)，此能够增加神经网络模型的非线性。
[0084]
本发明中，gru网络使用tanh激活函数和adam优化器，tanh函数为
[0085]
步骤6：采用所述优化后的变分模态分解算法，将要预测的时间前的历史数据(如30天)进行变分模态分解后，将分解的结果输入步骤5中训练好的模型，将模型输出的结果相加的结果作为系统访问量预测值。
[0086]
一种计算机可读存储介质，其上存储有基于深度学习的系统访问量预测程序，该程序被处理器执行时实现所述的基于深度学习的系统访问量预测方法。
[0087]
为了实现上述实施例，提出了一种计算机可读存储介质，其上存储有基于深度学习的系统访问量预测程序，该程序被处理器执行时实现上述基于深度学习的系统访问量预测方法，主要解决现有技术中算量大、系统性能低下的问题。
[0088]
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，基于所述的基于深度学习的系统访问量预测方法。
[0089]
为了实现上述实施例，本发明还涉及一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，基于所述的基于深度学习的系统访问量预测方法。
[0090]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0091]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0092]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0093]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0094]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0095]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。