IT系统扩容预测方法及装置与流程

it系统扩容预测方法及装置
技术领域
1.本发明涉及it系统扩容预测领域，具体涉及一种it系统扩容预测方法及装置。


背景技术：

2.it系统面临新的发展形势，随着市场和互联网的快速发展，it系统面临的压力逐渐加大，服务器处理能力需要增强，数据量不断增大，网络带宽需要增加，需要做好it系统容量的规划和预测，从而实现运营质量与运营效益之间的平衡。
3.目前it系统容量没有较科学的规划方法，多采用专家经验，根据固定的模型、公式进行计算，对专家水平的依赖较大，有一定的盲目性，预测准确度偏差较大。预测模型单一，没有考虑到市场因素的影响。如目前运营商的业务支撑系统单纯按照用户数增长对服务器、存储等容量进行预测。当用户数增长乏力时，系统规模预测也增长很小，但实际情况却无法满足系统的实际使用，使得系统运行出现较大性能瓶颈。采用固定的模型、公式进行计算时，一般以年或者固定周期进行规划，无法提前预测扩容需求，对于系统可能出现的瓶颈也无法实现提前预测，提前扩容。


技术实现要素：

4.鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的it系统扩容预测方法及装置。
5.根据本发明的一个方面，提供了一种it系统扩容预测方法，其包括：
6.采集it系统运行时产生的历史运行数据；
7.对历史运行数据按照所属数据类型进行分析，确定历史运行数据与至少一个容量资源的对应关系，得到至少一个容量资源对应的特征数据以及至少一个容量资源与对应的特征数据的线性回归方程；
8.根据至少一个容量资源的历史容量数据以及对应的特征数据，对线性回归方程进行回归训练，确定线性回归方程的回归系数；
9.基于时间序列分析特征数据，得到特征数据的分析结果，以便根据特征序列的分析结果及训练得到的线程回归方程对至少一个容量资源进行扩容预测。
10.根据本发明的另一方面，提供了一种it系统扩容预测装置，其包括：
11.采集模块，适于采集it系统运行时产生的历史运行数据；
12.特征化模块，适于对历史运行数据按照所属数据类型进行分析，确定历史运行数据与至少一个容量资源的对应关系，得到至少一个容量资源对应的特征数据以及至少一个容量资源与对应的特征数据的线性回归方程；
13.训练模块，适于根据至少一个容量资源的历史容量数据以及对应的特征数据，对线性回归方程进行回归训练，确定线性回归方程的回归系数；
14.时间序列模块，适于基于时间序列分析特征数据，得到特征数据的分析结果，以便根据特征序列的分析结果及训练得到的线程回归方程对至少一个容量资源进行扩容预测。
15.根据本发明的又一方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
16.所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述it系统扩容预测方法对应的操作。
17.根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述it系统扩容预测方法对应的操作。
18.根据本发明的it系统扩容预测方法及装置，采集it系统运行时产生的历史运行数据；对历史运行数据按照所属数据类型进行分析，确定历史运行数据与至少一个容量资源的对应关系，得到至少一个容量资源对应的特征数据以及至少一个容量资源与对应的特征数据的线性回归方程；根据至少一个容量资源的历史容量数据以及对应的特征数据，对线性回归方程进行回归训练，确定线性回归方程的回归系数；基于时间序列分析特征数据，得到特征数据的分析结果，以便根据特征序列的分析结果及训练得到的线程回归方程对至少一个容量资源进行扩容预测。本发明改变现有使用专家经验和单一公式进行it系统扩容预测的依赖性以及偏差大等问题，实现了基于历史运行数据以及时间点进行扩容预测，大大提高预测的准确性。同时，可以提前发现it系统瓶颈，方便及时进行容量扩容。
19.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
20.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
21.图1示出了根据本发明一个实施例的it系统扩容预测方法的流程图；
22.图2示出了elk模型构建平台示意图；
23.图3示出了根据本发明一个实施例的it系统扩容预测装置的功能框图；
24.图4示出了根据本发明一个实施例的一种电子设备的结构示意图。
具体实施方式
25.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
26.图1示出了根据本发明一个实施例的it系统扩容预测方法的流程图。如图1所示，it系统扩容预测方法具体包括如下步骤：
27.步骤s101，采集it系统运行时产生的历史运行数据。
28.本实施例中it系统扩容是指对各种容量资源进行扩容，容量资源如cpu、内存、各业务数据库容量等。it系统在运行时，使用以上各种容量资源会产生各种运行数据。本实施例通过采集it系统运行时产生的历史运行数据，来预测各种容量资源的扩容。
29.历史运行数据包括如操作系统数据、网络监控数据、运行日志等it系统在运行时所产生的数据。操作系统数据包括了如cpu利用率、内存利用率等；网络监控数据可以根据网络监控设备获取到it系统运行产生的各种数据；运行日志包括如数据运行日志、应用运行日志等，可以根据it系统的日志文件获取。
30.进一步，it系统一般采用多环境、多服务器等架构形式，对应的获取到的各个终端设备的历史运行数据无法对其进行统一查看，分别连接各个终端设备查看会导致操作繁琐。因此，本实施例基于elk模式，利用elasticsearch、logstash和kibana构建平台，可以方便查看收集的历史运行数据。具体的，可以如图2所示，以各个终端设备为节点(compute node)，设置beats(数据采集工具)。其中，package beat可以统计终端设备的网络信息，获取网络监控数据；file beat可以监听日志文件，收集运行日志；top beat可以收集系统基础设置数据如cpu、内存、每个进程的统计信息等数据；除此之外，还可以根据实际情况设置对应的beat来收集相关数据，此处不做限定。lib beats可以将一切事件安全可靠有效地发送给logstash和elasticsearch。elasticsearch作为分布式搜索和分析引擎可以对发送的历史运行数据进行接近实时的存储、搜索和分析操作。logstash作为数据收集引擎支持动态的从各历史运行数据搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，以及存储到指定的位置。kibana作为数据分析和可视化平台可以对历史运行数据进行搜索、分析和以统计图表的方式展示，方便查看等。基于以上elk模式实现在it系统预先设置采集进程，监听并采集it系统运行时产生的历史运行数据。
31.采集的历史运行数据包括如数据库名称、采样时间点、存储总容量、使用百分比、用户数、业务查询量、dou(每个客户月均流量消费额，单位为m)、cpu使用率、内存使用数据等等，具体根据实施情况采集，此处不做限定。
32.步骤s102，对历史运行数据按照所属数据类型进行分析，确定历史运行数据与至少一个容量资源的对应关系，得到至少一个容量资源对应的特征数据以及至少一个容量资源与对应的特征数据的线性回归方程。
33.对于采集到的历史运行数据，考虑到数据可能为业务异常执行时的数据等问题，先根据预设筛选规则对历史运行数据进行数据预处理，以便对数据空值、异常值等进行去除。历史运行数据所属数据类型包括系统资源类数据、流量类数据、业务类数据等。如系统资源类数据中的cpu使用率，当发生异常时，cpu使用率突高，该类历史运行数据无法准确进行容量资源扩容预测，需对此类历史运行数据进行去除；业务类数据如话单数据库存储数据，每个月第一个采样时间点是数据库存储最低点，最后一个采样时间点是数据库存储高峰。对于话单数据库容量必须满足高峰时存储需求。此时话单数据库在线存储量数据需要保留每个月最后一个采样时间点的话单数据库存储数据，去除其他采样时间点的话单数据库存储数据；业务类数据中还包括如营业数据库存储数据，营业数据库每个采样时间点的数据都可以用来分析，此时无需去除；各个业务数据库存储数据对于没有及时扩充存储所导致的故障的采样时间点的数据也需要去除等。预设筛选规则与历史运行数据的所属数据类型相对应，根据历史运行数据进行具体分析确定对应的预设筛选规则。
34.在对历史运行数据进行数据预处理之后，根据历史运行数据的所属数据类型，确定历史运行数据与it系统中至少一个容量资源的对应关系。对应关系可以通过预置的历史运行数据与容量资源的对应关系进行范围圈选。如容量资源为话单数据库容量，预置具有
对应关系的历史运行数据为业务类数据，如话单数据库的数据库名称、采样时间点、存储总容量、使用百分比、用户数、业务查询量、dou(每个客户月均流量消费额，单位为m)等。根据预置的历史运行数据与容量资源的对应关系以及历史运行数据的所属数据类型，确定容量资源与各系统资源类数据、流量类数据、业务类数据之间的关系，范围圈选出对应的历史运行数据。再根据历史运行数据的散点图，进一步分析确定历史运行数据与至少一个容量资源的对应关系，去除非对应关系的历史运行数据，具体去除如冗余、无关的历史运行数据，得到至少一个容量资源对应的特征数据，以及至少一个容量资源与对应的特征数据的线性回归方程。在确定特征数据时，可以采用如单变量特征选择法，独立地衡量每个特征数据与容量资源之间的关系，单变量特征选择法能够对每一个特征数据进行测试，衡量该特征数据和容量资源之间的关系。具体的，如话单数据库容量，历史运行数据中包括采样时间点、存储总容量、使用百分比、用户数、业务查询量、dou、通话条数、短信条数等数据，经过单变量特征选择法，去除无关特征，其中，业务查询量为无关特征，从而得到与话单数据库容量对应的特征数据。
35.根据得到的至少一个容量资源对应的特征数据，本实施例采用线程回归方式建立至少一个容量资源与对应的特征数据的线性回归方程。线性回归方程如下：y＝f(x1，x2，x3......)＝ax1 bx2 cx3...... d。其中，y为容量资源，x1，x2，x3
……
为容量资源对应的特征数据，a，b，c
……
为回归系数，d为截距，截距根据实际实施情况设置，此处不做限定。
36.步骤s103，根据至少一个容量资源的历史容量数据以及对应的特征数据，对线性回归方程进行回归训练，确定线性回归方程的回归系数。
37.在构建容量资源与对应的特征数据的线性回归方程后，还需要对该线性回归方程进行回归训练，来确定线性回归方程的各个回归系数。基于获取到的特征数据，可以根据特征数据的采样时间点，获取到各个容量资源在相应时间点的历史容量数据。根据至少一个容量资源的历史容量数据以及对应的特征数据，从中确定训练分析集合数据及测试分析集合数据。如选择其中80％的特征数据作为训练分析集合数据进行训练分析，选择其中20％的特征数据作为测试分析集合数据进行测试分析。训练分析集合数据及测试分析集合数据可以按照数据库名称、采样时间点等进行划分。如训练分析集合数据由不同数据库最近7-36个月采样历史运行数据组成，测试分析集合数据由不同数据库最近1-6个月采样历史运行数据组成等。根据训练分析集合数据及测试分析集合数据对线性回归方程进行回归训练，得到线性回归方程的回归系数，a，b，c
……
的具体数据，从而确定容量资源与对应的历史运行数据各特征数据之间的具体对应关系。
38.步骤s104，基于时间序列分析特征数据，得到特征数据的分析结果，以便根据特征序列的分析结果及训练得到的线程回归方程对至少一个容量资源进行扩容预测。
39.对于各特征数据，可以根据各特征数据的数据特征对其进行时间序列分析，确定特征数据的分析结果。分析结果包括特征数据的长期趋势、周期变动。具体的，对于dou其分析结果为长期趋势，对于短信节假日的高峰为周期变动等。根据各特征数据的不同数据特征，可以选择不同算法，来进行时间序列分析，如简单平均法、移动平均法、指数平滑法、自回归模型(arma)、lstm、prophet等算法。如特征数据x1为dou，其采用arma模型，dou的长期趋势时间值不仅与历史时间序列值相关，还与历史时间序列的误差相关等，可以得出如x1＝f1(t1)，即t1时间点，x1(dou)特征数据的值为f1(t1)。基于各个特征数据，可以得到各个
特征数据基于时间序列的分析结果，分别为：x1＝f1(t1)，x2＝f2(t1)，x3＝f3(t1)......。根据特征数据的分析结果，利用训练得到的线程回归方程，将各个特征数据的分析结果代入其中进行计算，将线性回归方程y＝f(x1，x2，x3......)＝ax1 bx2 cx3...... d，替换为y＝af1(t1) bf2(t1) cf3(t1)
……
d。其中，回归系数，a，b，c
……
的具体数据已经在步骤s103中训练得到，可以根据以上替换后的线性回归方程，计算t1时间点的容量资源的数据。t1时间点可以为未来时间点，优选可以为未来1年-未来3年的时间点，准确地对容量资源未来时间点的数据进行预测，根据预测可以确定是否对至少一个容量资源进行扩容。
40.根据本发明提供的it系统扩容预测方法，采集it系统运行时产生的历史运行数据；对历史运行数据按照所属数据类型进行分析，确定历史运行数据与至少一个容量资源的对应关系，得到至少一个容量资源对应的特征数据以及至少一个容量资源与对应的特征数据的线性回归方程；根据至少一个容量资源的历史容量数据以及对应的特征数据，对线性回归方程进行回归训练，确定线性回归方程的回归系数；基于时间序列分析特征数据，得到特征数据的分析结果，以便根据特征序列的分析结果及训练得到的线程回归方程对至少一个容量资源进行扩容预测。本发明改变现有使用专家经验和单一公式进行it系统扩容预测的依赖性以及偏差大等问题，实现了基于历史运行数据以及时间点进行扩容预测，大大提高预测的准确性。同时，可以提前发现it系统瓶颈，方便及时进行容量扩容。
41.图3示出了根据本发明一个实施例的it系统扩容预测装置的功能框图。如图3所示，it系统扩容预测装置包括如下模块：
42.采集模块310，适于采集it系统运行时产生的历史运行数据；
43.特征化模块320，适于对历史运行数据按照所属数据类型进行分析，确定历史运行数据与至少一个容量资源的对应关系，得到至少一个容量资源对应的特征数据以及至少一个容量资源与对应的特征数据的线性回归方程；
44.训练模块330，适于根据至少一个容量资源的历史容量数据以及对应的特征数据，对线性回归方程进行回归训练，确定线性回归方程的回归系数；
45.时间序列模块340，适于基于时间序列分析特征数据，得到特征数据的分析结果，以便根据特征序列的分析结果及训练得到的线程回归方程对至少一个容量资源进行扩容预测。
46.可选地，历史运行数据包括：操作系统数据、网络监控数据和/或运行日志。
47.可选地，采集模块310进一步适于：基于elk模式在it系统预先设置采集进程，监听并采集it系统运行时产生的历史运行数据。
48.可选地，特征化模块320进一步适于：根据预设筛选规则对历史运行数据进行数据预处理；预设筛选规则与历史运行数据的所属数据类型对应。
49.可选地，特征化模块320进一步适于：根据历史运行数据的所属数据类型，确定历史运行数据与it系统中至少一个容量资源的对应关系；根据历史运行数据的散点图，分析确定历史运行数据与至少一个容量资源的对应关系，以去除非对应关系的历史运行数据，得到至少一个容量资源对应的特征数据，以及至少一个容量资源与对应的特征数据的线性回归方程。
50.可选地，训练模块330进一步适于：根据至少一个容量资源的历史容量数据以及对应的特征数据，确定训练分析集合数据及测试分析集合数据；根据训练分析集合数据及测
试分析集合数据对线性回归方程进行回归训练，得到线性回归方程的回归系数。
51.可选地，时间序列模块340进一步适于：基于时间序列根据特征数据的数据特性，确定特征数据的分析结果；分析结果包括特征数据的长期趋势和/或周期变动；根据特征数据的分析结果，利用训练得到的线程回归方程进行计算，得到特征数据的分析结果对至少一个容量资源进行扩容的预测。
52.以上各模块的描述参照方法实施例中对应的描述，在此不再赘述。
53.本技术还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的it系统扩容预测方法。
54.图4示出了根据本发明一个实施例的一种电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。
55.如图4所示，该电子设备可以包括：处理器(processor)402、通信接口(communications interface)404、存储器(memory)406、以及通信总线408。
56.其中：
57.处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。
58.通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。
59.处理器402，用于执行程序410，具体可以执行上述it系统扩容预测方法实施例中的相关步骤。
60.具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。
61.处理器402可能是中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
62.存储器406，用于存放程序410。存储器406可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
63.程序410具体可以用于使得处理器402执行上述任意方法实施例中的it系统扩容预测方法。程序410中各步骤的具体实现可以参见上述it系统扩容预测实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
64.在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
65.在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
66.类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在
上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
67.本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
68.此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
69.本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的it系统扩容预测装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
70.应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。