容量调整方法、模型的训练方法、装置、设备、存储介质与流程

1.本发明涉及服务器技术领域，具体涉及一种容量调整方法、模型的训练方法、装置、设备、存储介质。


背景技术：

2.随着互联网技术的迅速发展与进步，网民数量剧增，因而，经常会遇到服务器请求负载量超出额定上限负载的情况，出现服务器拥挤甚至崩溃的现象。为节约成本，同时保证服务可用性，通常需要做服务器的动态扩容和缩容。
3.相关技术中，通常会部署资源探测器，定时查询服务器的负载量，然后上报容量调整中心，当服务器的负载量大于或等于预设阈值的时候，则会进行服务器扩容，当服务器的负载量小于预设阈值的时候，则会进行服务器缩容。
4.然而，这种容量调整方式，响应不够及时，易出现服务器负载过高，造成服务器被击垮或者过低，造成服务器的资源浪费。


技术实现要素：

5.本发明提供一种容量调整方法、模型的训练方法及装置，以解决现有技术中容量调整结果可靠性较差的技术问题。
6.本发明解决上述技术问题的技术方案如下：
7.本发明提供了一种容量调整模型的训练方法，包括：
8.获取目标应用对应的历史服务器参数信息，并将所述历史服务器参数信息划分为训练数据、测试数据和验证数据；
9.利用所述训练数据和所述验证数据对待训练模型进行训练，得到初始容量调整模型；
10.利用所述测试数据对所述初始容量调整模型进行测试，得到第一预测容量信息；
11.若所述第一预测容量信息与所述测试数据对应的实际容量不一致，将所述第一预测容量信息输入预设的回归模型进行修正，得到修正容量信息；
12.基于所述修正容量信息，对所述初始容量调整模型进行修正，得到目标容量调整模型，以便将当前时间的服务器参数信息输入所述目标容量调整模型进行预测，得到下一时间的第二预测容量信息。
13.进一步地，上述所述的容量调整模型的训练方法中，基于所述修正容量信息，对所述初始容量调整模型进行修正，得到目标容量调整模型，包括：
14.对所述初始容量调整模型的超参数进行调整，得到修正容量调整模型；
15.利用所述测试数据对所述修正容量调整模型进行测试，直到得到的修正预测容量信息与所述修正容量信息相匹配时，停止修正，得到所述目标容量调整模型。
16.进一步地，上述所述的容量调整模型的训练方法，还包括：
17.基于预设的训练周期，对所述目标容量调整模型进行更新；
18.在更新次数达到n次时，对每个所述目标容量调整模型进行拟合，得到每个所述目标容量调整模型对应的拟合模型；
19.基于所述拟合模型，得到n m个的目标容量调整模型；
20.其中，n为大于或等于2的整数，m为大于1的整数。
21.进一步地，上述所述的容量调整模型的训练方法中，所述历史服务器参数信息和所述当前时间的服务器参数信息均包括cpu使用率、内存使用率、磁盘使用率、网络流量和网络速度中的至少一种。
22.进一步地，上述所述的容量调整模型的训练方法中，所述第一预测容量信息、所述第二预测容量信息和所述修正容量信息均包括cpu数量、内存容量和响应速度中的至少一种。
23.本发明还提供了一种容量调整方法，包括：
24.获取目标应用对应的当前时刻的服务器参数信息；
25.将所述当前时刻的服务器参数信息输入预先训练的容量调整模型进行预测，得到第三预测容量信息；其中，所述容量调整模型根据权利要求1
‑
5任一项所述的容量调整模型的训练方法获得；
26.基于所述第三预测容量信息，对服务器的容量进行调整。
27.本发明还提供了一种容量调整模型的训练装置，括：
28.第一获取模块，用于获取目标应用对应的历史服务器参数信息，并将所述历史服务器参数信息划分为训练数据、测试数据和验证数据；
29.训练模块，用于利用所述训练数据和所述验证数据对待训练模型进行训练，得到初始容量调整模型；
30.第一预测模块，用于利用所述测试数据对所述初始容量调整模型进行测试，得到第一预测容量信息；
31.修正模块，用于若所述第一预测容量信息与所述测试数据对应的实际容量不一致，将所述第一预测容量信息输入预设的回归模型进行修正，得到修正容量信息；基于所述修正容量信息，对所述初始容量调整模型进行修正，得到目标容量调整模型，以便将当前时间的服务器参数信息输入所述目标容量调整模型进行预测，得到下一时间的第二预测容量信息。
32.本发明还提供了一种容量调整装置，包括：
33.第二获取模块，用于获取目标应用对应的当前时刻的服务器参数信息；
34.第二预测模块，用于将所述当前时刻的服务器参数信息输入预先训练的容量调整模型进行预测，得到第三预测容量信息；其中，所述容量调整模型根据上述任一项所述的容量调整模型的训练方法获得；
35.调整模块，用于基于所述第三预测容量信息，对服务器的容量进行调整。
36.本发明还提供了一种电子设备，包括：处理器和存储器；
37.所述处理器用于执行所述存储器中存储的容量调整模型的训练的程序以实现上述任一项所述的容量调整模型的训练方法；或者
38.所述处理器用于执行所述存储器中存储的容量调整的程序以实现上述所述的容量调整模型的训练方法。
39.本发明还提供了一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被执行时实现上述任一项所述的容量调整模型的训练方法，或者，实现上述所述的容量调整模型的训练方法。
40.本发明的有益效果是：
41.通过将获取历史服务器参数信息划分为训练数据、测试数据和验证数据；利用所述训练数据和所述验证数据对待训练模型进行训练，得到初始容量调整模型；利用所述测试数据对所述初始容量调整模型进行测试，得到第一预测容量信息；若所述第一预测容量信息与所述测试数据对应的实际容量不一致，将所述第一预测容量信息输入预设的回归模型进行修正，得到修正容量信息；基于所述修正容量信息，对所述初始容量调整模型进行修正，得到目标容量调整模型，以便利用目标容量调整模型对未来时刻服务器容量进行预测，并实现服务器最优化分配。采用本发明的技术方案，能够提前进行容量调整准备，缓解了容量调整的延迟问题，可改善服务器的实际负载量相对于容量而言过大，导致系统不可用的情况，以及现服务器的实际负载量相对于容量而言过小，存在资源浪费的情况。
附图说明
42.图1为本发明的容量调整模型的训练方法实施例的流程图。
43.图2为本发明的容量调整模型的训练方法实施例的流程图；
44.图3为本发明的容量调整模型的训练装置实施例的结构示意图；
45.图4为本发明的容量调整装置实施例的结构示意图；
46.图5为本发明的电梯异常监控设备的结构示意图。
具体实施方式
47.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
48.图1为本发明的容量调整模型的训练方法实施例的流程图，如图1所示，本实施例的容量调整模型的训练方法具体可以包括如下步骤：
49.100、获取目标应用对应的历史服务器参数信息，并将历史服务器参数信息划分为训练数据、测试数据和验证数据；
50.在一个具体实现过程中，用户可以自定义指标，并通过聚合原生(application program interface，api)的方式，将扩展的api注册到原生api，这样，后期则可以通过调用服务器的api直接获取到自定义指标，其中，自定义指标包括服务器的历史服务器参数信息。历史服务器参数信息可以包括cpu使用率、内存使用率、磁盘使用率、网络流量和网络速度中的至少一种。历史服务器参数信息可以为某个时刻t前后一段时间的服务器参数信息。
51.在一个具体实现过程中，这里的原理就是适配器通过使用prometheus的查询语句来获取指标然后做一下修改最终把重新组装的指标和值通过自己的接口暴露，然后由扩展api代理到适配器的service上来获取这些指标。
52.在获取到目标应用对应的历史服务器参数信息后，可以将历史服务器参数信息划分为训练数据、测试数据和验证数据。其中，训练数据、测试数据和验证数据的比例可以为6：2：2。
53.在一个具体实现过程中，将历史服务器参数信息划分为训练数据、测试数据和验证数据时，可以先对历史服务器参数信息进行预处理，去除历史服务器参数信息中重复的数据以及不符合规范的数据类型，将数值转化为float类型并作归一化处理，得到预处理后的历史服务器参数信息，并将预处理后的历史服务器参数信息划分为训练数据、测试数据和验证数据。
54.101、利用训练数据和验证数据对待训练模型进行训练，得到初始容量调整模型；
55.在一个具体实现过程中，可以利用训练数据和验证数据对待训练模型进行训练，得到初始容量调整模型。其中，待训练模型可以为长短期记忆(long
‑
short term memory，lstm)模型。
56.102、利用测试数据对初始容量调整模型进行测试，得到第一预测容量信息；
57.在得到初始容量调整模型后，可以将测试数据输入初始容量调整模型进行预测，得到第一预测容量信息。
58.103、若第一预测容量信息与测试数据对应的实际容量不一致，将第一预测容量信息输入预设的回归模型进行修正，得到修正容量信息；
59.在得到第一预测容量信息后，可以与测试数据对应的实际容量进行比对，如果第一预测容量信息与测试数据对应的实际容量不一致，说明初始容量调整模型的预测结果有误，服务器的资源得不到充分利用，因此，可以将第一预测容量信息输入预设的回归模型进行修正，得到修正容量信息。其中，本实施例的回归模型可以为多元线性回归模型。
60.如果第一预测容量信息与测试数据对应的实际容量一致，则可以将初始容量调整模型作为目标容量调整模型。
61.104、基于修正容量信息，对初始容量调整模型进行修正，得到目标容量调整模型，以便将当前时间的服务器参数信息输入目标容量调整模型进行预测，得到下一时间的第二预测容量信息。
62.在一个具体实现过程中，可以对初始容量调整模型的超参数进行调整，得到修正容量调整模型；利用测试数据对修正容量调整模型进行测试，直到得到的修正预测容量信息与修正容量信息相匹配时，停止修正，得到目标容量调整模型。从而保证得到的目标容量调整模型能够实现服务器最优化分配，在保证服务的响应的前提下保证了资源存在较高的利用率。
63.具体地，可以以修正容量信息作为结果，采用插值法对初始容量调整模型的超参数进行赋值，然后重新利用测试数据对修正容量调整模型进行测试，得到修正预测容量信息，直到得到的修正预测容量信息与修正容量信息相匹配时，停止修正，得到最终所需的目标容量调整模型，并将当前时间的服务器参数信息输入目标容量调整模型进行预测，得到下一时间的第二预测容量信息，以便根据下一时间的第二预测容量信息进行扩容或缩容。
64.在一个具体实现过程中，第一预测容量信息、第二预测容量信息和修正容量信息均包括cpu数量、内存容量和响应速度中的至少一种。
65.本实施例的容量调整模型的训练方法，将获取历史服务器参数信息划分为训练数据、测试数据和验证数据；利用训练数据和验证数据对待训练模型进行训练，得到初始容量调整模型；利用测试数据对初始容量调整模型进行测试，得到第一预测容量信息；若第一预测容量信息与测试数据对应的实际容量不一致，将第一预测容量信息输入预设的回归模型
进行修正，得到修正容量信息；基于修正容量信息，对初始容量调整模型进行修正，得到目标容量调整模型，以便利用目标容量调整模型对未来时刻服务器容量进行预测，并实现服务器最优化分配。采用本发明的技术方案，能够提前进行容量调整准备，缓解了容量调整的延迟问题，可改善服务器的实际负载量相对于容量而言过大，导致系统不可用的情况，以及现服务器的实际负载量相对于容量而言过小，存在资源浪费的情况。
66.在一个具体实现过程中，在得到目标容量调整模型后，还可以基于预设的训练周期，对目标容量调整模型进行更新；在更新次数达到n次时，对每个目标容量调整模型进行拟合，得到每个目标容量调整模型对应的拟合模型，并基于拟合模型，得到n m个的目标容量调整模型；其中，n为大于或等于2的整数，m为大于1的整数。
67.具体地，随着服务器使用的时间增长，历史数据随着增长，因此，为了保证目标容量调整模型的预测准确性，可以按照预设的训练周期，对目标容量调整模型进行更新。
68.在一个具体实现过程中，由于模型训练过程较长，因此，在更新次数达到n次时，可以对每个目标容量调整模型进行拟合，以建立一个以目标容量调整模型为变量的函数关系，作为每个目标容量调整模型对应的拟合模型，并基于得到的拟合模型，得到n m个的目标容量调整模型；其中，n为大于或等于2的整数，m为大于1的整数，从而无需再进行模型训练，即可得到n m个周期的目标容量调整模型。
69.在一个具体实现过程中，利用拟合模型得到n 1个周期的目标容量调整模型后，在完成预测后，可以将预测结果与实际使用情况进行比较，若预测结果与实际使用情况的误差在允许范围内，则可以继续利用拟合模型得到n 2个周期的目标容量调整模型，若预测结果与实际使用情况的误差在允许范围外，则重新训练第n 2个周期的目标容量调整。
70.需要说明的是，本发明实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本发明实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成的方法。
71.图2为本发明的容量调整模型的训练方法实施例的流程图，如图2所示，本实施例的容量调整模型的训练方法具体可以包括如下步骤：
72.200、获取目标应用对应的当前时刻的服务器参数信息；
73.其中，当前时间的服务器参数信息均包括cpu使用率、内存使用率、磁盘使用率、网络流量和网络速度中的至少一种。
74.201、将当前时刻的服务器参数信息输入预先训练的容量调整模型进行预测，得到第三预测容量信息；
75.其中，容量调整模型根据上述实施例的容量调整模型的训练方法获得。
76.202、基于第三预测容量信息，对服务器的容量进行调整。
77.图3为本发明的容量调整模型的训练装置实施例的结构示意图，如图3所示，本实施例的容量调整模型的训练装置可以包括第一获取模块、训练模块、第一预测模块和修正模块。
78.第一获取模块，用于获取目标应用对应的历史服务器参数信息，并将历史服务器参数信息划分为训练数据、测试数据和验证数据；
79.其中，历史服务器参数信息包括cpu使用率、内存使用率、磁盘使用率、网络流量和
网络速度中的至少一种。
80.训练模块，用于利用训练数据和验证数据对待训练模型进行训练，得到初始容量调整模型；
81.第一预测模块，用于利用测试数据对初始容量调整模型进行测试，得到第一预测容量信息；
82.修正模块，用于若第一预测容量信息与测试数据对应的实际容量不一致，将第一预测容量信息输入预设的回归模型进行修正，得到修正容量信息；基于修正容量信息，对初始容量调整模型进行修正，得到目标容量调整模型，以便将当前时间的服务器参数信息输入目标容量调整模型进行预测，得到下一时间的第二预测容量信息。
83.具体地，修正模块可以对初始容量调整模型的超参数进行调整，得到修正容量调整模型；利用测试数据对修正容量调整模型进行测试，直到得到的修正预测容量信息与修正容量信息相匹配时，停止修正，得到目标容量调整模型。
84.其中，当前时间的服务器参数信息包括cpu使用率、内存使用率、磁盘使用率、网络流量和网络速度中的至少一种。第一预测容量信息、第二预测容量信息和修正容量信息均包括cpu数量、内存容量和响应速度中的至少一种。
85.本实施例的容量调整模型的训练装置，将获取历史服务器参数信息划分为训练数据、测试数据和验证数据；利用训练数据和验证数据对待训练模型进行训练，得到初始容量调整模型；利用测试数据对初始容量调整模型进行测试，得到第一预测容量信息；若第一预测容量信息与测试数据对应的实际容量不一致，将第一预测容量信息输入预设的回归模型进行修正，得到修正容量信息；基于修正容量信息，对初始容量调整模型进行修正，得到目标容量调整模型，以便利用目标容量调整模型对未来时刻服务器容量进行预测，并实现服务器最优化分配。采用本发明的技术方案，能够提前进行容量调整准备，缓解了容量调整的延迟问题，可改善服务器的实际负载量相对于容量而言过大，导致系统不可用的情况，以及现服务器的实际负载量相对于容量而言过小，存在资源浪费的情况。
86.在一个具体实现过程中，修正模块，还用于基于预设的训练周期，对目标容量调整模型进行更新；在更新次数达到n次时，对每个目标容量调整模型进行拟合，得到每个目标容量调整模型对应的拟合模型；基于拟合模型，得到n m个的目标容量调整模型；其中，n为大于或等于2的整数，m为大于1的整数。
87.上述实施例的装置用于实现前述实施例中相应的方法，其具体实现方案可以参见前述实施例记载的方法及方法实施例中的相关说明，并且具有相应的方法实施例的有益效果，在此不再赘述。
88.图4为本发明的容量调整装置实施例的结构示意图，如图4所示，本实施例的容量调整装置可以包括第二获取模块、第二预测模块和调整模块。
89.第二获取模块，用于获取目标应用对应的当前时刻的服务器参数信息；
90.第二预测模块，用于将当前时刻的服务器参数信息输入预先训练的容量调整模型进行预测，得到第三预测容量信息；其中，容量调整模型根据上述实施例的容量调整模型的训练方法获得；
91.调整模块，用于基于第三预测容量信息，对服务器的容量进行调整。
92.图5为本发明的电梯异常监控设备的结构示意图，如图5所示，本实施例的通行设
备可以包括：处理器1010和存储器1020。本领域技术人员可知的，该设备还可以包括输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
93.处理器1010可以采用通用的cpu(central processing unit，中央处理器)、微处理器、应用专用集成电路(application specific integrated circuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
94.存储器1020可以采用rom(read only memory，只读存储器)、ram(random access memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
95.输入/输出接口1030用于连接输入/输出模块32，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
96.通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。
97.总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
98.需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
99.在一个具体实现过程中，处理器1010用于执行存储器1020中存储的容量调整模型的训练的程序以实现上述实施例的容量调整模型的训练方法；或者，处理器1010用于执行存储器1020中存储的容量调整的程序以实现上述实施例的容量调整模型的训练方法。
100.本发明还提供一种存储介质，其存储有一个或者多个程序，一个或者多个程序可被执行时实现上述实施例的容量调整模型的训练方法；或者，处理器1010用于执行存储器1020中存储的容量调整的程序以实现上述实施例的容量调整模型的训练方法。
101.本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
102.所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例
或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
103.另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(ic)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
104.尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态ram(dram))可以使用所讨论的实施例。
105.以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。