一种用于深度学习中资源扩容的主动决策方法及系统与流程

1.本发明涉及互联网技术领域，特别是涉及一种用于深度学习中资源扩容的主动决策方法及系统。


背景技术：

2.随着技术的不断发展，电力企业信息系统运维中，面临较严峻的故障定位慢和故障处理耗时长的问题，比如：每天平均产生近百条的无效告警，筛选正常告警并进行问题定位需要耗费时间平均超过30分钟，故障处理平均也在1小时左右，再加上运调系统上的工单审批和派单流转耗时，整体上需要90分钟左右的处理时间。
3.为了解决上述耗时问题，一般会针对性设计特定的系统来解决，如以智能运维技术的方式实现信息机房数据中心的智能运营，建立信息系统健康度画像，实现故障预警，智能扩缩容，处理预案智能推荐和故障自愈等，基本解决以上运维痛点，实现智能运维，无人值守，提升运维效率，大大减低了人工运维成本。预计通过智能扩缩容在设备的资源调整方面减少人力成本投入364人天/年，降低整体20％的资源闲置损耗，在故障处理方面，通过预测机制，将故障发生率降低60％。
4.但是，当进行深度学习算法模型的训练和调优时，相比于以往产品功能和页面的研发具有更多的不确定的性，因此工程上经常出现比预期设计好的硬件架构无法满足算法需求的局面，所预测的数据往往会跟真实运维的数据有差异，具体地，在资源扩容决策时，往往所预测的数据跟实际运维数据不同，影响系统的正常运维。


技术实现要素：

5.本发明的目的在于，提出一种用于深度学习中资源扩容的主动决策方法及系统，解决现有深度学习算法中，在资源扩容决策时，预测的数据跟实际运维数据不同，影响系统的正常运维的技术问题。
6.一方面，提供一种用于深度学习中资源扩容的主动决策方法，包括以下步骤：
7.步骤s1，获取预先保留的预测数据及与预测数据对应的历史运维数据；其中，所述历史运维数据包括业务指标、前期的应用性能日志、基础设施或其他指标；所述预测数据为历史时间段内深度学习过程中进行预测所生成的历史预测数据；
8.步骤s2，将预先保留的预测数据与对应的历史运维数据进行比较，根据比较结果确定预先保留的预测数据是否处于正常范围；
9.步骤s3，当预先保留的预测数据处于正常范围时，调用实时的业务指标数据，并根据实时的业务指标数据对预先保留的预测数据进行优化；
10.步骤s4，根据优化后的预测数据建立仿真模型，并通过仿真模型对资源扩容进行主动决策，获得资源扩容结果。
11.优选地，在步骤s1中，所述预先保留的预测数据具体包括：
12.将预测的数据按照不同预设标准进行保存；其中，所述预设标准包括时间段或地
域属性或业务指标类型。
13.优选地，所述步骤s2包括：
14.将比较结果与预设的差异阈值进行比较，当预先保留的预测数据与对应的历史运维数据的差值大于预设的差异阈值时，判定该预测数据不处于正常范围；当预先保留的预测数据与对应的历史运维数据的差值小于等于预设的差异阈值时，判定该预测数据处于正常范围内。
15.优选地，所述步骤s3包括：
16.通过预设的调用链系统调用处于工作状态下的各应用的业务指标数据，并将调用的各应用的业务指标数据进行聚合，获得实时的业务指标数据。
17.优选地，在步骤s3中，所述根据实时的业务指标数据对预先保留的预测数据进行优化包括：
18.根据实时的业务指标数据对预测数据进行比对，将与实时的业务指标数据对应的预测数据标记为重要，将与实时的业务指标数据不对应的预测数据标记为不重要；将不重要的预测数据进行删除。
19.另一方面，还提供一种用于深度学习中资源扩容的主动决策系统，用以实现所述的用于深度学习中资源扩容的主动决策方法，包括：
20.数据获取模块，用以获取预先保留的预测数据及与预测数据对应的历史运维数据；其中，所述历史运维数据包括业务指标、前期的应用性能日志、基础设施或其他指标；所述预测数据为历史时间段内深度学习过程中进行预测所生成的历史预测数据；
21.对比模块，用以将预先保留的预测数据与对应的历史运维数据进行比较；
22.数据调用模块，用以当预先保留的预测数据处于正常范围时，调用实时的业务指标数据；
23.优化模块，用以根据实时的业务指标数据对预先保留的预测数据进行优化；
24.仿真模块，用以根据优化后的预测数据建立仿真模型；
25.决策模块，用以通过仿真模型对资源扩容进行主动决策，获得资源扩容结果。
26.优选地，还包括：预测数据保留模块，用以将预测的数据按照不同预设标准进行保存；其中，所述预设标准包括时间段或地域属性或业务指标类型。
27.优选地，所述对比模块还用于将比较结果与预设的差异阈值进行比较，当预先保留的预测数据与对应的历史运维数据的差值大于预设的差异阈值时，判定该预测数据不处于正常范围；当预先保留的预测数据与对应的历史运维数据的差值小于等于预设的差异阈值时，判定该预测数据处于正常范围内。
28.优选地，所述数据调用模块还用于通过预设的调用链系统调用处于工作状态下的各应用的业务指标数据，并将调用的各应用的业务指标数据进行聚合，获得实时的业务指标数据。
29.优选地，所述优化模块还用于根据实时的业务指标数据对预测数据进行比对，将与实时的业务指标数据对应的预测数据标记为重要，将与实时的业务指标数据不对应的预测数据标记为不重要；将不重要的预测数据进行删除。
30.综上，实施本发明的实施例，具有如下的有益效果：
31.本发明提供的用于深度学习中资源扩容的主动决策方法及系统，通过将每次所预
测的数据进行保留，然后利用对比模型将所保留的预测数据与前期所运行的数据进行对比，并在确定预测数据没有问题时基于这些预测数据建立一个仿真模型，可以在接到指令时，利用仿真模型对接到资源扩容系统实现主动智能决策，使得预期设计好的硬件架构能够满足算法需求的局面，资源优化能力强，泛化性能和预测能力较优，实现用户的体验升级和解决方案的效率升级。
附图说明
32.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
33.图1为本发明实施例中一种用于深度学习中资源扩容的主动决策方法的主流程示意图。
34.图2为本发明实施例中一种用于深度学习中资源扩容的主动决策系统的示意图。
具体实施方式
35.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
36.如图1所示，为本发明提供的一种用于深度学习中资源扩容的主动决策方法的一个实施例的示意图。在该实施例中，所述方法包括以下步骤：
37.步骤s1，获取预先保留的预测数据及与预测数据对应的历史运维数据；其中，所述历史运维数据包括业务指标、前期的应用性能日志、基础设施或其他指标；所述预测数据为历史时间段内深度学习过程中进行预测所生成的历史预测数据；可以理解的是，除了获取保留的预测数据之外，还获取各个业务指标的前期的运维数据，即获取各个指标的历史运维事件，而预测数据与业务指标、前期的应用性能日志、基础设施或其他指标所对应的数据是一一对应，有互相关联的。
38.具体实施例中，所述预先保留的预测数据具体包括：将预测的数据按照不同预设标准进行保存；其中，所述预设标准包括时间段或地域属性或业务指标类型；可以理解的是，这里是每次预测是可以针对时间段进行预测的，如将每一时间段内所预测的数据进行保留或保存；又或者也可以针对地域性，如将每一个地域所预测的数据进行保留；又或者针对不同业务指标是预测的数据进行保留，如将同一业务的指标所预测的数据进行保留，不同指标的预测数据删除等。预测数据所对应的指标与前期的应用性能日志、基础设施或其他指标是相同的，如预测数据为内存的数据，则获取的前期(即前期的某一时间段内)业务指标为内存的数据，如预测数据为磁盘的数据，则获取的业务指标为磁盘的数据，也就是获取过去的业务指标经验作为评估对象，评估预测数据是否满足系统所需条件或环境。
39.步骤s2，将预先保留的预测数据与对应的历史运维数据进行比较，根据比较结果确定预先保留的预测数据是否处于正常范围；可以理解的是，根据业务指标，前期的应用性能日志，基础设施等其他指标可以计算出预测数据的差异，主要是计算出所预测的数据与真实的业务指标的前期数据(即已经发生过的事件的数据)是否存在比较大的差异。
40.具体实施例中，将比较结果与预设的差异阈值进行比较，当预先保留的预测数据与对应的历史运维数据的差值大于预设的差异阈值时，判定该预测数据不处于正常范围；当预先保留的预测数据与对应的历史运维数据的差值小于等于预设的差异阈值时，判定该预测数据处于正常范围内。可以理解的是，具体的对对就是将所保留的预测数据与前期的业务指标进行一一对比。应理解，这里的一一对比主要是如：将磁盘的预测数据与历史前期的磁盘数据一一对比，将内存的预测数据与前期的内存数据一一对比等等；将比较后获得侧差异与预设差异阈值比较，判断两者的差异是否大于预设差异。应理解，预设差异主要为人为设定的，具体需要根据实际情况而定，如内存的预测是变小，而前期的运维环境是内存是变大，这明显是存在比较大的差异，说明预测数据不符合要求；如果没有，判定该预测数据处于正常范围内；如果是，判定该预测数据不符合要求，可以确定该预测数据是错误数据或误差数据，不能以该预测数据进行后续模型的建立，将其删除，只保留正常范围的预测数据建立后续模型。
41.步骤s3，当预先保留的预测数据处于正常范围时，调用实时的业务指标数据，并根据实时的业务指标数据对预先保留的预测数据进行优化；可以理解的是，确定预测数据没问题，通过建立好的调用链系统进调用业务指标的数据，并将所调用的数据进行聚合。再有对所预测规模进行优化主要是过滤作用，如对一些不重要的预测数据删除，或者对错误或不完整的预测数据进行删除，这样能够减少不必要的工作量。
42.具体实施例中，通过预设的调用链系统调用处于工作状态下的各应用的业务指标数据，并将调用的各应用的业务指标数据进行聚合，获得实时的业务指标数据。所述根据实时的业务指标数据对预先保留的预测数据进行优化包括：根据实时的业务指标数据对预测数据进行比对，将与实时的业务指标数据对应的预测数据标记为重要，将与实时的业务指标数据不对应的预测数据标记为不重要；将不重要的预测数据进行删除。可以理解的是，调用链系统为用户自定义设定的，该系统的调用脚本分散到各个应用中，能够调用各个应用的数据。应理解，这里所调用的数据为真实正在工作的业务指标数据。具体地，这里只调用正在工作的业务指标，如一些没有工作的，不会调用，而优化也是优化与多调用的业务指标对应的预测数据。
43.再具体地，对预测数据得规模进行优化可以是只对同一地域的预测数据进行优化，也可以只对同一型号业务指标的预测数据进行优化，也可以只对硬盘的预测数据进行优化，或者只对cpu的预测数据进行优化，还可以只对磁盘的预测数据进行优化等，这样能够规模限定是针对哪些对象进行优化。
44.步骤s4，根据优化后的预测数据建立仿真模型，并通过仿真模型对资源扩容进行主动决策，获得资源扩容结果。可以理解的是，建立仿真模型主要是在去除一些不必要的预测数据后，留下有用的预测数据建立一个完整的仿真模型，这个仿真模型能够仿真系统的正常运行，但仿真模型并不是一直不变的，是根据所保留的预测数据来改变的，如第一次所保留的预测数据形成一个仿真模型，第二次所保留的预测数据跟第一次所保留的预测数据不同，因此第二次所形成的仿真模型会有所改变。
45.具体实施例中，仿真模型建立后需要存档，当需要进行决策时，利用仿真模型对资源扩容系统实现主动智能决策。也就是说，当有系统需要资源扩容时，如接到需要扩容的指令时，直接可参考仿真模型进行扩容，即根据仿真模型所提供的操作主动执行扩容，仿真模
型是如何操作，就跟着仿真模型的步骤操作，具体地，获取仿真模型的执行步骤信息，将执行步骤信息转化为自身的执行步骤，然后根据这个步骤进行自主决策，使得资源优化能力强，泛化性能和预测能力较优，实现用户的体验升级和解决方案的效率升级。
46.如图2所示，为本发明提供的一种用于深度学习中资源扩容的主动决策系统的一个实施例的示意图。在该实施例中，所述系统用于实现所述用于深度学习中资源扩容的主动决策方法包括：
47.数据获取模块，用以获取预先保留的预测数据及与预测数据对应的历史运维数据；其中，所述历史运维数据包括业务指标、前期的应用性能日志、基础设施或其他指标；所述预测数据为历史时间段内深度学习过程中进行预测所生成的历史预测数据；
48.对比模块，用以将预先保留的预测数据与对应的历史运维数据进行比较；具体地，所述对比模块还用于将比较结果与预设的差异阈值进行比较，当预先保留的预测数据与对应的历史运维数据的差值大于预设的差异阈值时，判定该预测数据不处于正常范围；当预先保留的预测数据与对应的历史运维数据的差值小于等于预设的差异阈值时，判定该预测数据处于正常范围内。
49.数据调用模块，用以当预先保留的预测数据处于正常范围时，调用实时的业务指标数据；具体地，所述数据调用模块还用于通过预设的调用链系统调用处于工作状态下的各应用的业务指标数据，并将调用的各应用的业务指标数据进行聚合，获得实时的业务指标数据。
50.优化模块，用以根据实时的业务指标数据对预先保留的预测数据进行优化；具体地，所述优化模块还用于根据实时的业务指标数据对预测数据进行比对，将与实时的业务指标数据对应的预测数据标记为重要，将与实时的业务指标数据不对应的预测数据标记为不重要；将不重要的预测数据进行删除。
51.仿真模块，用以根据优化后的预测数据建立仿真模型；
52.决策模块，用以通过仿真模型对资源扩容进行主动决策，获得资源扩容结果；
53.预测数据保留模块，用以将预测的数据按照不同预设标准进行保存；其中，所述预设标准包括时间段或地域属性或业务指标类型。
54.关于用于深度学习中资源扩容的主动决策系统的具体实现过程，可参考上述用于深度学习中资源扩容的主动决策方法的具体过程，在此不再赘述。
55.综上，实施本发明的实施例，具有如下的有益效果：
56.本发明提供的用于深度学习中资源扩容的主动决策方法及系统，通过将每次所预测的数据进行保留，然后利用对比模型将所保留的预测数据与前期所运行的数据进行对比，并在确定预测数据没有问题时基于这些预测数据建立一个仿真模型，可以在接到指令时，利用仿真模型对接到资源扩容系统实现主动智能决策，使得预期设计好的硬件架构能够满足算法需求的局面，资源优化能力强，泛化性能和预测能力较优，实现用户的体验升级和解决方案的效率升级。
57.以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。