资源管理方法、装置、设备及计算机可读存储介质与流程

1.本发明涉及新一代信息技术领域，尤其涉及一种资源管理方法、装置、设备及计算机可读存储介质。


背景技术：

2.在计算和存储引擎落地使用的过程中，普遍存在以下问题：1、面向具体引擎实例管理引擎资源、具体应用实例管理应用资源，不支持跨引擎或应用实例共享资源，资源与业务关联性弱，不支持以业务为入口的细粒度资源管理和监控；2、普遍使用的计算和存储引擎方案，技术属性强，投入较大，资源利用率低；3、在资源管理上，现有技术方案只是提供简单的资源分配和回收等能力，并未考虑深层次的资源管理。


技术实现要素：

3.本发明提供一种资源管理方法、装置、设备及计算机可读存储介质，用以解决上述背景技术中所述的现有资源管理存在的问题。
4.本发明提供一种资源管理方法，包括：获取待管理资源的资源存储管理结果和资源预测结果；所述资源存储管理结果是对所述待管理资源、分类资源及业务化资源进行分层存储得到的；所述分类资源是对所述待管理资源进行分类处理后得到的；所述业务化资源是基于所述分类资源对所述待管理资源进行业务化处理得到的；所述资源预测结果是根据所述待管理资源确定的。
5.根据本发明提供的一种资源管理方法，对所述待管理资源进行分类处理，得到所述分类资源，具体包括：基于预设多维分类原则对所述待管理资源进行分类处理，得到分类资源。
6.根据本发明提供的一种资源管理方法，对所述待管理资源进行分类处理，得到所述分类资源之后包括：基于预设分级原则对所述待管理资源进行分级处理，得到分级资源。
7.根据本发明提供的一种资源管理方法，基于所述分类资源对所述待管理资源进行业务化处理，得到所述业务化资源，具体包括：基于所述分类资源对所述待管理资源进行业务资源元能力定义，得到所述业务化资源。
8.根据本发明提供的一种资源管理方法，所述基于所述分类资源对所述待管理资源进行业务资源元能力定义，得到所述业务化资源包括：确定所述待管理资源对应的业务类型；基于所述业务类型和所述分类资源对所述待管理资源进行业务资源元能力定义，得到所述业务化资源。
9.根据本发明提供的一种资源管理方法，对所述待管理资源、所述分类资源及所述业务化资源进行分层存储，得到所述资源存储管理结果，具体包括：将所述待管理资源存储至资源原始层，将所述分类资源存储至资源明细层，将所述业务化资源存储至资源集市层，得到所述资源存储管理结果。
10.根据本发明提供的一种资源管理方法，根据所述待管理资源确定所述资源预测结果，具体包括：搭建资源预测模型；根据所述资源预测模型和所述待管理资源，确定所述资源预测结果。
11.本发明还提供一种资源管理装置，包括：获取模块，用于获取待管理资源的资源存储管理结果和资源预测结果；资源存储模块，用于对所述待管理资源、分类资源及业务化资源进行分层存储得到资源存储管理结果；分类处理模块，用于对所述待管理资源进行分类处理得到所述分类资源；业务化处理模块，用于基于所述分类资源对所述待管理资源进行业务化处理，得到所述业务化资源；资源预测模块，用于根据所述待管理资源确定所述资源预测结果。
12.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述资源管理方法。
13.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述资源管理方法。
14.本发明提供的资源管理方法、装置、设备及计算机可读存储介质，首先，对待管理资源进行分类处理，得到分类资源，然后，基于分类资源对待管理资源进行业务化处理，得到业务化资源，进而再对待管理资源、分类资源及业务化资源进行分层存储，得到资源存储管理结果，最终根据待管理资源确定资源预测结果，通过对待处理资源进行分类处理、业务化处理、分层存储以及预测，实现了资源的细粒度管理和监控，提高了资源的利用率。
附图说明
15.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1是本发明提供的资源管理方法的流程示意图之一；图2是本发明提供的资源管理方法的流程示意图之二；图3是本发明提供的资源管理装置的结构示意图；图4是本发明提供的电子设备的结构示意图。
具体实施方式
17.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本
发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.下面结合图1-图2描述本发明的资源管理方法。
19.请参照图1，本发明提供一种资源管理方法，包括：步骤100，获取待管理资源的资源存储管理结果和资源预测结果；具体地，本实施例中的待管理资源包括面向计算和存储引擎的潜在资源，例如，引擎自身的计算或存储资源，数据应用引用的资源，以及数据应用开发、计算和存储引擎维护过程中投入的人力资源（以可进行直接对比的数据表示）。首先，采集待管理资源，采用插件式集成架构，每一个插件对应具体的计算和存储引擎以及资源定义，提供全量、增量及实时等多种资源采集方法。本实施例提供的资源管理方法可以实现资源的存储管理和资源预测，对待管理资源进行存储得到资源存储管理结果，对待管理资源进行预测得到资源预测结果。
20.步骤200，对所述待管理资源、分类资源及业务化资源进行分层存储得到资源存储管理结果；具体地，通过本实施例提供的多层资源分层存储，对待管理资源、分类资源及业务化资源进行分层存储，得到资源存储管理结果，将待管理资源、分类资源及业务化资源存储在不同的层，可直接将资源提供给数据应用。
21.步骤300，对所述待管理资源进行分类处理得到所述分类资源；具体地，除了可以对待管理资源进行分层存储，还对采集到的待管理资源进行分类处理。遵守分类多维原则，可以将资源分为实例资源、引擎资源及领域资源三类，得到分类资源。
22.步骤400，基于所述分类资源对所述待管理资源进行业务化处理，得到所述业务化资源；具体地，基于资源分类分级活动提供的标准资源定义以及实例资源，引擎资源和领域资源，对待管理资源进行业务化处理，得到业务化资源。
23.步骤500，根据所述待管理资源确定所述资源预测结果。
24.通过搭建资源预测模型，对未来的资源投入情况进行预测，以支持资源规划并能及时发现问题进行相关调整，通过日常数据应用开发和运维流程，即可达到资源预测的目的，不给数据应用开发和运维过程增加额外负担。即，通过搭建合适的资源预测模型，指导资源规划和资源优化。
25.在本实施例中，首先，对待管理资源进行分类处理，得到分类资源，然后，基于分类资源对待管理资源进行业务化处理，得到业务化资源，进而再对待管理资源、分类资源及业务化资源进行分层存储，得到资源存储管理结果，最终根据待管理资源确定资源预测结果，通过对待处理资源进行分类处理、业务化处理、分层存储以及预测，实现了资源的细粒度管理和监控，提高了资源的利用率。
26.在一个实施例中，本技术实施例提供的资源管理方法，还可以包括：步骤310，基于预设多维分类原则对所述待管理资源进行分类处理，得到分类资源。
27.具体地，遵守分类多维原则（即本实施例中的预设多维分类原则），可以将资源分为实例资源、引擎资源及领域资源三类，得到分类资源。以流计算引擎x和y为例，流计算引擎x和y主要依赖的原始资源为cpu（central processing unit，中央处理器）和内存，假设某一个业务环境下存在2个集群a和b，集群a存在2个x实例和1个y实例，集群b存在1个x实例和1个y实例，基于上述三类资源分类可知，实例资源共5个，对应上述2个集群中的所有实例。引擎资源共2个，分别为x和y。领域资源共1个，即流计算领域资源。如表1所示。表1中的gb是一种存储单位，也可称之为十亿字节，基于预设多维分类原则对待管理资源进行分类处理，可得到分类资源：实例资源、引擎资源及领域资源。
28.表1本实施例通过预设多维分类原则对待管理资源进行分类处理，实现资源的细粒度管理。
29.在一个实施例中，本技术实施例提供的资源管理方法，还可以包括：步骤600，基于预设分级原则对所述待管理资源进行分级处理，得到分级资源。
30.本实施例提供的资源管理方法还可以对待管理资源进行分级处理，具体地，遵守分级明确原则，按照资源一旦消耗较大，对数据应用、计算和存储引擎造成的危害程度就越大的原则，可以将待管理资源从低到高分为一般资源、重要资源、核心资源共三个级别。一般资源可定义为：一旦消耗较大，不会对数据应用、计算和存储引擎造成危害的资源，如单机伪分布式集群数据应用；重要资源可定义为：一旦消耗较大，可能对数据应用、计算和存储引擎造成一般危害的资源，如io密集型数据应用；核心资源可定义为：一旦消耗较大，可能对数据应用、计算和存储引擎造成严重危害的资源，如cpu密集型数据应用。
31.本实施例通过预设分级原则对待管理资源进行分级处理，实现了资源的细粒度管理。
32.在一个实施例中，本技术实施例提供的资源管理方法，还可以包括：步骤410，基于所述分类资源对所述待管理资源进行业务资源元能力定义，得到所述业务化资源。
33.具体地，基于资源分类分级活动提供的标准资源定义，基于实例资源，引擎资源和领域资源，区分不同的业务类型给出对应的业务资源元能力定义，得到业务化资源。
34.本实施例通过对待管理资源进行业务资源元能力定义得到业务化资源，实现了深层次的资源管理。
35.请参照图2，在一个实施例中，本技术实施例提供的资源管理方法，还可以包括：步骤411，确定所述待管理资源对应的业务类型；步骤412，基于所述业务类型和所述分类资源对所述待管理资源进行业务资源元能力定义，得到所述业务化资源。
36.具体地，基于分类资源（实例资源、引擎资源及领域资源），区分不同的业务类型，给出待管理资源对应的业务资源元能力定义，得到业务化资源，其中，业务类型包括简单业务和复杂业务。
37.本实施例通过业务类型和分类资源对待管理资源进行业务资源元能力定义，得到业务化资源，实现了深层次的资源管理。
38.在一个实施例中，本技术实施例提供的资源管理方法，还可以包括：步骤210，将所述待管理资源存储至资源原始层，将所述分类资源存储至资源明细层，将所述业务化资源存储至资源集市层，得到所述资源存储管理结果。
39.具体地，通过本实施例提供的多层资源分层存储，对待管理资源、分类资源及业务化资源进行分层存储，得到资源存储管理结果，例如，将待管理资源存储至资源原始层，将分类资源及业务化资源存储至资源明细层，将业务化资源存储至资源集市层，可直接将资源提供给数据应用。
40.本实施例通过将资源进行分层存储，实现了资源的细粒度管理。
41.在一个实施例中，本技术实施例提供的资源管理方法，还可以包括：步骤510，搭建资源预测模型；步骤520，根据所述资源预测模型和所述待管理资源，确定所述资源预测结果。
42.基于搭建的资源预测模型对未来的资源投入情况进行预测，以支持资源规划，并在资源预测的过程中能及时发现问题进行相关调整。通过日常的数据应用开发和运维流程，可达到资源预测的目的，不给数据应用开发和运维过程增加额外负担。即，通过搭建合适的资源预测模型，指导资源规划和资源优化。
43.本实施例通过日常的数据应用开发和运维流程，即可达到资源预测的目的，不给数据应用开发和运维过程增加额外负担。
44.下面对本发明提供的资源管理装置进行描述，下文描述的资源管理装置与上文描述的资源管理方法可相互对应参照。
45.请参照图3，本发明还提供一种资源管理装置，包括：获取模块301，用于获取待管理资源的资源存储管理结果和资源预测结果；资源存储模块302，用于对所述待管理资源、分类资源及业务化资源进行分层存储得到资源存储管理结果；分类处理模块303，用于对所述待管理资源进行分类处理得到所述分类资源；业务化处理模块304，用于基于所述分类资源对所述待管理资源进行业务化处理，得到所述业务化资源；资源预测模块305，用于根据所述待管理资源确定所述资源预测结果。
46.可选地，所述分类处理模块包括：
分类处理单元，用于基于预设多维分类原则对所述待管理资源进行分类处理，得到分类资源。
47.可选地，所述资源管理装置，包括：分级处理模块，用于基于预设分级原则对所述待管理资源进行分级处理，得到分级资源。
48.可选地，所述业务化处理模块包括：业务化处理单元，用于基于所述分类资源对所述待管理资源进行业务资源元能力定义，得到所述业务化资源。
49.可选地，所述业务化处理单元包括：业务类型确定单元，用于确定所述待管理资源对应的业务类型；业务资源元能力定义单元，用于基于所述业务类型和所述分类资源对所述待管理资源进行业务资源元能力定义，得到所述业务化资源。
50.可选地，所述资源存储模块包括：资源分层存储单元，用于将所述待管理资源存储至资源原始层，将所述分类资源存储至资源明细层，将所述业务化资源存储至资源集市层，得到所述资源存储管理结果。
51.可选地，所述资源预测模块包括：资源预测模型搭建单元，用于搭建资源预测模型；资源预测结果确定单元，用于根据所述资源预测模型和所述待管理资源，确定所述资源预测结果。
52.图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(communications interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行资源管理方法。
53.此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
54.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的资源管理方法。
55.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
56.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可
借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
57.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。