大数据管控方法、装置、管控系统及可读存储介质与流程

1.本发明涉及大数据技术领域，尤其涉及一种大数据管控方法、装置、管控系统及可读存储介质。


背景技术：

2.随着大数据技术的发展，大数据集群为越来越多的行业、领域所应用。大数据集群中所接入的节点设备众多，且各节点的业务运行进程也众多，若当节点的业务运行进程均集中在同一时间段运行或运行数据过大时，则会由于数据高峰期造成业务运行进程的运行时间变长，进而会造成业务运行进程对应的运行成本变高，严重时还会导致整个大数据集群的业务运行进程崩溃。


技术实现要素：

3.本发明的主要目的在于提供一种大数据管控方法、装置、管控系统及可读存储介质，旨在实现一种基于业务运行进程对应的运行成本对大数据集群进行进程管控的技术问题。
4.为实现上述目的，本发明提供一种大数据管控方法，所述大数据管控方法包括以下步骤：
5.确定大数据集群中各节点的业务运行进程；
6.获取预设时间范围内各业务运行进程对应的运行数据；
7.根据所述运行数据计算所述预设时间范围内各业务运行进程对应的运行成本；
8.根据各业务运行进程对应的运行成本生成进程资源调配策略，以根据所述进程资源调配策略对业务运行进程进行调配。
9.可选地，所述运行数据包括内存消耗量、cpu核数及运行时间节点，所述根据所述运行数据计算所述预设时间范围内各业务运行进程对应的运行成本的步骤包括：
10.根据各业务运行进程的运行时间节点、内存消耗量及cpu核数确定各业务运行进程匹配的计费单价及折扣系数；
11.根据所述计费单价及折扣系数计算所述预设时间范围内各个业务运行进程对应的运行成本。
12.可选地，所述根据各业务运行进程的运行时间节点、内存消耗量及cpu核数确定各业务运行进程匹配的计费单价及折扣系数的步骤包括：
13.若业务运行进程的运行时间节点处于高峰运行时间段内，则根据高峰运行时间段的高峰时间节点及业务运行进程的运行时间节点将业务运行进程划分成至少一个高峰计费时间段和/或至少一个非高峰计费时间；
14.确定各计费时间段的目标内存消耗量及目标运行时长，以根据cpu核数、目标内存消耗量及目标运行时长确定各计费时间段的计费单价及折扣系数。
15.可选地，所述根据cpu核数、目标内存消耗量及目标运行时间确定各计费时间段的
计费单价的步骤包括：
16.确定各计费时间段匹配的折扣系数；
17.根据各计费时间段的目标运行时长、cpu核数及目标内存消耗量，确定各计费时间段的进程算力；
18.基于所述进程算力确定各计费时间段的计费单价。
19.可选地，所述确定各计费时间段匹配的折扣系数的步骤包括：
20.若计费时间段为高峰计费时间段，则确定所述高峰计费时间段的折扣系数为第一预设折扣系数；以及
21.若计费时间段为非高峰计费时间段，则确定所述非高峰计费时间段的折扣系数为第二预设折扣系数，其中，所述第二预设折扣系数小于第一预设折扣系数。
22.可选地，所述基于所述进程算力确定各计费时间段的计费单价的步骤包括：
23.按照预设阶梯划分规则，分别将各计费时间段的进程算力划分为至少一阶进程算力；
24.确定各阶进程算力匹配的计费单价。
25.可选地，所述根据各业务运行进程的运行时间节点、内存消耗量及cpu核数确定各业务运行进程匹配的计费单价及折扣系数的步骤还包括：
26.根据各业务运行进程的运行时间节点，确定各业务运行进程的折扣系数；
27.根据各业务运行进程的运行时间节点、cpu核数及内存消耗量，确定各业务运行进程的进程算力；
28.基于所述进程算力确定各业务运行进程的计费单价。
29.可选地，所述根据各业务运行进程的运行时间节点，确定各业务运行进程的折扣系数的步骤包括：
30.若业务运行进程的运行时间节点处于高峰高峰运行时间段内，则确定所述业务运行进程的折扣系数为第三预设折扣系数；以及
31.若业务运行进程的运行时间节点处于非高峰高峰运行时间段内，则确定所述业务运行进程的折扣系数的折扣系数为第四预设折扣系数，其中，所述第四预设折扣系数小于第三预设折扣系数。
32.可选地，所述基于所述进程算力确定各业务运行进程的计费单价的步骤包括：
33.按照预设阶梯划分规则，分别将各业务运行进程的进程算力划分为至少一阶进程算力；
34.确定各阶进程算力匹配的计费单价。
35.可选地，所述根据各业务运行进程对应的运行成本生成进程资源调配策略的步骤包括：
36.根据各业务运行进程对应的运行成本，确定异常业务运行进程；
37.生成所述异常业务运行进程对应的进程资源调配策略，其中，所述进程资源调配策略包括运行时间调配策略、运行容量调配策略和/或运行速度调配策略。
38.可选地，所述根据各业务运行进程对应的运行成本，确定异常业务运行进程的步骤之后，还包括：
39.确定所述异常业务运行进程对应的管控终端；
40.发送预警消息至所述管控终端，以通知所述管控终端对所述异常业务运行进程进行管控。
41.可选地，所述根据所述运行数据计算所述预设时间范围内各业务运行进程对应的运行成本的步骤之后，还包括：
42.将各业务运行进程对应的运行成本进行可视化输出。
43.进一步地，为实现上述目的，本发明还提供一种大数据管控装置，所述大数据管控装置包括：
44.确定模块，用于确定大数据集群中各节点的业务运行进程；
45.获取模块，用于获取预设时间范围内各业务运行进程对应的运行数据；
46.计算模块，用于根据所述运行数据计算所述预设时间范围内各业务运行进程对应的运行成本；
47.策略模块，用于根据各业务运行进程对应的运行成本生成进程资源调配策略，以根据所述进程资源调配策略对业务运行进程进行调配。
48.可选地，所述计算模块包括：
49.第一确定单元，用于根据各业务运行进程的运行时间节点、内存消耗量及cpu核数确定各业务运行进程匹配的计费单价及折扣系数；
50.计算单元，用于根据所述计费单价及折扣系数计算所述预设时间范围内各个业务运行进程对应的运行成本。
51.可选地，，所述第一确定单元包括：
52.划分子单元模块，用于若业务运行进程的运行时间节点处于高峰运行时间段内，则根据高峰运行时间段的高峰时间节点及业务运行进程的运行时间节点将业务运行进程划分成至少一个高峰计费时间段和/或至少一个非高峰计费时间；
53.确定子单元模块，用于确定各计费时间段的目标内存消耗量及目标运行时长，以根据cpu核数、目标内存消耗量及目标运行时长确定各计费时间段的计费单价及折扣系数。
54.可选地，所述策略模块包括：
55.第一确定单元，用于根据各业务运行进程对应的运行成本，确定异常业务运行进程；
56.策略单元，用于生成所述异常业务运行进程对应的进程资源调配策略，其中，所述进程资源调配策略包括运行时间调配策略、运行容量调配策略和/或运行速度调配策略。
57.可选地，所述策略模块还包括：
58.第一确定单元，用于确定所述异常业务运行进程对应的管控终端；
59.预警单元，用于发送预警消息至所述管控终端，以通知所述管控终端对所述异常业务运行进程进行管控。
60.可选地，所述大数据管控装置还包括：
61.输出模块，用于将各业务运行进程对应的运行成本进行可视化输出。
62.进一步地，为实现上述目的，本发明还提供一种监控系统，所述监控系统包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的大数据管控程序，所述大数据管控程序被所述处理器执行时实现如上述所述的大数据管控方法的步骤。
63.进一步地，为实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质
上存储有大数据管控程序，所述大数据管控程序被处理器执行时实现如上所述的大数据管控方法的步骤。
64.本发明的大数据管控方法、装置、监控系统和可读存储介质，通过确定大数据集群中各节点的业务运行进程；获取预设时间范围内各业务运行进程对应的运行数据；根据所述运行数据计算所述预设时间范围内各业务运行进程对应的运行成本；根据各业务运行进程对应的运行成本生成进程资源调配策略，以根据所述进程资源调配策略对业务运行进程进行调配，由此，通过获取各业务运行进程对应的运行数据来确定各业务运行进程对应的运行成本，进而根据运行成本生成进程资源调配策略，避免出现数据高峰期后逐一调控，有利于大数据集群的有效运行及运行成本的管控。
附图说明
65.图1为本发明监控系统实施例方案涉及的硬件运行环境的结构示意图；
66.图2为本发明大数据管控方法第一实施例的流程示意图；
67.图3为本发明大数据管控方法第二实施例的流程示意图；
68.图4为本发明大数据管控方法第三实施例的流程示意图；
69.图5为本发明大数据管控装置较佳实施例的功能模块示意图。
70.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
71.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
72.本发明提供一种监控系统，参照图1，图1为本发明监控系统实施例方案涉及的硬件运行环境的结构示意图。
73.如图1所示，该监控系统可以包括：处理器1001，例如cpu，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储监控系统。
74.本领域技术人员可以理解，图1中示出的监控系统的硬件结构并不构成对监控系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
75.如图1所示，作为一种可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及大数据管控程序。其中，操作系统是管理和控制监控系统的硬件与软件资源的程序，支持网络通信模块、用户接口模块、大数据管控程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口1004；用户接口模块用于管理和控制用户接口1003。
76.在图1所示的监控系统硬件结构中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；处理器1001可以调用存储器1005中存储的大数据管控程序，并执行以下操作：
77.确定大数据集群中各节点的业务运行进程；
78.获取预设时间范围内各业务运行进程对应的运行数据；
79.根据所述运行数据计算所述预设时间范围内各业务运行进程对应的运行成本；
80.根据各业务运行进程对应的运行成本生成进程资源调配策略，以根据所述进程资源调配策略对业务运行进程进行调配。
81.进一步地，所述处理器1001可以调用存储器1005中存储的大数据管控程序，并执行以下操作：
82.根据各业务运行进程的运行时间节点、内存消耗量及cpu核数确定各业务运行进程匹配的计费单价及折扣系数；
83.根据所述计费单价及折扣系数计算所述预设时间范围内各个业务运行进程对应的运行成本。
84.进一步地，所述处理器1001可以调用存储器1005中存储的大数据管控程序，并执行以下操作：
85.若业务运行进程的运行时间节点处于高峰运行时间段内，则根据高峰运行时间段的高峰时间节点及业务运行进程的运行时间节点将业务运行进程划分成至少一个高峰计费时间段和/或至少一个非高峰计费时间；
86.确定各计费时间段的目标内存消耗量及目标运行时长，以根据cpu核数、目标内存消耗量及目标运行时长确定各计费时间段的计费单价及折扣系数。
87.进一步地，所述处理器1001可以调用存储器1005中存储的大数据管控程序，并执行以下操作：
88.确定各计费时间段匹配的折扣系数；
89.根据各计费时间段的目标运行时长、cpu核数及目标内存消耗量，确定各计费时间段的进程算力；
90.基于所述进程算力确定各计费时间段的计费单价。
91.进一步地，所述处理器1001可以调用存储器1005中存储的大数据管控程序，并执行以下操作：
92.若计费时间段为高峰计费时间段，则确定所述高峰计费时间段的折扣系数为第一预设折扣系数；以及
93.若计费时间段为非高峰计费时间段，则确定所述非高峰计费时间段的折扣系数为第二预设折扣系数，其中，所述第二预设折扣系数小于第一预设折扣系数。
94.进一步地，所述处理器1001可以调用存储器1005中存储的大数据管控程序，并执行以下操作：
95.按照预设阶梯划分规则，分别将各计费时间段的进程算力划分为至少一阶进程算力；
96.确定各阶进程算力匹配的计费单价。
97.进一步地，所述处理器1001可以调用存储器1005中存储的大数据管控程序，并执行以下操作：
98.根据各业务运行进程的运行时间节点，确定各业务运行进程的折扣系数；
99.根据各业务运行进程的运行时间节点、cpu核数及内存消耗量，确定各业务运行进
程的进程算力；
100.基于所述进程算力确定各业务运行进程的计费单价。
101.进一步地，所述处理器1001可以调用存储器1005中存储的大数据管控程序，并执行以下操作：
102.若业务运行进程的运行时间节点处于高峰高峰运行时间段内，则确定所述业务运行进程的折扣系数为第三预设折扣系数；以及
103.若业务运行进程的运行时间节点处于非高峰高峰运行时间段内，则确定所述业务运行进程的折扣系数的折扣系数为第四预设折扣系数，其中，所述第四预设折扣系数小于第三预设折扣系数。
104.进一步地，所述处理器1001可以调用存储器1005中存储的大数据管控程序，并执行以下操作：
105.按照预设阶梯划分规则，分别将各业务运行进程的进程算力划分为至少一阶进程算力；
106.确定各阶进程算力匹配的计费单价。
107.进一步地，所述处理器1001可以调用存储器1005中存储的大数据管控程序，并执行以下操作：
108.根据各业务运行进程对应的运行成本，确定异常业务运行进程；
109.生成所述异常业务运行进程对应的进程资源调配策略，其中，所述进程资源调配策略包括运行时间调配策略、运行容量调配策略和/或运行速度调配策略。
110.进一步地，所述处理器1001可以调用存储器1005中存储的大数据管控程序，并执行以下操作：
111.确定所述异常业务运行进程对应的管控终端；
112.发送预警消息至所述管控终端，以通知所述管控终端对所述异常业务运行进程进行管控。
113.进一步地，所述处理器1001可以调用存储器1005中存储的大数据管控程序，并执行以下操作：
114.将各业务运行进程对应的运行成本进行可视化输出。
115.本发明还提供一种大数据管控方法。
116.参照图2，图2为本发明大数据管控方法第一实施例的流程示意图。
117.本发明实施例提供了大数据管控方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。具体地，本实施例大数据管控方法包括：
118.步骤s10，确定大数据集群中各节点的业务运行进程；
119.步骤s20，获取预设时间范围内各业务运行进程对应的运行数据；
120.本实施例中大数据管控方法适用于大数据管控系统，大数据管控系统接入于大数据集群中，对大数据集群中各节点的业务运行进程进行管控，管控的内容包含对正常运行状态的节点或业务运行进程正常管控，以及对存在异常的节点或业务运行进程进行异常监控。具体地，用于提供各种服务功能的设备作为节点接入到大数据集群中，先确定大数据集群中各节点的业务运行进程，接着对大数据集群中各节点的运行数据进行获取，具体地，当
接收到大数据管控指令，或者达到大数据管控条件时，获取预设时间范围内各业务运行进程对应的运行数据，其中，大数据管控条件包括当前时间节点达到预设高峰期时间节点，或监测到当前业务运行进程的运行速度小于预设速度阈值等，具体不做限制，大数据管控条件可基于当前大数据集群情况自行设置，具体地，本实施例中，运行数据包括内存消耗量、cpu核数及运行时间节点，具体指预设时间范围内业务运行进程对应的开始运行时间节点及结束时间节点，需要说明的是，若业务运行进程在预设时间范围之前已经开始运行，则在预设时间范围内该业务运行进程的开始运行时间节点为该预设时间范围的起始时间点，及若业务运行进程在预设时间范围之后仍在继续运行，则在预设时间范围内该业务运行进程的结束时间节点为该预设时间范围的终止时间点，其中，内存消耗量为该业务运行进程在预设时间范围内运行时存储的业务运行数据所占用的内存量，cpu核数为执行该业务运行进程所需要的cpu核数。
121.步骤s30，根据所述运行数据计算所述预设时间范围内各业务运行进程对应的运行成本；
122.该步骤中，在获取预设时间范围内各业务运行进程对应的运行数据之后，根据预设的成本计算规则，计算预设时间范围内各业务运行进程对应的运行成本，具体地，根据预设的成本计算规则，确定各业务运行进程对应折扣系数及计费单价，从而获取各业务运行进程对应的运行成本，可选地，根据各业务运行进程对应的进程运行时间段，确定各业务运行进程对应的折扣系数及计费单价，比如，业务运行进程包括处于高峰时间段的第一业务运行进程及处于非高峰时间段的第二业务运行进程，则将第一业务运行进程的折扣系数设为a及计费单价设为a，第二业务运行进程的折扣系数设为b及计费单价设为b，其中，a大于b(比如a是1.2，b是0.7)，a大于b，可以理解地是，当业务运行进程处于高峰时间段时，通过增大业务运行进程的折扣系数及计费单价，由此来增大处于高峰时间段的第一业务运行进程及处于非高峰时间段的第二业务运行进程之间的运行成本差异，进行增强运行成本的代表性(即可以通过运行成本区分出高峰期和非高峰期各自对应的业务运行进程)等。
123.步骤s40，根据各业务运行进程对应的运行成本生成进程资源调配策略，以根据所述进程资源调配策略对业务运行进程进行调配。
124.该步骤中，在获取各业务运行进程对应的运行成本之后，可选地，判断各业务运行进程的运行成本是否超出成本阈值，若超出，则判定该业务运行进程的运行时间处于高峰期或高峰预警期，则根据处于高峰期或高峰预警期的业务运行进程的运行状态，生成该业务运行进程对应的进程资源调配策略等，进而通过运行成本对业务运行进程进行调配，实现业务运行进程的分流管控，有利于大数据集群的有效运行。
125.具体地，步骤s40中所述根据各业务运行进程对应的运行成本生成进程资源调配策略，以根据所述进程资源调配策略对业务运行进程进行调配的步骤包括：
126.步骤s401，根据各业务运行进程对应的运行成本，确定异常业务运行进程；
127.步骤s402，生成所述异常业务运行进程对应的进程资源调配策略，其中，所述进程资源调配策略包括运行时间调配策略、运行容量调配策略和/或运行速度调配策略。
128.该步骤中，需要说明的是，由于高峰期运行的业务运行进程的折扣系数及计费单价均大于非高峰期运行的业务运行进程的折扣系数及计费单价，因此通过运行成本即可区分出该业务运行进程是否在高峰期运行，具体地，通过运行成本筛选出异常业务运行进程，
可选地，判断各业务运行进程对应的运行成本或各节点的总业务运行进程是否超出成本阈值，比如，若节点的所有业务运行进程对应的总运行成本超出成本阈值，则将该节点对应的所有业务运行进程判定为异常运行进程，或则将该节点中处于前预设名次的业务运行进程判定为异常运行进程，或则若业务运行进程对应的运行成本超出成本阈值，则将该业务运行进程作为异常运行进程，其中，本实施例中，对异常运行进程的判定标准具体不做限制。
129.进一步地，在确定异常业务运行进程之后，根据各个异常业务运行进程的运行状态，生成各个异常业务运行进程对应的进程资源调配策略，比如，若检测出由于异常业务运行进程的内存消耗较大而导致异常业务运行进程在存储业务数据时后期运行速度减缓，导致运行时间过程及运行成本过高，则生成该异常业务运行进程对应的运行容量调配策略，比如增大该异常业务运行进程对应的运行容量，来加快该异常业务运行进程，或者通过加快该异常业务运行进程的运行速度，从而来加快该异常业务运行进程，进而避免大数据集群数据高峰期的出现，进一步可选地，判断异常业务运行进程的进程是否可暂停，若异常业务运行进程的进程可暂停，则暂停该异常业务运行进程，并在非高峰期时重启运行业务运行进程等，从而减缓大数据集群的业务运行进程的运行压力。
130.本发明的大数据管控方法，通过确定大数据集群中各节点的业务运行进程；获取预设时间范围内各业务运行进程对应的运行数据；根据所述运行数据计算所述预设时间范围内各业务运行进程对应的运行成本；根据各业务运行进程对应的运行成本生成进程资源调配策略，以根据所述进程资源调配策略对业务运行进程进行调配，由此，通过获取各业务运行进程对应的运行数据来确定各业务运行进程对应的运行成本，进而根据运行成本生成进程资源调配策略，避免出现数据高峰期后逐一调控，有利于大数据集群的有效运行及运行成本的管控。
131.进一步地，基于本发明大数据管控方法的第一实施例，提出本发明大数据管控方法第二实施例。
132.参照图3，图3为本发明大数据管控方法第二实施例的流程示意图；
133.所述大数据管控方法第二实施例与所述大数据管控方法第一实施例的区别在于，所述运行数据包括内存消耗量、cpu核数及运行时间节点，所述根据所述运行数据计算所述预设时间范围内各业务运行进程对应的运行成本的步骤包括：
134.步骤s301，根据各业务运行进程的运行时间节点、内存消耗量及cpu核数确定各业务运行进程匹配的计费单价及折扣系数；
135.步骤s302，根据所述计费单价及折扣系数计算所述预设时间范围内各个业务运行进程对应的运行成本。
136.本实施例中，通过根据各业务运行进程的运行时间节点、内存消耗量及cpu核数确定各业务运行进程匹配的计费单价及折扣系数，对各业务运行进程区别计费，实现运行成本计费合理。
137.具体地，所述根据各业务运行进程的运行时间节点、内存消耗量及cpu核数确定各业务运行进程匹配的计费单价及折扣系数的步骤包括：
138.步骤s30210，若业务运行进程的运行时间节点处于高峰运行时间段内，则根据高峰运行时间段的高峰时间节点及业务运行进程的运行时间节点将业务运行进程划分成至少一个高峰计费时间段和/或至少一个非高峰计费时间；
139.步骤s30211，确定各计费时间段的目标内存消耗量及目标运行时长，以根据cpu核数、目标内存消耗量及目标运行时长确定各计费时间段的计费单价及折扣系数。
140.该步骤中，若业务运行进程的运行时间节点处于高峰运行时间段内，则确定高峰运行时间段的高峰节点及该高峰运行时间段相邻的非高峰运行时间段的低谷节点，根据高峰节点、低谷节点及业务运行进程的开始运行时间节点、结束运行时间节点将业务运行进程划分成至少一个高峰计费时间段和/或至少一个非高峰计费时间，接着确定各计费时间段的目标内存消耗量及目标运行时长，以根据cpu核数、目标内存消耗量及目标运行时长确定各计费时间段的计费单价及折扣系数。
141.具体地，所述根据cpu核数、目标内存消耗量及目标运行时间确定各计费时间段的计费单价的步骤包括：
142.步骤s30212，确定各计费时间段匹配的折扣系数；
143.该步骤中，若计费时间段为高峰计费时间段，则确定所述高峰计费时间段的折扣系数为第一预设折扣系数；以及
144.若计费时间段为非高峰计费时间段，则确定所述非高峰计费时间段的折扣系数为第二预设折扣系数，其中，所述第二预设折扣系数小于第一预设折扣系数。
145.步骤s30213，根据各计费时间段的目标运行时长、cpu核数及目标内存消耗量，确定各计费时间段的进程算力；
146.具体地，本实施例中，进程算力＝运行时长*内存消耗量 cpu核数，比如单位进程算力＝1cpu核核 2gb内存消耗量*60秒运行时长。
147.步骤s30214，基于所述进程算力确定各计费时间段的计费单价。
148.该步骤中，为了对各进程算力区别计费，实现运行成本计费合理，采取一下计费规则：
149.按照预设阶梯划分规则，分别将各计费时间段的进程算力划分为至少一阶进程算力；
150.确定各阶进程算力匹配的计费单价。
151.比如，预设阶梯划分规则为1至1000进程算力之间的计费单价为16.66元/算力，1001至2000进程算力之间的计费单价为15.25元/算力，2001至5000进程算力之间的计费单价为14.00元/算力，超过5000进程算力的计费单价为13.50元/算力。
152.本实施例根据各业务运行进程的运行时间节点、内存消耗量及cpu核数确定各业务运行进程匹配的计费单价及折扣系数，以根据各业务运行进程的计费单价及折扣系数计算预设时间范围内各个业务运行进程对应的运行成本，实现运行成本的精准率，进而提高根据运行成本生成进程资源调配策略的精准率。
153.进一步地，基于本发明大数据管控方法的第一或第二实施例，提出本发明大数据管控方法第三实施例。
154.参照图4，图4为本发明大数据管控方法第三实施例的流程示意图；
155.所述大数据管控方法第三实施例与所述大数据管控方法第一或第二实施例的区别在于，所述根据各业务运行进程的运行时间节点、内存消耗量及cpu核数确定各业务运行进程匹配的计费单价及折扣系数的步骤还包括：
156.s30220，根据各业务运行进程的运行时间节点，确定各业务运行进程的折扣系数；
157.s30221，根据各业务运行进程的运行时间节点、cpu核数及内存消耗量，确定各业务运行进程的进程算力；
158.s30222，基于所述进程算力确定各业务运行进程的计费单价。
159.本实施例中，提出与第二实施例计费规则不同的另一种计费规则，具体地：
160.若业务运行进程的运行时间节点处于高峰高峰运行时间段内，则确定所述业务运行进程的折扣系数为第三预设折扣系数；
161.以及若业务运行进程的运行时间节点处于非高峰高峰运行时间段内，则确定所述业务运行进程的折扣系数的折扣系数为第四预设折扣系数，其中，所述第四预设折扣系数小于第三预设折扣系数。
162.需要说明的是，若业务运行进程的运行时间节点处于高峰高峰运行时间段内，则将该业务运行进程的折扣系数设为高峰期对应的折扣系数，以此来增大该业务运行进程的运行成本，进而实现根据运行成本来调配高峰期运行的业务运行进程，避免出现数据高峰期后逐一调控，有利于大数据集群的有效运行及运行成本的管控。。
163.进一步地，所述基于所述进程算力确定各业务运行进程的计费单价的步骤包括：
164.s302221，按照预设阶梯划分规则，分别将各业务运行进程的进程算力划分为至少一阶进程算力；
165.s302222，确定各阶进程算力匹配的计费单价。
166.该步骤中，比如，预设阶梯划分规则为1至1000进程算力之间的计费单价为16.66元/算力，1001至2000进程算力之间的计费单价为15.25元/算力，2001至5000进程算力之间的计费单价为14.00元/算力，超过5000进程算力的计费单价为13.50元/算力。
167.本实施例根据各业务运行进程的运行时间节点，确定各业务运行进程的折扣系数；根据各业务运行进程的运行时间节点、cpu核数及内存消耗量，确定各业务运行进程的进程算力；基于所述进程算力确定各业务运行进程的计费单价，实现运行成本的精准率，进而提高根据运行成本生成进程资源调配策略的精准率。
168.本发明还提供一种大数据管控装置。请参照图5，所述大数据管控装置包括：
169.确定模块10，用于确定大数据集群中各节点的业务运行进程；
170.获取模块20，用于获取预设时间范围内各业务运行进程对应的运行数据；
171.计算模块30，用于根据所述运行数据计算所述预设时间范围内各业务运行进程对应的运行成本；
172.策略模块40，用于根据各业务运行进程对应的运行成本生成进程资源调配策略，以根据所述进程资源调配策略对业务运行进程进行调配。
173.可选地，所述计算模块包括：
174.第一确定单元，用于根据各业务运行进程的运行时间节点、内存消耗量及cpu核数确定各业务运行进程匹配的计费单价及折扣系数；
175.计算单元，用于根据所述计费单价及折扣系数计算所述预设时间范围内各个业务运行进程对应的运行成本。
176.可选地，所述第一确定单元包括：
177.划分子单元模块，用于若业务运行进程的运行时间节点处于高峰运行时间段内，则根据高峰运行时间段的高峰时间节点及业务运行进程的运行时间节点将业务运行进程
划分成至少一个高峰计费时间段和/或至少一个非高峰计费时间；
178.确定子单元模块，用于确定各计费时间段的目标内存消耗量及目标运行时长，以根据cpu核数、目标内存消耗量及目标运行时长确定各计费时间段的计费单价及折扣系数。
179.可选地，所述策略模块包括：
180.第一确定单元，用于根据各业务运行进程对应的运行成本，确定异常业务运行进程；
181.策略单元，用于生成所述异常业务运行进程对应的进程资源调配策略，其中，所述进程资源调配策略包括运行时间调配策略、运行容量调配策略和/或运行速度调配策略。
182.可选地，所述策略模块还包括：
183.第一确定单元，用于确定所述异常业务运行进程对应的管控终端；
184.预警单元，用于发送预警消息至所述管控终端，以通知所述管控终端对所述异常业务运行进程进行管控。
185.可选地，所述大数据管控装置还包括：
186.输出模块，用于将各业务运行进程对应的运行成本进行可视化输出。
187.本发明大数据管控装置具体实施方式与上述大数据管控方法各实施例基本相同，在此不再赘述。
188.此外，本发明实施例还提出一种可读存储介质。
189.可读存储介质上存储有大数据管控程序，大数据管控程序被处理器执行时实现如上所述的大数据管控方法的步骤。
190.本发明可读存储介质可以为计算机可读存储介质，其具体实施方式与上述大数据管控方法各实施例基本相同，在此不再赘述。
191.上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本发明的保护之内。