云环境数据中心运营成本动态核算运维管理系统及方法

摘要: 本发明涉及一种云环境数据中心运营成本动态核算运维管理系统及方法,属于资源管理。背景技术:1、当前,数据中心通常按固定周期采集计算资源消耗日志,并将中央处理器和随...
云环境数据中心运营成本动态核算运维管理系统及方法

本发明涉及一种云环境数据中心运营成本动态核算运维管理系统及方法,属于资源管理。

背景技术:

1、当前,数据中心通常按固定周期采集计算资源消耗日志,并将中央处理器和随机存取存储器的历史利用率数据存入关系型数据库,计费周期结束后,核算组件再通过批处理程序,将数据中心整体的电费和设备折旧费用分摊至各业务账户,该方式通常假定计算资源消耗和管理成本在一个周期内变化较慢,且二者可以分开统计,目前已成为资源开销审计中较常见的处理方式,随着弹性伸缩在大规模算力集群中的应用,计算资源可能在10ms以内频繁扩容或缩容,主机能耗随之出现非线性波动,同时,电网电价会在不同时段发生阶跃式变化,底层电流脉冲与上层成本统计数据难以保持时间同步,传统的静态平均开销系数不能及时反映短时间内的功率突变,因而可能无法记录高电价时段发生的本地算力节点扩容,导致相关成本未被及时纳入核算,并在管理系统中形成审计盲区。

2、为减小上述时间不同步造成的核算偏差,现有方案通常通过提高日志采集频率或扩大内存中的数据缓冲队列来接收高频成本数据,但在高密度扩缩容场景下,大量算力节点会频繁请求写入全局图拓扑结构,容易在多线程调度过程中产生多路互斥锁竞争,使内部时序数据流发生阻塞,处理时延随之增加;当缓冲区溢出时,还可能造成核心核算报文丢失,在此类大规模算力部署中,除了算力设施及链路等硬件层面的固有约束与形态局限外,其软件同样存在不足,例如,公开号为cn118363734a的中国发明专利申请公开了一种云环境高密度服务动态优化调度方法及系统,尝试引入动态阻尼机制,依据负载预测完成服务实例的弹性伸缩,然而,该方法在面对多变云环境时存在技术局限性,其底层机制仅基于cpu利用率、响应时间等传统性能指标,未能关联底层动态运营成本流,导致在应对电网电价阶跃式波动及区域制冷能效突变时,无法感知资源扩缩容背后的边际物理开销差异,这种前置指标与实际成本边界条件的不匹配,易在突发高频闪烁负载下引发过度调节或无效的业务频繁搬迁,难以维持资源调度的长期稳定性。

3、因此,现有技术仍需在局部数据范围内对高频更新进行分批缓存,并根据不同时段的运行状态自适应调整控制过程,以减少有向图数据结构的并发写锁冲突,同时保证细粒度成本变化能够按时间和节点关系持续传递,并维持运维调度的稳定性。

技术实现思路

1、为解决背景技术中的问题,本发明的技术方案如下:一种云环境数据中心运营成本动态核算运维管理系统,系统包括:

2、能耗成本聚合模块,与成本拓扑有向图存储模块数据交互连接,成本拓扑有向图存储模块与运维调度决策模块数据交互连接;能耗成本聚合模块,包括环形缓冲存储队列,用于获取服务器节点的实时能耗数据流并转化为动态运营成本分量,通过环形缓冲存储队列与双阶段筛选规则,将动态运营成本分量聚合成离散微批次拓扑矩阵修正指令;

3、成本拓扑有向图存储模块,包括图数据存储单元,用于接收离散微批次拓扑矩阵修正指令并采用单线程处理方式更新至内部存储的成本动态传播有向图拓扑中,以刷新对应拓扑边的权重;

4、运维调度决策模块,包括调度阻尼缓冲单元,用于读取成本动态传播有向图拓扑中各服务器节点的动态运营成本分量,在动态运营成本分量超出安全边际阈值时下发运维调度指令;调度阻尼缓冲单元在连续滑动时段内的成本变动方差超过标定方差安全边界时在线调大调度激活延时窗口,为运维调度指令的下发施加逻辑滞后补偿。

5、优选的,能耗成本聚合模块在内存空间中为每个服务器节点设有独立的环形缓冲存储队列,使动态运营成本分量计算结果顺序追加至环形缓冲存储队列中;双阶段筛选规则包括离散批次阈值与窗口时间阈值的双阶段排除筛选,其中,离散批次阈值设定为50条至200条,窗口时间阈值设定为10ms至50ms,用于将连续权重更新流聚合为离散微批次拓扑矩阵修正指令,协同单一写线程以脉冲式同步处理方式更新成本动态传播有向图拓扑,消除高密度资源扩缩容负载冲击下有向图数据结构的多路互斥锁竞争。

6、优选的,在能耗成本聚合模块与成本拓扑有向图存储模块之间的流转路径上设有异步事务处理模块,异步事务处理模块用于读取逻辑租户的资产价值等级标签以建立相互隔离的高优先级专属通道与低优先级排队缓冲区,分配高收益核心节点的动态成本核算数据包至高优先级专属通道完成优先处理。

7、优选的,能耗成本聚合模块包括:能耗成本聚合模块实时捕获虚拟机容器伸缩事件,并抓取当前核算周期内对应服务器节点的动态电价数据以及制冷负载能效系数;能耗成本聚合模块将动态电价数据以及制冷负载能效系数融合成实时能耗数据流,解构出各虚拟算力单元的边际物理开销,生成高频并发的动态运营成本分量。

8、优选的,成本拓扑有向图存储模块中存储的成本动态传播有向图拓扑包括多个拓扑节点以及多条拓扑边;拓扑节点用于表征物理算力集群以及与物理算力集群建立映射关系的逻辑计算资源,拓扑边用于表征物理节点之间的网络传输损耗和供电变电损耗,拓扑边的边权重随外部供电电网电价的实时波动进行非线性流转更新。

9、优选的,运维调度决策模块中设有阈值仲裁单元,阈值仲裁单元用于读取各个拓扑节点的实时动态运营成本分量,并与设定的安全边际阈值进行实时矩阵比对,当特定拓扑节点的运营成本超过安全边际阈值时,锁定该特定拓扑节点为待迁移源节点。

10、优选的,运维调度决策模块中设有运维调度单元,运维调度单元用于在调度激活延时窗口届满时,下发运维调度指令,将高能耗业务负载自高电价变电区域实时迁移至低电价变电区域,以平衡各变电区域的资源经济开销。

11、优选的,调度阻尼缓冲单元的激活阈值由全局有向图拓扑的收敛状态动态定义,调度阻尼缓冲单元输出的逻辑滞后补偿用于限制运维调度决策模块的指令下发边界,调度阻尼缓冲单元的激活状态与全局有向图拓扑的收敛状态形成双向依赖。

12、优选的,系统还包括资产清查模块以及能耗计量模块,资产清查模块通过内部数据总线与能耗成本聚合模块进行数据流转连接,用于统计物理服务器的折旧资产成本,能耗计量模块通过内部数据总线与能耗成本聚合模块进行数据流转连接,用于实时采集机房环境温度以及算力设备的实时瓦特开销。

13、一种云环境数据中心运营成本动态核算运维管理方法,其用于通过一种云环境数据中心运营成本动态核算运维管理系统实现,包括以下步骤:

14、步骤s1,利用能耗成本聚合模块获取服务器节点的实时能耗数据流并转化为动态运营成本分量,通过环形缓冲存储队列以及双阶段筛选规则,将动态运营成本分量聚合成离散微批次拓扑矩阵修正指令;

15、步骤s2,利用成本拓扑有向图存储模块接收离散微批次拓扑矩阵修正指令,采用单线程处理方式将离散微批次拓扑矩阵修正指令更新至图数据存储单元内部存储的成本动态传播有向图拓扑中,以刷新对应拓扑边的权重;

16、步骤s3,利用运维调度决策模块读取成本动态传播有向图拓扑中各服务器节点的动态运营成本分量,在动态运营成本分量超出安全边际阈值时下发运维调度指令;利用调度阻尼缓冲单元在连续滑动时段内的成本变动方差超过标定方差安全边界时在线调大调度激活延时窗口,为运维调度指令的下发施加逻辑滞后补偿。

17、相比于现有技术,本发明的有益效果是:

18、1、在云环境数据中心运营成本动态核算运维管理中,通过能耗成本聚合模块将服务器节点的资源使用情况、实时供电电价和制冷能效变化纳入同一核算过程,并将得到的动态运营成本分量更新至成本动态传播有向图拓扑,使资源扩缩容与运营成本的变化能够按相同时间顺序记录,由此可减少固定周期批量核算造成的时间滞后和成本遗漏,提高服务器节点运营成本核算的及时性和准确性,为数据中心的成本分析和资源配置提供更可靠的依据。

19、2、通过为各服务器节点设置独立的环形缓冲存储队列,并利用双阶段筛选规则将连续产生的动态运营成本分量聚合为离散微批次拓扑矩阵修正指令,再由单一写线程更新成本动态传播有向图拓扑,可避免多个服务器节点同时写入时产生多路互斥锁竞争,降低线程锁死和处理延迟的风险,该处理方式还可在计算资源频繁扩容或缩容时保持成本数据连续流转,减少瞬时高并发更新对核算过程的影响。

20、3、通过运维调度决策模块根据动态运营成本分量下发运维调度指令,并由调度阻尼缓冲单元根据成本变动方差调整调度激活延时窗口,可在成本波动较大时为指令下发施加逻辑滞后补偿,使调度节奏与成本动态传播有向图拓扑的收敛状态相匹配,这样能够避免系统因短时负载波动而频繁迁移业务,减少业务在不同变电区域之间反复移动,保持资源调度过程的稳定性,并提高复杂运行条件下运维决策的可靠性。