一种面向大数据的计算机资源负载均衡方法与流程

本发明涉及大数据集群资源调度，尤其涉及一种面向大数据的计算机资源负载均衡方法，具体涉及一种应用于计算与内存解耦架构下、基于链路层微架构性能状态感知的大数据任务动态负载均衡方法，可用于云计算体系架构、算网融合与新型硬件调度、高性能计算等领域中大数据集群的资源调度场景。

背景技术：

1、随着数据中心向算网融合与计算内存解耦架构演进，基于cxl技术的内存池化已成为提升大数据集群内存资源利用率的重要技术路径，在此类架构中，计算节点的本地内存不再是唯一的内存供给来源，计算节点可通过cxl交换网络跨节点访问位于远端内存池中的内存资源，从而实现内存资源在集群维度的按需分配，在大数据分布式计算框架中，一个作业通常被拆解为由多个任务节点构成的有向无环图，各任务节点对cpu资源与内存带宽资源的依赖程度存在差异，当计算节点数量增大且大量任务并发访问同一内存池时，链路上会产生明显的排队与带宽争抢现象，以kubernetes与apache yarn为代表的大数据集群资源管理器所采用的负载均衡调度方法，通常周期性采集各计算节点的cpu利用率与内存容量占用率等静态资源指标，并依据预设资源阈值策略对待调度任务进行装箱式分配，在任务执行过程中通过定期轮询方式重新评估节点负载并进行任务迁移，上述调度决策建立在cpu与内存容量这两类粗粒度、准静态资源指标之上，未涉及对链路层微架构性能状态的采集与利用，难以感知跨节点访存产生的实时拥塞与延迟抖动状态，导致任务执行长尾效应难以在早期被有效抑制，现有方案在检测到任务执行超时后仅能进行事后补救，难以在拥塞发生前进行主动干预，工业界通常只能通过静态资源隔离或硬件超配的方式进行被动缓解，造成集群整体能耗与硬件成本上升。

技术实现思路

1、本发明要解决的技术问题是：在基于cxl内存解耦架构的大数据集群中，如何感知底层链路微架构层面的实时拥塞与延迟抖动状态，并据此对大数据任务进行细粒度的、拥塞感知的动态负载均衡调度，从而消除由跨节点访存拥塞引发的任务执行长尾效应，提升集群整体资源利用率与作业完成效率。

2、为解决上述技术问题，本发明提供一种面向大数据的计算机资源负载均衡方法，包括：

3、在计算节点的操作系统内核层部署探针模块，通过探针模块周期性采集cxl链路的性能监控计数器数据，所述性能监控计数器数据包括链路带宽利用率、请求队列深度和往返时延；

4、对采集到的性能监控计数器数据进行滤波处理，得到平滑后的链路负载指标；

5、根据平滑后的链路负载指标，计算计算节点与内存池节点之间每一链路对的综合边权重，所述综合边权重由该链路对的延迟指标与拥塞指标加权融合得到；

6、以综合边权重为边权，构建计算节点与内存池节点之间的动态延迟拥塞拓扑图，并按预设更新周期更新该拓扑图；

7、提取待调度任务的特征向量，将该特征向量输入预先训练的延迟敏感度预测模型，得到该任务的延迟敏感度评分；

8、将延迟敏感度评分与预设敏感度阈值进行比较，区分访存密集型任务与计算密集型任务；

9、针对访存密集型任务，在动态延迟拥塞拓扑图中检索综合边权重低于预设拥塞门限的候选计算节点，与该候选计算节点集合建模为二分图，以总体加权延迟代价为优化目标，采用二分图匹配算法求解任务与候选计算节点的分配方案；

10、针对计算密集型任务，采用基于cpu利用率的负载均衡策略进行分配；

11、在任务执行过程中持续监测各计算节点对应链路的综合边权重及其变化趋势，当满足预设突发拥塞判定条件时，触发基于rdma的热页迁移机制，将拥塞链路对应内存池节点上的热页迁移至综合边权重较低的备用内存池节点。

12、本发明能够达到的技术效果包括：

13、1.通过在操作系统内核层下沉轻量级探针无侵入地采集链路层微架构性能计数器数据，突破了操作系统对跨节点访存拥塞状态难以感知的限制，实现了对链路微架构状态的毫秒级感知；

14、2.通过对大数据任务进行延迟敏感度多维量化，使调度决策由粗粒度的容量匹配升级为细粒度的延迟敏感匹配，降低了访存密集型任务被分配至拥塞链路的概率；

15、3.通过将动态延迟拥塞拓扑图与任务延迟敏感度评分相结合并采用二分图匹配算法求解分配方案，实现了兼顾任务特征与链路状态的拥塞感知负载均衡；

16、4.通过基于链路拥塞度数值及其变化趋势的双重判定条件，在长尾效应发生前主动触发热页平滑迁移，能够在不依赖硬件超配的前提下提升集群资源利用率并降低整体能耗。

1.一种面向大数据的计算机资源负载均衡方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对采集到的所述性能监控计数器数据进行滤波处理，得到平滑后的链路负载指标，包括：在预设时间窗口内对所述性能监控计数器数据进行滑动平均滤波处理，剔除瞬时抖动噪声， 所述综合边权重根据平滑后的往返时延与预设延迟归一化上限值的比值，以及平滑后的请求队列深度与预设队列深度归一化上限值的比值，进行加权求和得到，其中延迟权重系数与拥塞权重系数之和为1。

3.根据权利要求1所述的方法，其特征在于，所述预先训练的延迟敏感度预测模型通过如下方式构建：从大数据任务的历史执行日志与运行时监控数据中提取多维特征向量，所述多维特征向量包括任务cpu利用率均值、单位时间内存访问频次、缓存命中率、任务读写数据总量和任务并行度，将历史任务在不同cxl链路延迟条件下实际执行时间相对于基线执行时间的延长比例作为该任务样本的延迟敏感度标签，与所述多维特征向量共同构成训练数据集，采用梯度提升决策树算法对所述训练数据集进行训练，得到由多棵回归树加权累加构成的所述延迟敏感度预测模型。

4.根据权利要求1所述的方法，其特征在于，所述将待调度的访存密集型任务与所述候选计算节点集合建模为二分图，以总体加权延迟代价为优化目标，采用二分图匹配算法求解任务与候选计算节点的分配方案，包括：以访存密集型任务为二分图一侧顶点，以候选计算节点为二分图另一侧顶点，以任务分配至对应候选计算节点后所对应的加权延迟代价为边权，采用二分图匹配算法求解满足每一访存密集型任务被分配至一个候选计算节点约束条件的任务与候选计算节点分配方案。

5.根据权利要求1所述的方法，其特征在于，所述触发基于rdma的热页迁移机制，包括：统计所述链路对应内存池节点上访问频次高于预设频次阈值的内存页，将其标记为待迁移热页，通过rdma通路将所述待迁移热页迁移至综合边权重低于预设拥塞门限的备用内存池节点，迁移过程中采用写时复制策略维护源内存页与目标内存页之间的数据一致性，在迁移完成后释放所述源内存页。

6.根据权利要求5所述的方法，其特征在于，在所述待迁移热页迁移完成后，还包括：更新所述动态延迟拥塞拓扑图中相关边的综合边权重，以及更新受影响任务对应的计算节点与内存池节点的映射关系，记录本次迁移的触发条件、迁移对象与迁移效果，用于对调度阈值与匹配策略进行调整。

7.一种面向大数据的计算机资源负载均衡系统，其特征在于，包括：

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的面向大数据的计算机资源负载均衡方法。