一种多节点通用服务器集群的任务负载均衡调度方法与流程

本发明属于计算机，具体的说是一种多节点通用服务器集群的任务负载均衡调度方法。

背景技术：

1、多节点通用服务器集群依靠整合分布式算力与存储资源实现业务弹性扩容，是大规模互联网业务部署的核心基础设施，动态精准的负载均衡调度机制是均衡集群节点负载、提升资源利用率、降低业务响应时延的核心技术保障。

2、目前服务器集群负载均衡调度普遍采用轮询、最小连接数、固定加权评分等静态或准静态调度策略，依托预设固定分配规则完成集群业务任务的均衡分发与基础负载调配工作。

3、现有传统固定规则调度策略存在适配异构动态业务场景的固有技术缺陷，无法实时感知多类型差异化任务的资源消耗特征与各服务器节点动态波动的实时负载状态，难以建立任务资源需求与节点剩余算力、存储资源的动态匹配关系，极易造成调度决策滞后失真，引发集群节点局部过载、部分节点欠载的资源分配失衡问题，最终导致集群整体资源利用率偏低、业务处理时延波动较大且服务稳定性难以保障，无法满足大规模复杂异构业务场景下的高精度负载调度需求。

4、为此，本发明提供一种多节点通用服务器集群的任务负载均衡调度方法。

技术实现思路

1、为了弥补现有技术的不足，解决背景技术中所提出的至少一个技术问题。

2、本发明解决其技术问题所采用的技术方案是：本发明所述的一种多节点通用服务器集群的任务负载均衡调度方法，包括以下步骤：

3、步骤一、进行任务特征提取与关联分析，通过解析输入的任务请求，建立任务特征向量，计算任务间的数据亲和度关系，根据数据亲和度对任务进行分组：接收来自客户端或任务提交接口的任务请求，解析任务请求中的任务标识、资源需求描述、数据依赖信息和时间约束参数，从预设的任务特征注册表中匹配任务类型对应的资源消耗模式，对于资源消耗型任务，采集任务执行所需的中央处理器周期数预估、内存使用量预估和并发线程数预估，对于输入输出密集型任务，采集任务预期访问的数据量、访问的数据标识集合和访问模式特征，根据上述采集信息建立任务特征向量，该任务特征向量包含资源消耗类型标识、数据依赖标识集合、时间约束标识和优先级权重，基于任务特征向量中的数据依赖标识集合，计算任意两个任务之间的数据亲和度指数，当两个任务访问的数据集合存在重叠且重叠比例超过预设阈值时，判定两个任务存在数据亲和度关系，根据数据亲和度关系将存在亲和度的任务聚合为同一个任务分组，为后续调度决策提供任务聚合粒度的优化基础。

4、步骤二、进行节点负载状态采集与评估，通过在每个计算节点部署监控代理，持续采集节点的实时资源消耗数据，构建节点负载特征矩阵，计算节点综合负载指数：监控代理按照预设的采集周期持续采集对应节点的中央处理器使用率、内存占用率、网络接口流量和磁盘读写速率等基础指标，采集周期被配置为五秒至十秒的范围内，以确保负载数据的实时性，采集到的原始指标数据经过数据清洗模块处理，去除异常波动和噪声干扰后，存入节点负载状态数据库中，基于节点负载状态数据库中的历史数据和实时数据，构建用于负载评估的多维度指标体系，该指标体系包括中央处理器负载因子、内存负载因子、网络负载因子和磁盘负载因子四个一级指标，每个一级指标下包含若干二级指标，例如中央处理器负载因子下包含用户态占用比例、内核态占用比例和等待队列长度，内存负载因子下包含已用内存量、缓存内存量和交换分区使用量，基于上述多维度指标体系，采用加权求和模型计算每个节点的综合负载指数，综合负载指数的数值范围被映射至零至一百的标准化区间内，数值越高表示节点负载越重，该综合负载指数作为后续调度决策的核心依据之一。

5、步骤三、进行数据副本分布分析与热点识别，根据任务分组信息查询数据存储层，获取各任务分组所涉及的数据副本分布情况，构建数据副本分布矩阵，识别热点数据及其分布节点：数据存储层维护着集群中所有数据的副本元数据信息，包括每个数据块的副本数量、各副本所在节点标识、副本创建时间和副本访问热度值等属性，根据步骤一所生成的任务分组信息，从数据存储层批量查询每个任务分组所涉及的数据标识集合所对应的副本分布元数据，通过追踪每个任务分组中任务特征向量里的数据依赖标识，确定任务执行所需的数据所在节点范围，基于查询结果构建数据副本分布矩阵，该矩阵的行对应数据标识，列对应节点标识，矩阵元素记录该数据在对应节点上是否存在副本以及该副本的当前访问热度值，基于数据副本分布矩阵进行热点数据分析，统计访问热度值超过预设热点阈值的数据块，将其标记为热点数据，同时统计热点数据在集群各节点上的副本数量分布，识别出热点数据副本集中分布的节点，该热点识别结果用于后续的调度决策优化和副本调整策略制定。

6、步骤四、进行任务调度决策与分发执行，根据任务分组信息、节点负载状态和副本分布情况，采用多目标优化策略生成任务分配方案，并将任务分发至目标节点执行：对于每个待调度的任务分组，首先判断该分组内是否存在数据局部性优化机会，即判断分组内任务所需的数据是否在某节点上存在有效副本，当存在数据局部性机会时，调度器优先选择数据副本所在节点中综合负载指数最低的节点作为目标执行节点，以在保证数据局部性的同时兼顾节点负载均衡，当不存在数据局部性机会或所有数据副本所在节点的综合负载指数均超过预设负载阈值时，调度器基于所有可用节点的负载状态进行负载均衡调度，选择综合负载指数最低且低于负载阈值的节点作为目标执行节点，对于综合负载指数超过负载阈值的节点，系统自动将其排除在候选目标之外以防止过载，调度决策模块输出的任务分配方案包含任务标识、目标节点标识、任务执行时间戳和调度策略类型标识，任务分发模块根据任务分配方案将任务请求发送至对应的目标节点，目标节点的任务执行器接收任务请求后，按照任务特征向量中定义的资源需求配置执行环境并启动任务执行进程，任务执行过程中的状态信息通过心跳机制上报至调度器的任务状态监控模块。

7、步骤五、进行数据副本动态调整与路由更新，根据任务执行过程中采集的任务分布统计信息和预设的副本调整策略，动态调整热点数据的副本数量和分布位置：任务状态监控模块在任务执行过程中持续采集任务的实际资源消耗数据、访问数据标识和执行时长等运行指标，基于采集数据统计各数据块的实时访问频率和跨节点访问比例，构建任务分布特征模型，当任务分布特征模型显示某热点数据的访问频率持续上升且跨节点访问比例超过预设阈值时，系统触发副本增加操作，新增的副本被分配至当前负载指数较低的节点，以分散热点数据的访问压力，当热点数据的访问频率下降至低于预设阈值且副本数量超过最小副本数要求时，系统触发副本删除操作，优先删除访问热度较低的副本并释放相应存储空间，副本调整操作完成后，调度器的数据路由表同步更新，确保后续任务调度决策能够感知最新的副本分布状态。

8、优选地，所述任务特征提取与关联分析模块在具体实施中，任务特征向量的构建采用多维属性编码方案，资源消耗类型标识采用三位编码，第一位表示中央处理器密集度，第二位表示内存密集度，第三位表示输入输出密集度，每个维度的取值范围为零至九的整数，零表示该维度资源消耗极低，九表示该维度资源消耗极高，数据依赖标识集合采用布隆过滤器数据结构存储，通过多个哈希函数将数据标识映射至固定长度的位数组中，以较低的空间开销实现数据依赖关系的高效判断和成员查询，数据亲和度指数的计算采用杰卡德相似系数公式，将两个任务的数据依赖标识集合的交集大小除以并集大小，所得商值即为数据亲和度指数，当杰卡德相似系数超过零点五时，判定两个任务存在强数据亲和度关系并将其聚合至同一任务分组。

9、优选地，所述节点负载状态采集与评估模块在具体实施中，综合负载指数的计算采用自适应权重调整策略，初始阶段各一级指标的权重根据集群业务特征预设，当监测到某类任务占主导地位时，系统自动增加该类任务对应的资源指标权重，例如当中央处理器密集型任务占比超过百分之六十时，中央处理器负载因子的权重自动上调至零点五，其他三个因子权重相应下调，负载状态数据库采用时序数据库存储，保留最近七十二小时的历史负载数据以支持中长期负载趋势分析，负载阈值采用动态阈值机制，根据集群整体负载状态在百分之六十至百分之八十的范围内自适应调整，当集群整体平均负载较低时负载阈值上调以允许更多任务集中，当集群整体平均负载较高时负载阈值下调以强制分散任务。

10、优选地，所述数据副本分布分析与热点识别模块在具体实施中，热点数据的判定采用滑动窗口统计方法，滑动窗口宽度被配置为五分钟，系统持续统计过去五分钟内各数据块的访问次数，当访问次数超过预设热点阈值且持续时间超过三分钟时将该数据块标记为热点数据，热点阈值根据集群规模自适应调整，节点数量少于十个时热点阈值设定为每分钟五十次访问，节点数量在十个至五十个之间时热点阈值设定为每分钟一百次访问，节点数量超过五十个时热点阈值设定为每分钟两百次访问，数据副本分布矩阵采用稀疏矩阵存储格式，仅记录存在副本的位置信息以降低存储开销，热点识别结果按访问热度值降序排列并缓存至热点数据缓存区供调度决策模块快速查询。

11、优选地，所述任务调度决策与分发执行模块在具体实施中，多目标优化策略采用帕累托最优算法框架，调度决策模块构建以数据局部性命中率和负载均衡度为双目标函数的优化模型，数据局部性命中率为任务在其首选数据副本所在节点上执行的比例，负载均衡度为所有节点负载指数的标准差的倒数，帕累托前沿搜索算法在两个目标之间寻找平衡点，生成一组非劣解集，调度器从非劣解集中选择数据局部性命中率不低于百分之七十且负载均衡度不低于阈值的解作为最终调度方案，任务分发采用异步非阻塞模式，调度决策完成后立即返回调度结果，任务请求通过消息队列异步发送至目标节点，目标节点的任务执行器从消息队列拉取任务请求并启动执行，调度器通过回调机制接收任务执行结果和状态更新。

12、优选地，本发明的多节点通用服务器集群的任务负载均衡调度方法，其整体调度流程遵循以下技术逻辑：

13、在任务接入阶段，通过任务特征提取建立统一的任务描述框架，将任务的多维属性融合为结构化的任务特征向量，为后续调度决策提供一致的信息输入格式。

14、在负载感知阶段，通过综合负载状态监控实时获取集群中各计算节点的资源消耗状态，综合负载指数的计算综合考虑中央处理器、内存、网络和磁盘四个维度的负载情况，准确反映节点的实际负载状况。

15、在数据分析阶段，通过副本分布分析动态追踪热点数据的分布情况，建立数据副本分布与任务分布的关联模型，为调度决策提供数据局部性优化的信息基础。

16、在调度决策阶段，通过多目标优化策略在数据局部性与负载均衡两个目标之间寻找平衡点，生成兼顾两者需求的调度方案。

17、在执行反馈阶段，通过副本动态调整机制根据任务分布特征的变化自动调整数据副本策略，维持数据副本分布与任务分布的动态适配关系。

18、本发明的有益效果如下：

19、1.本发明提供的多节点通用服务器集群的任务负载均衡调度方法，通过任务特征提取与关联分析模块，建立统一的任务描述框架，将任务的多维属性融合为结构化的任务特征向量，解决了现有技术中调度器对数据分布与任务特征缺乏统一感知维度的技术问题，通过计算任务间的数据亲和度并进行任务分组，为调度决策提供了任务聚合粒度的优化基础，使调度决策能够从单一任务维度提升至任务组维度，显著增强了调度决策的全局优化能力。

20、2.本发明提供的多节点通用服务器集群的任务负载均衡调度方法，通过综合负载状态监控与自适应权重调整策略，实时感知各节点的资源消耗状态，解决了传统调度方法无法精准获取节点实时负载的技术瓶颈，自适应权重调整机制能够根据业务负载特征动态调整各资源指标的权重，使综合负载指数能够准确反映节点的实际负载状况，为负载均衡调度提供了可靠的决策依据。

21、3.本发明提供的多节点通用服务器集群的任务负载均衡调度方法，通过数据副本分布分析与热点识别模块，建立数据副本分布矩阵并动态追踪热点数据，解决了现有技术中副本分布与任务分布动态适配缺失的技术问题，热点识别结果为调度决策提供了数据局部性优化的信息基础，使调度器能够在保证数据局部性的前提下合理分配任务。

22、4.本发明提供的多节点通用服务器集群的任务负载均衡调度方法，通过多目标优化调度策略与帕累托最优算法，在数据局部性命中率和负载均衡度两个目标之间寻找平衡点，从根本上解决了数据局部性与负载均衡之间的结构性矛盾，使调度决策能够同时兼顾两个目标，避免了传统方法中顾此失彼的调度偏差。

23、5.本发明提供的多节点通用服务器集群的任务负载均衡调度方法，通过副本动态调整机制，根据任务分布特征的变化自动调整数据副本策略，维持了数据副本分布与任务分布的动态适配关系，解决了现有技术中副本分布静态化导致调度决策与数据实际分布不匹配的技术问题，使集群能够在任务分布特征发生变化时自动调整副本策略，保持调度系统的适应性。