一种基于多智能体协同的负载均衡方法、设备及介质与流程
本发明涉及负载均衡,尤其涉及一种基于多智能体协同的负载均衡方法、设备及介质。
背景技术:
1、在云计算与微服务架构中,负载均衡是保障系统高可用性与高性能的关键环节。随着分布式系统规模持续扩大,集群内计算节点的异构程度和任务类型的多样性显著增加,调度复杂性随之上升。
2、目前,在现有技术方案中,传统负载均衡方案主要依赖中心化调度器,由中心节点统一收集各计算节点的资源状态并分发任务。该模式在大规模集群中容易形成性能瓶颈,且中心节点一旦发生故障,整个集群的调度功能将陷入瘫痪,系统可用性受到严重威胁。进一步地,各计算节点在任务分配过程中通常处于被动接收状态,节点之间缺乏直接的信息交互和协商渠道。当任务需要在节点间迁移时,由于缺少有效的协调机制,容易出现任务在节点间反复迁移的现象,造成额外的网络开销和调度不稳定。进一步地,现有调度算法在评估节点负载时,大多采用固定的资源权重系数,难以适应计算密集型、内存密集型等异构任务并存的场景,导致部分资源维度过载而其他维度闲置,整体资源利用率不高。可见,上述缺陷使得大规模分布式集群在实际运行中面临扩展能力受限、调度稳定性和资源利用率难以兼顾的困境。
技术实现思路
1、本发明提供了一种基于多智能体协同的负载均衡方法、设备及介质,旨在解决的技术问题是:如何提供一种能够在大规模分布式集群中兼顾调度稳定性与资源利用率,同时避免单点故障的负载均衡解决方案。
2、第一方面,本发明提供了一种基于多智能体协同的负载均衡方法,其包括:
3、监测计算节点的多维资源使用率;
4、分析所述计算节点的待处理任务的特征,确定所述待处理任务对应的资源需求向量;
5、根据所述资源需求向量,确定所述多维资源使用率中各个资源维度对应的权重系数,基于所述多维资源使用率和所述权重系数计算资源压力评分;
6、判断所述资源压力评分是否超过预设阈值;
7、若所述资源压力评分超过所述预设阈值,则根据预设的邻居信誉拓扑表中各邻居节点的信誉得分和负载余量,从所述邻居节点中确定目标邻居节点,向所述目标邻居节点发送包含所述资源需求向量的协作请求消息,并在接收到所述目标邻居节点返回的接收确认消息后,将所述待处理任务的任务上下文迁移至所述目标邻居节点。
8、可选地,所述分析所述计算节点的待处理任务的特征,确定所述待处理任务对应的资源需求向量,包括:
9、获取所述待处理任务的任务描述信息;
10、对所述任务描述信息进行特征提取,识别所述待处理任务的任务类型;
11、根据所述任务类型查询预设的资源需求映射表,得到所述待处理任务的cpu资源需求量、内存资源需求量和带宽资源需求量;
12、将所述cpu资源需求量、所述内存资源需求量和所述带宽资源需求量组合为所述资源需求向量。
13、可选地,所述根据所述资源需求向量,确定所述多维资源使用率中各个资源维度对应的权重系数,基于所述多维资源使用率和所述权重系数计算资源压力评分,包括:
14、根据所述资源需求向量,从预设的权重映射表中确定cpu资源维度的权重系数、内存资源维度的权重系数和带宽资源维度的权重系数;
15、将所述多维资源使用率中的cpu资源使用率与所述cpu资源维度的权重系数相乘,得到cpu加权使用率;
16、将所述多维资源使用率中的内存资源使用率与所述内存资源维度的权重系数相乘,得到内存加权使用率;
17、将所述多维资源使用率中的带宽资源使用率与所述带宽资源维度的权重系数相乘,得到带宽加权使用率;
18、将所述cpu加权使用率、所述内存加权使用率和所述带宽加权使用率求和,得到所述资源压力评分。
19、可选地,所述根据预设的邻居信誉拓扑表中各邻居节点的信誉得分和负载余量,从所述邻居节点中确定目标邻居节点,包括:
20、从所述预设的邻居信誉拓扑表中筛选出信誉得分高于预设信誉阈值且负载余量满足所述资源需求向量的候选邻居节点;
21、将所述候选邻居节点按照信誉得分从高到低排序;
22、将排序首位的候选邻居节点确定为所述目标邻居节点。
23、可选地,所述将所述待处理任务的任务上下文迁移至所述目标邻居节点,包括:
24、与所述目标邻居节点建立直接数据通道;
25、将所述待处理任务的当前执行状态、中间数据和任务参数封装为迁移数据包;
26、通过所述直接数据通道将所述迁移数据包发送至所述目标邻居节点;
27、接收所述目标邻居节点返回的确认收到消息,在接收到所述确认收到消息后释放所述待处理任务占用的资源。
28、可选地,所述方法还包括:
29、若处于空闲状态,则获取所述预设的邻居信誉拓扑表中各邻居节点的当前负载信息;
30、判断所述各邻居节点中是否存在负载超过预设负载阈值的邻居节点;
31、若存在负载超过所述预设负载阈值的邻居节点,则将负载超过所述预设负载阈值的邻居节点确定为高负载邻居节点,并向所述高负载邻居节点发送协作请求消息;
32、接收所述高负载邻居节点响应于所述协作请求消息发送的任务上下文,并启动所述任务上下文的处理。
33、可选地,所述预设的邻居信誉拓扑表的生成过程包括:
34、通过点对点协议以预设时间间隔向所述邻居节点发送负载信息查询请求;
35、接收所述邻居节点返回的负载信息与处理效率指标;
36、根据所述处理效率指标与历史协作记录,计算所述邻居节点的信誉得分;
37、将所述邻居节点的标识、所述信誉得分和所述负载信息关联存储至所述预设的邻居信誉拓扑表;
38、当检测到邻居节点离线或所述邻居节点的信誉得分低于预设移除阈值时,将所述邻居节点从所述预设的邻居信誉拓扑表中移除。
39、可选地,所述方法还包括:
40、获取所述目标邻居节点的执行结果和任务处理耗时;
41、判断所述执行结果是否为成功且所述任务处理耗时是否低于预设耗时阈值;
42、若所述执行结果为成功且所述任务处理耗时低于所述预设耗时阈值,则将所述目标邻居节点在所述预设的邻居信誉拓扑表中的信誉得分增加预设分值;
43、若所述执行结果为失败或所述任务处理耗时不低于所述预设耗时阈值,则将所述目标邻居节点在所述预设的邻居信誉拓扑表中的信誉得分减少预设分值。
44、第二方面,本发明还提供了一种计算机设备,其包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法。
45、第三方面,本发明还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序当被处理器执行时可实现上述方法。
46、本发明提供了一种基于多智能体协同的负载均衡方法、设备及介质,通过将负载均衡决策过程下沉至各计算节点本地执行,由计算节点在接收到待处理任务后自主完成资源状态感知、任务特征分析、资源压力评分计算及任务迁移决策的全流程,不再依赖中心化调度器进行全局任务分发。由于每个计算节点独立执行上述决策过程,任一计算节点的故障仅影响该节点自身的任务处理,不会导致整个集群的调度功能瘫痪,从而消除了中心化调度器单点故障风险。进一步地,在资源利用率方面,通过分析待处理任务的特征并确定对应的资源需求向量,使任务对各资源维度的差异化需求被显式量化。在此基础上,根据资源需求向量确定多维资源使用率中各个资源维度对应的权重系数,使资源压力评分能够依据任务类型突出高需求资源维度的使用情况。当计算节点承载与其资源特征不匹配的任务时,高需求资源维度的使用率被赋予较大权重,资源压力评分相应升高,从而触发过载判定;反之,当任务资源需求与节点资源特征匹配时,资源压力评分保持较低水平,节点继续承接任务。该机制使过载判定与任务类型关联,减少了固定权重评估导致的过载误判与欠载漏判,提升了异构任务场景下各资源维度的利用均衡性。进一步地,在调度稳定性方面,当资源压力评分超过预设阈值时,根据预设的邻居信誉拓扑表中各邻居节点的信誉得分和负载余量确定目标邻居节点,向目标邻居节点发送包含资源需求向量的协作请求消息,并在接收到接收确认消息后完成任务上下文迁移。目标邻居节点的确定同时经过信誉得分筛选和负载余量校验,使迁移目标具备承接任务所需的资源条件,降低了迁移失败引发二次迁移的概率,减少了任务在节点间反复迁移导致的资源震荡。综上,通过计算节点本地执行资源监测与资源压力评分计算,消除了中心调度器的单点故障瓶颈;通过任务特征驱动的权重系数动态调整,提升了异构任务环境下的资源利用率;通过基于信誉得分和负载余量的目标邻居节点确定与确认后迁移,保障了任务迁移的稳定性,从而在大规模分布式集群中兼顾了调度稳定性、资源利用率与去中心化可用性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com