一种多处理器系统的进程调度方法及系统与流程
本发明涉及多核处理器进程调度,尤其涉及一种多处理器系统的进程调度方法及系统。
背景技术:
1、在计算机体系结构领域,现代多处理器服务器系统广泛采用非统一内存访问(numa)架构。在该架构下,每个处理器节点拥有本地内存,处理器对本地内存的访问延迟远低于对远程节点内存的访问延迟。随着处理器核心数量持续增长,numa架构的层次结构日趋复杂,通常呈现多级缓存与多级互连并存的特征:同一物理核心内的多个逻辑线程共享一级(l1)缓存;同一物理核心或同一裸片(die)内相邻核心共享二级(l2)缓存;同一die内所有核心共享三级(l3)缓存;一个物理封装(package/socket)可包含多个die,不同die之间通过封装内高速互连链路(如amd的infinity fabric、intel的emib/upi)通信,而不同封装之间则通过片间互连构成不同的numa节点。同封装内跨die通信延迟高于die内通信,但显著低于跨封装通信。以amd epyc处理器为例,每个封装可包含多个核心复合裸片(ccd),每个ccd具有独立的l3缓存;intel sapphire rapids处理器同样在封装内集成多个通过emib互连的tile。
2、在上述多层次numa系统中,进程调度决策对系统整体性能具有关键影响。若调度器将进程调度至远离其物理内存所在节点的cpu执行,将引发高延迟的远程内存访问,严重降低吞吐量;若调度器未充分考虑缓存局部性与die拓扑,进程在不同die或不同cpu间频繁迁移,亦会导致缓存失效及跨die通信开销增加,显著影响性能。
3、现有linux内核进程调度技术存在以下不足:
4、调度器对numa拓扑与内存亲和性的主动考量不足。完全公平调度器(cfs)及其后续的eevdf调度器虽通过调度域(sched_domain)与调度组(sched_group)机制实现分层调度,在一定程度上考虑了cpu间的亲缘关系,但其核心决策依据仍为虚拟运行时间(vruntime)与负载均衡,未将进程物理内存分配位置作为调度选择的直接输入参数,缺乏对内存访问延迟的主动预判。
5、自动numa均衡机制具有反应式滞后性。linux内核的autonuma balancing功能可在运行时检测远程numa访问并触发页面迁移,但该机制仅在进程已被调度至非优选cpu并产生大量远程访问后才启动补救,属于事后迁移策略。该过程既引入额外系统开销,又导致在迁移完成前性能损失已实际发生,无法从根本上规避远程访问。
6、现有缓存感知调度未实现多级缓存与smt亲和度的联合优化。已有研究通常仅针对l2或l3单一缓存层次进行优化,未将l1缓存、l2缓存与l3缓存同时纳入调度决策体系,亦未与numa拓扑及物理内存位置协同考虑。尤其在支持同步多线程(smt,即超线程)的处理器中,同一物理核心的逻辑线程共享l1指令与数据缓存,l1访问延迟(约1ns)较l2(约10ns)低一个数量级。现有调度器未将l1/smt缓存亲和度作为独立评分维度,导致在smt线程间迁移进程时可能丢失l1缓存数据而未被感知。
7、内存分配与cpu调度子系统之间缺乏信息共享与联合决策机制。当前linux内核中,内存管理子系统负责页面分配,调度器独立负责cpu选择,二者在数据结构和决策时机上相互隔离,未能建立进程内存分布与调度位置之间的主动绑定或协同优化通路。
8、调度域层级未显式反映多die封装内的拓扑粒度差异。在多die封装处理器中,同封装内跨die通信延迟与缓存共享关系同die内存在显著差异。尽管linux调度域通过mc(多核)及numa层级可部分区分die边界,但其层级划分并非基于die拓扑显式构建,亦未将die亲和度作为独立评价指标。调度器在跨die迁移进程时,可能丢失die内l3缓存数据,同时无法充分利用同封装内跨die的较低延迟优势,导致调度粒度粗糙,未能充分发挥多die封装硬件潜力。
9、综上所述,现有调度器未将numa拓扑结构、多die封装拓扑、l1/l2/l3缓存层次以及进程物理内存分配位置联合纳入调度决策,缺乏在调度阶段主动、量化地综合评估cpu与进程在各维度上亲和度的机制,导致进程可能被调度到远程内存节点或跨die/跨缓存域的cpu上执行,产生较高的远程内存访问延迟、die间通信开销和缓存失效。
技术实现思路
1、鉴于上述的分析,本发明实施例旨在提供一种多处理器系统的进程调度方法及系统,用以解决现有技术中缺乏综合考虑numa拓扑、die层级、缓存亲和性及内存位置的进程调度方法的问题。
2、一方面,本发明实施例提供了一种多处理器系统的进程调度方法,包括以下步骤:
3、维护所述多处理器系统的拓扑信息和每个进程的内存分配信息,所述拓扑信息包括处理器与numa节点、die以及缓存层次之间的归属关系,所述内存分配信息包括进程物理内存页面在各numa节点上的分布;
4、当需要为目标进程选择执行处理器时,基于所述拓扑信息,确定候选处理器集合;
5、根据所述拓扑信息和所述内存分配信息,分别计算所述候选处理器集合中各候选处理器与所述目标进程之间的多维亲和度评分,进而得到综合亲和度评分;
6、根据所述综合亲和度评分,从候选处理器集合中确定目标处理器,并将所述目标进程调度到所述目标处理器上执行。
7、进一步地,所述多维亲和度评分包括内存局部性评分、die亲和度评分、l1缓存亲和度评分、l2缓存亲和度评分、l3缓存亲和度评分中的多项;所述综合亲和度评分为多维亲和度评分的各评分项的加权和,且各评分项的权重之和为1。
8、进一步地,所述内存局部性评分表示所述目标进程的物理内存页面中位于候选处理器所属numa节点上的比例;所述die亲和度评分表示候选处理器与所述目标进程上一次执行的处理器是否位于同一die;所述l1缓存亲和度评分表示候选处理器与所述目标进程上一次执行的处理器是否共享l1缓存;所述l2缓存亲和度评分表示候选处理器与所述目标进程上一次执行的处理器是否共享l2缓存;所述l3缓存亲和度评分表示候选处理器与所述目标进程上一次执行的处理器是否共享l3缓存。
9、进一步地,所述进程调度方法还包括:
10、监测所述目标进程的运行特征,所述运行特征包括cpu利用率和内存访问频率;
11、根据所述运行特征,确定所述目标进程的工作负载类型;
12、根据所述工作负载类型,动态调整所述各评分项的权重。
13、进一步地,在基于多维亲和度评分的各评分项,得到所述综合亲和度评分时:
14、若die域与l3缓存域完全重叠,则将所述die亲和度评分与所述l3缓存亲和度评分融合为单一等效域评分,并以所述die亲和度评分的权重与所述l3缓存亲和度评分权重中的较大者作为所述等效域评分的权重,将释放的权重分配至所述内存局部性评分。
15、进一步地,根据所述综合亲和度评分,从候选处理器集合中确定目标处理器,包括:
16、选择综合亲和度评分最高的候选处理器作为目标处理器;其中,
17、若多个候选处理器的综合亲和度评分相同且均为最高,则选择其中当前运行队列最短的候选处理器作为目标处理器;
18、若选择的候选处理器与所述目标进程当前所在的处理器不同,且综合亲和度评分的差异超过预设迁移阈值时,执行进程迁移;否则保持当前所在的处理器不变,将该当前处理器作为目标处理器。
19、进一步地,所述基于所述拓扑信息,确定候选处理器集合,包括:
20、从l1缓存共享域开始,按照由内层到外层的顺序逐级扩大搜索范围,在每一级调度域中收集空闲处理器加入候选处理器集合,直至满足预设的搜索停止条件;
21、其中,所述由内层到外层的顺序依次为:l1缓存共享域、l2缓存共享域、die域、l3缓存共享域、numa节点域和系统域。
22、进一步地,通过以下方式维护每个进程的内存分配信息:
23、周期性扫描目标进程的页表,统计分配给所述目标进程的物理内存页面在各numa节点上的分布;
24、确定所述目标进程的主要numa节点,所述主要numa节点为分配给所述目标进程的物理内存页面数量最多的numa节点;
25、当所述主要numa节点发生变化,或所述主要numa节点上的页面占比变化超过预设变化阈值时,更新所述目标进程的内存分配信息。
26、进一步地,通过以下方式维护每个进程的内存分配信息:
27、通过内存管理子系统的钩子函数,在进程分配或释放物理内存页面时,实时更新该进程在各numa节点上的物理内存页面计数;以及
28、以预设的校准周期遍历进程的页表,对所述实时更新的物理内存页面计数进行校准。
29、另一方面,本发明实施例提供了一种多处理器系统的进程调度系统,包括:
30、信息维护模块,用于维护所述多处理器系统的拓扑信息和每个进程的内存分配信息,所述拓扑信息包括处理器与numa节点、die以及缓存层次之间的归属关系,所述内存分配信息包括进程物理内存页面在各numa节点上的分布;
31、候选集确定模块,用于当需要为目标进程选择执行处理器时,基于所述拓扑信息,确定候选处理器集合;
32、评分计算模块,用于根据所述拓扑信息和所述内存分配信息,分别计算所述候选处理器集合中各候选处理器与所述目标进程之间的多维亲和度评分,进而得到综合亲和度评分;
33、调度执行模块,用于根据所述综合亲和度评分,从候选处理器集合中确定目标处理器,并将所述目标进程调度到所述目标处理器上执行。
34、与现有技术相比,本发明至少可实现如下有益效果之一:
35、本发明提供了一种多处理器系统的进程调度方法及系统,通过维护包含处理器与numa节点、die及缓存层次归属关系的拓扑信息以及进程物理内存页面在各numa节点上的分布信息,在为目标进程选择执行处理器时,基于拓扑信息确定候选处理器集合,并根据拓扑信息和内存分配信息计算各候选处理器的多维亲和度评分,进而得到综合亲和度评分,据此选择目标处理器并执行调度;在调度决策阶段即主动考虑内存位置,而非等到产生远程访问后再进行页面迁移,从而有效减少远程numa内存访问延迟;通过引入die亲和度评分与l1、l2、l3缓存亲和度评分,使调度器能够区分die内迁移与die间迁移、以及不同缓存层次的失效代价,优先选择同一die内乃至同一物理核心上smt兄弟线程的处理器,在保持l3缓存局部性的同时进一步提高l1和l2缓存命中率;通过设置迁移阈值,仅在综合亲和度评分差异超过阈值时才执行迁移,抑制了进程在评分相近的处理器之间频繁迁移导致的缓存失效和刷新开销。
36、本发明中,上述各技术方案之间还可以相互组合,以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述,并且,部分优点可从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com