一种内存智能调度方法、装置及电子设备与流程
本发明属于计算机,具体涉及一种内存智能调度方法、装置及电子设备。
背景技术:
1、随着大语言模型训练、aigc(artificial intelligence generated content,人工智能生成内容)推理、多模态数据处理等新兴计算范式的爆发式增长,智算中心正经历从同构通用计算向异构高性能计算的深刻变革。单台智算服务器的硬件架构日趋复杂:cpu(central processing unit,中央处理器)核心数突破数百个,非统一内存访问(numa,non-uniform memory access)层级不断加深;以cxl(compute express link,计算快速链接)为代表的内存池化技术打破了传统ddr(double data rate,双倍数据速率)内存的容量与带宽墙;gpu(graphics processing unit,图形处理器)/npu(neural processing unit,神经网络处理单元)等异构加速器广泛部署,其板载高带宽显存(hbm,high bandwidth memory)构成了独立于主机内存的专用存储层级。
2、在上述背景下,现代智算中心的内存资源已不再是单一、均匀的“大池子”,而是演变为本地ddr近存、cxl池化中存和gpu显存异构存交织共存的多级非均匀内存域。不同内存域在访问延迟、带宽上限、容量成本、与算力设备的物理算力亲和性上存在巨大差异。同时,不同类型的计算任务在访存模式上也呈现出截然不同的特征,有的极度敏感于延迟,有的依赖于大带宽流式读写,有的则仅需大容量顺序访问。
3、上述趋势共同催生了一个关键的需求:智算中心需要一套能够感知内存域拓扑差异、匹配任务访存特征、动态适应负载变化的细粒度智能调度机制,以在保障任务服务质量(qos,quality of service)的前提下,将昂贵的异构内存资源利用率最大化,从而真正降低普惠算力的单位运营成本。
4、现有技术中,主流的资源调度方案在内存分配策略上,普遍采用的做法是,先根据任务的cpu/gpu算力需求筛选出空闲计算设备,再将该设备本地numa节点作为目标域就近分配内存,当多任务争抢同一内存域资源时仅能被动阻塞等待而无主动干预能力。这一固化逻辑本质上将内存视为算力设备的从属配套资源,内存分配决策完全依附于算力选择结果。
5、然而,上述通用做法虽实现简单,但在面向新型智算中心的多级非均匀内存域环境下,其算力优先、内存附属的固化逻辑导致调度决策与内存域的真实状态及任务访存需求严重脱节,具体表现为算力空闲但内存带宽饱和、延迟敏感任务被错配至远存(访问延迟远高于本地ddr的cxl内存池等远程内存域)、多任务带宽争抢时系统毫无主动疏导能力等问题,造成系统整体资源利用率与任务执行效率之间存在严重的全局性失衡。
技术实现思路
1、为了解决现有技术中所存在的上述问题,本发明提供了一种内存智能调度方法、装置及电子设备。
2、本发明要解决的技术问题通过以下技术方案实现:
3、第一方面,本发明提供一种内存智能调度方法,应用于智算中心的管理节点,所述方法包括:
4、s1、获取待调度任务的内存需求量以及静态特征,所述静态特征包括访问类型、访问连续性及延迟敏感度;
5、s2、根据历史任务执行记录预测所述待调度任务的动态特征,所述动态特征包括访存局部性强度、读写比例及带宽需求峰值;将所述静态特征与所述动态特征进行融合,得到所述待调度任务的访存模式参数;
6、s3、筛选可用内存不小于所述内存需求量的内存域节点作为候选节点,根据所述访存模式参数及各候选节点的属性信息计算每个候选节点的匹配度;所述匹配度用于表征候选节点在多个维度上对所述待调度任务的综合适配程度,所述多个维度包括依据内存域拓扑确定的内存资源状态维度和依据所述访存模式参数确定的任务适配维度;
7、s4、根据所述带宽需求峰值与各候选节点的内存控制器带宽上限,计算各候选节点的预测带宽利用率,并根据所述预测带宽利用率计算冲突强度;所述冲突强度用于表征所述待调度任务加入后,候选节点的内存带宽竞争压力
8、s5、分别将各候选节点的所述匹配度和所述冲突强度查询预置的模糊规则库,根据查询结果确定目标候选节点及对应的决策指令;所述模糊规则库为预设的、用于根据匹配度与冲突强度的组合确定决策指令的映射规则集合;
9、s6、根据所述决策指令生成内存调度方案。
10、第二方面,本发明提供一种内存智能调度装置,应用于智算中心的管理节点,所述装置包括:
11、获取模块,用于获取待调度任务的内存需求量以及静态特征,所述静态特征包括访问类型、访问连续性及延迟敏感度;
12、预测模块,用于根据历史任务执行记录预测所述待调度任务的动态特征,所述动态特征至少包括访存局部性强度、读写比例及带宽需求峰值;将所述静态特征与所述动态特征进行融合,得到所述待调度任务的访存模式参数;
13、第一计算模块,用于筛选可用内存不小于所述内存需求量的内存域节点作为候选节点,根据所述访存模式参数及各候选节点的属性信息计算每个候选节点的匹配度;所述匹配度用于表征候选节点在多个维度上对所述待调度任务的综合适配程度,所述多个维度包括依据内存域拓扑确定的内存资源状态维度和依据所述访存模式参数确定的任务适配维度;
14、第二计算模块,用于根据所述带宽需求峰值与各候选节点的内存控制器带宽上限,计算各候选节点的预测带宽利用率,并根据所述预测带宽利用率计算冲突强度;所述冲突强度用于表征所述待调度任务加入后,候选节点的内存带宽竞争压力;
15、查询模块,用于分别将各候选节点的所述匹配度和所述冲突强度查询预置的模糊规则库,根据查询结果确定目标候选节点及对应的决策指令;所述模糊规则库为预设的、用于根据匹配度与冲突强度的组合确定决策指令的映射规则集合;
16、生成模块,用于根据所述决策指令生成内存调度方案。
17、第三方面,本发明提供一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
18、存储器,用于存放计算机程序;
19、处理器,用于执行存储器上所存放的程序时,实现上述内存智能调度方法的方法步骤。
20、本发明提供的内存智能调度方法中,以可用内存不小于任务需求量作为筛选候选节点的硬性门槛,从根本上逆转了先选算力、后配内存的固化逻辑,由此消除了算力空闲但内存带宽饱和的错配根源;在此基础上,通过将任务静态特征与历史驱动的动态预测特征融合为访存模式参数,并将该参数作为匹配度计算的依据,使调度决策能够感知任务对延迟、带宽和访问模式的差异化需求,避免了延迟敏感任务被错配至远存;同时,本发明根据任务的带宽需求峰值与各候选节点的带宽上限预先计算预测带宽利用率并量化为冲突强度,使调度器在任务实际运行之前即掌握各节点的带宽竞争风险,由此将被动阻塞等待转化为主动预判;在此基础上,将匹配度与冲突强度作为两个并列维度共同输入模糊规则库进行联合决策,使得匹配度高但带宽饱和的节点被判定为迁移、匹配度中等但带宽充裕的节点被判定为直接调度,由此避免了单维度排序的决策偏差;最终,根据模糊规则库输出的决策指令主动生成包含直接分配或拆分迁移的内存调度方案,使任务无需陷入阻塞等待队列即可获得可执行的内存分配与算力绑定方案,由此实现了从被动阻塞到主动疏导的执行机制转变,解决了现有技术中调度决策与内存域真实状态及任务访存需求严重脱节所导致的全局性失衡的问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com