一种内存资源自适应管理方法及存储介质与流程

摘要: 本发明涉及计算机资源管理,尤其是涉及一种内存资源自适应管理方法及存储介质。背景技术:1、高性能计算(hpc)与电子设计自动化(eda)集群广泛采用作业调度系统(...
一种内存资源自适应管理方法及存储介质与流程

本发明涉及计算机资源管理,尤其是涉及一种内存资源自适应管理方法及存储介质。

背景技术:

1、高性能计算(hpc)与电子设计自动化(eda)集群广泛采用作业调度系统(如ibmlsf)对芯片设计中的仿真、综合、布局布线等计算任务进行资源管理和调度。

2、用户提交作业时,需在提交脚本或命令行中显式声明内存资源,通常包括用于调度记账的参数以及用于作业硬上限的-m参数。调度器依据上述声明值决定作业的排队位置、节点分配及运行过程中的内存强制约束,从而保障集群整体稳定性与公平性。长期以来,该模式已成为工业界的标准实践,但伴随芯片设计复杂度的持续攀升,作业类型日益多样、内存需求波动显著,该模式的固有缺陷也日益突出。

3、然而,上述实践过程中,用户为避免作业因内存不足而触发强制终止(out-of-memory,oom),往往凭经验大幅放大申请值,导致大量账面资源被占用而物理内存闲置,集群资源利用率低下;反之,若申请值过小,作业则极易触发oom,造成重排队和重运行,延长项目周期。现有技术中虽存在基于固定规则或历史均值的估算方式,但其粒度较粗,难以准确反映同一工具在不同命令语义下的内存差异,且资源值在作业提交时一次性确定,无法利用排队期间的纠偏窗口,进一步加剧了资源浪费或oom风险。

技术实现思路

1、有鉴于此,本发明的目的在于提供一种内存资源自适应管理方法及存储介质。

2、第一方面,本发明实施例提供了一种内存资源自适应管理方法,该方法包括:

3、获取作业提交请求并采集提交数据,生成包含作业唯一标识的原始输入对象;

4、对原始输入对象中的提交命令进行语义解析并生成稳定检索键,得到关联作业唯一标识的语义特征记录;

5、以语义特征记录中的稳定检索键检索历史样本库,通过推理预测当前作业的内存需求,得到关联作业唯一标识的预测结果,预测结果至少包含第一分位值的预测内存值和第二分位值的预测内存值及对应的置信度;

6、根据预测结果、原始输入对象中的用户原始申请内存资源值以及预设风险规则进行资源决策,得到关联作业唯一标识的资源决策记录;

7、在作业排队期间,以作业唯一标识关联资源决策记录并持续监测作业状态,当满足预设触发条件时,根据更新后的预测结果通过调度系统的在线修改指令调整资源值,得到关联作业唯一标识的最终资源记录;

8、在作业结束后,以作业唯一标识关联最终资源记录,采集作业的真实峰值内存并生成真实结果记录,将真实结果记录回写至历史样本库。

9、结合第一方面,获取作业提交请求并采集提交数据,生成包含作业唯一标识的原始输入对象的步骤,包括:

10、截获作业提交请求,得到待采集的原始数据来源,原始数据来源包括bsub提交命令、作业脚本文件、脚本内的调度系统参数行、调度系统提供的用户字段、队列字段、项目字段以及提交时间中的至少两种;

11、从原始数据来源中读取提交命令内容、脚本路径、队列名称、用户名称、项目名称以及用户原始申请的内存资源值,得到多源提交数据集合;

12、当bsub提交命令与作业脚本文件中同时存在内存资源申请参数时,按照调度系统实际生效的优先级规则确定用户原始申请内存资源值,得到最终生效的原始申请内存值;

13、以作业提交请求对应的作业在调度系统中返回的作业标识作为作业唯一标识;当提交前尚未获得作业标识时,生成临时唯一标识作为作业唯一标识,并在提交成功后将临时唯一标识与调度系统返回的作业标识绑定,得到最终的作业唯一标识;

14、关联最终的作业唯一标识,输出包含作业唯一标识、提交命令内容、脚本路径、队列名称、用户名称、项目名称、最终生效的原始申请内存值和提交时间的原始输入对象。

15、结合第一方面,对原始输入对象中的提交命令进行语义解析并生成稳定检索键,得到关联作业唯一标识的语义特征记录的步骤,包括:

16、读取原始输入对象中的原始提交命令和脚本文件,得到待解析的命令内容;

17、从待解析的命令内容中剥离解释器声明行、调度系统参数行和环境变量设置语句中的至少一种非执行内容,得到有效命令内容;

18、当有效命令内容的命令首部包含脚本语言包装器时,递归读取包装器后的脚本或参数直至定位到真实业务执行程序,得到真实程序路径;

19、基于工具白名单、路径关键字或命令词元中的至少一种识别真实程序路径对应的工具名称及工具版本,得到工具识别结果;

20、将有效命令内容中的随机数、时间戳、批次号或计数器中的至少一种易变参数替换为统一占位符,并对编译模式、测试模式、覆盖率开关、波形开关、调试数据库开关、线程数、输入路径、工程名中的至少一种关键参数进行提取和归一化,得到规范化命令和特征词元集合;

21、根据工具名称、规范化命令中的作业类型以及归一化后的关键参数组合生成稳定检索键;

22、关联作业唯一标识,输出包含作业唯一标识、工具名称、工具版本、规范化命令、特征词元集合、稳定检索键和作业类型的语义特征记录。

23、结合第一方面,以语义特征记录中的稳定检索键检索历史样本库,通过多级推理预测当前作业的内存需求,得到关联作业唯一标识的预测结果的步骤,包括:

24、以稳定检索键为索引检索历史样本库,判断命中的历史样本的数量是否达到预设阈值;

25、若是,直接根据命中的各历史样本的真实峰值内存进行分位统计,得到第一分位值的预测内存值和第二分位值的预测内存值;

26、若否,根据语义特征记录中的作业类型、工具名称或队列信息中的至少一种路由至对应的子模型进行内存预测,得到第一分位值的预测内存值和第二分位值的预测内存值。

27、结合第一方面,根据语义特征记录中的作业类型、工具名称或队列信息中的至少一种路由至对应的子模型进行内存预测,得到第一分位值的预测内存值和第二分位值的预测内存值的步骤,还包括:

28、当不满足子模型覆盖条件时,调用全局兜底模型进行内存预测,得到第一分位值的预测内存值和第二分位值的预测内存值;

29、其中,所述子模型覆盖条件包括:存在与当前作业的工具名称和作业类型对应的已训练子模型、当前作业的输入特征完整、所述已训练子模型的训练样本数量达到预设样本数阈值、且所述已训练子模型的预测误差低于预设误差阈值。

30、结合第一方面,以语义特征记录中的稳定检索键检索历史样本库,通过推理预测当前作业的内存需求,得到关联作业唯一标识的预测结果的步骤之前,还包括:

31、获取历史样本库,历史样本库中包含已回收的历史作业的语义特征、真实峰值内存、运行状态信息、对应的稳定检索键以及模型训练标签;

32、对历史样本库中的各历史样本的真实峰值内存进行对数变换,并以对数变换后的内存值作为模型训练标签,得到变换后的历史样本库;

33、基于历史样本库中的各历史样本的作业类型、工具名称和队列信息,训练至少一个子模型和一个全局兜底模型,得到训练完成的预测模型集合。

34、结合第一方面,根据预测结果、原始输入对象中的用户原始申请内存资源值以及预设风险规则进行资源决策,得到关联作业唯一标识的资源决策记录的步骤,包括:

35、获取预测结果中的置信度、第一分位值和第二分位值,第二分位值高于第一分位值;置信度由命中的历史样本数量、近n次回测误差和近期波动度加权计算并归一化至0至1之间;

36、当置信度达到第一置信度门限且未命中高风险排除规则时,以第一分位值乘以第一系数作为调度记账内存值,以第二分位值乘以第二系数作为作业硬上限值,生成包含自动改写标识的资源决策记录;其中,第二系数大于第一系数,第一系数和第二系数根据工具波动程度、队列稳定度和历史低估率中的至少一种确定;

37、当置信度低于第一置信度门限但达到第二置信度门限时,记录预测结果中的预测内存值但不修改当前作业的资源申请值,生成包含保守放行标识的资源决策记录;

38、当置信度低于第二置信度门限或命中高风险排除规则时,保持用户原始申请内存资源值不变,生成包含保留原值标识的资源决策记录。

39、结合第一方面,根据更新后的预测结果通过调度系统的在线修改指令调整资源值,得到关联作业唯一标识的最终资源记录的步骤,包括:

40、以作业唯一标识监测作业的排队状态,得到作业的当前排队状态信息;

41、当当前排队状态信息指示作业仍处于排队状态且满足预设触发条件时,以所述稳定检索键检索所述历史样本库,并通过推理预测当前作业的内存需求,得到更新后的预测结果;

42、根据更新后的预测结果进行资源决策,得到更新后的资源决策记录;

43、比较更新后的资源决策记录中的调度记账内存值与当前生效的调度记账内存值,以及更新后的资源决策记录中的作业硬上限值与当前生效的作业硬上限值,得到资源值差异判断结果;

44、当资源值差异判断结果指示存在差异时,通过调度系统的在线修改指令将更新后的资源决策记录中的调度记账内存值和作业硬上限值写入作业的资源配置中,并记录改写时间戳和校正日志,生成关联作业唯一标识的最终资源记录;

45、当资源值差异判断结果指示不存在差异时,保持当前生效的资源值不变,并生成关联作业唯一标识的最终资源记录。

46、结合第一方面,该方法还包括:

47、获取资源决策记录,资源决策记录包含改写决策;

48、从资源决策记录中提取资源建议值,得到建议值记录;保持资源建议值不写入作业的资源配置,得到模拟运行记录;

49、在作业结束后,将资源建议值与作业实际资源消耗进行比对并统计偏差,得到模拟验证结果;

50、当模拟验证结果满足预设安全条件时,对预设范围内的作业启用改写决策,得到受限启用记录;

51、监测已启用改写决策的作业的运行状态,得到受限验证结果;

52、当受限验证结果满足预设安全条件时,对所有适用作业启用资源决策记录中的改写决策,得到全面启用记录。

53、第二方面,本技术提供一种可读存储介质,可读存储介质中存储有计算机程序指令,计算机程序指令被一处理器读取并运行时,执行上述的方法。

54、本发明实施例带来了以下有益效果:本技术提供一种内存资源自适应管理方法及存储介质,该方法包括:获取作业提交请求并采集提交数据,生成包含作业唯一标识的原始输入对象;对原始输入对象中的提交命令进行语义解析并生成稳定检索键,得到关联作业唯一标识的语义特征记录;以语义特征记录中的稳定检索键检索历史样本库,通过推理预测当前作业的内存需求,得到关联作业唯一标识的预测结果,预测结果至少包含所述第一分位值的预测内存值和所述第二分位值的预测内存值及对应的置信度;根据预测结果、原始输入对象中的用户原始申请内存资源值以及预设风险规则进行资源决策,得到关联作业唯一标识的资源决策记录;在作业排队期间,以作业唯一标识关联资源决策记录并持续监测作业状态,当满足预设触发条件时,根据更新后的预测结果通过调度系统的在线修改指令调整资源值,得到关联作业唯一标识的最终资源记录;在作业结束后,以作业唯一标识关联最终资源记录,采集作业的真实峰值内存并生成真实结果记录,将真实结果记录回写至历史样本库。

55、本发明通过命令语义解析生成稳定检索键召回同类历史作业后,采用历史样本检索与推理相结合的方式,即使在样本不足或冷启动场景下仍能输出可靠预测值,保证方案的适用广度;双分位值配合分层风险规则进行资源决策,能够根据置信度高低选择改写、保守放行或保留原值,在降低资源浪费与保障作业运行安全之间取得平衡;排队期间根据更新后的预测结果动态校正资源值,可有效利用作业启动前的等待窗口;作业结束后回收真实峰值并回写历史样本库,形成提交、运行、回收的闭环数据流,使预测模型能够持续优化,提升方案的长期适应性和稳定性。

56、本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

57、为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。