一种高性能计算自干预调度方法、装置、介质及设备与流程
本申请属于高性能计算,具体涉及一种高性能计算自干预调度方法、装置、介质及设备。
背景技术:
1、在高性能计算(hpc)的企业内部共享场景中,由于用户通常无需承担实际使用成本,容易产生利己心理,导致其在提交计算作业时倾向于重复提交或申请远超实际需求的计算资源。这种滥用行为会引发用户间的激烈资源竞争,造成资源闲置与排队并存的假性算力不足现象。现有调度方法(如先来先服务、核心绑定、抢占式调度等)主要聚焦于作业本身的资源分配与排队顺序,缺乏对作业执行结束后资源使用效率的有效评估,无法根据作业的真实资源匹配度来引导用户后续的资源申请行为,因此难以从根本上抑制无成本模式下的资源浪费问题,导致无法充分发挥高性能计算平台的整体算力价值。
技术实现思路
1、针对现有技术中的不足,本申请的目的在于提供一种高性能计算自干预调度方法、装置、介质及设备,本申请旨在抑制无成本共享场景下的资源滥用行为,从而提升高性能计算的算力利用效率。
2、为实现上述目的,本申请提供以下技术方案:
3、一种高性能计算自干预调度方法,所述方法包括:定期采集计集群中各计算节点的cpu和内存使用数据,对数据结构化处理后进行存储;在作业提交时提取其作业元数据,生成结构化作业记录;基于所述结构化作业记录,计算节点资源匹配度和综合资源匹配度;根据节点资源匹配度和作业综合资源的匹配度,判定作业状态;根据用户最近一次同类型作业的判定状态,对用户下次作业调度的可用资源进行动态干预。
4、可选的,所述对数据结构化处理,包括:对数据进行清洗以及格式化;对格式化后的数据添加元数据,并组织成结构化记录,其中,所述元数据包括采集时间戳和维度标签,所述结构化记录按照节点id,时间戳,cpu利用率,内存利用率四元组结构进行组织。
5、可选的,所述在作业提交时记录其作业元数据,生成结构化作业记录,包括:捕获作业提交事件;提取作业元数据,包括计算节点信息、核心分布信息、软件及求解器、资源占用周期和关联用户身份;基于作业元数据生成结构化作业记录。
6、可选的,所述基于所述结构化作业记录,计算节点资源匹配度和综合资源匹配度,包括:基于作业的启动时间和结束时间确定作业时间窗口;根据作业元数据中的计算节点信息,在所述作业时间窗口内查询各计算节点的cpu利用率和内存利用率数据;基于各计算节点的cpu利用率和内存利用率数据,计算各计算节点的资源匹配度和综合资源匹配度。
7、可选的,所述根据节点资源匹配度和作业综合资源的匹配度,判定作业状态,包括:获取综合资源匹配度,并设定判定阈值;基于由判定阈值筛选后的综合资源匹配度,对作业状态进行初步判定。
8、可选的,所述判定阈值包括:资源不足阈值、资源平衡下限阈值和节点资源溢出阈值。
9、可选的,所述根据用户最近一次同类型作业的判定状态,对用户下次作业调度的可用资源进行动态干预,包括:查询历史作业评价标签;确定资源干预方向与档位;自动填充资源选项并提示用户。
10、本申请还提供一种高性能计算自干预调度装置,所述装置包括:数据采集模块,用于定期采集计集群中各计算节点的cpu和内存使用数据,对数据结构化处理后进行存储;提取模块,用于在作业提交时提取其作业元数据,生成结构化作业记录;计算模块,用于基于所述结构化作业记录,计算节点资源匹配度和综合资源匹配度;判定模块,用于根据节点资源匹配度和作业综合资源的匹配度,判定作业状态;动态干预模块,用于根据用户最近一次同类型作业的判定状态,对用户下次作业调度的可用资源进行动态干预。
11、本申请还提供一种存储介质,其包括指令,当其在计算机上运行时,使得计算机执行如前任一项所述的方法。
12、本申请还提供一种电子设备,所述电子设备包括:存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现如前任一项所述的方法。
13、与现有技术相比,本申请带来的有益效果为:
14、本申请通过将用户的历史作业行为与其未来资源申请权限直接挂钩,以形成良性反馈闭环,能够避免无使用成本场景下用户因利己心理导致的重复提交、过度申请等资源滥用问题,同时能够识别出真正具有高算力需求的用户并为其合理扩容,从而能够在维持较高计算效率的前提下充分发挥算力价值,实现用户级的资源自干预分化调度。
1.一种高性能计算自干预调度方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述对数据结构化处理,包括:
3.根据权利要求1所述的方法,其特征在于,所述在作业提交时记录其作业元数据,生成结构化作业记录,包括:
4.根据权利要求1所述的方法,其特征在于,所述基于所述结构化作业记录,计算节点资源匹配度和综合资源匹配度,包括:
5.根据权利要求1所述的方法,其特征在于,所述根据节点资源匹配度和作业综合资源的匹配度,判定作业状态,包括:
6.根据权利要求5所述的方法,其特征在于,所述判定阈值包括:资源不足阈值、资源平衡下限阈值和节点资源溢出阈值。
7.根据权利要求1所述的方法,其特征在于,所述根据用户最近一次同类型作业的判定状态,对用户下次作业调度的可用资源进行动态干预,包括:
8.一种高性能计算自干预调度装置,其特征在于,所述装置包括:
9.一种存储介质,其特征在于,其包括指令,当其在计算机上运行时,使得计算机执行如权利要求1~7中任一项所述的方法。
10.一种电子设备,其特征在于,所述电子设备包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com