一种轻量级分布式资源管理与任务调度器及方法与流程

技术特征：
1.一种轻量级分布式资源管理与任务调度器，其特征在于，包括资源管理模块和任务调度模块，所述资源管理模块包括资源监控子模块、资源检测与分配子模块，所述任务调度模块包括任务控制子模块、任务进程状态监控子模块以及远程控制信息转发子模块；每一次计算处理，认为是一个任务；所述资源监控子模块更新各常规计算节点和各高级计算节点的资源信息；当有任务请求时，任务控制子模块向资源管理模块申请任务所需资源，资源检测与分配子模块进行任务所需资源的检测与分配，确定各常规计算节点和各高级计算节点的计算进程；当资源检测及分配成功后，任务控制子模块调用远程控制消息转发子模块生成远程控制报文，并发送至预计运行该任务相关进程的常规计算节点和高级计算节点的节点管理模块，启动该任务的相关计算进程；任务进程状态监控子模块实时监控各任务的软件进程运行状态，当出现异常时，进行相关信息提示和记录；当该任务结束时，任务控制子模块调用远程控制消息转发子模块生成远程控制报文，并发送至相应常规计算节点和高级计算节点的节点管理模块，关闭该任务的相关进程。2.根据权利要求1所述的轻量级分布式资源管理与任务调度器，其特征在于，该资源管理与任务调度器基于分布式计算软件框架结构，该软件框架包含一个nginx前端模块、一个调度服务软件模块、一个代理助理软件模块、一个数据管理模块、若干个数据接入模块、若干个常规计算软件模块、若干个高级计算软件模块；所述资源管理与任务调度器运行在调度服务软件模块，通过相关逻辑调度框架中的数据接入模块、常规计算软件模块和高级计算软件模块。3.根据权利要求1所述的轻量级分布式资源管理与任务调度器，其特征在于，所述资源管理模块中的资源监控子模块，具有以下功能：对各个常规计算节点、高级计算节点的硬件状态信息进行监控，所述硬件状态信息包括cpu、内存、硬盘以及gpu信息；与各常规计算节点和高级计算节点的节点管理软件模块建立连接，接收各计算节点定时周期发送的硬件状态信息；同时，将该硬件状态信息写入数据库中的系统硬件资源表，并更新资源管理模块的全局资源链表。4.一种轻量级分布式资源管理与任务调度方法，其特征在于，包括以下步骤：步骤1：定时资源监控：资源监控子模块监控所在分布式计算系统的各个硬件节点的硬件状态，更新各常规计算节点、高级计算节点的资源信息，若有任务创建请求则进入下一步；步骤2：资源检测与分配：当有任务请求时，任务控制子模块向资源管理模块申请任务所需资源，资源检测与分配子模块进行任务所需资源的检测与分配，确定各个高级计算节点和各个常规计算节点的计算进程；当资源检测及分配成功后，进入下一步；步骤3：启动任务：任务控制子模块调用远程控制消息转发子模块生成远程控制报文，并发送至相应常规计算节点和高级计算节点的节点管理模块，启动所请求任务的常规计算进程和高级计算进程；步骤4：任务进程状态监控：任务进程状态监控子模块实时监控各任务的软件进程运行状态，当出现异常时，进行信息提示和记录；步骤5：关闭任务：当任务结束时，任务控制子模块调用远程控制消息转发子模块生成远程控制报文，并发送至相应常规计算节点和高级计算节点的节点管理模块，关闭该任务的相关进程。
5.根据权利要求4所述的轻量级分布式资源管理与任务调度方法，其特征在于，步骤1所述定时资源监控，具体如下：资源管理模块中的资源监控子模块，对各个常规计算节点、高级计算节点的硬件状态信息进行监控，硬件状态信息包括cpu、内存、硬盘以及gpu信息；资源监控子模块与各常规计算节点和各高级计算节点的节点管理软件模块建立连接，接收各计算节点定时周期发送的硬件状态信息；同时，将该硬件状态信息写入数据库中的系统硬件资源表，并更新资源管理模块的全局资源链表。6.根据权利要求4所述的轻量级分布式资源管理与任务调度方法，其特征在于，步骤4所述任务进程状态监控，共有10个状态，各个状态的值为：0wait:启动时间未到；1ready:启动时间已到；2block:资源检测成功，未运行；3start:启动运行；4pause:任务暂停；5goon:任务继续；6manualstop:点击停止按钮结束；7normalstop:自动结束；8oodcrash:内存溢出崩溃；9comcrash:心跳丢失崩溃。7.根据权利要求4所述的轻量级分布式资源管理与任务调度方法，其特征在于，步骤2所述资源检测与分配，具体如下：(1.1)获取部署轻量级分布式资源管理与任务调度的计算处理系统的常规计算节点、高级计算节点以及采集服务器节点的静态信息；(1.2)定时获取部署轻量级分布式资源管理与任务调度的计算处理系统的常规计算节点、高级计算节点以及采集服务器节点的硬件状态信息；(1.3)定时检查启动时间已到的队列，并对队列的任务进行资源检测；(1.4)根据任务类型，计算任务所需各类软件进程和数量；(1.5)根据部署轻量级分布式资源管理与任务调度的计算处理系统的各常规计算节点、高级计算节点以及采集服务器节点的状态，按照设定的逻辑计算能运行的软件进程数量；(1.6)根据请求的任务实际所需的软件进程数量，按照设定的逻辑进行分配。8.根据权利要求4所述的轻量级分布式资源管理与任务调度方法，其特征在于，步骤3所述启动任务，具体如下：(2.1)针对每个任务，逐节点地遍历分配的软件进程队列，所述轻量级分布式资员管理与多任务调度器向对应节点的节点管理模块发送进程启动指令；(2.2)若一个任务中一类进程实际启动成功的数量小于设定的阈值，则任务启动失败；所述轻量级分布式资员管理与多任务调度器向对应节点的节点管理模块发送进程结束指令，将该任务已经启动的软件进程进行关闭；(2.3)若认定任务启动成功，则将对应block队列中的任务信息移动至已运行队列中；否则，在对应block队列中删除该任务，并前端报警。9.根据权利要求4所述的轻量级分布式资源管理与任务调度方法，其特征在于，步骤4所述任务进程状态监控，具体如下：(3.1)定时检测各任务的软件进程运行情况；(3.2)若存在软件进程运行异常情况，则定位到具体任务并按照心跳丢失、内存使用超限、运行异常优先级，逐个判断；(3.3)根据软件进程的运行状态，更新在本轻量级分布式资源管理与多任务调度器部
署的系统中记录的各任务运行状态信息。10.根据权利要求4所述的轻量级分布式资源管理与任务调度方法，其特征在于，步骤5所述关闭任务，具体如下：(4.1)收到任务结束指令时，查询本轻量级分布式资源管理与多任务调度器部署的系统中该任务的具体软件运行进程；(4.2)所述轻量级分布式资员管理与多任务调度器向对应节点的节点管理模块发送进程结束指令，将该任务已经启动的软件进程进行关闭；(4.3)根据释放的软件进程，更新全局资源信息；(4.4)根据结束的情况，更新在本轻量级分布式资源管理与多任务调度器部署的系统中记录的任务结束状态。

技术总结
本发明公开了一种轻量级分布式资源管理与任务调度器及方法，该资源管理与任务调度器包括资源管理模块和任务调度模块，资源管理模块包含资源监控子模块、资源检测与分配子模块；任务调度模块分为任务控制子模块、任务进程状态监控子模块以及远程控制信息转发子模块。资源管理与任务调度器适用于含有常规计算和高级计算节点的分布式系统，定时获取硬件节点健康信息，根据硬件节点健康条件和设置的任务启动时间、软件模块所需资源上限去协调硬件资源，若资源检测成功则启动任务，定时进行任务进程状态监控，若检测到结束任务指令，则进行关闭任务处理。本发明可运行在Windows操作系统，适用于轻量级的分布式计算集群，效率高、执行速度快。执行速度快。执行速度快。


技术研发人员：王欢 王涛 毛秀华 赵浩波 尚祖月
受保护的技术使用者：中国航天科工集团八五一一研究所
技术研发日：2021.04.13
技术公布日：2021/10/18