一种面向多节点遥感处理系统的资源感知与任务调度方法及系统
本发明属于遥感数据处理,涉及边缘计算、多节点协同计算及任务调度技术,尤其涉及一种面向飞腾派多节点遥感处理系统的资源感知流水线任务调度方法及系统。
背景技术:
1、随着低轨卫星遥感数据量不断增大,传统“星上采集、地面下传、地面处理”的方式容易受到链路带宽、传输窗口和地面处理时延的限制。为了提高遥感任务的响应速度,可以将部分数据处理任务前移到星上或边缘计算节点完成,只向地面下传关键结果和摘要信息。
2、在实际工程中,单个飞腾派节点的计算能力、内存容量和网络通信能力有限。如果将完整遥感任务全部放在一个节点上执行,容易出现处理时间长、节点负载高、系统响应慢等问题。因此,可以采用“一台飞腾派主节点+多台飞腾派从节点”的方式,将遥感处理流程拆分为多个阶段,由主节点统一调度,从节点分别承担阶段计算任务。
3、但是,现有固定式任务分配方式通常按照预设规则将某个阶段固定分配给某个节点。例如,固定让节点a执行预处理,节点b执行ndvi计算,节点c执行质量评估。这种方式虽然实现简单,但存在明显不足:
4、第一,当某个节点cpu或内存占用过高时,系统仍然继续向该节点分发任务,容易造成阶段阻塞。
5、第二,当某个阶段计算耗时明显长于其他阶段时,流水线会在该阶段形成瓶颈,导致整体吞吐率下降。
6、第三,当某个从节点离线、网络超时或计算失败时,固定调度方式难以及时迁移任务,可能导致整个批次失败。
7、第四,当不同批次数据规模不一致时,固定分配策略无法根据任务大小动态调整分片和并发数量。
8、因此,有必要提出一种资源感知任务调度方法,使飞腾派主节点能够实时感知各从节点的资源状态、通信状态和历史执行性能,并据此动态调整任务分配方式、流水线并发数量和异常重试策略,从而提高多节点遥感处理系统的吞吐率、稳定性和资源利用率。
技术实现思路
1、本发明提供一种面向多节点遥感处理系统的资源感知与任务调度方法及系统,其目的在于解决现有固定式任务调度方式存在的负载适配性差、流水线瓶颈突出、容错能力不足与场景适配性弱等问题。
2、第一个方面,本发明的目的在于提供一种面向多节点遥感处理系统的资源感知与任务调度方法,包括以下步骤:
3、s1、搭建分布式协同处理架构,包括一个主节点和多个从节点;所述主节点运行任务调度与结果汇聚服务,各从节点运行阶段计算服务;从节点启动时向主节点注册自身节点信息与可承担的遥感任务处理阶段类型;
4、s2、主节点接收遥感处理任务,将遥感处理任务拆分为多个处理阶段,并将每个处理阶段封装为独立的阶段任务对象;
5、s3、主节点周期性采集各从节点的运行状态信息,基于所述运行状态信息为每个从节点生成对应的动态状态画像;
6、s4、针对当前待调度的阶段任务,主节点根据从节点注册的可承担的遥感任务处理阶段类型与所述动态状态画像,筛选得到可用的候选节点集合;
7、s5、主节点计算各候选节点执行当前阶段任务的调度代价,选取调度代价最低的候选节点下发阶段任务;
8、s6、针对多批次遥感任务,主节点采用流水线模式进行调度执行,实时监测各处理阶段的节点负载与任务堆积情况,动态调整流水线并发窗口的大小,以控制同时进入处理流程的任务批次数量;
9、s7、每个处理阶段执行完成后,对应从节点将中间阶段结果返回至主节点存储,主节点将所述中间阶段结果作为下一处理阶段的输入,进行阶段间的任务接力调度;
10、s8、主节点实时监测各从节点的运行状态,当判定任一从节点出现运行异常时,调取对应任务批次已存储的上游中间阶段结果,将该批次未完成的阶段任务重新调度至其他可用从节点继续执行。
11、更进一步地,提供优选方案:所述自身节点信息包括节点编号、节点名称、节点地址、可执行阶段、当前状态和服务端口。
12、更进一步地,提供优选方案:所述s3中,各从节点的运行状态信息包括:从节点的cpu占用率、内存占用率、节点等待任务数量、节点执行当前阶段的历史平均耗时、通信响应时间、近期执行失败或超时次数;所述动态状态画像用于记录从节点的可用状态、适配处理阶段、资源紧张程度、历史执行效率与异常风险情况。
13、更进一步地,提供优选方案:所述s5中,调度代价计算公式为:
14、,
15、其中,表示节点cpu占用率,表示节点内存占用率,表示节点等待任务数量,表示该节点执行当前阶段的历史平均耗时,表示通信响应时间,表示近期失败或超时风险,、、、、、为权重系数。
16、更进一步地,提供优选方案:所述s5中,当多个节点代价接近时,采用轮转方式分配阶段任务;当待调度阶段任务的优先级高于预设等级时,优先选取历史执行耗时最短、通信时延最低的候选节点;当全部候选节点均处于高负载状态时,将阶段任务存入等待队列,待节点资源释放后再行分发。
17、更进一步地,提供优选方案:所述s6具体包括:当各从节点资源占用率低于预设阈值、阶段处理耗时稳定且任务队列长度不超过预设上限时,增大并发窗口以提升系统吞吐率;当任意处理阶段出现任务堆积、队列长度超过预设上限时,减小并发窗口以降低上游阶段的新批次投放速度;当异常节点恢复正常运行后,逐步增大并发窗口至正常运行水平。
18、更进一步地,提供优选方案:所述s8中,运行异常包括从节点离线、通信超时、任务执行失败以及资源持续过载。
19、第二个方面,本发明的目的在于提出一种面向多节点遥感处理系统的资源感知与任务调度系统,所述系统用于实现如上述任意一项或多项方案组合所述的面向多节点遥感处理系统的资源感知与任务调度方法,所述系统包括:一个主节点以及多个与所述主节点通信连接的从节点;
20、所述主节点包括:
21、架构管理模块,用于构建分布式协同处理架构,运行任务调度与结果汇聚服务,并接收各从节点上报的自身节点信息与可承担的遥感任务处理阶段类型;
22、任务拆解模块,用于接收遥感处理任务,将遥感处理任务拆分为多个处理阶段,并将各处理阶段封装为独立的阶段任务对象;
23、节点状态画像模块,用于周期性采集各从节点的运行状态信息,基于所述运行状态信息为每个从节点生成对应的动态状态画像;
24、候选节点筛选模块,用于针对当前待调度的阶段任务,根据从节点注册的可承担的遥感任务处理阶段类型与所述动态状态画像,筛选得到可用的候选节点集合;
25、资源感知调度模块,用于计算各候选节点执行当前阶段任务的调度代价,选取调度代价最低的候选节点下发阶段任务;
26、流水线管控模块,用于对多批次遥感任务采用流水线模式调度执行,实时监测各处理阶段的节点负载与任务堆积情况,动态调整流水线并发窗口的大小,以控制同时进入处理流程的任务批次数量;
27、中间结果管理模块,用于在每个处理阶段执行完成后,接收并存储各从节点返回的中间阶段结果,将所述中间阶段结果作为下一处理阶段的输入,进行阶段间的任务接力调度;
28、异常重调度模块,用于实时监测各从节点的运行状态,当判定任一从节点出现运行异常时,调取对应任务批次已存储的上游中间阶段结果,将该批次未完成的阶段任务重新调度至其他可用从节点继续执行;
29、所述从节点包括阶段计算模块,用于接收主节点下发的阶段任务,执行对应阶段的遥感处理计算,并将生成的中间阶段结果返回至主节点。
30、第三个方面,本发明的目的在于提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器中存储有计算机程序,当所述处理器运行所述存储器存储的计算机程序时,所述处理器执行根据上述任意一项或多项方案组合所述的面向多节点遥感处理系统的资源感知与任务调度方法。
31、第四个方面,本发明的目的在于提供一种计算机可读存储介质,所述计算机可读存储介质用于储存计算机程序,所述计算机程序执行上述任意一项或多项方案组合所述的面向多节点遥感处理系统的资源感知与任务调度方法。
32、与现有技术相比,本发明的优势在于:
33、本发明通过主节点周期性采集从节点的资源占用、任务队列、历史性能等运行状态,生成动态状态画像并基于调度代价选择最优执行节点,替代传统固定式任务分配策略,能够根据节点实时负载动态调整任务流向,避免局部节点过载,有效提升多节点系统的资源利用率与负载均衡度。针对多批次遥感任务采用流水线执行模式,并引入动态并发窗口机制,根据各阶段的节点负载与任务堆积情况自适应调整并发批次数量,在节点资源充足时提升并发规模以提高吞吐,在阶段出现瓶颈时限制上游投放以避免任务堆积。
34、本发明适配性强,可灵活适配多类遥感处理场景,适用于主从架构的分布式遥感处理系统,支持遥感图像预处理、植被指数计算、植被质量评估、云检测、火点检测、目标识别与地物分类等多阶段遥感处理任务。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com