一种时延敏感型任务的处理方法和相关设备与流程

摘要: 本技术涉及网络资源调度,尤其涉及一种时延敏感型任务的处理方法和相关设备。背景技术:1、相关技术中,时延敏感型任务是指对响应时间有严格上限要求的任务,例如自动驾驶...
一种时延敏感型任务的处理方法和相关设备与流程

本技术涉及网络资源调度,尤其涉及一种时延敏感型任务的处理方法和相关设备。

背景技术:

1、相关技术中,时延敏感型任务是指对响应时间有严格上限要求的任务,例如自动驾驶的避障控制、工业机器人实时抓取、在线游戏ai或高频交易决策等。在时延敏感型任务领域中,现有算力调度方案主要聚焦于节点负载均衡,而在实际部署场景中,链路时延也会受网络拥堵、拓扑变化等影响产生波动,当该波动幅度超出预设阈值时,将导致任务传输时延急剧增大,进而造成任务超时率显著上升。这种算力调度和链路选择相互独立的方式,会导致算力调度时延和链路时延叠加,使得任务时延超出复杂动态场景下对服务等级协议(sla)约束标准,进而提高sla违约比例。

2、此外,由于集中调度框架是将“数据收集-模型计算-决策下发”的全流程集中于单一调度节点处理,导致数据传输过程中会产生额外时延,进一步增加了时延敏感型任务的叠加时延。并且,在联邦学习框架中,由于不同区域节点的网络往返时延也存在差异,导致节点训练进度不一致,进而造成全局模型优化失衡,最终导致节点的决策精度下降,难以为时延敏感型任务提供精准的调度策略。

3、综上,相关技术中存在的技术问题有待得到改善。

技术实现思路

1、本技术实施例的主要目的在于提出一种时延敏感型任务的处理方法和相关设备,能够有效降低叠加时延,使得时延敏感型任务的执行过程满足服务等级协议的约束标准,降低服务等级协议的违约比例。

2、为实现上述目的,本技术实施例的一方面提出了一种时延敏感型任务的处理方法,所述方法包括以下步骤:

3、当跨域路由节点获取到时延敏感型任务的算力请求时,通过非均匀联邦聚合训练后的深度强化学习模型对每个待处理算力节点进行算力处理,得到第一算力节点集合;

4、获取所述第一算力节点集合中每个算力节点的实时状态数据和所述第一算力节点集合中的网络链路监测数据;

5、根据所述实时状态数据结合所述网络链路监测数据,计算所述第一算力节点集合中所有算力节点形成的所有待选传输路径的路径适配度;

6、当所有所述路径适配度均小于适配度阈值时,根据所述路径适配度和所述网络链路监测数据计算时延反馈项;根据所述时延反馈项调节所述预设深度强化学习模型的奖励函数;根据调节后的奖励函数调节所述预设深度强化学习模型的决策权重;调用决策权重调节后的预设深度强化学习模型重新进行跨域节点算力处理,以更新所述第一算力节点集合;

7、当存在所述路径适配度大于或等于所述适配度阈值时,从所述路径适配度大于或等于所述适配度阈值的所述待选传输路中选择目标传输路径执行所述时延敏感型任务。

8、在一些实施例中,所述非均匀联邦聚合训练的过程,包括以下步骤:

9、在全局控制器中基于每个待训练算力节点的网络适配系数和数据质量系数计算聚合权重;

10、通过所述全局控制器向所有所述待训练算力节点分别发送模型参数和节点分层标识;所述节点分层标识用于表示对应待训练算力节点的时延状态;所述模型参数包括所述聚合权重;

11、在每个所述待训练算力节点本地内,根据所述节点分层标识和本地数据对所述模型参数对应的深度强化学习模型进行本地训练后,向所述全局控制器发送目标梯度;

12、在所述全局控制器内基于所述聚合权重对所有所述目标梯度进行聚合计算,以更新所述模型参数。

13、在一些实施例中,所述基于每个待训练算力节点的网络适配系数和数据质量系数计算聚合权重,包括:

14、基于每个待训练算力节点的基准网络往返时延和实际网络往返时延计算所述网络适配系数;

15、基于每个待训练算力节点的本地数据集规模和全局数据集规模计算数据质量系数;

16、根据所述网络适配系数和所述数据质量系数计算每个所述待训练算力节点的聚合权重。

17、在一些实施例中,所述根据所述节点分层标识和本地数据对所述模型参数对应的深度强化学习模型进行本地训练,包括:

18、当所述节点分层标识对应待训练算力节点的时延状态为低时延,根据本地数据对所述模型参数对应的深度强化学习模型进行全量训练;

19、当所述节点分层标识对应待训练算力节点的时延状态为中时延或高时延,根据本地数据对所述模型参数对应的深度强化学习模型进行增量训练。

20、在一些实施例中,所述时延反馈项的计算公式如下:

21、t_d=路径适配度×时延奖励系数-丢包率×丢包惩罚系数;

22、公式中,t_d表示时延反馈项的数值。

23、在一些实施例中,所述奖励函数的计算公式如下:

24、r={时延协同系数×[用户预设最大容忍时延-(节点处理延迟+路径传输时延)]/用户预设最大容忍时延}-资源占用惩罚系数×(cpu使用率+内存使用率)+成功率奖励系数×任务请求成功率-跨域失衡惩罚系数×节点精度偏差;

25、公式中,r表示奖励函数的数值;

26、所述时延协同系数通过所述时延反馈项动态调节。

27、在一些实施例中,所述方法还包括以下步骤:

28、当所述目标传输路径存在异常状态时,从剩余所述路径适配度大于或等于所述适配度阈值的所述待选传输路中选择备选传输路径执行所述时延敏感型任务。

29、为实现上述目的,本技术实施例的另一方面提出了一种时延敏感型任务的处理装置,所述装置包括:

30、第一模块,用于当跨域路由节点获取到时延敏感型任务的算力请求时,通过非均匀联邦聚合训练后的深度强化学习模型对每个待处理算力节点进行算力处理,得到第一算力节点集合;

31、第一模块,用于获取所述第一算力节点集合中每个算力节点的实时状态数据和所述第一算力节点集合中的网络链路监测数据;

32、第二模块,用于根据所述实时状态数据结合所述网络链路监测数据,计算所述第三算力节点集合中所有算力节点形成的所有待选传输路径的路径适配度;

33、第四模块,用于当所有所述路径适配度均小于适配度阈值时,根据所述路径适配度和所述网络链路监测数据计算时延反馈项;根据所述时延反馈项调节所述预设深度强化学习模型的奖励函数;根据调节后的奖励函数调节所述预设深度强化学习模型的决策权重;调用决策权重调节后的预设深度强化学习模型重新进行跨域节点算力处理,以更新所述第一算力节点集合;

34、第五模块,用于当存在所述路径适配度大于或等于所述适配度阈值时,从所述路径适配度大于或等于所述适配度阈值的所述待选传输路中选择目标传输路径执行所述时延敏感型任务。

35、为实现上述目的,本技术实施例的另一方面提出了一种电子设备,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现前面所述的方法。

36、为实现上述目的,本技术实施例的另一方面提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现前面所述的方法。

37、为实现上述目的,本技术实施例的另一方面提出了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现前面所述的方法。

38、本技术实施例至少包括以下有益效果:本技术提供一种时延敏感型任务的处理方法和相关设备,该方案通过在获取到时延敏感型任务的算力请求时,通过非均匀联邦聚合训练后的深度强化学习模型对每个待处理算力节点进行算力处理得到第一算力节点集合,然后根据第一算力节点集合中每个算力节点的实时状态数据和网络链路监测数据,计算第一算力节点集合中所有算力节点形成的所有待选传输路径的路径适配度,当所有路径适配度均小于适配度阈值时,根据路径适配度和网络链路监测数据计算时延反馈项;根据时延反馈项调节预设深度强化学习模型的奖励函数;根据调节后的奖励函数调节所述预设深度强化学习模型的决策权重;调用决策权重调节后的预设深度强化学习模型重新进行跨域节点算力处理,以更新第一算力节点集合;当存在路径适配度大于或等于适配度阈值时,从路径适配度大于或等于适配度阈值的待选传输路中选择目标传输路径执行时延敏感型任务,从而可以在执行时延敏感型任务时,同时考虑节点算力和链路状态,可以实现算力节点选择和网络路径动态适配过程,进而有效降低叠加时延,使得时延敏感型任务的执行过程满足服务等级协议的约束标准,降低服务等级协议的违约比例。