消息的调度方法、装置、电子设备及程序产品与流程

摘要: 本技术涉及通信领域,尤其涉及一种消息的调度方法、装置、电子设备及程序产品。背景技术:1、在分布式存储系统中,节点间通常基于无限带宽(infiniband,ib)...
消息的调度方法、装置、电子设备及程序产品与流程

本技术涉及通信领域,尤其涉及一种消息的调度方法、装置、电子设备及程序产品。

背景技术:

1、在分布式存储系统中,节点间通常基于无限带宽(infiniband,ib)网络或融合以太网的远程直接内存访问(rdma over converged ethernet,roce)网络以及远程直接内存访问(remote direct memory access,rdma)传输,并采用预设优先级配合队列调度进行消息分发。

2、然而,相关方案多依赖静态优先级和固定队列策略,难以随网络拥塞、业务负载及队列资源状态变化进行调整,易造成高优先级消息等待、低优先级业务带宽利用不足;同时,共享队列资源下还会加剧队列对(queue pair,qp)、共享接收队列(shared receivequeue,srq)或完成队列(completion queue,cq)之间的竞争,影响时延稳定性和整体资源利用率。

3、因此,如何在多业务并发场景下提高网络消息调度的灵活性与资源利用率,并保障高优先级消息的传输时效性。

技术实现思路

1、本技术提供一种消息的调度方法、装置、电子设备及程序产品,用以解决相关技术中如何在多业务并发场景下提高网络消息调度的灵活性与资源利用率的技术问题。

2、第一方面,本技术提供一种消息的调度方法,方法包括:

3、获取网络状态参数和待传输消息的消息优先级;

4、根据消息优先级,确定待传输消息的目标传输通道,目标传输通道为多个网络传输通道中与消息优先级匹配的传输通道;

5、根据网络状态参数,确定分配至目标传输通道的传输资源;

6、基于传输资源配置目标传输通道,并通过配置后的目标传输通道调度待传输消息。

7、这样,通过将网络状态参数、消息优先级、目标传输通道以及传输资源进行联动控制,消息进入网络侧后先完成优先级识别,再完成与优先级匹配的通道选择,随后依据链路时延、重传率、队列占用率等参数完成与优先级匹配的通道选择,在选择的通道上执行rdma发送,由此使调度过程能够同时响应业务重要程度和实时网络负载变化。

8、可选地,如上的方法,根据网络状态参数,确定分配至目标传输通道的传输资源,包括:

9、根据网络状态参数,确定与目标传输通道对应的报文处理队列的队列状态信息;

10、根据队列状态信息,确定报文处理队列的负载状态;

11、根据负载状态,确定分配至目标传输通道的传输资源。

12、这样,目标传输通道的资源配置能够随队列压力变化而动态调整,当高优先级队列负载高时,及时增加其资源占用,同时对低优先级队列资源进行收缩。高优先级队列负载低,低优先级队列负载高时,适当增加低优先级队列资源占比,从而提升通道资源分配的准确性和消息调度的稳定性。

13、可选地,如上的方法,报文处理队列包括完成队列和共享接收队列,完成队列的队列状态信息包括未消费条目数,共享接收队列的队列状态信息包括空闲请求数,根据队列状态信息,确定报文处理队列的负载状态,包括:

14、根据空闲请求数,对共享接收队列的资源进行第一判定处理,得到第一判定结果;

15、根据未消费条目数,对完成队列的资源进行第二判定处理,得到第二判定结果;

16、根据第一判定结果和第二判定结果,确定报文处理队列的负载状态。

17、这样,报文处理队列的负载表征不再依赖单一队列指标,而是同时考虑共享接收队列的可用请求能力和完成队列的消费积压情况,从而使负载状态更贴近实际处理压力,并使后续资源分配与消息调度具有更稳定的适配性。

18、可选地,如上的方法,根据负载状态,确定分配至目标传输通道的传输资源,包括:

19、根据负载状态,调度报文处理队列的缓存资源,得到缓存资源调度结果;

20、根据负载状态,配置目标传输通道的调度权重和资源配额;

21、根据缓存资源调度结果、调度权重和资源配额,确定分配至目标传输通道的传输资源。

22、这样,目标传输通道的缓存占用、调度机会和资源上限能够随负载状态同步变化,从而使传输资源分配与队列压力保持一致,进而使关键通道获得与其负载相匹配的缓存支持和调度份额,并使网络侧资源分配结果能够直接用于后续消息调度。

23、可选地,如上的方法,根据消息优先级,确定待传输消息的目标传输通道,包括:

24、根据消息优先级,确定待选传输通道集合;

25、根据各待选传输通道关联的报文处理队列的负载状态,从待选传输通道集合中选取目标传输通道。

26、这样,通过将消息优先级与通道集合筛选以及队列负载判断相结合,目标传输通道不再仅由静态优先级固定指定,而是能够依据各通道实时负载进行选择,从而使高优先级消息优先进入可用性更高的通道,低优先级消息在通道空闲时获得可用资源,进而使通道分配与队列承载能力保持一致。

27、可选地,如上的方法,方法还包括:

28、采集各个网络传输通道对应的链路时延和链路丢包率;

29、根据链路时延和链路丢包率,确定各个网络传输通道对应的链路拥塞指数;

30、根据各个链路拥塞指数,确定各个网络传输通道对应的发送速率。

31、这样,通过采集链路时延和链路丢包率并据此确定链路拥塞指数,再根据拥塞指数调节各通道发送速率,能够使消息发送控制与链路实时状态保持一致,进而使不同网络传输通道的负载分配更加贴合当前网络条件,提升通道资源配置的准确性,并使消息调度过程具备更好的动态适配能力。

32、可选地,如上的方法,方法还包括:

33、监测各个网络传输通道的传输时延;

34、根据各个网络传输通道的传输时延和链路拥塞指数,在多个网络传输通道中确定第一传输通道;

35、对第一传输通道进行负载均衡处理。

36、这样,能够依据实时传输时延与链路拥塞指数动态识别当前最适合承载业务的第一传输通道,并对该通道执行负载均衡控制,从而使通道资源分配与网络状态变化保持同步,降低单一路径过载对消息调度稳定性的影响,并提升整体传输效率与资源利用率。

37、第二方面,本技术提供一种消息的调度装置,装置包括:

38、采集模块,用于获取网络状态参数和待传输消息的消息优先级;

39、第一确定模块,用于根据消息优先级,确定待传输消息的目标传输通道,目标传输通道为多个网络传输通道中与消息优先级匹配的传输通道;

40、第二确定模块,用于根据网络状态参数,确定分配至目标传输通道的传输资源;

41、调度模块,用于基于传输资源配置目标传输通道,并通过配置后的目标传输通道调度待传输消息。

42、可选地,如上的装置,第二确定模块具体用于:

43、根据网络状态参数,确定与目标传输通道对应的报文处理队列的队列状态信息;

44、根据队列状态信息,确定报文处理队列的负载状态;

45、根据负载状态,确定分配至目标传输通道的传输资源。

46、可选地,如上的装置,报文处理队列包括完成队列和共享接收队列,完成队列的队列状态信息包括未消费条目数,共享接收队列的队列状态信息包括空闲请求数,第二确定模块具体用于:

47、根据空闲请求数,对共享接收队列的资源进行第一判定处理,得到第一判定结果;

48、根据未消费条目数,对完成队列的资源进行第二判定处理,得到第二判定结果;

49、根据第一判定结果和第二判定结果,确定报文处理队列的负载状态。

50、可选地,如上的装置,第二确定模块具体用于:

51、根据负载状态,调度报文处理队列的缓存资源,得到缓存资源调度结果;

52、根据负载状态,配置目标传输通道的调度权重和资源配额;

53、根据缓存资源调度结果、调度权重和资源配额,确定分配至目标传输通道的传输资源。

54、可选地,如上的装置,第一确定模块具体用于:

55、根据消息优先级,确定待选传输通道集合;

56、根据各待选传输通道关联的报文处理队列的负载状态,从待选传输通道集合中选取目标传输通道。

57、可选地,如上的装置,第一确定模块还用于:

58、采集各个网络传输通道对应的链路时延和链路丢包率;

59、根据链路时延和链路丢包率,确定各个网络传输通道对应的链路拥塞指数;

60、根据各个链路拥塞指数,确定各个网络传输通道对应的发送速率。

61、可选地,如上的装置,第一确定模块还用于:

62、监测各个网络传输通道的传输时延;

63、根据各个网络传输通道的传输时延和链路拥塞指数,在多个网络传输通道中确定第一传输通道;

64、对第一传输通道进行负载均衡处理。

65、第三方面,本技术提供一种电子设备,包括:处理器,以及与处理器通信连接的存储器;

66、存储器存储计算机执行指令;

67、处理器执行存储器存储的计算机执行指令,以实现第一方面任一项的方法。

68、第四方面,本技术提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现如第一方面任一项的方法。

69、第五方面,本技术提供一种计算机程序产品,包括计算机程序,计算机程序被计算机执行时实现如第一方面中任一项的方法。

70、本技术提供的消息的调度方法、装置、电子设备及程序产品,通过获取网络状态参数和待传输消息的消息优先级,并根据消息优先级确定与之匹配的目标传输通道,再根据网络状态参数确定分配至目标传输通道的传输资源,能够使消息调度过程同时兼顾业务优先级差异与网络资源动态变化,进而提高多业务并发场景下的资源利用率与调度灵活性,并保障高优先级消息的传输时效性和传输稳定性。