基于消息队列的自适应限流方法、电子设备、存储介质及程序产品与流程

摘要: 本公开涉及一种基于消息队列的自适应限流方法、电子设备、存储介质及程序产品。背景技术:1、在例如低代码配置场景中,一些低代码平台为业务提供了快速迭代能力与长尾业务...
基于消息队列的自适应限流方法、电子设备、存储介质及程序产品与流程

本公开涉及一种基于消息队列的自适应限流方法、电子设备、存储介质及程序产品。

背景技术:

1、在例如低代码配置场景中,一些低代码平台为业务提供了快速迭代能力与长尾业务问题的解决方案。然而,在使用人员通过低代码平台的逻辑编排功能编写执行流程时,不同的业务方向均存在大量由异步消息触发的流程执行需求。这类异步请求面临一个核心矛盾:上游调用频次与逻辑中依赖的下游接口速率不匹配,且业务方无法接受请求因快速失败而被直接丢弃,而是要求请求按特定速率有序处理。

技术实现思路

1、本公开提供了一种基于消息队列的自适应限流方法、电子设备、存储介质及程序产品。

2、根据本公开的一个方面,提供了一种基于消息队列的自适应限流方法,包括:

3、响应于处理流程的发布,获取所述处理流程的流程配置信息,并根据所述流程配置信息,生成与所述处理流程对应的消息消费限流配置;其中,不同处理流程对应的消息消费限流配置相互独立,所述消息消费限流配置至少包括限流速率,所述限流速率用于控制消费消息的速率;

4、监听所述处理流程关联的消息队列,从所述消息队列中获取消息,并基于所述消息消费限流配置,按照所述限流速率消费获取到的所述消息;

5、响应于成功消费一条消息,触发所述处理流程的执行。

6、可选地,所述获取所述处理流程的流程配置信息,包括:

7、接收在所述处理流程发布时生成的通知消息,所述通知消息携带所述处理流程的流程唯一标识(流程唯一编码)、事件节点信息以及期望消费速率配置(每秒查询率(queries per second,qps)配置);

8、将所述通知消息携带的信息确定为所述流程配置信息。

9、可选地,所述流程配置信息包括所述消息队列的类型以及所述处理流程对应的消息主题(topic);

10、所述自适应限流方法,包括:

11、基于所述消息队列的类型以及所述处理流程对应的消息主题,确定所述处理流程关联的消息队列。

12、可选地,所述流程配置信息包括所述消息队列的类型以及期望消费速率配置(qps配置);

13、所述根据所述流程配置信息,生成与所述处理流程对应的消息消费限流配置,包括:

14、响应于所述消息队列的类型为第一类型消息队列(kafka)且检测到所述消息队列的负载状态为负载均衡,获取所述消息队列中所述处理流程对应的消息主题(topic)的通道数量;

15、将所述期望消费速率配置指示的全局消费速率除以所述通道数量,得到通道限流速率;

16、基于所述通道限流速率以及各机器分配到的通道数量,生成所述消息消费限流配置,所述消息消费限流配置指示分配到所述通道的机器按照所述通道限流速率与其分配到的通道数量的乘积执行消息消费,未分配到所述通道的机器不监听所述消息主题。

17、可选地,所述流程配置信息包括所述消息队列的类型以及期望消费速率配置(qps配置);

18、所述根据所述流程配置信息,生成与所述处理流程对应的消息消费限流配置,包括:

19、响应于所述消息队列的类型为第一类型消息队列(kafka)且检测到所述消息队列的负载状态为负载不均衡,按照静态限流模式(静态限流)生成所述消息消费限流配置;

20、其中,所述静态限流模式指示由单台机器按照所述期望消费速率配置指示的全局消费速率执行消息消费。

21、可选地,所述流程配置信息包括所述消息队列的类型、消息标签(tag标签)以及期望消费速率配置;

22、所述根据所述流程配置信息,生成与所述处理流程对应的消息消费限流配置,包括:

23、响应于所述消息队列的类型为第二类型消息队列(rocketmq),获取所述消息队列中所述处理流程对应的消息主题(topic)的通道数量;

24、将所述期望消费速率配置指示的全局消费速率除以所述通道数量,得到通道限流速率;

25、基于所述通道限流速率以及各机器分配到的通道数量,生成所述消息消费限流配置;其中,所述消息消费限流配置指示获取所述消息队列中与所述消息标签匹配的消息,并指示分配到所述通道的机器按照所述通道限流速率与其分配到的通道数量的乘积执行消息消费。

26、可选地,所述根据所述流程配置信息,生成与所述处理流程对应的消息消费限流配置,包括:

27、响应于多个处理流程关联同一消息队列,基于所述消息队列为每个处理流程创建对应的独立数据源,并将所述独立数据源作为对应处理流程关联的消息队列,以使每个处理流程分别从对应的独立数据源中获取消息;

28、基于所述处理流程对应的独立数据源以及所述流程配置信息,生成所述处理流程对应的消息消费限流配置。

29、可选地,所述消息消费限流配置包括限流方式;

30、所述限流方式由所述流程配置信息指示,所述限流方式为拉取限流方式(拉取限流)或推送限流方式(推送限流);

31、所述自适应限流方法,包括:

32、响应于所述消息消费限流配置中限流方式为拉取限流方式,按照所述限流速率从所述消息队列中拉取消息,并对拉取到的消息直接执行消费。

33、可选地,所述消息消费限流配置包括限流方式;

34、所述限流方式由所述流程配置信息指示,所述限流方式为推送限流方式(推送限流);

35、所述自适应限流方法,包括:

36、响应于所述限流方式为推送限流方式,从所述关联的消息队列中无速率限制地拉取消息,并将拉取到的消息存入本地消息队列,所述本地消息队列用于暂存从所述关联的消息队列中拉取到的消息;

37、按照所述限流速率从所述本地消息队列中取出消息并执行消费。

38、可选地,所述自适应限流方法,包括:

39、将所述限流速率与所述处理流程对应的单个消息处理时间的乘积,确定为消费线程池的线程池大小,并按照所述线程池大小配置所述消费线程池,所述消费线程池用于从所述本地消息队列中取出消息并执行消费;

40、将所述限流速率与所述本地消息队列的等待时长的乘积,确定为所述本地消息队列的队列长度,并按照所述队列长度配置所述本地消息队列,以使所述本地消息队列中的存量消息在所述等待时长内被消费完成。

41、可选地,所述流程配置信息包括监听方式;

42、所述自适应限流方法,包括:

43、响应于所述处理流程的监听方式或所述限流速率发生更新,生成更新指令并将所述更新指令同步至执行所述消息消费的机器,以触发所述机器根据所述更新指令重新加载所述消息消费限流配置;

44、其中,在所述重新加载的过程中,根据所述限流速率调整所述本地消息队列的队列长度。

45、可选地,所述自适应限流方法,包括:

46、监测所述处理流程的启停状态;

47、根据所述启停状态,同步启动或停止对所述消息队列的监听以及基于所述消息消费限流配置的消费。

48、可选地,所述自适应限流方法,包括:

49、监测消息消费过程;

50、响应于监测到消费消息的速率低于速率阈值,生成并输出预警信息。

51、根据本公开的另一个方面,提供一种基于消息队列的自适应限流装置,包括:

52、配置生成模块,用于响应于处理流程的发布,获取所述处理流程的流程配置信息,并根据所述流程配置信息,生成与所述处理流程对应的消息消费限流配置;其中,不同处理流程对应的消息消费限流配置相互独立,所述消息消费限流配置至少包括限流速率,所述限流速率用于控制消费消息的速率;

53、消息监听模块,用于监听所述处理流程关联的消息队列,从所述消息队列中获取消息;

54、限流消费模块,用于基于所述消息消费限流配置,按照所述限流速率消费获取到的所述消息;

55、流程触发模块,用于响应于成功消费一条消息,触发所述处理流程的执行。

56、根据本公开的另一方面,提供了一种电子设备,包括:存储器,所述存储器存储执行指令;以及处理器,所述处理器执行所述存储器存储的执行指令,使得所述处理器执行本公开任一个实施方式的基于消息队列的自适应限流方法。

57、根据本公开的再一方面,提供了一种可读存储介质,所述可读存储介质中存储有执行指令,所述执行指令被处理器执行时用于实现本公开任一个实施方式的基于消息队列的自适应限流方法。

58、根据本公开的又一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现本公开任一个实施方式的基于消息队列的自适应限流方法。