大模型推理服务流量调度管理方法、装置、设备及存储介质与流程

本发明涉及计算机网络，尤其涉及一种大模型推理服务流量调度管理方法、装置、设备及存储介质。

背景技术：

1、随着大模型技术的广泛应用，企业级人工智能推理服务规模持续扩张，金融、医疗、政务等高稳定性场景对推理服务的可用性、弹性扩展能力及运维变更连续性提出了迫切需求。

2、现有推理服务部署架构缺乏面向异构集群环境的差异化流量调度机制，在同集群跨命名空间迁移、跨集群架构切换及负载均衡实例变更等运维场景中，难以实现流量的平滑过渡与无损切换，导致服务中断风险高、扩容效率低，无法满足大规模高并发推理业务的连续性保障要求。

3、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供一种大模型推理服务流量调度管理方法、装置、设备及存储介质，旨在解决如何在异构集群环境下保障大模型推理服务在运维变更过程中的业务连续性的技术问题。

2、为实现上述目的，本发明提供一种大模型推理服务流量调度管理方法，所述大模型推理服务流量调度管理方法包括以下步骤：

3、接收流量调度指令，解析所述流量调度指令得到源端信息与目的端信息；

4、判断所述源端与所述目的端是否属于同一集群，得到集群关系判断结果；

5、在所述集群关系判断结果为同集群时，生成第一调度策略，在所述集群关系判断结果为跨集群时，生成第二调度策略；

6、基于所述第一调度策略或所述第二调度策略配置负载均衡转发规则、域名解析地址及容器编排平台资源，得到调度执行结果。

7、在一实施例中，所述在所述集群关系判断结果为同集群时，生成第一调度策略，在所述集群关系判断结果为跨集群时，生成第二调度策略的步骤,包括：

8、在所述集群关系判断结果为同集群时，判断所述源端与所述目的端是否属于同一命名空间，得到命名空间关系判断结果；

9、基于所述命名空间关系判断结果生成第一调度策略；

10、在所述集群关系判断结果为跨集群时，判断所述源端集群与所述目的端集群是否属于负载均衡集群架构，得到架构属性判断结果；

11、基于所述架构属性判断结果生成第二调度策略。

12、在一实施例中，所述基于所述命名空间关系判断结果生成第一调度策略的步骤,包括：

13、在所述命名空间关系判断结果为同一命名空间时，在所述容器编排平台中创建源端推理实例池与目标端推理实例池；

14、将源端应用实例绑定至所述源端推理实例池，将目标端应用实例绑定至所述目标端推理实例池；

15、配置域名外部路由规则，基于所述流量调度指令中的流量比例动态调整所述源端推理实例池与所述目标端推理实例池的流量分配权重；

16、基于调整后的所述流量分配权重生成第一调度策略。

17、在一实施例中，所述基于所述命名空间关系判断结果生成第一调度策略的步骤，包括：

18、在所述命名空间关系判断结果为不同命名空间时，配置负载均衡集群中各分片的流量接收状态，在所述负载均衡集群包含多个分片的情况下依次执行全量源端接收、源端与目标端并行接收及全量目标端接收三个阶段；

19、在所述负载均衡集群包含单个分片的情况下执行全量源端至全量目标端的两阶段切换，并基于资源变更机制更新所述各分片的流量接收状态；

20、基于所述流量比例控制所述源端与所述目的端在并行接收阶段的流量占比；

21、基于所述各分片的流量接收状态生成第一调度策略。

22、在一实施例中，所述基于所述架构属性判断结果生成第二调度策略的步骤,包括：

23、在所述架构属性判断结果为所述源端集群与所述目的端集群均属于负载均衡集群架构时，判断所述源端集群与所述目的端集群是否属于同一负载均衡实例，得到负载均衡实例关系判断结果；

24、在所述负载均衡实例关系判断结果为所述源端集群与所述目的端集群属于同一负载均衡实例时，调用所述负载均衡实例的流量分发策略动态调整节点权重，得到第一跨集群调度方案；

25、在所述负载均衡实例关系判断结果为所述源端集群与所述目的端集群属于不同负载均衡实例时，基于所述流量调度指令中的域名类型配置域名解析地址，得到第二跨集群调度方案；

26、在所述架构属性判断结果为所述源端集群不属于负载均衡集群架构或所述目的端集群不属于负载均衡集群架构时，调用全局流量管理系统配置域名解析地址及权重策略，得到第三跨集群调度方案；

27、基于所述第一跨集群调度方案、所述第二跨集群调度方案以及所述第三跨集群调度方案中的任意一项生成第二调度策略。

28、在一实施例中，所述在所述负载均衡实例关系判断结果为所述源端集群与所述目的端集群属于不同负载均衡实例时，基于所述流量调度指令中的域名类型配置域名解析地址，得到第二跨集群调度方案的步骤，包括：

29、在所述域名类型为内网域名时，配置所述全局流量管理系统的域名解析地址，得到内网域名解析配置；

30、在所述域名类型为互联网域名时，配置域名解析负载均衡设备的域名解析地址，得到互联网域名解析配置；

31、基于所述内网域名解析配置或所述互联网域名解析配置生成第二跨集群调度方案。

32、在一实施例中，所述基于所述第一调度策略或所述第二调度策略配置负载均衡转发规则、域名解析地址及容器编排平台资源，得到调度执行结果的步骤,包括：

33、基于所述流量调度指令中的流量比例动态调整负载均衡转发规则，以控制所述源端与所述目的端的流量占比；

34、基于所述源端与所述目的端预设的地址池联动全局流量管理系统或域名解析负载均衡设备，以更新所述域名解析地址并维护域名解析映射关联；

35、在所述容器编排平台的对应命名空间内构建域名外部路由规则与推理实例池，并固化所述域名外部路由规则及所述推理实例池与推理实例间的资源映射关联；

36、基于所述推理实例池的自适应服务机制动态调整实例规模，通过健康检查机制剔除异常推理实例，得到健康实例池状态；

37、基于所述负载均衡转发规则、所述域名解析映射关联、所述资源映射关联、所述健康实例池状态以及所述容器编排平台资源生成调度执行结果。

38、此外，为实现上述目的，本发明还提出一种大模型推理服务流量调度管理装置，所述装置包括：

39、流量管理模块，用于接收流量调度指令，解析所述流量调度指令得到源端信息与目的端信息；

40、集群关系判断模块，用于判断所述源端与所述目的端是否属于同一集群，得到集群关系判断结果；

41、调度策略生成模块，用于在所述集群关系判断结果为同集群时，生成第一调度策略，在所述集群关系判断结果为跨集群时，生成第二调度策略；

42、调度控制模块，用于基于所述第一调度策略或所述第二调度策略配置负载均衡转发规则、域名解析地址及容器编排平台资源，得到调度执行结果。

43、此外，为实现上述目的，本发明还提出一种大模型推理服务流量调度管理设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的大模型推理服务流量调度管理程序，所述大模型推理服务流量调度管理程序配置为实现如上文所述的大模型推理服务流量调度管理方法的步骤。

44、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有大模型推理服务流量调度管理程序，所述大模型推理服务流量调度管理程序被处理器执行时实现如上文所述的大模型推理服务流量调度管理方法的步骤。

45、此外，为实现上述目的，本技术还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的大模型推理服务流量调度管理方法的步骤。

46、本技术提出的一个或多个技术方案，至少具有以下技术效果：

47、通过构建基于集群关系、命名空间关系、架构属性及域名类型的多级差异化调度策略体系，实现了同集群同命名空间下基于推理实例池与域名外部路由规则的灰度流量切换，同集群不同命名空间下基于负载均衡集群多分片流量入口的分阶段流量接收状态切换，以及跨集群环境下基于负载均衡实例关系与域名类型的多路径域名解析配置，并联动负载均衡转发规则、域名解析地址及容器编排平台资源完成调度执行，从而在异构集群环境下保障了大模型推理服务运维变更过程中的流量无损切换与业务连续性。