一种基于APIKey的多租户动态路由方法、装置、设备和存储介质与流程
本发明涉及计算机,尤其涉及一种基于api key的多租户动态路由方法、装置、设备和存储介质。
背景技术:
1、大规模云原生 ai 推理集群中,多租户共享 gpu 推理资源已成为主流部署模式。随着租户数量增长与模型规模扩大,现有方案中,不同租户的推理服务暴露独立的访问端点(如不同域名或端口),客户端需感知后端拓扑并维护多套连接配置。统一入口缺失导致流量管理复杂、安全策略分散,且无法在网关层面基于租户身份控制其可访问的模型与gpu pool 范围;除此之外,不同租户的推理服务暴露独立的访问端点,客户端需感知后端拓扑,流量管理与安全策略分散,无法实现统一管控,且现有静态路由方案主要基于路径、域名或 header 等静态属性进行转发,依赖路径、域名或 header 等静态属性决策后端,无法动态选择 pool,导致后端扩缩容时需人工修改网关配置。
技术实现思路
1、本发明提供了一种基于api key的多租户动态路由方法、装置、设备和存储介质,能够实现从统一入口到租户级别资源池的动态路由,实现对后端推理引擎的完全零侵入。
2、在一实施例中,本发明实施例提供了一种基于api key的多租户动态路由方法,应用于api网关,所述api网关部署在kubernetes 平台中;所述api网关内置wasm扩展插件;所述wasm扩展插件通过wasmplugin资源加载;所述方法,包括:
3、接收客户端通过统一接入api网关所传输的租户推理请求;其中,各所述租户推理请求分别包括请求头和请求体;所述统一接入api网关为触发所述wasm扩展插件拦截的统一入口;
4、在所述请求头阶段,通过所述wasm扩展插件根据所述请求头以及预配置的路由表以识别所述租户推理请求对应的租户身份,并记录所述租户身份对应的原始请求路径;
5、在所述消息体阶段,通过所述wasm扩展插件根据所述租户身份、所述请求体以及预配置的模型映射资源池确定对应的授权资源池集合;
6、通过所述wasm扩展插件从所述授权资源池集合选择目标资源池,并对所述原始请求路径进行路径重写得到新请求路径;
7、通过所述wasm扩展插件基于所述新请求路径以及预配置的隐藏入站规则将各所述租户推理请求转发至对应的推理服务模型,并由所述推理服务模型将各所述租户推理请求分发至后端服务实例;其中,所述推理服务模型为所述目标资源池在租户命名空间所对应的推理服务模型。
8、在一实施例中,本发明实施例提供了一种基于api key的多租户动态路由装置,应用于api网关,所述api网关部署在kubernetes 平台中;所述api网关内置wasm扩展插件;所述wasm扩展插件通过wasmplugin 资源加载;所述装置,包括:
9、请求接收模块,用于接收客户端通过统一接入api网关所传输的租户推理请求;其中,各所述租户推理请求分别包括请求头和请求体;所述统一接入api网关为触发所述wasm扩展插件拦截的统一入口;
10、身份识别模块,用于在所述请求头阶段,通过所述wasm扩展插件根据所述请求头以及预配置的路由表以识别所述租户推理请求对应的租户身份,并记录所述租户身份对应的原始请求路径;
11、租户资源池确定模块,用于在所述消息体阶段,通过所述wasm扩展插件根据所述租户身份、所述请求体以及预配置的模型映射资源池确定对应的授权资源池集合;
12、新路径确定模块,用于通过所述wasm扩展插件从所述授权资源池集合选择目标资源池,并对所述原始请求路径进行路径重写得到新请求路径;
13、请求分发模块,用于通过所述wasm扩展插件基于所述新请求路径以及预配置的隐藏路径匹配规则将各所述租户推理请求转发至对应的推理服务模型,并由所述推理服务模型将各所述租户推理请求分发至后端服务实例;其中,所述推理服务模型为所述目标资源池在租户命名空间所对应的推理服务模型。
14、在一实施例中,本发明实施例提供了一种计算机设备,包括:
15、至少一个处理器;以及
16、与至少一个处理器通信连接的存储器;其中,
17、存储器存储有可被至少一个处理器执行的计算机程序,计算机程序被至少一个处理器执行,以使至少一个处理器能够执行本发明任一实施例提供的一种基于api key的多租户动态路由方法。
18、在一实施例中,本发明实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令用于使处理器执行时实现本发明任一实施例提供的一种基于api key的多租户动态路由方法。
19、在一实施例中,本发明实施例提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序在被处理器执行时实现本发明任一实施例提供的一种基于api key的多租户动态路由方法。
20、本发明实施例的技术方案,接收客户端通过统一接入api网关所传输的租户推理请求;在请求头阶段,通过wasm扩展插件根据请求头以及路由表识别对应的租户身份,并记录租户身份对应的原始请求路径;在消息体阶段,通过wasm扩展插件根据租户身份、请求体以及模型映射资源池确定对应的授权资源池集合;通过wasm扩展插件从授权资源池集合选择目标资源池,能够在统一 api 入口下,根据租户身份和请求体内容动态选择后端资源池,实现模型名称到后端实例的动态映射,对原始请求路径进行路径重写得到新请求路径,通过wasm扩展插件基于新请求路径以及隐藏入站规则将各租户推理请求转发至对应的推理服务模型,并由推理服务模型将各租户推理请求分发至后端服务实例,本发明的技术方案中,以 wasm 插件形式无侵入部署,后端推理引擎无需修改,且能够实现从统一入口到租户级别资源池的多阶段动态路由。
21、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
1.一种基于api key的多租户动态路由方法,其特征在于,应用于api网关,所述api网关部署在kubernetes 平台中;所述api网关内置wasm扩展插件;所述wasm扩展插件通过wasm plugin资源加载;所述方法,包括:
2.根据权利要求1所述的方法,其特征在于,所述方法,还包括:
3.根据权利要求1所述的方法,其特征在于,所述通过所述wasm扩展插件根据所述请求头以及预配置的路由表以识别所述租户推理请求对应的租户身份,包括:
4.根据权利要求1所述的方法,其特征在于,所述通过所述wasm扩展插件根据所述租户身份、所述请求体以及预配置的模型映射资源池确定对应的授权资源池集合,包括:
5.根据权利要求1所述的方法,其特征在于,所述通过所述wasm扩展插件从所述授权资源池集合选择目标资源池,并对所述原始请求路径进行路径重写得到新请求路径,包括:
6.根据权利要求1所述的方法,其特征在于,所述隐藏入站规则通过kubernetes 平台的ingress控制器来运行;所述隐藏入站规则包括:租户前缀、模型名称、目标资源池的资源池名称及所述租户推理请求的原始请求路径。
7.根据权利要求1所述的方法,其特征在于,所述通过所述wasm扩展插件基于所述新请求路径以及预配置的隐藏入站规则将各所述租户推理请求转发至对应的推理服务模型,包括:
8.一种基于api key的双阶段多租户动态路由装置,其特征在于,应用于api网关,所述api网关部署在kubernetes 平台中;所述api网关内置wasm扩展插件;所述wasm扩展插件通过wasmplugin 资源加载;所述装置,包括:
9.一种计算机设备,其特征在于,包括:
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的一种基于apikey的多租户动态路由方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com