多租户MaaS平台Token配额管控与超限限流处理方法与流程

本发明涉及网络流量，具体涉及多租户maas平台token配额管控与超限限流处理方法。

背景技术：

1、随着大模型技术的快速发展和广泛应用，maas（模型即服务，model as aservice）平台作为一种将ai模型以服务形式封装并提供给多租户调用的云计算服务模式，已成为企业和开发者获取ai能力的重要途径。在maas平台中，租户通过api调用模型推理接口并消耗token（词元）资源，平台需要为各租户设定token配额并对超限请求实施限流处理，因此需要使用token配额管控与超限限流处理方法，以实现多租户之间的资源公平分配和平台整体服务稳定性保障。

2、目前，大多数的配额管控与超限限流处理方法是使用固定速率令牌桶算法。例如，中国公开号为cn 116170381 a的一种基于多租户的访问请求限流方法和相关装置，其公开了私有令牌桶对不同级别租户发起的访问请求进行差异化限流，避免影响高级别租户访问多租户平台；同时优先从公有令牌桶中尝试获取令牌充分利用令牌资源。

3、然而，上述方法无法区分间歇性的合理突发流量与持续的恶意占用流量。若管理员希望为高级租户临时提升并发能力或调整速率，需手动修改配置并重启或重载服务，响应滞后，无法根据租户的实际使用模式进行动态、自适应的调整。同时，在分布式网关集群中，若使用集中式数据库来同步全局配额，易存在单点性能瓶颈和故障风险，且策略的更新在集群节点间存在同步延迟，导致配额管控不准确。

技术实现思路

1、为此，本发明提供多租户maas平台token配额管控与超限限流处理方法，以解决现有技术中无法根据租户使用模式进行动态调整，且策略更新存在延迟与不一致，导致配额管控不准确的问题。

2、为了实现上述目的，本发明提供如下技术方案：

3、多租户maas平台token配额管控与超限限流处理方法，包括以下步骤：

4、s1：为每个租户的配额策略分配数据对象标识，并将配额策略对象集注册至handle注册系统；所述配额策略对象集包括基础填充速率、突发因子、衰减系数、对象版本号和对象存储节点定位符；

5、s2：api网关节点接收租户发起的模型调用请求，从请求中提取租户标识和本次请求拟消耗的token数量，组合构成控制数据集；

6、s3：根据控制数据集中的租户标识，通过预设的标识构建规则生成与租户配额策略对应的handle标识；并通过本地的handle解析器，向handle解析系统发起解析请求，获取handle标识对应的数据对象的引用信息；

7、s4：将解析获得的对象版本号与本地缓存的策略版本号进行比对；若本地版本号低于解析获得的版本号，则根据对象存储节点定位符从相应的远端存储节点中确定完整的配额策略对象集；

8、s5：基于s2中的本次请求拟消耗的token数量，计算本次请求的修正消耗令牌数，网关节点查询本地动态令牌桶的当前令牌数，并将其与计算所得的修正消耗令牌数进行数值比较，判断本地动态令牌桶中的当前令牌数是否大于或等于修正消耗令牌数；

9、s6：启动远端配额段申请流程，根据对象存储节点定位符，向远端存储节点发起配额段申请请求；

10、s7：在远端存储节点对配额段申请请求进行双重校验，确定远端存储节点返回的分配令牌数，并计算动态窗口阈值，判断是否批准配额段申请。

11、进一步的，所述s2中的租户标识为身份鉴权信息，位于请求报文头部的自定义字段中；本次请求拟消耗的token数量为输入令牌数和期望输出令牌数相加得到。

12、进一步的，所述s3的具体步骤如下：

13、s3.1：接收控制数据集，并通过预设的标识构建规则生成与租户配额策略对应的handle标识；

14、s3.2：调用本地部署的handle解析器，向handle解析系统发起解析请求，定位存储该handle标识对应引用信息的解析服务器，并由解析服务器返回与handle标识绑定的数据对象的引用信息。

15、进一步的，所述修正消耗令牌数的计算公式如下：

16、

17、其中，为请求拟消耗数；为预设的衰减系数，取值范围为；为预设的突发因子，取值范围为；为请求时间间隔；是自然常数，为指数函数的底数。

18、进一步的，所述本地动态令牌桶以基础填充速率随时间流逝自动填充令牌，桶容量上限为基础填充速率与突发因子的乘积；

19、所述s5中若本地动态令牌桶中的当前令牌数大于或等于修正消耗令牌数，表示该租户的本地令牌额度充足，则从本地动态令牌桶中扣除修正消耗令牌数，并转发模型调用请求，完成正常请求处理流程；

20、若当前令牌数小于修正消耗令牌数，表示网关节点本地为对应租户缓存的令牌额度已不足以覆盖本次请求的消耗需求，则触发s6的远端配额段申请流程。

21、进一步的，所述s6的具体内容如下：

22、s6.1：网关节点通过s3中已缓存并获取的对象存储节点定位符，定位到管理当前租户全局配额状态的远端存储节点；

23、s6.2：构建配额段申请请求报文，该请求报文包括申请令牌数和本次请求的上下文时间戳；

24、s6.3：将申请请求报文发送至对象存储节点定位符所指向的远端存储节点，网关节点在发送请求后进入限时等待状态，若在规定超时时间内收到远端存储节点的响应，则根据响应类型进入s7的令牌补充与转发流程或限流执行流程。

25、进一步的，所述s7中双重校验包括第一校验和第二校验；

26、所述第一校验为全局配额充足性判断：远端存储节点读取维护的全局剩余配额量，判定全局剩余配额量是否大于或等于本次申请请求中包括的申请令牌数；

27、所述第二校验为动态窗口阈值判断：结合本次申请请求中包括的上下文时间戳，计算动态窗口阈值，并判断申请令牌数与租户在滑动时间窗口内已消耗的总令牌数之和是否未超过该动态窗口阈值；

28、仅当两项校验均通过时，远端存储节点才从全局剩余配额量中扣除申请令牌数，更新当前租户的滑动时间窗口消耗记录，并向网关节点返回包括分配令牌数的成功响应；若任一校验未通过，则远端存储节点拒绝申请请求，并向网关节点返回配额不足的错误响应。

29、进一步的，所述动态窗口阈值的计算公式如下：

30、

31、其中，为租户单位时间内的基准令牌填充速率；为滑动时间窗口大小；为预设的衰减系数；为预设的突发因子；为平均请求间隔；

32、进一步的，所述s7在模型调用请求处理完成后，网关节点接收后端推理服务返回的响应，从响应中提取实际输出令牌数，并以实际输出令牌数对本地动态令牌桶进行核销回补；网关节点正常下线或缩容时，将本地动态令牌桶中尚未消耗的令牌数回收至远端存储节点的全局剩余配额量中。

33、本发明具有如下优点：本发明通过计算修正消耗令牌数，能够区分合理突发流量与恶意占用流量。当租户连续发送请求导致时间间隔减小时，修正消耗令牌数根据衰减系数和突发惩罚因子自动增大，对高频请求施加额外消耗惩罚；当请求间隔增大时，修正消耗令牌数趋近于原始拟消耗令牌数量，正常使用不受影响。该过程由参数自动控制，无需管理员手动调整，实现了对租户使用模式的实时自适应限流。

34、同时，通过handle解析系统将配额策略的引用信息与存储位置分离，解决了集中式方案的策略同步延迟和单点故障问题。更新handle注册记录中的对象版本号后，各网关节点通过解析即可感知变更并拉取最新策略，将同步延迟控制在本地缓存有效期（ttl）内，策略变更的生效时效由ttl设置决定；当远端存储节点故障时，仅需修改对象存储节点定位符指向备用节点，网关节点即可通过解析或强制解析实现无缝切换，避免了单点瓶颈。

35、另外，通过远端存储节点的双重校验和本地动态令牌桶两级管控，实现了全局配额与租户使用模式的联动。远端节点计算动态窗口阈值时引入平均请求间隔，使滑动时间窗口内的配额上限随请求频率自动调节，与本地修正消耗令牌数惩罚相配合，本地修正消耗令牌数a对高频请求施加单次消耗惩罚，远端动态窗口阈值对高频请求同步施加窗口总量收紧，二者均为请求频率的非递减函数，形成本地-远端两级同向限流效应。

36、本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书变得显而易见，或者通过实施本发明而了解。