基于流式传输首字断路的多大模型服务商路由方法及系统与流程
本发明属于人工智能大模型服务网关、云计算服务调度,具体涉及一种基于流式传输首字断路的多大模型服务商路由方法及系统。
背景技术:
1、大语言模型服务通常由多个模型服务商或多个部署集群共同提供。业务系统为了兼顾成本、速度、稳定性和模型能力,通常会在服务网关层配置多级路由策略,例如优先请求低成本服务商,当请求失败或超时后再切换到高速度或高可用服务商。然而,大语言模型服务大量采用服务器推送事件sse、websocket、http分块传输编码或grpc流式传输等流式协议,其服务异常并不总是表现为连接失败或整体超时。例如,某服务商可能在较短时间内完成tcp/tls/http握手并返回响应头,但首个有效token长时间不出现;也可能已经输出前若干token后,后续token间隔突然增大,导致用户端体感卡顿。此时如果仍等待整体超时再切换,会造成明显的端到端延迟。此外,简单的并发请求多个服务商虽然可以降低延迟,但会显著增加token消耗和服务成本,若多个服务商同时生成完整回答,还可能导致计费浪费、上下文状态难以管理以及流式输出不一致等问题。因此,需要一种针对大模型流式响应特点的网关路由机制,在不显著增加成本的前提下,尽早识别首字慢、半路卡顿、token间隔异常等流式退化状态,并通过受控的影子抢跑和熔断接管提高用户体验和系统可用性。
2、现有技术中,传统的瀑布式路由方案多以请求整体超时或连接失败作为服务商切换的依据,主要存在缺陷包括:第一,传统路由以整体超时为故障判定标准,不能及时处理首字延迟过高或token间距突增的流式退化状态,导致切换滞后、端到端延迟明显;第二,部分服务商连接已建立但生成过程停滞,传统握手超时检测无法发现该类问题,造成无效等待和资源浪费;第三,已输出少量token后再发生卡顿时,普通重试会破坏流式响应的连续性,容易造成重复内容或上下文不一致,影响用户体验;第四,全量并发请求多个服务商虽然速度快,但token成本高昂,缺乏成本受控的抢跑触发条件,难以在延迟和成本之间取得平衡;第五,现有熔断机制多针对http错误率、整体延迟或连接失败设计,缺少基于首字延迟和token间距的流式健康度指标,无法准确反映流式服务的实际运行状态。
3、有鉴于此,特提出本发明。
技术实现思路
1、本发明的一个目的在于,解决传统路由对流式退化感知滞后、重试破坏连续性以及并发请求成本高等问题。
2、为实现上述目的,本发明提供了一种基于流式传输首字断路的多大模型服务商路由方法,包括:
3、接收并解析客户端的大模型流式请求,并基于路由策略从服务商队列中确定主服务商和至少一个备用服务商;
4、向所述主服务商发起流式请求,并在请求生命周期内对主服务商进行多阶段质量监测,所述多阶段质量监测包括连接建立阶段的质量监测和输出生成阶段的质量监测;基于所述多阶段质量监测的结果,判断主服务商是否满足可用性要求;
5、当所述主服务商在未完全超时但满足预设抢跑触发条件时,向所述备用服务商发起影子流式请求,所述影子流式请求的输出在提交前被缓存在网关侧候选流缓冲区;
6、分别对所述主服务商和所述备用服务商的候选流进行稳定输出判定,将率先满足稳定输出条件的候选流确定为胜出流,并将所述胜出流的缓冲内容及后续内容发送至客户端;
7、取消除所述胜出流以外的其他候选流,并基于各服务商在本次请求中的流式健康指标更新服务商健康状态或熔断状态。
8、进一步地,所述基于路由策略从服务商队列中确定主服务商和至少一个备用服务商的步骤,包括:基于模型能力匹配、地域可用性、账号额度充足性和健康状态正常性中的至少一项,从全局服务商列表中筛选出候选服务商集合;对所述候选服务商集合按照路由策略进行排序,形成有序的服务商队列;所述路由策略包括成本优先、速度优先、模型质量优先、健康评分优先或地域亲和性优先中的一项或多项加权组合;根据业务等级和策略配置,将所述有序的服务商队列划分阶梯;其中第一阶梯为低成本服务商,第二阶梯为高速备用服务商,第三阶梯为高可用兜底服务商;不同阶梯的服务商具有不同的触发阈值参数和稳定输出判定标准;选取第一阶梯服务商作为主服务商,选取第二阶梯或第三阶梯服务商作为备用服务商;所述备用服务商的数量根据业务等级配置,高优先级业务配置至少两个备用服务商,普通业务配置一个备用服务商或零个备用服务商。
9、进一步地,向所述主服务商发起流式请求,并在请求生命周期内对主服务商进行多阶段质量监测,基于监测结果判断主服务商是否满足可用性要求的步骤,包括:基于主服务商的接口规范建立与所述服务商的流式通信连接,并记录请求发起时刻;在第一时间窗口内,对通信连接的建立过程进行多环节分段监测,每个环节设有独立的耗时阈值,若任一环节耗时超过对应阈值则判定连接建立失败;所述第一时间窗口在连接建立完成后关闭;在第二时间窗口内,监测首个有效响应片段的到达时间,若首片段延迟小于首片段到达阈值则判定首片段正常到达,若首片段延迟达到首片段到达阈值则判定首片段超时,若首片段延迟达到首片段到达阈值的预设比例但尚未达到首片段到达阈值则触发首片段延迟预警;在所述第二时间窗口内,收到首个有效响应片段后,监测相邻响应片段之间的时间间隔,若连续多个片段间隔超过片段间隔阈值或自上次片段到达后的经过时间达到最大间隙阈值,则触发片段间隔异常预警;所述第二时间窗口在连接建立完成后启动并持续至流式输出结束、请求被取消或请求超时;综合所述第一时间窗口和所述第二时间窗口的监测结果进行可用性判定:两个窗口均无异常,则判定主服务商可用;所述第一时间窗口无异常但所述第二时间窗口触发预警,则判定主服务商预警可用;任一时间窗口触发失败,则判定主服务商不可用。
10、进一步地,所述预设抢跑触发条件包括:自请求发起后经过的时间大于等于alpha与首字延迟阈值的乘积,且尚未收到首个有效token;或者,最近一次token间距大于等于beta与token间距阈值的乘积,且连续慢token次数达到m;其中,所述首字延迟阈值、token间距阈值、影子触发比例alpha或token间距比例beta中的至少一项为固定值,或基于模型类型、提示词长度、历史分位数、地域、账号额度、时间段或业务等级动态计算;并且/或者,所述当满足预设抢跑触发条件时,向所述备用服务商发起影子流式请求的步骤,包括:从预先确定的备用服务商队列中,根据业务等级选择一个或多个备用服务商;所述备用服务商队列包括多级阶梯,按阶梯顺序依次选定备用服务商发起影子请求,高优先级业务配置为向多个备用服务商并发发起影子请求;使用预先构建的参数映射规则,将原请求参数转换为备用服务商所需的格式,并向备用服务商发起流式请求;所述影子请求在后台进行,其输出不直接发送至客户端;记录影子请求的发起时间戳;主服务商的流与影子流并行运行,直至其中一个候选流被选定为胜出流,主服务商在并行运行期间不被取消以保留其恢复正常的可能性。
11、进一步地,所述影子流式请求的输出在提交前被缓存在网关侧候选流缓冲区的步骤,包括:为主服务商的流和每个备用服务商的影子流分别分配独立的候选流缓冲区;每个缓冲区存储对应流的token内容、token到达时间戳、token序号、累计字符数、累计token数和服务商标识中的至少一项;所述缓冲区按token数、字节数、时间长度或语义边界中的至少一项进行缓冲控制,在满足提交条件前不向客户端转发;所述缓冲控制的最小提交token数、最小提交字节数、最小缓冲时长或语义边界规则根据业务等级或服务商类型独立配置;所述缓冲区在影子请求发起时初始化,并在对应流被选定为胜出流或被取消时释放。
12、进一步地,所述分别对所述主服务商和所述备用服务商的候选流进行稳定输出判定的步骤,包括:将主服务商的流和各备用服务商的影子流注册为候选流,为每个所述候选流初始化判定上下文;所述判定由token到达事件驱动或定时器触发,每次token到达时记录时间戳、将token内容写入候选流缓冲区、更新token计数器和累计字符数,若为首个token则计算首字延迟ttft并与首字延迟阈值比较,若非首个token则计算当前token间距token 间时间间隔并更新最近k个token的平均token 间时间间隔和最大token 间时间间隔,判断当前token 间时间间隔是否超过token间距阈值并维护连续慢token计数器;定时触发时检查自上次token到达后经过的时间是否超过最大间隙阈值以及缓冲时长是否达到最小提交时长;每次判定触发后,采用规则引擎、机器学习模型或强化学习策略中的至少一种进行综合评估;所述综合评估条件包括首字到达、token间距稳定性、缓冲量、错误状态和成本预算中的至少一项,将满足所有条件的候选流标记为可提交并通知仲裁模块;判定结果包括未达标、已达标、已失效和已淘汰四种类型,记录判定过程中的关键事件和时间点。
13、进一步地,将所述胜出流的缓冲内容及后续内容发送至客户端的步骤,包括:所述胜出流确定后,将其缓冲区内已缓存的token内容按顺序发送至客户端;缓冲内容发送完毕后,所述胜出流的后续输出不再经过缓冲区,直接转发至客户端;用户端感知到的等待时间接近所述胜出流的首字时间,且小于所述主服务商的首字延迟阈值与所述备用服务商的首字时间之和;并且/或者,其中,所述取消除所述胜出流以外的其他候选流的步骤,包括:在胜出流确定后,向每个未胜出的候选流发送取消信号;所述取消信号包括关闭http连接、发送http/2 rst_stream帧、调用服务商取消接口、停止读取响应数据流或标记请求不再计费中的至少一种;当所述主服务商尚未输出首个有效token时取消;取消后,释放所述候选流对应的网络连接、缓冲区内存和会话资源。
14、进一步地,所述方法还包括:若客户端已经收到主服务商的部分提交内容,而后续发生token间距异常或流中断,则判断备用服务商的候选输出与已提交内容的前缀兼容性;若兼容,则从备用服务商的未提交部分继续转发;若不兼容,则向备用服务商发起带有已提交内容的续写请求;若续写不可行,则执行降级处理。
15、进一步地,所述流式健康指标包括握手耗时、首字延迟ttft、token间距分布、慢token次数、抢跑触发结果、取消时间、接管结果、token消耗和用户侧总延迟中的至少一项;所述基于各服务商在本次请求中的流式健康指标更新服务商健康状态或熔断状态的步骤,包括:若服务商在滑动时间窗口内首字延迟超阈比例超过首字延迟超阈比例的百分比阈值,则进入预警状态并降低路由权重;若token间距超阈次数或半路停滞次数超过token间距超阈或流停滞的累计次数阈值,则进入熔断状态并暂停流量;若服务商连续多次请求均触发抢跑或被接管,直接进入熔断状态;处于熔断状态的服务商在冷却期后通过半开探测请求评估恢复情况;若探测成功,则恢复部分流量并逐步提升路由权重;若探测失败,则延长熔断时间或降低路由优先级。
16、另一些实施例中,提供一种基于流式传输首字断路的多大模型服务商路由系统,其特征在于,能够执行上文中任一项所述的基于流式传输首字断路的多大模型服务商路由方法;所述系统包括:请求接收与路由模块,用于接收并解析客户端的大模型流式请求,并基于路由策略从服务商队列中确定主服务商和至少一个备用服务商;多阶段质量监测模块,用于向所述主服务商发起流式请求,并在请求生命周期内对主服务商进行多阶段质量监测,所述多阶段质量监测包括连接建立阶段的质量监测和输出生成阶段的质量监测;基于所述多阶段质量监测的结果,判断主服务商是否满足可用性要求;影子抢跑模块,用于当所述主服务商在未完全超时但满足预设抢跑触发条件时,向所述备用服务商发起影子流式请求,所述影子流式请求的输出在提交前被缓存在网关侧候选流缓冲区;稳定输出判定与胜出流选择模块,用于分别对所述主服务商和所述备用服务商的候选流进行稳定输出判定,将率先满足稳定输出条件的候选流确定为胜出流,并将所述胜出流的缓冲内容及后续内容发送至客户端;流清理与健康更新模块,用于取消除所述胜出流以外的其他候选流,并基于各服务商在本次请求中的流式健康指标更新服务商健康状态或熔断状态。
17、基于前文的描述,本领域技术人员能够理解的是,本发明通过接收请求后选定主服务商和备用服务商,对主服务商进行连接建立和输出生成两个阶段的质量监测;当主服务商出现首字慢或token卡顿迹象但尚未超时时,提前向备用服务商发起影子请求并缓存其输出;将率先满足稳定输出条件的流确定为胜出流发送给客户端,取消其他流并更新服务商健康状态,本发明能够显著降低端到端延迟、提高流式响应连续性、控制token成本、增强系统可用性并支持精细化运维。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com