一种面向异构多大语言模型服务的智能路由与模型能力解析系统及方法与流程

本发明涉及人工智能与计算机软件，更具体的说是涉及一种面向异构多大语言模型服务的智能路由与模型能力解析系统及方法。

背景技术：

1、基于大语言模型的智能编程代理（ai coding agent）被广泛用于代码阅读、编辑、命令执行和工具调用等开发任务。此类代理在一次会话中通常需要反复向大语言模型服务发起流式请求，并将模型返回的工具调用意图转化为对本地文件系统、命令行、检索服务和外部工具的实际操作。现有智能编程代理在与大语言模型服务对接时，普遍存在以下几类技术问题。

2、1.单一厂商绑定导致缺乏跨厂商的可靠性与成本弹性：现有代理大多绑定单一模型厂商的专有协议，一旦该厂商服务出现容量不足、限流、过载或临时故障，会话即告中断，用户没有可用的自动降级路径。同时，用户也无法根据成本和时延在多个可互换的模型端点之间灵活选择；

3、2.同名开源模型在不同端点上存在能力歧义：随着开源大模型的流行，同一个开源模型名称会被多个不同厂商的推理端点同时提供服务。然而，这些端点对同一模型名称实际支持的上下文窗口大小、最大输出长度、是否支持扩展思考、推理强度档位以及缓存计费等真实参数往往各不相同，甚至默认行为完全相反——例如同一模型名称在a厂商端点默认开启思考，在b厂商端点却默认关闭思考。现有技术以“模型名”作为能力查找的唯一键，导致两个问题：一方面，无法区分同名模型在不同端点上的真实能力差异；另一方面，在一个端点上通过实际请求探测学到的能力结论会错误地串染到另一个提供同名模型的端点，造成后续请求参数错配、被服务端以4xx状态码拒绝，或引发过度推理、上下文超限等故障；

4、3.不同厂商的思考与推理接口难以统一控制：不同厂商对扩展思考和推理能力采用互不兼容的接口形态，有的在响应中自动携带推理内容而不接受任何请求参数；有的要求在请求中携带思考对象并声明启用或禁用；有的要求携带启用布尔字段；还有的采用厂商定制的接口形态。不仅如此，思考预算参数这一维度在同一接口形态下也会因端点不同而不同——例如a端点接受嵌套在思考对象内的预算token数，b端点只接受推理强度档位而不接受预算参数，c端点规定预算与档位互斥。现有技术缺乏一套既能屏蔽这种异构性、又能保留每端点真实事实的统一控制机制；简单地省略激活参数往往无法关闭默认开启思考的模型，反而持续消耗token；

5、4.模型能力信息静态、难以在免更新客户端的情况下纠偏：模型能力随时间变化，尤其是新发布或被重命名的模型。现有技术通常将能力信息硬编码在客户端中，无法在运行时安全地下发更新，也缺乏当客户端下发的能力声明与真实api行为产生矛盾时自动隔离该声明的自纠错机制，更缺乏对安全敏感维度不能被远程下发声明削弱的信任边界控制。

6、因此，如何提供一种面向异构多大语言模型服务的智能路由与模型能力解析系统及方法是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种面向异构多大语言模型服务的智能路由与模型能力解析系统及方法，以统一提供方接口为契约，通过零协议转换的装饰器链将失效转移、并发竞速、统一思考控制等高阶行为逐层包裹在基础提供方之上；以端点标识与规范能力模型标识的组合作为贯穿能力解析、健康度熔断和路由提示的统一身份；并配合一份可回滚的、携带权威级别和自诊断能力的模型能力仲裁表，实现对每个端点—模型组合的精确、安全和可自纠错的能力解析。

2、为了实现上述目的，本发明提供如下技术方案：

3、一种面向异构多大语言模型服务的智能路由与模型能力解析系统，包括：

4、统一提供方接口，统一提供方接口定义流式请求方法、提供方名称、构造种类、发往接口的线上模型标识以及用于能力参数库查找的规范能力模型标识，上层引擎仅依赖统一提供方接口而不依赖具体厂商的实现；

5、多个基础提供方，每个基础提供方封装一个大语言模型服务端点并实现统一提供方接口，多个基础提供方中至少有两个不同端点以相同的模型名称对外提供服务；

6、能力解析模块，用于在运行过程中确定各端点—模型组合的真实能力，能力解析模块包括：

7、探测学习缓存，以端点标识与模型标识的组合为键，存储从各端点对真实请求的响应或拒绝行为中学到的能力真值；

8、模型能力仲裁表，从远端下发且仅驻留在内存中，按模型名称组织，表中的每个能力维度标注有权威级别，权威级别至少分为决定性、提示性和关闭三档；

9、解析逻辑，当查询一个端点—模型组合在一个能力维度上的取值时：如果探测学习缓存中已存在该端点—模型组合针对该维度的探测真值，则返回该探测真值，同时模型能力仲裁表中与该模型名称对应的、权威级别为决定性的云端值对该端点降级为咨询性；如果缓存中不存在探测真值且模型能力仲裁表中该维度的权威级别为决定性，则返回云端值；降级仅作用于已探测的端点，其他提供同一模型名称的未探测端点仍以云端值作为决定性结果；

10、至少一个高阶提供方，以装饰器模式包裹在基础提供方之上，高阶提供方实现统一提供方接口，在不对请求体与响应体进行跨协议格式转换的条件下提供失效转移、并发竞速、思考控制中的至少一项功能；

11、其中，能力解析模块的缓存键，以及各高阶提供方对提供方实例的身份标识，均统一采用端点标识与规范能力模型标识的组合。

12、可选的，模型能力仲裁表的解析按以下固定顺序执行，任一环节未通过则返回未命中：

13、全局熔断检查、模型名称匹配、自诊断隔离检查、能力维度存在检查、控制启用检查、灰度命中检查、安全下限降级、陈旧衰减降级，以及依据最终权威级别返回决定性结果或提示性结果。

14、可选的，安全下限降级为：预定义一个安全敏感维度集合，当一个能力维度属于安全敏感维度集合时，即便云端下发时标注为决定性，也强制将其权威级别降为提示性。

15、可选的，灰度命中检查采用确定性判定：以安装实例标识、模型标识和能力维度三者组合的哈希值对一个预设模数取模，如果取模结果小于该维度的灰度比例则判定命中，使得同一安装实例对同一模型和维度的灰度判定结果在多次重启之间保持一致。

16、可选的，自诊断隔离检查包括：当一端点的真实请求响应行为与模型能力仲裁表中的决定性能力声明相矛盾时，将模型规范名与能力维度的组合加入本地隔离集，之后对组合的解析不再采信该云端值，直至下一次新的模型能力仲裁表下发时清空本地隔离集；向远端上报隔离事件时，仅上报模型规范名、能力维度和模型能力仲裁表版本，不上报任何具体的云端能力值。

17、可选的，陈旧衰减降级为：当模型能力仲裁表超过预设时限未获得刷新时，将表中所有标注为决定性的权威级别降级为提示性。

18、可选的，能力解析模块还对远端下发的模型能力仲裁表进行数字签名验证，验证通过后方予以应用；对本地部署人员直接提供的能力配置文件则予以信任而免于数字签名验证；在解析权威级别字段时，对无法识别的权威取值按提示性处理而不升级为决定性；对取值越界的单个能力维度予以丢弃而不影响同一行中其他维度的正常使用；对版本号不高于当前已生效版本的模型能力仲裁表予以忽略。

19、可选的，模型标识包括发往服务端接口的线上标识和用于能力参数库查找的规范能力模型标识，线上标识在部分端点上表现为不透明的部署标识；探测学习缓存的读写、模型能力仲裁表的匹配，以及一切能力参数库的查找，均以规范能力模型标识为键，而非以线上标识为键。

20、可选的，高阶提供方包括一个失效转移提供方，失效转移提供方维护一个有序的候选提供方列表并按序尝试，其中：

21、以提供方名称与规范能力模型标识的组合作为健康身份键，分别记录各提供方的失败计数和冷却截止时间，使得共享同一名称的不同端点的熔断状态相互独立；

22、当一个提供方的连续失败次数达到预设阈值时，该提供方进入冷却期，冷却时长等于一个基础冷却窗口乘以失败计数与一个预设封顶倍率二者中的较小值，该提供方在冷却期内被跳过不尝试；当该提供方后续成功时，失败计数清零；

23、仅对容量压力类错误触发切换到下一候选提供方，对瞬时类错误由同一提供方原地重试。

24、可选的，失效转移提供方还执行中途失效转移：当流式响应已开始输出后，当前提供方中途报告一个可转移错误时，不将错误向上层传递，而是启动一个排空协程以消费该提供方的剩余流数据并设置排空超时，在排空完成或超时后，按候选列表顺序在单次请求的最大尝试次数范围内切换到下一候选提供方；切换成功后，向上层发出一个表示已发生失效切换的信号项，并转发新提供方的后续流数据。

25、可选的，在切换到与当前提供方使用不同模型的后继提供方之前，以规范能力模型标识判断是否更换了模型；如果更换了模型，则从历史消息中移除思考内容块和被隐去的思考内容块；如果移除后有消息的内容为空，则填入预设的占位文本。

26、可选的，容量压力类错误的判定方式为：将错误消息转为小写后，检查是否以数字token边界匹配的方式包含预设的http状态码，或者是否匹配预设的限流、请求过多、过载或容量不足的文本模式；数字token边界匹配要求状态码数字在错误消息中的前后字符均为非数字字符。

27、可选的，高阶提供方包括一个竞速提供方，竞速提供方将同一请求同时发往至多预设数量的多个提供方，每个提供方各分配一个具有独立可取消上下文的协程，各协程仅等待对应提供方产生的第一个流数据项；以原子布尔的比较并交换操作确定唯一的赢家，最先产出第一个有效流数据项并成功设置赢家标志的提供方获胜，第一个流数据项无效的提供方弃权；确定赢家后，对所有非赢家提供方发出取消指令，各落败协程取消自身并启动一个带超时的排空协程以释放资源；由赢家协程先向上层发出一个携带赢家元数据的系统通知项，再重新发送赢家的第一个流数据项并继续转发其后续流数据项；赢家协程还设置放弃计时器，当上层停止读取且未取消上下文时，在超时后释放赢家资源。

28、可选的，高阶提供方包括一个思考提供方，思考提供方将不同厂商的思考或推理接口抽象为若干思考范式，思考范式至少包括：响应中自动携带推理内容的第一范式、请求中携带思考对象的第二范式，以及请求中携带启用布尔的第三范式；

29、思考提供方按预设优先级检测每个端点—模型组合实际适用的思考范式，优先级依次为：能力档案中记录的范式、模型家族恒推理判定、端点声明的控制接口类型、家族级默认范式；

30、思考提供方将思考预算参数是否可用、参数在请求体中的字段位置、预算下限值，以及预算与推理强度档位是否互斥，作为端点级事实从匹配的端点配置中读取，使得同一思考范式在不同端点上可采用不同的预算参数设置；

31、思考提供方对默认开启思考的模型，在需要关闭思考时生成显式的去激活信号并发送给对应模型。

32、可选的，推理强度档位按以下优先级确定：最高优先级为环境变量覆盖，次高优先级为用户显式设置，最低优先级为模型默认值；其中模型默认值先查询模型能力仲裁表中针对该模型的决定性推理强度档位，若无则取厂商出厂默认值；当用户请求的档位超出模型支持的最高档位时，自动将其限制为模型支持的次高档位。

33、可选的，还包括会话级的成本核算模块，以实际应答的模型身份为归集键，累计每次流式回合的输入token数量、输出token数量和费用，计算两项反事实指标：假设全部请求由成本最低的单一端点处理的总成本，以及假设全部请求由成本最高的单一端点处理的总成本，并给出每个请求平均成本最低的推荐端点；成本核算模块的输出仅用于界面展示，不自动更改路由决策。

34、可选的，还包括统一构造入口和端点探测模块；统一构造入口根据规格描述中的构造种类字段将提供方规格分派至对应的厂商实现；当构造种类字段为空时，依据模型标识和端点地址自动推测种类；当自动推测无法得出确定结论时，构造候选提供方并以一次轻量验证请求进行实时端点探测，探测结果按端点地址在进程内缓存，避免对同一端点重复探测。

35、一种面向异构多大语言模型服务的智能路由与模型能力解析方法，应用于聚合了多个大语言模型服务端点的编程代理运行时，多个端点中存在至少两个不同端点以相同的模型名称对外提供服务，包括以下步骤：

36、以端点标识与模型标识的组合为键，为每个端点—模型组合维护一个探测学习缓存，缓存中存储的能力真值来源于各端点对真实请求的响应或拒绝行为；

37、在内存中维护一份从远端下发的模型能力仲裁表，模型能力仲裁表按模型名称组织，每个能力维度附带一个权威级别，权威级别至少包括决定性、提示性和关闭三档；

38、当需要确定一个端点—模型组合在一个能力维度上的取值时，先查询探测学习缓存中是否已有该组合针对该维度的探测真值；

39、如果有，则以探测真值作为解析结果，并将模型能力仲裁表中与模型名称对应的、原本标注为决定性的云端值对该端点降级为咨询性；

40、如果没有并且模型能力仲裁表中该维度的权威级别为决定性，则以云端值作为解析结果；

41、降级仅作用于已被探测的该端点，对提供同一模型名称的、尚未被探测的其他端点，模型能力仲裁表中的决定性云端值仍照常适用。

42、经由上述的技术方案可知，与现有技术相比，本发明提供了一种面向异构多大语言模型服务的智能路由与模型能力解析系统及方法，具有以下有益效果：

43、1.本发明通过统一提供方接口与零协议转换装饰器链，将异构多厂商大语言模型服务对上层透明聚合为单一服务，上层引擎无需感知厂商差异，一个接口适配全部后端；

44、2.通过端点—模型双键能力解析，彻底消除同名开源模型跨端点的能力歧义与探测结论串染，使每个端点解析出各自正确的真实能力而无需任何人工配置，并对未探测端点保持零回归兼容；

45、3.通过可回滚、带权威级别与自诊断能力的云端能力仲裁表，在不发布客户端新版本的前提下安全地下发和纠偏模型能力，并以安全下限、确定性灰度、自诊断隔离、陈旧衰减、签名验证和前向兼容降级等机制构成完整的信任边界与失效安全体系；

46、4.通过封顶指数退避熔断、双键健康身份、中途排空—超时—降级状态机和跨模型思考块剥离，实现可靠的跨厂商自动失效转移，且双键设计确保同名端点之间互不串扰；

47、5.通过首字节竞速与完备的资源回收（落败排空、放弃检测），显著降低响应时延尾部而不泄漏协程资源；

48、6.通过思考范式统一抽象与端点/范式事实解耦，屏蔽异构思考接口并保留每个端点真实事实，以显式去激活信号和用户主权优先的推理强度解析，实现跨厂商一致的思考控制和成本节约。