一种基于多智能体协作与分层测试迭代的工具服务器自动生成方法

摘要: 本发明涉及人工智能(ai)、智能体(agent)系统与软件工程的交叉领域,具体而言,涉及一种基于大语言模型(llm)的工具服务器(toolserver)自动化构...
一种基于多智能体协作与分层测试迭代的工具服务器自动生成方法

本发明涉及人工智能(ai)、智能体(agent)系统与软件工程的交叉领域,具体而言,涉及一种基于大语言模型(llm)的工具服务器(tool server)自动化构建与验证方法。

背景技术:

1、近年来,以大语言模型为核心的智能体系统迅速发展,智能体通过调用外部工具(如检索、计算、数据库访问、第三方应用接口等)来扩展自身能力边界。模型上下文协议(mcp)作为一种标准化的工具暴露与调用协议,使得智能体能够以统一方式发现并调用工具服务器所提供的工具。然而,构建一个符合协议规范、接口定义准确、实现逻辑正确且行为可被验证的工具服务器,目前仍高度依赖人工编写:开发者需要根据需求手工设计工具接口(工具名、参数、类型、约束)、编写服务端实现代码、并补充测试用例,过程耗时且易出错。

2、研究者开始探索利用llm从自然语言说明自动合成工具服务器代码,以减少人工开发成本。既有工作大体分为两类:其一是直接生成,即一次性地由 llm 从需求说明直接产出全部接口与实现代码;其二是朴素多轮生成,即按固定的“生成—修复”脚本对报错进行有限次反应式修补。然而,上述方法在面向 mcp 工具服务器这一具体目标时,仍存在以下根本性局限:

3、(1)需求抽象、规格缺口大:实际场景中给到的往往是抽象的能力需求(系统范围、技术背景、所需能力的功能性描述与关键输入),而非逐字段的接口规约;当需求不完整或存在歧义(如某能力需要对接某外部应用程序编程接口(application programminginterface,api)但未给出其确切字段与取值域)时,仅依赖 llm 内隐知识难以补齐规格缺口,导致接口设计偏离真实约定。

4、(2)接口设计与代码实现脱节:直接生成往往先验地”猜测”接口与实现,缺少在统一约束下先确定工具接口模式(schema,即用于描述工具名称、参数及约束的结构化定义)、再据此落地实现的分阶段机制,使得接口与实现不一致(如声明的参数未被使用、输出与输入无关、硬编码或随机输出等)。

5、(3)修复流程刚性、缺乏自适应:朴素多轮按预定序列对报错作出反应,遇到简单问题产生不必要的计算,遇到复杂问题又缺乏自适应的测试—诊断—修复探索;且多数方法只检查”能否运行”,缺乏对协议合规性、接口保真度、单元功能正确性与下游可用性的系统化、分层化验证。

6、(4)缺乏度量驱动的闭环与安全边界约束:现有方法普遍缺乏以客观度量为核心的收敛准则,难以判断”何时算生成成功”;同时缺乏对工具能力越界(如未经授权地引入文件系统访问、命令执行、任意网络访问、支付下单等危险能力)的审计,存在生成结果功能与安全均不可控的风险。

7、发明人在实践中进一步观察到:当把生成策略从”直接生成”切换为”带沙箱测试迭代的代码智能体”时,失败的主要瓶颈会发生迁移——直接生成的失败大量集中在协议合规与启动环节,而带测试迭代的方式虽显著降低了协议层失败,瓶颈却迁移至单元测试(功能正确性)层。这一”瓶颈迁移”现象表明:单一环节的优化不足以保证端到端可用,需要一条贯穿协议合规、接口保真度、单元功能与下游可用的分层评测闭环,并以分层诊断信号驱动定向修复。

8、需要特别指出的是,另有一类面向符号世界模型的自动生成方法,其生成客体为服务于规划与强化学习的形式化世界模型(例如 规划域定义语言(planning domaindefinition language,pddl)的域文件/问题文件,或实现状态、动作、转移、奖励与终止的可执行环境模型),并以可执行率、领域相似度、组成级f1值(精确率与召回率的调和平均值,用于衡量谓词、参数、前置条件和效果)或预测准确度与规范化回报等面向规划与决策的指标进行评测。然而,该类方法在生成客体、对外协议与评测维度三方面均不适用于本发明所针对的工具服务器构建:其一,生成客体不同——本发明生成的是以模型上下文协议对外暴露、可被智能体独立发现与调用的一组工具,而非供规划器或强化学习回路内部使用的世界模型;其二,对外协议不同——本发明须先在统一命名规则与受约束 jsonschema(显式声明附加属性为假、禁用名为 parameters(参数集合)的字段、约束数组元素项与必填列表等)约束下确定协议合规、可被发现与调用的工具接口,再据此落地实现,而世界模型生成并不涉及此种面向调用协议的接口规约阶段;其三,评测维度不同——本发明引入协议合规与启动、接口保真度(接口模式f1值,即 schema-f1,含基于嵌入向量的语义软匹配)、能力安全边界审计与下游智能体经协议实际调用的可用性等面向协议合规、行为安全与工具调用效用的分层度量,而上述维度在面向规划与强化学习的世界模型评测体系(如可执行率、组成级f1值、预测准确度/规范化回报)中并不存在。因此,工具服务器的自动生成构成不同于符号世界模型生成的独立技术问题,需要专门的协议合规接口规约、协议合规校验、能力安全审计与下游可用性评测机制,二者在客体、协议与评测维度上具有本质差异。

9、综上,现有技术在抽象需求下的知识补齐、接口与实现的分阶段一致性保障、自适应测试迭代以及分层度量驱动的闭环与安全审计方面仍存空白:亟需一种多智能体协作、知识驱动且分层评测闭环的统一方法,使同一工作流可从抽象能力需求自动生成符合mcp规范、接口与行为可验证、能力边界可审计的工具服务器,并在版本一致的分层指标下实现可判定收敛、失败隔离与证据追踪。

技术实现思路

1、本发明所要解决的技术问题是:在以抽象自然语言能力需求驱动的工具服务器自动构建过程中,现有方法普遍存在:(1)需求抽象、规格缺口难以补齐;(2)接口设计与代码实现脱节、一致性难以保障;(3)代码生成方的可见自测与独立评测依据未分离;(4)分层评测缺少统一的准入状态、阈值及异常语义;(5)修复结果与评测结果缺少版本绑定,达到迭代上限时的失败终态不明确。上述问题会导致生成产物虽可启动或自测通过,仍可能接口失真、功能错误、能力越界或下游不可用。为此,需构建一条多智能体、工具增强的自适应流水线,将外部知识合成、工具契约设计、评测基准冻结、服务端代码实现、沙箱测试迭代、四层评测、版本化修复与失败隔离打通,并以同一候选版本的四层强制评测均通过且安全否决条件未触发作为达标条件。

2、本发明解决上述技术问题采用的技术方案是:一种基于多智能体协作与分层测试迭代的工具服务器自动生成方法,所述工具服务器以模型上下文协议(model contextprotocol,mcp)规范对外暴露一组可被智能体调用的工具(tool),用于将自然语言描述的抽象能力需求转化为可执行、可调用、行为一致的服务端代码。本发明采用多智能体协作与工具增强的统一框架,将外部知识检索、工具接口模式(schema,即用于描述工具名称、参数及约束的结构化定义)设计、服务端代码实现、沙箱测试迭代以及分层评测驱动的细化流程进行有机集成,以实现从抽象能力需求到可运行工具服务器的自适应生成与闭环验证。具体包括以下步骤:

3、s1、抽象需求解析、知识合成与评测基准构建,由研究智能体或工具接口智能体执行以下过程:

4、接收抽象能力需求说明文本,解析得到初始接口草案,所述抽象能力需求说明文本包括系统范围、技术背景、所需能力清单;基于抽象能力需求说明文本和初始接口草案形成澄清问题集;对澄清问题集中各项问题构造查询并对公开来源进行检索,对检索结果进行证据抽取与冲突消解,将证据固化为补全片段,并与初始接口草案合并得到符合所述模型上下文协议且满足受数据模式约束的工具接口规格;构造并冻结评测基准包,所述评测基准包与代码生成依据、评测判定依据相互独立,包括真值接口、行为真值契约、预留单元测试及状态夹具、下游任务及其初始状态与评分量表、验收策略、能力授权基准清单;

5、s2、服务端代码生成与沙箱测试迭代,由代码智能体执行,在隔离沙箱中执行以下过程:

6、以所述能力授权基准清单为约束,基于工具接口规格生成初始工具服务器代码作为候选版本,并绑定修订版本标识;为每个工具生成两类契约测试用例:正常输入用例验证合法输入下返回载荷的结构、数据类型、确定性字段、状态后置条件及允许的副作用,非法输入用例验证非法输入被显式拒绝、错误类型和错误信息符合约定且状态不被非预期修改;在一次测试运行中,每个工具的两类用例均被发现、执行并全部通过,才判定生成自测完成;在隔离沙箱中执行生成单元测试并收集失败用例、断言信息与运行期症状作为诊断证据,形成测试运行结果;存在失败时,根据所述测试运行结果实施最小化修复每次生成或修复形成新的修订版本标识,直至自测通过或达到内循环迭代上限;内循环迭代上限输出诊断状态和当前候选版本,存在可运行候选版本时进入分层评测;

7、s3、分层评测,基于所述评测基准包中的验收策略,由评测组件执行以下过程:

8、第一层评测协议合规与启动,对生成接口载荷执行结构合规校验,将所述工具服务器实际启动为可被模型上下文协议客户端发现的运行进程,与其握手并列举运行时接口,以及校验运行时接口与声明接口的一致性;

9、第二层评测接口保真度,通过将所述运行时接口与所述真值接口进行工具集合和参数集合对齐后,按验收策略聚合得到接口保真度;

10、第三层评测单元功能与能力安全边界,执行所述预留单元测试,将工具服务器的输出、错误、状态变化和副作用与行为真值契约进行比对,并将候选能力声明和实际能力调用分别与所述能力授权基准清单进行比对,分别得到功能正确性结果与能力安全结果;

11、第四层评测下游任务可用性,由求解智能体经所述模型上下文协议实际调用所述工具服务器完成所述下游任务,并依据所述评分规则得到下游任务可用性度量;

12、所述验收策略至少规定各层的度量项、聚合规则、准入阈值、最低有效样本数,以及对超时、缺失结果和执行异常的处理规则,将第一层至第四层的结果与证据汇总为分层度量向量,沿第一层至第四层顺序依据同一修订版本的本轮实际结果定位首个非通过层级,对各层失败进行分层归因并自动生成修复项集合;

13、s4、评测驱动修复与定版;迭代控制组件读取修复项集合中的责任智能体、修改对象和最早重入步骤,实际调用对应智能体完成修改,在输出达标判定前,对同一修订版本完整执行全部强制层级的完整回归,仅复用输入内容摘要值未发生变化且未被所述预设修复路由判定为失效的评测结果,不复用历史通过结果或继承结果记录。

14、当同一修订版本的全部层级均为通过时,将其标记为达标状态,冻结声明接口、行为契约、候选能力声明、能力授权基准清单、工具服务器代码、依赖锁定信息、启动命令、测试、状态夹具、评测基准包版本及完整证据链,并登记为合格产物。

15、达到外循环迭代上限时,不再自动冻结为合格产物:能够启动但未通过全部强制门的版本标记为可运行但未达标状态,仅进入隔离归档;不存在可运行版本时标记为失败且无可运行产物状态并输出失败报告。

16、进一步的,所述初始接口草案包括抽取候选工具集合、各工具语义用途与候选参数;

17、所述澄清问题集中的各项问题对应于需求说明文本及初始接口草案相对于生成可执行工具服务器所必需的信息中存在的缺失项、歧义项或冲突项;

18、所述补全片段溯源信息、候选值、来源类型、适用协议或外部接口版本、生效时间与内容摘要值、与抽象能力需求说明文本的适配关系及跨来源一致性,并依据预设的证据裁决策略计算可信度;所述证据裁决策略至少包含来源等级、版本适用性、时效性和独立来源一致性;其中证据的优先级设置如下:与目标版本匹配的官方规范性文档优先于官方示例或参考实现,官方示例或参考实现优先于其他公开来源。对于同一字段存在冲突且无法由所述策略唯一裁决的情形,将该字段标记为未解决,不将其写入补全片段,并输出包含冲突值及其来源的冲突报告;当未解决字段属于必需接口项、行为约束或能力授权项时,终止该候选的达标生成流程,或者在取得外部澄清后重新执行。

19、进一步的,所述工具接口规格明确为声明接口,并另行形成行为契约;

20、工具接口规格中每个工具包括工具名称、工具描述及inputschema(输入模式字段);输入模式的根节点固定为object(对象)类型,根对象显式声明additionalproperties=false(附加属性为假,表示不允许未声明属性),并给出完整的properties(属性集合)和required(必填属性)列表;string(字符串)、number(数值)、integer(整数)、boolean(布尔值)、array(数组)、object(对象)及null(空值)为属性节点可采用的类型,只有用于表达键名不固定数据的嵌套动态对象才允许声明additionalproperties=true(附加属性为真),并须同时说明动态键和值的含义。

21、行为契约包括输出模式字段、错误契约字段、状态契约字段、副作用契约字段和候选能力声明,所述候选能力声明按能力类别、资源范围、操作类型和边界条件记载候选实现拟使用的能力,且不得超出评测基准包中能力授权基准清单所允许的范围。候选能力声明本身不产生授权,未被所述能力授权基准清单明确允许的危险能力均视为未获授权。

22、进一步的,所述初始工具服务器代码满足以下结构要求:继承统一基类;通过快速模型上下文协议服务组件注册服务并重写服务初始化方法,以工具装饰器注册全部工具且工具名与参数名与所述工具接口规格一致、各参数具有显式类型注解;实现状态保存方法与状态恢复方法以支持内部状态的序列化保存与恢复;工具输出由输入和内部状态动态推导,不得硬编码或随机生成,且全部声明参数均在工具逻辑中被使用。

23、进一步的,所述测试运行结果至少包含进程退出码、发现的测试数量、执行数量、通过数量、失败数量、超时标志及依赖加载异常;只有在测试集合非空、每个工具的两类用例均被执行、进程正常退出且全部断言通过时,才判定本轮生成自测通过;测试数量为零、测试未被收集、发生超时、依赖加载失败或执行器异常时,均不得记为通过;

24、达到内循环迭代上限而生成单元测试仍未全部通过时,输出内循环达到上限诊断状态和当前候选版本;存在可运行候选版本时进入分层评测以获得进一步诊断,不存在可运行候选时直接进入外循环修复路由;内循环达到上限本身不终止外循环,也不使候选版本取得达标状态。

25、进一步的,进行所述分层评测时,第一层仅在结构合规、服务器启动成功并且运行时接口与声明接口一致时通过;第二层仅在接口保真度达到第二层阈值时通过;第三层仅在非空的预留测试集达到功能阈值且能力安全子项通过时通过,其中发现未经授权的危险能力对第三层实行否决;第四层仅在满足最小任务数量且下游可用性度量达到第四层阈值时通过;

26、进一步的,在进行第二层评测时,从评测基准包读取真值接口,将运行时接口与真值接口对齐,具体先做工具名集合匹配,再对匹配工具做参数集合匹配,分别计算工具名f1值与参数f1值,聚合得到接口保真度;

27、进一步的,所述第三层评测具体执行以下过程:

28、在状态重置后的隔离沙箱中执行评测基准包内冻结的非空预留单元测试,度量各工具实现相对于评测基准包中行为真值契约的功能正确性;同时由审计组件检查声明接口、运行时接口、实现代码与调用轨迹,并由沙箱能力监测组件记录实际能力调用,将候选能力声明和实际能力调用分别与能力授权基准清单进行比对;所述实际能力调用包括实际发生的文件系统访问、命令执行或进程控制、任意网络访问、认证或密钥处理、支付或下单、个人数据访问、消息发送或发布以及远程设备控制操作;候选能力声明超出授权基准、实际发生未获授权的能力调用、或者现有审计证据不能证明所述调用处于授权范围内时,安全子状态为未通过;审计组件未产生结果或结果无法解析时,安全子状态为执行异常;仅当功能子状态与安全子状态均为通过时第三层为通过,安全子状态为未通过时否决达标状态。

29、进一步的,所述第四层评测具体执行以下过程:

30、从评测基准包读取已在代码生成前冻结的下游任务及其初始状态与评分量表,每个下游任务至少包含任务输入、初始状态夹具、可观察成功条件、允许与禁止的副作用、最大调用次数、时间预算及评分量表;每次任务执行前将工具服务器恢复至对应初始状态,并以该工具服务器作为求解智能体的唯一可调用工具集;由求解智能体经模型上下文协议实际调用所生成工具求解任务,收集调用轨迹;再由评判智能体依据评分量表对可观察结果与调用轨迹完成质量打分,汇总得到下游任务可用性度量;

31、下游可用性度量可按验收策略规定的重复次数和聚合规则计算,任务数低于最低有效样本数、求解过程超时、评判结果无法解析或状态无法复位时,第四层记为执行异常。

32、进一步的,四个评测层级映射关系为:第一层映射至协议结构类,修复对象为接口结构项;第二层映射至接口保真度类,修复对象为缺失、冗余或参数不匹配的工具接口项;第三层同时映射至单元功能类和能力安全类,单元功能类的修复对象为具体工具实现缺陷;能力安全类的修复对象为候选能力声明、运行时权限或实现中的越界能力点;第四层至下游任务类,修复对象为由失败调用轨迹定位的接口项、行为契约项或实现点;每条修复项按照触发用例或层级、失效断言或症状、建议修改的结构记录,并附测试工件、日志时间戳、随机种子、版本号及来源构成的证据链。

33、所述实际调用对应智能体完成修改,具体如下:

34、接口结构问题与接口保真度问题交由研究智能体修改工具接口规格或行为契约,并从s1重入;

35、启动与功能问题由代码智能体修改代码、依赖或状态处理,并s2重入;

36、安全问题由研究智能体与代码智能体在不扩大能力授权基准清单的条件下收缩候选能力声明、运行时权限策略及实现;仅在取得经溯源的新授权证据并生成新评测基准包版本时,允许修改所述能力授权基准清单;

37、下游问题先判定属于接口缺陷还是实现缺陷,再分别按前述路径重入。每次修复生成新的不可变修订版本标识,并记录声明接口、行为契约、代码、测试、状态夹具、评测基准包、验收策略及运行环境的内容摘要值。

38、接口规格、行为契约或能力授权基准清单发生变化时,使第一层至第四层的既有结果失效;代码、依赖或状态夹具发生变化时,至少使第一层、第三层和第四层失效,且只有在声明接口与运行时接口的内容摘要值均未改变并经第一层复核后才可复用第二层结果;测试、任务集、评分规则或验收策略发生变化时,使使用该内容的层级及其后续层级失效;对未失效结果进行复用时,迭代控制组件基于完全一致的层输入内容摘要值生成绑定当前修订版本标识的继承结果记录,并记录继承来源版本标识;历史版本的原始结果不得直接参与当前候选的达标聚合;在输出达标判定前,对同一修订版本完整执行全部强制层级的完整回归,不复用历史通过结果或继承结果记录。

39、本发明的有益效果是:

40、1)抽象需求下的知识合成:在生成前由研究/接口智能体主动检索外部公开知识并补齐规格缺口与歧义,降低一次性直接生成导致的接口偏离与”参数未使用、输出与输入无关”等结构性缺陷。

41、2)候选工具契约与实现的分阶段一致性保障:先形成包含声明接口以及输出、错误、状态、副作用和候选能力声明的行为契约,再据候选工具契约落地实现,并以严格的名称、参数、行为与能力边界约束代码生成,提升接口、行为与实现的一致性。

42、3)自适应沙箱测试迭代:以”工具契约”式单元测试(每工具 ok(正常输入)+invalid(非法输入) 双用例)与测试执行—分析工具构成自适应的测试—诊断—修复闭环,相较固定脚本式修复更稳健、更省算力。

43、4)分层度量驱动且版本一致的闭环收敛:通过验收策略使各层输出可机器判定的通过、未通过、未执行或执行异常状态,并将评测结果与不可变修订版本及输入内容摘要值绑定,避免将不同版本的历史结果拼接为达标结论;选择性回归与定版前全量回归相结合,在降低重复评测开销的同时维持判定一致性。

44、5)能力安全边界发现与阻断:以独立冻结的authorizationmanifest(能力授权基准清单)作为审计基线,将候选能力声明和实际能力调用分别与所述授权基准进行比对,并对未经授权的危险能力实行否决;优选结合沙箱运行时权限限制,使审计模型用于发现风险而不被表述为独立的运行时安全保证。

45、6)自动化、可追溯、可复现:在评测基准包由预置结构化资料提供或者由独立评测基准构建单元自动构造的情况下,生成、测试、修复与回归过程无需在每轮迭代中由人工逐项标注;系统同时固化证据来源、冲突记录、提示词、屏蔽名单、随机种子、修订版本标识、内容摘要值、验收策略及运行环境,便于复现和审计。对无法自动裁决的必要规格冲突,系统输出未解决状态和冲突报告,而不以任意推断继续生成达标产物。