一种基于AI图像处理平台的大型语言模型海量MCP工具调用系统及方法与流程
本发明涉及人工智能领域,特别地是,一种基于ai图像处理平台的大型语言模型海量mcp工具调用系统及方法。
背景技术:
1、随着ai图像处理平台不断发展,其集成的mcp(model context protocol,模型上下文协议)工具数量急剧增加,通常能够达到数百个,甚至数千个。参见图1,图中示出的是现有基于ai图像处理平台的大型语言模型海量mcp工具调用方法。所述大型语言模型海量mcp工具调用方法包括:由大型语言模型加载所有的mcp工具的描述信息并且根据用户请求和所有的mcp工具的描述信息检索其所要调用的mcp工具。所述大型语言模型海量mcp工具调用方法的缺点至少在于:1.存在上下文爆炸问题:每个mcp工具的描述信息占用500-1000个token(词元),假设所有的mcp工具的数量有1000个,则需要占用50-100万个token,远超过大多数大型语言模型的上下文限制;2.检索效率较差:需要在所有的mcp工具的描述信息中进行线性搜索;3.资源利用率较低:单次会话中,至少有90%的mcp工具是不会被使用到;4.系统响应延迟:因处理超长上下文而导致模型推理时间显著增加。
技术实现思路
1、本发明所要解决的技术问题是现有ai图像处理平台在大型语言模型调用mcp工具时存在上下文爆炸问题等,提供一种基于ai图像处理平台的大型语言模型海量mcp工具调用系统及方法。
2、为了解决上述技术问题,本发明的技术方案如下:一种基于ai图像处理平台的大型语言模型海量mcp工具调用系统,包括:向量数据库,其被配置为:向量编码并且存储mcp工具仓库所存储的各mcp工具的描述信息;工具检索模块,其被配置为:根据所述大型语言模型的工具检索请求在所述向量数据库中进行向量相似度检索并且将检索结果返回所述大型语言模型,其中,所述大型语言模型的工具检索请求是基于用户请求确定;以及,工具执行模块,其被配置为:根据所述大型语言模型的工具执行请求动态执行mcp工具仓库中对应的mcp工具并且将执行结果返回所述大型语言模型,其中,所述大型语言模型的工具执行请求是基于所述工具检索模块的检索结果确定;其中,所述向量数据库、所述工具检索模块和所述工具执行模块均独立于所述大型语言模型。有益效果至少在于:1.上下文占用简化:由所述工具检索模块完成工具检索任务,由所述工具执行模块完成工具执行任务,即所述大型语言模型仅需处理所述工具检索请求(query)和所述工具执行请求(call),而无需处理各所述mcp工具的描述信息,即无论所述mcp工具仓库所存储的各mcp工具的数量有多少,所述大型语言模型上下文的占用保持恒定;2.检索效率提升:向量相似度检索的复杂度为o(log n),远优于线性搜索的o(n),并且,向量相似度检索支持语义级别的模糊匹配,提高工具发现准确性;3.资源利用率优化:所述大型语言模型是按需加载,避免无用的上下文占用,减少模型推理时间和计算资源消耗,降低系统内存和带宽需求;4.系统稳定和可靠:降低所述大型语言模型因上下文过长导致的幻觉和错误。
3、作为基于ai图像处理平台的大型语言模型海量mcp工具调用系统的优选方案,所述向量数据库包括:信息提取模块、向量编码模块和向量存储模块;所述信息提取模块被配置为:对所述mcp工具仓库所存储的各所述mcp工具的描述信息作信息提取;所述向量编码模块被配置为:对所述信息提取模块所信息提取的各所述mcp工具的描述信息作向量编码;所述向量存储模块被配置为:对所述向量编码模块所向量编码的各所述mcp工具的描述信息作向量存储。有益效果至少在于:提供所述向量数据库的具体方案。
4、作为基于ai图像处理平台的大型语言模型海量mcp工具调用系统的优选方案,所述向量编码模块进一步被配置为:使用预训练语言模型将所提取的各所述mcp工具的描述信息转换为高维向量表示。有益效果至少在于:提供所述向量编码模块的具体方案。
5、作为基于ai图像处理平台的大型语言模型海量mcp工具调用系统的优选方案,所述工具检索模块进一步被配置为:若所述大型语言模型的工具查询请求是基于自然语言的查询字符串,则对所述大型语言模型的工具查询请求作向量编码,再根据所述大型语言模型的工具检索请求在所述向量数据库中进行向量相似度检索。有益效果至少在于:所述大型语言模型的工具查询请求的向量编码由所述工具检索模块完成,减轻所述大型语言模型处理负担。
6、作为基于ai图像处理平台的大型语言模型海量mcp工具调用系统的优选方案,所述mcp工具仓库被配置为:支持工具数量线性扩展;所述向量数据库进一步被配置为:工具数量线性扩展后,对扩展的mcp工具的描述信息作向量编码并且存储。有益效果至少在于:支持数量线性扩展。
7、作为基于ai图像处理平台的大型语言模型海量mcp工具调用系统的优选方案,所述mcp工具仓库被配置为:支持工具热更新和版本管理;所述向量数据库进一步被配置为:工具热更新和版本管理后,对热更新和版本管理的mcp工具的描述信息作向量编码并且存储。有益效果至少在于:支持工具热更新和版本管理。
8、本发明的另一技术方案:一种所述的基于ai图像处理平台的大型语言模型海量mcp工具调用系统的方法,包括:由所述工具检索模块根据所述大型语言模型的工具检索请求在所述向量数据库中进行向量相似检索并且将检索结果返回所述大型语言模型,其中,所述大型语言模型的工具检索请求是基于用户请求确定;以及,由所述工具执行模块根据所述大型语言模型的工具执行请求动态执行mcp工具仓库中对应的mcp工具并且将执行结果返回所述大型语言模型,其中,所述大型语言模型的工具执行请求是基于所述工具检索模块的检索结果确定。有益效果至少在于:1.上下文占用简化:由所述工具检索模块完成工具检索任务,由所述工具执行模块完成工具执行任务,即所述大型语言模型仅需处理所述工具检索请求(query)和所述工具执行请求(call),而无需处理各所述mcp工具的描述信息,即无论所述mcp工具仓库所存储的各mcp工具的数量有多少,所述大型语言模型上下文的占用保持恒定;2.检索效率提升:向量相似度检索的复杂度为o(log n),远优于线性搜索的o(n),并且,向量相似度检索支持语义级别的模糊匹配,提高工具发现准确性;3.资源利用率优化:所述大型语言模型是按需加载,避免无用的上下文占用,减少模型推理时间和计算资源消耗,降低系统内存和带宽需求;4.系统稳定和可靠:降低所述大型语言模型因上下文过长导致的幻觉和错误。
9、除了上面所描述的本发明解决的技术问题、构成技术方案的技术特征以及由这些技术方案的技术特征所带来的有益效果之外,本发明所能解决的其他技术问题、技术方案中包含的其他技术特征以及这些技术特征带来的有益效果,将结合附图作出进一步详细的说明。
1.一种基于ai图像处理平台的大型语言模型海量mcp工具调用系统,其特征在于,包括:
2.根据权利要求1所述的基于ai图像处理平台的大型语言模型海量mcp工具调用系统,其特征在于,所述向量数据库包括:信息提取模块、向量编码模块和向量存储模块;所述信息提取模块被配置为:对所述mcp工具仓库所存储的各所述mcp工具的描述信息作信息提取;所述向量编码模块被配置为:对所述信息提取模块所信息提取的各所述mcp工具的描述信息作向量编码;所述向量存储模块被配置为:对所述向量编码模块所向量编码的各所述mcp工具的描述信息作向量存储。
3.根据权利要求2所述的基于ai图像处理平台的大型语言模型海量mcp工具调用系统,其特征在于,所述向量编码模块进一步被配置为:使用预训练语言模型将所提取的各所述mcp工具的描述信息转换为高维向量表示。
4.根据权利要求1所述的基于ai图像处理平台的大型语言模型海量mcp工具调用系统,其特征在于,所述工具检索模块进一步被配置为:若所述大型语言模型的工具查询请求是基于自然语言的查询字符串,则对所述大型语言模型的工具查询请求作向量编码,再根据所述大型语言模型的工具检索请求在所述向量数据库中进行向量相似度检索。
5.根据权利要求1所述的基于ai图像处理平台的大型语言模型海量mcp工具调用系统,其特征在于,所述mcp工具仓库被配置为:支持工具数量线性扩展;所述向量数据库进一步被配置为:工具数量线性扩展后,对扩展的mcp工具的描述信息作向量编码并且存储。
6.根据权利要求1所述的基于ai图像处理平台的大型语言模型海量mcp工具调用系统,其特征在于,所述mcp工具仓库被配置为:支持工具热更新和版本管理;所述向量数据库进一步被配置为:工具热更新和版本管理后,对热更新和版本管理的mcp工具的描述信息作向量编码并且存储。
7.一种权利要求1至6中任意一项所述的基于ai图像处理平台的大型语言模型海量mcp工具调用系统的方法,其特征在于,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com