一种基于预置知识库回退与多提供商切换的大语言模型降级处理方法及系统与流程
本发明属于人工智能服务可靠性,具体涉及一种基于预置知识库回退与多提供商切换的大语言模型降级处理方法及系统。
背景技术:
1、在基于大语言模型的应用系统里,模型推理是整条业务链上绕不开的一环,而这偏偏系在别人家的云端api上。服务商安排维护、api配额耗尽、链路出故障,任何一样赶上,推理服务说停就停。停在用户那里是什么样子?一位研究员刚把斟酌了半天的复杂问题提交上来,屏幕上却只回一句"服务不可用",前面花的心思全部落空。
2、眼下的应对办法大体两种。一种思路是只对接一家服务商,服务一断,系统就只能给用户甩一个错误页面或一段提示文字,ai功能整体停摆,身后没有任何退路——毕竟连个备份的人家都没有。
3、另一种思路是同时向几家服务商发出同样的请求,谁先答完用谁的。可用性确实上去了,代价也跟着翻倍:用户的每一次提问都要烧掉好几家的api配额,各家计费标准还不一样,月底对账时成本根本没法控制。
技术实现思路
1、针对单点故障会把ai功能整个拖垮、多提供商并行调用又让成本翻倍的麻烦,围绕让服务在极端情况下也不断线这个目标,本发明提供一种基于预置知识库回退与多提供商切换的大语言模型降级处理方法及系统。
2、本发明的技术方案大体是这样的:系统初始化时先摸清各家大语言模型提供商的接口密钥配置,照优先级搭好可用提供商列表;用户查询进来,从优先级最高的提供商开始逐家去试,谁家成了就用谁家的结果;等到一家都不成,就退回内存中的预置知识库做关键词匹配,把预先写好的专业命题文本交出去。
3、与现有技术相比,本发明的有益之处有下面几条。
4、先说成本这一头。各家提供商不是并行去调,而是按优先级排好队一家一家试,正常日子里系统只跟排头那位打交道,不产生额外的api费用。只有排头失联了,才会轮到下一家顶上。换句话说,绝大多数时段这套方案的花费跟只接一家服务商没有区别,故障期间才多出一次备用调用。
5、再说最坏的情况。哪怕所有接口全都失联、网络彻底断了、或者所有配额一次性用光,系统手里也还有底牌——内存里的预置知识库。库里放的是本应用领域(比如肺癌生物医学研究)几个高频问题的完整回答,出自领域专家之手,假设标题、推理依据、机制解释、置信度评估一样不缺,成色不输甚至好于模型现写的内容。用户看不出这段话是预置的还是现场生成的,反正该拿到的专业反馈一样能拿到。
6、速度上也不必担心。整个知识库在系统初始化时一次性装进内存,说白了就是一张关键词到预置命题对象的映射表,降级查询不碰文件、不连数据库、不做任何外部io,匹配加回包转眼间就完成。哪怕赶上极端时刻——外部服务全线瘫痪、所有请求一齐涌向降级路径——这条路径的响应速度也不会变慢。
1.一种基于预置知识库回退与多提供商切换的大语言模型降级处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述候选大语言模型服务提供商至少包含第一提供商和第二提供商,所述第一提供商的预设优先级高于所述第二提供商;所述第一提供商对应配置字段存储第一提供商接口密钥,所述第二提供商对应配置字段存储第二提供商接口密钥。
3.根据权利要求1所述的方法,其特征在于,所述推理请求返回失败的条件包括接口密钥未配置、网络连接超时、接口返回的非成功状态码以及接口返回的包含错误信息的响应体中的任意一种。
4.根据权利要求1所述的方法,其特征在于,所述预置命题对象的完整推理文本包含假设标题、推理依据、机制解释和置信度评估内容。
5.一种基于预置知识库回退与多提供商切换的大语言模型降级处理系统,其特征在于,包括:
6.根据权利要求5所述的系统,其特征在于,所述降级处理模块还用于:当预置知识库中不存在与查询文本匹配的预置命题文本时,返回提示用户配置接口密钥的引导文本。
7.一种计算机设备,包括处理器和存储器,其特征在于,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至4任一项所述的方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com