基于多维度评估的大模型路由选择方法及系统与流程
本技术涉及人工智能,可应用于大语言模型调度,尤指一种基于多维度评估的大模型路由选择方法及系统,适用于公交智能服务场景下多个大语言模型的动态选择与任务分配。
背景技术:
1、随着大语言模型技术的快速发展,企业和开发者面临多种模型选择。当前大模型路由选择主要采用以下几种技术方案:一是单一模型直连方案,固定使用某一大语言模型处理所有任务,该方案实现简单但无法兼顾不同任务类型的特殊需求;二是基于规则的模型选择方案,通过人工编写规则根据任务类型选择对应模型;三是基于成本优化的路由方案,优先使用低成本模型,仅在低成本模型无法满足要求时才使用高成本模型;四是基于性能基准的路由方案,根据公开的性能基准测试得分选择模型。
2、然而,上述现有技术方案均存在以下技术缺陷。第一,评估维度单一,仅考虑成本或通用性能基准等个别指标,缺乏对不同模型在问答、代码、分析、创意、数学等不同能力维度上的差异化评估,导致无法全面反映各模型的实际能力。第二,任务需求匹配粗糙,基于规则的选择仅考虑任务大类,无法细粒度地量化任务需求与模型能力之间的匹配程度,导致路由决策的准确性不足。第三,缺乏动态更新机制,模型能力在实际使用中可能发生变化(如模型版本升级),但现有方案无法根据实际执行反馈持续更新模型的能力评估数据,导致路由决策依据逐渐偏离真实情况。第四,在公交智能服务等特定应用场景下,通用路由方案未考虑公交术语理解、调度规则推理等专属需求,场景适配性差。
3、针对上述技术问题,需要提供一种能够从多个能力维度评估模型、精准匹配任务需求,并能够根据反馈动态更新评估数据的大模型路由选择方案。
技术实现思路
1、本技术目的在于提供一种基于多维度评估的大模型路由选择方法及系统,予以解决现有技术中模型评估维度单一、任务需求匹配粗糙、缺乏动态更新机制以及公交场景适配性差的技术问题。
2、为达上述目的,本技术所提供的基于多维度评估的大模型路由选择方法,应用于公交智能服务系统,所述方法包括:获取待处理任务和多个大语言模型中每个大语言模型在多个预设能力维度上的能力评估值;根据所述待处理任务确定所述待处理任务在各所述预设能力维度上的需求权重;根据各所述预设能力维度对应的需求权重与所述能力评估值计算各所述大语言模型与所述待处理任务的匹配度得分;根据所述匹配度得分在所述多个大语言模型中确定目标模型,通过所述目标模型处理所述待处理任务获得对应的推理结果。
3、在本技术一实施例中,可选的,多个预设能力维度包括问答能力维度、代码能力维度、分析能力维度、创意能力维度、数学能力维度、响应速度维度和成本效率维度,以及,公交术语识别维度和公交调度规则理解维度中的至少一个。
4、在本技术一实施例中,可选的,所述能力评估值是预先采用预设的标准化测试集和公交领域业务数据分别对各所述大语言模型进行测试得到的;所述待处理任务包括公交线路查询任务、公交客流分析任务、公交调度方案生成任务或公交运维诊断任务。
5、在本技术一实施例中,可选的,根据所述匹配度得分在所述多个大语言模型中确定目标模型,通过所述目标模型处理所述待处理任务获得对应的推理结果包括:根据所述待处理任务的输入数据量确定所述待处理任务的复杂度;选取匹配度得分最高的模型作为所述目标模型;当所述待处理任务的复杂度大于预设复杂度阈值时,选取匹配度得分次高的模型作为辅模型,将所述待处理任务分配给所述目标模型和所述辅模型进行推理,分别获得主推理结果和辅推理结果;根据所述辅推理结果对所述主推理结果进行一致性验证,将验证后的所述主推理结果作为所述对应的推理结果。
6、在本技术一实施例中,可选的,所述方法还包括:获取所述推理结果的执行反馈,根据所述执行反馈更新所述目标模型在所述多个预设能力维度上的能力评估值;以及,按照预设周期,重新采用所述标准化测试集和所述公交领域业务数据对多个所述大语言模型进行测试,生成各所述大语言模型在各预设能力维度上的更新后的能力评估值;以及,当检测到任一所述大语言模型发生版本更新时,触发重新采用所述标准化测试集和所述公交领域业务数据对所述大语言模型进行测试,生成该大语言模型在各预设能力维度上的更新后的能力评估值。
7、在本技术一实施例中,可选的,所述方法还包括:将所述更新后的能力评估值与更新前的所述能力评估值进行比较;当任一预设能力维度上的能力评估值下降幅度超过预设告警阈值时,生成告警信息。
8、在本技术一实施例中,可选的,根据各所述预设能力维度对应的需求权重与所述能力评估值计算各所述大语言模型与所述待处理任务的匹配度得分之前还包括:获取性能约束阈值和预算约束阈值;滤除响应时间不满足所述性能约束阈值的所述大语言模型,以及单次调用成本不满足所述预算约束阈值的所述大语言模型。
9、在本技术一实施例中,可选的,滤除响应时间不满足所述性能约束阈值的所述大语言模型,以及单次调用成本不满足所述预算约束阈值的所述大语言模型之后还包括:获取当前系统负载状态;当所述当前系统负载状态大于预设高负载阈值时,增大所述响应速度维度的需求权重和所述成本效率维度的需求权重中的至少一者。
10、在本技术一实施例中,可选的,当所述当前系统负载状态大于预设高负载阈值时,且增大需求权重后匹配度得分最高的模型的响应时间不满足所述性能约束阈值时,选取匹配度得分次高且响应时间满足所述性能约束阈值的模型作为所述目标模型。
11、本技术还提供一种基于多维度评估的大模型路由选择系统,所述系统包括:任务获取模块,用于获取公交智能服务场景下的待处理任务;画像管理模块,用于获取多个大语言模型中每个大语言模型在多个预设能力维度上的能力评估值;需求解析模块,用于根据所述待处理任务确定所述待处理任务在各所述预设能力维度上的需求权重;匹配计算模块,用于根据各所述预设能力维度对应的需求权重与所述能力评估值计算各所述大语言模型与所述待处理任务的匹配度得分;路由分配模块,用于根据所述匹配度得分在所述多个大语言模型中确定目标模型,通过所述目标模型处理所述待处理任务获得对应的推理结果。
12、本技术还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法。
13、本技术还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述方法的计算机程序。
14、本技术还提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述方法的步骤。
15、本技术的有益技术效果在于:通过构建多维度模型能力画像,克服了单一维度评估的局限性;通过任务需求权重与能力评估值的匹配度计算,实现了任务需求与模型能力的细粒度量化匹配;通过执行反馈驱动的画像更新以及定期重新评估、版本更新触发评估机制,实现了模型画像的持续优化和模型能力变化的及时感知;通过公交专属能力维度和公交典型任务类型的设置,提升了公交场景的适配性;通过主辅模型协同推理机制提升了复杂任务的处理质量;通过负载感知的动态调权和高峰期自动降级策略,保障了系统在高负载状态下的稳定性和响应效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com