基于多目标的大语言模型编排方法、装置、设备及介质与流程

本发明涉及人工智能，尤其涉及一种基于多目标的大语言模型编排方法、装置、设备及介质。

背景技术：

1、在大语言模型技术快速迭代的背景下，众多企业与科研机构纷纷选择在内部服务器完成大模型本地化部署，以此契合数据隐私防护、行业合规管理以及业务定制化改造的核心诉求。相较于调用第三方商用模型的api接口服务，基于开源模型搭建自托管服务体系，既能摆脱单一供应商的技术绑定限制，也能从源头杜绝内部核心数据向外传输带来的泄露风险，安全自主性更强。但落地自托管大语言模型的过程中，普遍存在显著的应用困境。一方面资源消耗问题突出，传统静态部署模式下，大模型会持续占用高额gpu显存资源，即便处于业务空闲时段也无法释放冗余硬件资源，进一步拉高电力消耗与硬件运维的综合成本。另一方面模型适配性存在短板，单一模型架构无法适配多元化业务场景，通用大模型具备更强的理解与生成能力、输出精度更高，却存在推理延迟久、运行开销大的问题；轻量化小模型响应速度快、部署与使用成本更低，面对复杂逻辑运算、深度推理类任务时，输出效果与处理能力会大幅下降。

2、当前主流优化手段仍存在明显局限性，常规调度方式多依托静态路由规则或是基础负载数据完成任务分配，无法识别用户大语言模型提示请求的语义复杂程度，无法实现任务属性与不同规格模型能力的精准适配。与此同时，kubernetes hpa等主流容器编排工具，仅支持依据cpu、内存等基础硬件指标完成服务扩缩容调控，没有结合大语言模型推理的专属特征，无法围绕推理准确率、响应延迟、运营成本、服务冷启动效率等多重核心目标开展协同优化。整体来看，现有技术方案难以适配自托管大模型的运行特点，无法动态调配多模型集群的硬件资源，也难以兼顾服务质量与运营成本，形成高效均衡的运行体系。

3、在金融科技业务场景中，自托管大语言模型的落地暴露出多重突出技术问题。金融业务数据高度敏感，交易信息、用户资产数据、信贷资料等不可对外流转，企业必须采用本地自托管部署模式，但传统静态部署方式会长期占用gpu显存资源，金融系统全天不间断运行的特性，进一步加剧硬件能耗与运维成本压力。金融业务需求场景差异极大，简单咨询、账单查询等轻量化高频任务，与风险研判、信贷审核、复杂风控逻辑推演等深度复杂任务并存，单一模型无法兼顾响应速度与推理精度。现有调度策略缺少语义识别能力，不能根据金融任务复杂度匹配适配模型，易出现小模型处理风控任务判断失准、大模型处理基础业务资源冗余浪费的问题。同时，通用容器扩缩容机制未结合金融场景低延迟、高稳定、高精准的核心要求，无法平衡推理时效、服务成本与业务合规性，难以保障金融多模型集群资源动态调配与业务服务质量的稳定统一。

4、医疗健康领域落地自托管大语言模型，同样面临显著的技术落地难题。医疗数据包含患者病历、检查报告、隐私诊疗信息等涉密内容，合规要求强制约束数据本地化处理，推动机构自建llm推理服务，而静态部署模式下模型常驻占用硬件资源，医疗机构多科室、全时段的服务需求，让闲置时段资源浪费问题更为严重，加重信息化建设成本负担。医疗业务类型跨度较大，挂号咨询、健康科普等简易任务，与病例综合分析、多病种联合诊断、医学文献深度研读等高逻辑任务同步存在，大小模型各自的性能短板难以满足多元诊疗需求。现有任务调度体系缺乏语义复杂度感知，无法精准划分医疗任务等级并匹配对应模型，容易引发诊疗辅助建议不准确、问诊响应卡顿等问题。常规容器编排工具仅依靠基础硬件指标调控资源，未适配医疗推理的准确性要求、应急响应延迟限制与冷启动需求，无法实现多模型资源动态优化分配，制约医疗智能辅助服务高效稳定运行。

技术实现思路

1、本发明的主要目的在于提供一种基于多目标的大语言模型编排方法、装置、设备及存储介质，旨在解决现有技术面对不同复杂度用户请求时，导致资源浪费或模型处理能力不足的技术问题。

2、为实现上述目的，本发明提供一种基于多目标的大语言模型编排方法，包括：

3、接收用户输入的大语言模型提示请求；

4、对所述大语言模型提示请求进行复杂度分析，生成复杂度等级或复杂度概率分布；

5、根据所述复杂度等级或复杂度概率分布，计算预设服务矩阵中的候选服务实例的多目标编排分数；

6、将所述多目标编排分数最高的候选服务实例作为大语言模型的目标服务实例；

7、根据所述目标服务实例的当前运行状态，动态调度计算资源，通过计算资源执行所述大语言模型提示请求，并返回推理结果；

8、对所述推理结果进行置信度自评估，生成置信度分数；

9、当置信度分数低于预设置信阈值时，自动触发二次推理请求，并将所述二次推理请求路由至备用服务实例；

10、将二次推理结果与原推理结果进行差异性对比，根据对比结果更新所述大语言模型提示请求的复杂度概率分布。

11、进一步地，为实现上述目的，本发明提供一种基于多目标的大语言模型编排装置，包括：

12、api网关模块，用于接收用户输入的大语言模型提示请求；

13、路由模块，用于对所述大语言模型提示请求进行复杂度分析，生成复杂度等级或复杂度概率分布；

14、多目标评分模块，用于根据所述复杂度等级或复杂度概率分布，计算预设服务矩阵中的候选服务实例的多目标编排分数；

15、动态编排模块，用于将所述多目标编排分数最高的候选服务实例作为大语言模型的目标服务实例；

16、推理后端模块，用于根据所述目标服务实例的当前运行状态，动态调度计算资源，通过计算资源执行所述大语言模型提示请求，并返回推理结果；

17、置信度模块，用于对所述推理结果进行置信度自评估，生成置信度分数；

18、二次推理模块，用于当置信度分数低于预设置信阈值时，自动触发二次推理请求，并将所述二次推理请求路由至备用服务实例；

19、复杂度更新模块，用于将二次推理结果与原推理结果进行差异性对比，根据对比结果更新所述大语言模型提示请求的复杂度概率分布。

20、进一步地，为实现上述目的，本发明还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储至所述存储器上并可在所述处理器上运行的基于多目标的大语言模型编排程序，所述基于多目标的大语言模型编排程序被所述处理器执行时实现如上述所述的基于多目标的大语言模型编排方法的步骤。

21、进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质，所述存储介质上存储有基于多目标的大语言模型编排程序，所述基于多目标的大语言模型编排程序被处理器执行时实现如上所述的基于多目标的大语言模型编排方法的步骤。

22、有益效果：本发明涉及人工智能技术领域，公开了一种基于多目标的大语言模型编排方法、装置、设备及介质，包括：接收用户输入的大语言模型提示请求；对所述大语言模型提示请求进行复杂度分析，生成复杂度等级或复杂度概率分布；根据所述复杂度等级或复杂度概率分布，计算预设服务矩阵中的候选服务实例的多目标编排分数；将所述多目标编排分数最高的候选服务实例作为大语言模型的目标服务实例；根据所述目标服务实例的当前运行状态，动态调度计算资源，通过计算资源执行所述大语言模型提示请求，并返回推理结果；对所述推理结果进行置信度自评估，生成置信度分数；当置信度分数低于预设置信阈值时，自动触发二次推理请求，并将所述二次推理请求路由至备用服务实例；将二次推理结果与原推理结果进行差异性对比，根据对比结果更新所述大语言模型提示请求的复杂度概率分布。本发明可应用于金融科技等业务场景中，通过智能识别任务复杂度、在多模型间进行动态路由和资源编排，解决自托管环境下的效率与成本问题。