一种基于大语言模型智能体的智算算力运维调度方法及系统与流程

本发明涉及人工智能智能运维、云计算容器资源调度交叉，具体涉及一种基于大语言模型智能体的智算算力运维调度方法及系统。

背景技术：

1、现有智算集群算力运维调度体系主要依托kuberneteshpa、keda等弹性伸缩组件、传统aiops运维系统以及通用大语言模型智能体三类工具独立搭建，其中弹性伸缩组件仅能依靠人工预设单一指标阈值完成容器扩缩容，无法应对硬件故障、流量突增、模型缓存失效同步发生的多因素耦合复杂场景；传统aiops基于固定时序预测、异常检测、强化学习调度算法实现自动化运维，算法功能单一、泛化能力弱，面对新型故障需重新开发模型，不具备类似运维专家的综合链式推理能力；而gpt-4、llama、qwen等通用大语言模型智能体仅落地于通用问答、代码生成场景，未深度适配智算算力调度业务，缺少显存分析、缓存查询、算力成本与词元收益核算等领域专属工具，无法基于商业收益输出最优调度决策；当前行业最主流的落地方式是将三类工具分立部署，增设独立仲裁模块协调多系统冲突，但该架构下监控、日志、缓存、容器编排等运维数据分散异构、数据格式不统一，难以获取集群组件完整拓扑关联信息，多事件并发时易出现扩容、故障修复等动作相互冲突，引发集群容量震荡、算力资源浪费，同时整套架构不存在存储历史调度案例并辅助迭代优化的记忆机制，调度决策无法随集群运行持续自主优化，整体存在决策冲突频发、扩容无效、无自适应推理能力、多源数据割裂、缺少经济量化调度依据等多重固有缺陷。

技术实现思路

1、本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于大语言模型智能体的智算算力运维调度方法及系统。

2、为实现上述目的，本发明采用了如下技术方案：一种基于大语言模型智能体的智算算力运维调度方法，所述方法具体如下：

3、s1、多源观测信息统一采集与语义结构化处理：

4、搭建对象图语义运行时作为统一观测上下文基座，通过对象图语义运行时完成多维度观测信息的统一采集、标准化封装；所述观测信息包含计算设备运行指标、推理服务业务指标、异常日志、各节点模型缓存状态、集群实体拓扑关系、历史决策记忆数据；对象图语义运行时预先定义智算领域实体对象与拓扑关联关系，统一对接监控、日志、缓存、容器编排多类异构数据源，输出格式统一、携带拓扑关联信息的结构化观测上下文；

5、s2、大语言模型智能体链式推理分析：

6、将s1输出的标准化观测上下文输入大语言模型智能体；大语言模型智能体加载嵌入智算专属领域知识的提示词模板开展链式思考；提示词内固化领域知识包含缓存层级与模型加载耗时量化映射、多实例资源切分规则、故障-恢复策略映射、sla服务阈值、缓存感知扩容执行流程；无需重训练大模型，仅更新提示词即可迭代领域调度规则；

7、s3、智能体生成多候选决策计划并执行四类核心调度运算：

8、大语言模型智能体基于链式推理输出包含多组技能调用指令的候选决策计划，同步执行缓存感知扩容筛选、事件优先级仲裁、经济效益打分、冲突消解四项核心运算，具体流程：

9、s31、缓存感知扩容节点筛选运算：

10、当判定需扩容时，调用缓存查询技能获取各候选节点目标模型缓存层级，依据预设映射关系匹配各节点模型加载时长；

11、调用负载预测技能获取负载峰值到达时间；过滤加载时长超过峰值到达时间、有效服务窗口不达标节点，从剩余可行节点选取加载时间最短节点；无可行节点时，按资源切分、精度降级、冷加载预扩容优先级生成替代调度方案；

12、s32、多事件统一优先级仲裁运算：

13、将当前周期全部事件按五级优先级排序，优先级由高至低为：紧急故障、服务违约、容量恢复、弹性伸缩、成本优化；按优先级依次生成候选动作，执行冲突消解规则：容量恢复预估容量满足峰值负载则抑制扩容、存在扩容动作则直接抑制缩容；

14、s33、经济效益量化评分运算：

15、对每一条候选调度方案，分别核算算力成本变化、词元收入变化、违约风险成本；仅当集群存在排队请求时新增算力才计入词元收入增量；

16、单方案净利润=词元收入变化-算力成本变化-违约风险成本；

17、筛选净利润最高方案；若全部方案净利润为负，则对比不操作方案收益，择优选择；

18、s4、决策验证层安全校验与计划修正过滤：

19、将s3输出的候选决策计划送入独立决策验证层，基于预设安全规则集逐条校验动作合规性；

20、所述安全规则包含单次扩容副本上限、集群总利用率上限、缩容后模型最小副本数、目标节点资源校验、同周期同一模型扩缩容互斥；对参数超限等可修正违规动作自动调整至安全阈值内，对资源不足等不可修正违规动作直接过滤；全部违规记录缓存，在下一控制周期推送至大语言模型智能体用于迭代学习；

21、s5、技能执行层落地调度动作并回传结果：

22、基于s4输出的验证后安全决策计划，依次调用技能库内对应模块执行运维操作；

23、所述技能库包含日志分析、指标查询、缓存查询、负载预测、扩缩容执行、精度切换、资源切分、经济计算、容器修复、历史查询；动作执行完成后，将运行结果、集群负载变化、成本收益数据完整反馈至大语言模型智能体；

24、s6、决策数据入库存储+记忆检索辅助下一轮推理：

25、s61、将本次调度完整上下文、场景标签、决策计划、执行成败标识、净利润变化、违规记录以结构化形式存入记忆库；

26、s62、记忆检索：

27、提取当前场景标签，以标签交集≥1为条件粗筛历史决策记录；对每条候选记录计算多因子综合评分；所述评分包含标签相似度因子、经济效果因子和时间衰减因子的加权和，其中标签相似度采用集合交并比计算，时间衰减采用指数衰减函数；

28、按评分降序选取前k条历史案例，强制纳入至少1条失败案例；结合llm词元上下文预算裁剪案例长度，将处理后的历史案例注入智能体推理上下文，实现无模型重训练的持续优化。

29、较佳的，步骤s1中，所述对象图语义运行时自上而下分为五层结构，由上至下依次为智能体网关层、查询服务层、图存储层、实体存储层、模型包层；模型包层用于定义智算领域实体词汇与拓扑关系并支持热更新；实体存储层接收异构数据源并标准化实体数据；图存储层持久化实体与关联关系；查询服务层采用解析器、规划器、执行器三段式流水线处理语义查询；智能体网关层通过标准协议向大语言模型智能体开放查询、工具调用接口。

30、较佳的，所述对象图语义运行时还包括智能体网关服务层；所述智能体网关层区分只读查询工具与带权限管控的写入工具，元数据、集群基础拓扑通过只读接口开放，实体写入、资源修改等操作需单独开启写权限，实现元数据与运行时数据访问权限隔离。

31、一种基于大语言模型智能体的智算算力运维调度系统，所述系统包括对象图语义运行时层、观测信息层、大语言模型智能体层、决策验证层、技能执行层以及记忆存储层；

32、所述对象图语义运行时层作为系统统一数据底座，通过内置五层子模块标准化整合各类异构运维数据源，构建带拓扑关联的智算领域实体语义图，并依托智能体网关提供统一读写查询接口，为上层各层级提供全局一致、具备拓扑关系的观测上下文，隔离多数据源差异化对接逻辑；

33、所述观测信息层用于采集计算设备运行时指标、推理服务业务指标、日志信息、模型缓存状态以及集群事件；

34、所述大语言模型智能体层用于接收所述观测信息，基于嵌入智算领域知识的提示词模板进行链式思考分析，执行缓存感知扩容节点选择算法和统一决策优先级仲裁算法，输出包含技能调用的候选决策计划；所述决策验证层用于对所述候选决策计划基于预定义安全规则集执行合规性校验、参数修正和违规过滤，输出验证后的安全决策计划；所述技能执行层包含多个可独立调用的技能模块；所述技能模块包括日志分析模块、指标查询模块、缓存查询模块、负载预测模块、扩缩容执行模块、经济影响计算模块；

35、所述记忆存储层用于以结构化格式存储历史决策的上下文、执行结果、经济效果及场景标签，并提供基于标签相似度的多因子加权检索接口。

36、较佳的，所述对象图语义运行时层依靠内部自底向上依次衔接的模型包定义模块、实体存储模块、图存储模块、查询服务模块、智能体网关模块五大子模块对外提供统一标准化交互接口，双向对接所述观测信息层，一方面向所述观测信息层输出智算领域实体、拓扑关系语义规范，另一方面接收所述观测信息层上传的原始运维数据并完成标准化实体与拓扑关系持久化；

37、所述观测信息层整合完全局结构化观测上下文后单向推送至所述大语言模型智能体层，所述观测信息层内部并行联动缓存感知扩容筛选单元、五级事件仲裁冲突消解单元、净利润量化评分单元完成综合推理，输出候选决策计划单向下发至所述决策验证层；

38、所述决策验证层对候选计划完成合规校验、参数修正与违规过滤后，将安全决策计划下发至所述技能执行层的技能执行单元执行各类运维调度动作，技能执行单元执行完成后，一方面将集群状态变更数据回写至所述对象图语义运行时层更新全局拓扑实体，另一方面将动作执行结果反向回传至所述大语言模型智能体层，同时所述决策验证层汇总的违规记录会在下一控制周期推送至所述大语言模型智能体层辅助迭代；

39、技能执行单元还会将本轮完整决策上下文、场景标签、经济收益、执行结果结构化写入所述记忆存储层持久保存；

40、所述记忆存储层元接收所述大语言模型智能体层下发的当前场景标签后完成多因子加权检索，筛选并裁剪历史参考案例后反向注入所述大语言模型智能体层参与本轮推理，整体形成统一采集、智能决策、安全校验、动作执行、记忆迭代的完整闭环链路，所有跨层级交互均经由对象图语义运行时层的智能体网关标准化中转，各层级相互解耦、无跨层直连异构数据源通道。

41、较佳的，所述查询服务模块的规划器可根据图存储后端的能力声明，提前校验并优化拓扑查询语句，避免超出存储后端性能阈值。

42、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现种基于大语言模型智能体的智算算力运维调度方法。

43、与现有技术相比，本发明的有益效果为：本发明以大语言模型智能体作为全局统一决策中枢统筹各类集群事件，内置分级事件仲裁与冲突消解逻辑，从根源规避多运维动作相互干扰引发的集群容量波动问题；

44、针对传统aiops依赖固定算法、不具备专家级综合推理能力、无法适配新型故障的短板，本发明依托大语言模型链式推理能力解析日志、指标、缓存等多维度信息自主定位故障根因，无需重新开发专用算法即可应对各类未知异常场景；针对通用大模型智能体未适配智算业务、缺少领域专属调度工具、无法兼顾商业收益的不足，本发明内置缓存状态查询、算力经济核算等专属技能，并以净利润为核心导向筛选最优调度方案，实现算力运维与业务收益协同优化；针对多系统架构观测数据异构割裂、缺少集群拓扑关联信息、新数据源接入成本高的缺陷，本发明设置对象图语义运行时作为统一数据底座，标准化整合多类异构运维数据并提供实体拓扑查询能力，大幅降低新增数据源的对接改造工作量；同时针对现有技术无持续优化机制、调度能力无法迭代提升的缺陷，本发明增设记忆存储与多因子案例检索机制，复用历史成功与失败调度经验辅助实时决策，无需对大语言模型进行重训练便可随集群运行持续提升调度决策质量。