基于多智能体马尔可夫决策过程的多智能体强化学习数据库智能运维方法与流程

本发明涉及数据库运维与人工智能交叉，公开了基于多智能体马尔可夫决策过程的多智能体强化学习数据库智能运维方法。

背景技术：

1、随着数字化转型的深入，企业核心业务对数据库的依赖程度持续提升，数据库运维的复杂度呈指数级增长。传统数据库运维主要依赖人工经验，存在以下显著缺陷：故障发生后需人工排查定位，平均故障解决时间长，易造成业务中断；运维人员难以同时兼顾查询性能、资源开销、系统稳定性等多维度目标，易产生局部最优决策；资深运维人员稀缺，知识传承困难，标准化程度低；不同类型数据库的运维逻辑差异大，难以形成统一的运维体系。

2、现有智能运维方案多采用单智能体强化学习架构，仅能处理单一维度的运维任务，无法实现多任务协同决策，易产生动作冲突。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供基于多智能体马尔可夫决策过程的多智能体强化学习数据库智能运维方法，通过多智能体协同决策实现全局最优运维，结合大语言模型与检索增强生成技术提升运维动作的安全性与准确性，同时支持异构数据库的统一运维。

2、为了实现上述技术效果，本发明采用的技术方案是：基于多智能体马尔可夫决策过程的多智能体强化学习数据库智能运维方法，包括：

3、采集数据库运行数据，通过多个专用智能体对所述运行数据进行处理，得到各智能体输出的候选运维建议；

4、将数据库运维场景建模为多智能体马尔可夫决策过程，对所述多智能体马尔可夫决策过程进行定义，基于所述多智能体马尔可夫决策过程对各候选运维建议进行协同决策，生成全局最优运维动作；

5、调用大语言模型对所述全局最优运维动作进行校验，结合检索增强生成rag知识库对所述全局最优运维动作进行修正，得到最终运维指令；

6、执行所述最终运维指令，将执行结果反馈至所述多智能体马尔可夫决策过程，更新策略参数。

7、作为优选的实施方案，对所述多智能体马尔可夫决策过程进行定义，具体包括：

8、定义状态空间，得到包含查询特征与资源负载的系统状态集合；

9、定义动作空间，得到包含索引调整与参数配置的运维操作集合；

10、定义奖励函数，得到以查询响应时间与资源开销为变量的奖励计算结果；

11、定义折扣因子，得到用于平衡即时奖励与长期回报的衰减系数。

12、作为优选的实施方案，对所述运行数据进行处理，具体包括：

13、通过自然语言查询智能体解析用户输入，生成候选sql语句；

14、通过sql性能优化智能体分析执行计划，得到索引调整建议；

15、通过日志分析智能体提取日志特征，得到日志异常图谱；

16、通过故障诊断智能体匹配历史案例，得到根因诊断结果；

17、通过资源预测智能体预测负载趋势，得到资源伸缩建议。

18、作为优选的实施方案，基于所述多智能体马尔可夫决策过程对各候选运维建议进行协同决策，具体包括：

19、判断候选运维建议是否存在冲突，若是，则按预设优先级规则进行仲裁，得到仲裁结果；

20、对所述仲裁结果进行计算，得到联合奖励最大值对应的动作组合；

21、根据所述动作组合，生成全局最优运维动作。

22、作为优选的实施方案，所述按预设优先级规则进行仲裁，具体包括：

23、判定动作类型，若为故障自愈动作，则赋予最高优先级；

24、判定动作目标，若为资源保障动作，则优先级高于成本优化动作；

25、若动作属于同优先级，则选取使联合奖励最大的动作组合。

26、作为优选的实施方案，对所述全局最优运维动作进行校验，具体包括：

27、采用松耦合模式，将自然语言需求转化为量化目标，输入所述多智能体马尔可夫决策过程，得到优化目标；

28、或采用紧耦合模式，提取监控数据的高层语义特征，动态调整奖励函数权重，得到优化策略；

29、或根据任务复杂度动态切换协作模式，对日常任务与复杂任务分别处理，得到适配的协作结果。

30、作为优选的实施方案，对所述全局最优运维动作进行修正，具体包括：

31、构建运维领域知识库，对历史工单进行切片向量化，生成向量索引；

32、检索当前告警的相关知识片段，注入大语言模型上下文，得到约束后的输出范围；

33、对所述全局最优运维动作进行验证，得到修正后的最终运维指令。

34、作为优选的实施方案，所述执行所述最终运维指令之后，还包括：

35、监测执行结果，判断策略置信度是否低于预设阈值，若是，则中止执行并转入人工审核，获取人工确认结果；

36、采集执行前后性能数据，存入经验回放池，对所述多智能体马尔可夫决策过程的策略网络进行增量更新，得到更新后的策略参数。

37、作为优选的实施方案，所述方法适配异构数据库，具体包括：

38、识别目标数据库类型，对大语言模型进行微调，生成适配后的模型参数；

39、配置对应数据库的特征提取算子，得到标准化状态输入；

40、配置对应数据库的动作执行接口，得到标准化的运维操作指令。

41、作为优选的实施方案，所述通过日志分析智能体提取日志特征，得到日志异常图谱，具体包括：

42、识别日志中的报错关键词与组件标识，生成结构化事件；

43、按事务id与时间窗口对齐跨节点日志，得到连锁报错路径；

44、构建日志异常图谱，自动归类报错类型，得到高频触发原因。

45、与现有技术相比，本发明通过多智能体马尔可夫决策过程建模，实现多个专用智能体的协同决策，有效解决了单智能体决策片面、动作冲突的问题，能够生成兼顾性能、成本与稳定性的全局最优运维动作。

46、结合大语言模型的语义理解能力与rag知识库的领域知识，对运维动作进行双重校验与修正，显著降低了误操作风险，提升了系统的可解释性。

47、通过执行结果反馈与增量更新机制，使系统能够持续学习运维经验，不断优化决策策略，适应不断变化的业务场景。

48、通过数据库类型识别、模型微调和标准化接口配置，实现了对多种异构数据库的统一运维，降低了企业运维成本。

49、覆盖从数据采集、故障诊断、决策生成到执行反馈的全流程，大幅减少了人工干预，缩短了故障响应时间，提升了运维效率。

1.基于多智能体马尔可夫决策过程的多智能体强化学习数据库智能运维方法，其特征在于，包括：

2.根据权利要求1所述的基于多智能体马尔可夫决策过程的多智能体强化学习数据库智能运维方法，其特征在于，对所述多智能体马尔可夫决策过程进行定义，具体包括：

3.根据权利要求1所述的基于多智能体马尔可夫决策过程的多智能体强化学习数据库智能运维方法，其特征在于，对所述运行数据进行处理，具体包括：

4.根据权利要求1所述的基于多智能体马尔可夫决策过程的多智能体强化学习数据库智能运维方法，其特征在于，基于所述多智能体马尔可夫决策过程对各候选运维建议进行协同决策，具体包括：

5.根据权利要求1所述的基于多智能体马尔可夫决策过程的多智能体强化学习数据库智能运维方法，其特征在于，所述按预设优先级规则进行仲裁，具体包括：

6.根据权利要求1所述的基于多智能体马尔可夫决策过程的多智能体强化学习数据库智能运维方法，其特征在于，对所述全局最优运维动作进行校验，具体包括：

7.根据权利要求1所述的基于多智能体马尔可夫决策过程的多智能体强化学习数据库智能运维方法，其特征在于，对所述全局最优运维动作进行修正，具体包括：

8.根据权利要求1所述的基于多智能体马尔可夫决策过程的多智能体强化学习数据库智能运维方法，其特征在于，所述执行所述最终运维指令之后，还包括：

9.根据权利要求1所述的基于多智能体马尔可夫决策过程的多智能体强化学习数据库智能运维方法，其特征在于，所述方法适配异构数据库，具体包括：

10.根据权利要求1所述的基于多智能体马尔可夫决策过程的多智能体强化学习数据库智能运维方法，其特征在于，所述通过日志分析智能体提取日志特征，得到日志异常图谱，具体包括：