一种基于LLM的服务知识补全与异常检测的协同演化方法及系统

本发明属于人工智能和异常检测，具体涉及一种基于llm的服务知识补全与异常检测的协同演化方法及系统。

背景技术：

1、随着企业数字化转型深入，海量服务数据已成为企业最重要的资产之一。然而，传统的知识管理方法严重依赖人工整理和关键词检索，导致这些宝贵数据资源利用率低下，形成信息孤岛。同时，在it运维和业务运营中，复杂且隐蔽的异常事件层出不穷，例如在微服务架构中，底层数据库慢查询引发上游服务链路的级联超时，传统基于固定阈值的监控仅能捕获单一节点指标越限，却无法结合服务调用拓扑与历史运维知识进行根因定位；又如，业务系统因配置漂移或第三方接口策略变更，导致隐性逻辑异常（如促销规则冲突引发资损）。

2、与此同时，传统基于规则或简单统计模型的方法往往因无法捕捉上下文关联而失效，导致误报率高、漏报严重。在大语言模型（llm）技术出现后，业界发展出几种主流解决方案：

3、第一种是基于检索增强生成（rag）的静态知识库。该模式将llm与外部知识库结合，标准流程包括数据预处理、分块、嵌入、存储和基于相似度的检索。rag通过外部知识引导模型生成更准确回答，缓解了llm知识过时和幻觉问题。

4、第二种是面向特定任务的专用模型构建。为提升llm在垂直领域的表现，发展出提示工程、微调以及构建领域专用llm等技术路径。例如，it运维领域的logbert、logllm等专门针对日志序列优化的模型；网络安全领域的cyber language models用于生成合成攻击日志以扩充训练数据。

5、第三种是融合多模态与异构数据的混合分析系统。为获得更全面洞察，研究人员尝试将不同类型数据源整合到统一框架，如graphrag通过引入知识图谱，使检索能发现实体间深层关系；raad-llm将时间序列信号的统计特征转化为自然语言描述，实现跨模态理解；lemad系统融合日志语义解析、时间序列预测和上下文变量监控等多种分析手段。

6、第四种是人机协同的交互式系统，以symbioticrag为代表。该框架将人类专家纳入ai系统决策循环，用户可在交互界面对检索内容和llm生成答案进行修正、评分或补充，这些反馈用于优化当前响应和长期改进系统。

7、然而，现有技术方案存在以下固有缺陷：

8、（1）静态性和单向性：基于rag的静态知识库性能高度依赖外部知识库质量和实时性，知识库需要定期手动更新，无法动态适应业务变化；检索过程采用固定top-k策略，难以根据用户复杂意图动态调整，容易忽略关键信息。

9、（2）通用性差和成本高昂：专用模型虽在特定任务上效果好，但每次面对新服务领域或新型异常类型，都需要投入大量人力物力收集数据、标注样本并重新训练模型，周期长、成本高，难以快速响应变化的业务需求。

10、（3）架构僵化：多模态融合系统大多为一次性设计，数据流和模型组合固定。当需要引入新数据源或改变分析维度时，往往需要对整个系统架构重构。多模态信息高效无损融合本身也是尚未完全解决的技术难题。

11、（4）效率瓶颈：人机协同系统虽提升了结果质量和可信度，但每个查询都需要人工审核和干预，自动化价值大打折扣，尤其在处理海量服务数据的场景下，人工成本成为制约规模化应用的主要因素。

12、（5）功能割裂：现有技术大多将“知识补全”和“异常检测”视为两个孤立任务，未能实现二者的深度耦合与协同进化，无法形成自我强化的智能系统。

13、因此，亟需提出一种新的服务数据管理方式。

技术实现思路

1、为解决现有非结构化产品服务知识利用不足和部分复杂、隐蔽性强的异常难以被发现的技术问题，本发明设计一个动态、自适应的服务知识管理系统，使其能够以通用、可扩展的架构适应不断变化的业务需求和数据形态，从海量非结构化数据中自动提取、组织和补全服务知识，并基于补全后的知识库，有效检测复杂、隐蔽的异常事件，在保持高准确性的同时，确保系统在生产环境中的稳定、安全和可靠运行，使知识补全过程与异常检测过程相互促进、协同进化。

2、第一方面，本发明提出了一种基于llm的服务知识补全与异常检测的协同演化系统。具体技术方案如下：

3、所述协同演化系统包括统一知识中枢、知识补全子系统和异常检测子系统；

4、所述统一知识中枢用于实时接收服务运行时产生的服务数据并进行存储；

5、所述异常检测子系统用于实时接收服务运行时产生的服务数据，并根据统一知识中枢，对当前时刻服务数据进行混合式异常检测，若判定为无异常，则进入下一时刻，若判定为简单异常，则直接输出异常检测结果，若判定为复杂异常，则生成协同提示指令并输入知识补全子系统，进一步根据知识补全子系统生成的补全信息得到异常检测结果；

6、所述知识补全子系统用于根据协同提示指令和统一知识中枢，使用llm生成补全信息；进一步将补全信息反向传输回异常检测子系统。

7、进一步地，所述统一知识中枢包含非结构化知识层、半结构化知识层和结构化知识层，所述非结构化知识层用于存储原始服务数据；所述半结构化知识层用于将服务数据转换为固定格式并进行存储；所述结构化知识层用于在上一时刻知识图谱的基础上，从当前时刻的服务数据中提取服务作为节点，服务之间的逻辑关系作为边，服务对应的属性作为节点特征，得到当前时刻知识图谱；

8、进一步地，所述混合式异常检测的具体过程为：

9、异常检测子系统基于统一知识中枢，计算得到服务数据中每个服务的异常概率，若异常概率低于或等于阈值，则认为不存在异常；若异常概率大于阈值，则进一步判断该异常是否符合预设的规则，若符合，则认为当前异常为简单异常，若不符合任意规则，则认为该异常为复杂异常。

10、进一步地，所述服务数据中每个服务的异常概率通过预训练的预测模型得到；预训练过程具体为：

11、将训练知识图谱输入预测模型中，得到训练知识图谱中服务对之间的预测异常概率，进一步和对应的真实异常概率计算得到交叉熵损失，并更新预测模型参数直至收敛，得到预训练的预测模型。

12、进一步地，所述协同提示指令的生成过程具体为：

13、根据复杂异常对应的服务，在统一知识中枢中进行检索，分别从非结构化知识层、半结构化知识层和结构化知识层中检索得到该服务相关数据，进一步使用第二llm生成协同提示指令。

14、进一步地，所述检索得到目标服务相关数据的过程具体为：

15、在非结构化知识层中，采用语义相似度计算得到与目标服务相关的文本数据；

16、在半结构化知识层中，通过精确匹配或范围查询得到与目标服务相关的结构化数据；

17、在结构化知识层中，提取以目标服务为中心的子图，作为与目标服务相关的上下文信息。

18、进一步地，所述补全信息的生成过程具体为：

19、s1，知识补全子系统对协同提示指令进行语义解析，得到任务描述，进一步在统一知识中枢中进行检索，得到上下文语料；

20、s2，将上下文语料、初步假设以及预设的结构化输出模板拼接后输入llm中，得到若干个结构化的待验证结论和对应的条件概率得分、序列累计概率得分；

21、s3，分别计算每个待验证结论和对应上下文语料中非结构化知识层的检索内容、半结构化知识层的检索内容之间的相似度得分；并将每个待验证结论与对应上下文语料中结构化知识层的检索内容进行逻辑一致性验证并输出校验得分；

22、s4，以得分为单位，将所有待验证结论进行排名，进一步根据所有得分的排名计算得到每个待验证结论的rrf得分，即为置信度；

23、s5，基于待验证结论和置信度，得到补全信息。

24、进一步地，异常检测子系统根据补全信息得到异常检测结果的过程具体为：

25、异常检测子系统根据补全信息和服务运行环境进行一致性对比，若对比结果为非异常，则停止，若对比后为异常但是补全信息错误，则重新触发知识补全子系统生成补全信息，若对比后为异常且补全信息正确，则触发告警并输出异常检测结果。

26、进一步地，所述协同演化系统还包括正向反馈，所述正向反馈的过程为知识补全子系统将正确的补全信息传输到统一知识中枢进行存储。

27、第二方面，本发明提出了利用上述系统实现的一种基于llm的服务知识补全与异常检测的协同演化方法。

28、本发明具有的有益效果是：

29、（1）本发明提供全新基于双向反馈循环的协同演化服务知识管理框架，将知识补全和异常检测融为一体，通过知识流动驱动异常发现，再通过异常发现补充完善知识，形成自我强化的学习闭环。

30、（2）本发明所构建的框架为通用顶层设计，无需为每个新服务领域或异常类型重新训练模型，系统随数据流入和业务发展持续进化，降低长期维护成本。

31、（3）本发明的异常检测融合来自统一知识中枢的丰富上下文，大大提高对复杂、隐蔽异常的发现能力和判断准确性。

32、（4）本发明通过双向反馈循环，系统不断从新发现异常中学习，将其转化为新知识，使自身能力随时间不断增强，是可持续进化的智能系统。

33、（5）本发明引入ai控制平台，确保系统在生产环境中稳定、安全、可控。完善版本管理、监控和回滚机制，解决实际部署后顾之忧。